大数据行业与职业教育分析报告.docx

1、大数据行业与职业教育分析报告大数据行业与职业教育分析报告 在全球信息化快速发展的大背景下，数据已成为国家重要的基础性战略资源，大数据正日益渗透到社会生活和经济发展的方方面面。运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力、重塑国家竞争优势正在成为趋势。2015年9月5日，国务院出台促进大数据发展行动纲要，提出要全面推进我国大数据发展和应用，加快建设数据强国，这标志着大数据产业已上升为战略高度。我国大数据人才的积淀不够，相关专业领军人才、科技人才缺乏等问题已经成为产业快速发展的瓶颈。职业教育作为技术技能人才培养的主体，应积极构建大数据专业人才培养体系，破解大数据产业发展所面临的人才

2、瓶颈，提供强有力的智力支持。一、我国大数据行业发展概况随着互联网、云计算、物联网以及信息产业的深入发展，海量数据已经成为可利用、有价值的重要战略资源。2011年，麦肯锡发布大数据：创新、竞争和生产力的下一个前沿领域研究报告，宣称大数据时代已经来临。根据IDC发布的报告中国大数据技术与服务市场20132017预测与分析显示，中国大数据技术与服务市场将从2012年的1.65亿美元增长到2017年的8.5亿美元，复合年增长率达38.7%。我国大数据产业仍处于早期构建阶段，呈现出规模较小、增速较快的特点。根据数据的流动性和开放性，围绕数据的采集、存储、分析和应用等环节，我国已经初步形成了“生产与集聚层

3、组织与管理层分析与发现层应用与服务层”四个层级的大数据产业链，IT基础设施为各个环节提供基础支撑。空间分布上，我国大数据产业初步显现出集聚发展的格局，形成京津冀、长三角、珠三角和中西部四个产业集聚发展区。其中，北京依托中关村在信息产业的领先优势，打造京津冀大数据走廊；长三角地区城市将大数据与智慧城市、云计算发展紧密结合，集聚了大批大数据企业；珠三角地区在产业管理和应用发展方面率先行动，对企业扶持力度大，集聚效应明显；中西部地区发挥规划引领作用，积极布局大数据产业基地建设，吸引和集聚了大批大数据企业。二、大数据行业人才需求分析随着大数据产业在全球范围内的快速兴起，国内互联网行业和IT行业的领军企

4、业纷纷进军大数据行业，新兴的创业公司也正在抢抓大数据创业机遇，整个行业发展处于活跃的探索起步阶段。然而，由于人才培养的滞后，以及新兴行业熟练技术人员积累的不足，未来大数据人才的短缺必将成为制约行业发展的重要因素。（一）大数据企业发展状况目前，我国大数据产业正在构建相对完整的产业链，各环节主要产品和服务都非常重要，缺一不可。其中，基础软件（数据库软件和分布式文件系统）、应用软件是大数据产业价值转化变现的最关键部分，云计算对大数据的广泛应用有着举足轻重的意义。1. 基础软硬件格局稳定大数据时代对企业的存储架构、数据中心的基础设施等提出了挑战，为了更快、更好、更准确地按需存储数据，需要企业提高存储性

5、能和计算能力，这些潜在需求的存在为存储器和服务器提供商提供了一个不错的发展机会。但是由于国际巨头在存储和服务器市场垄断优势明显，我国相关企业很难取得突破。根据互联网消费调研中心的数据显示，2013年IBM、惠普、戴尔三家企业占据了中国服务器市场约77.7%的市场关注度。虽然浪潮、曙光等本地企业也加大了此领域的投入力度，但限于技术实力，市场占有率仍然较低（如图1所示）。2. 应用软件层潜力巨大目前，国内各个行业之间IT投资规模和信息化建设程度差别还很大。从国内数据中心的发展历程来看，国内数据大多集中从银行业开始，并逐步发展到政府、金融、保险、电力、电信等行业领域。涉及政府相关软件开发的企业主要有

6、美亚柏科、拓尔思、用友软件；涉及金融行业软件开发的企业主要有久其软件、恒生电子；涉及通信行业软件开发的企业主要有东方国信；涉及电力行业软件开发的企业主要有远光软件、榕基软件。其中，拓尔思是国内非结构化数据处理的龙头企业，用友软件、东方国信、久其软件则是长期致力于智能分析软件研发，这四家企业在大数据技术方面拥有一定的先发优势和技术积累。3. 信息服务领域细分信息服务作为大数据产业的基础，以云计算为主要发展方向。目前，云计算厂商则可以细分为平台提供商、系统集成商和服务提供商。平台提供商主要提供云计算实现虚拟化、自动负载平衡、随需应变的软硬件平台，国内的相关公司包括华为、中兴、方正科技、浪潮信息等；

7、系统集成商主要帮助用户搭建云计算的软硬件平台，尤其是企业私有云，代表厂商包括浪潮软件、东软集团等；服务提供商包括为企业和个人用户提供计算和存储资源的IaaS公司、为应用开发者提供开发平台的PaaS公司、SaaS应用服务提供商，国内代表厂商包括网宿科技、神州泰岳、鹏博士、用友、金蝶、焦点科技、生意宝等。（二）大数据行业人才需求分析随着社会的发展，人类活动产生的数据量呈现爆炸式的增长，大数据时代已经来临，大数据相关的人才需求持续增加，但是作为新兴行业，我国大数据行业的技术应用尚处于探索发展阶段，且由于人才培养和培训体系的相对滞后，大批产业发展所需专业人才严重短缺。1. 人才需求的规模麦肯锡在大数据

8、报告中指出，大数据人才短缺，将严重制约大数据行业发展，尤其是统计和机器学习方面的专业人才以及懂得如何运用大数据来运营企业管理和分析的人才。仅仅在美国市场，2018年大数据人才和高级分析专家的人才缺口将高达19万。此外美国企业还需要150万位能够提出正确问题、运用大数据分析结果的大数据相关管理人才。国内各大企业纷纷开拓大数据业务，对专业的大数据人才均有较高的需求量。目前市场对大数据人才需求的特点是：需求量大、薪资水平高，并且呈上升趋势。2. 人才需求的类型（1）岗位类型大数据行业产业链核心环节主要包括基础软件层、应用软件层和信息服务层，相关环节对应的岗位类型及岗位职责如表1所示。另外，大数据行业

9、领军企业还纷纷设立首席数据官和数据科学家两大岗位。其中，首席数据官主要承担企业全面推进大数据战略的职责，懂得商业运作的数据分析；数据科学家是在首席数据官领导下负责解决数据处理和分析等复杂问题的专业人士，需要综合掌握数学、统计学、数据分析、机器学习和自然语言处理等多方面知识。（2）必备技术技能大数据从由各种数据源生成数据到经过挖掘分析实现其商业价值需要经过四个主要的技术阶段：数据生成、数据获取、数据存储和数据分析。由于数据主要产生于日常的商业、生活或科研等活动，数据生成阶段的技术技能就无需讨论。大数据从业者需要掌握的技术技能集中在数据获取、数据存储和数据分析三个阶段。概括来说，大数据相关岗位需要

10、的核心技术技能一般包括以下四个方面：第一，计算机科学。一般来说，数据科学家大多要求具备编程、计算机科学相关的专业背景，具体来说就是处理大数据所必需的Hadoop、Mahout等大规模并行处理技术与机器学习相关的技能。第二，数学和统计学。首先具备数学、统计学方面的专业知识，还要能够熟练使用一些统计工具，例如R、SAS、Matlab、SPSS，或者Stata等主流统计分析软件。第三，数据挖掘。熟悉并掌握数据挖掘工具，例如RapidMiner、Orange、以及面向统计分析的开源编程语言及其运行环境R等。第四，数据可视化。真正理解大数据背后的价值与含义还需要利用可视化工具来展现，例如Flare、Hi

11、gh Charts、Am Charts、D3.js、Processing、Google Visualization API、Tableau等可视化工具。三、我国大数据专业职业教育现状分析随着大数据行业的迅猛发展，大数据专业人才需求急剧增加。加快大数据专业人才培养、提升人才培养质量已成为教育亟需解决的难题。近年来，由于传统教育系统人才培养的滞后性，大数据专业人才的培养还远不能满足行业发展需求。（一）专业设置概况由于大数据科学是与计算机科学、数学和统计学等基础学科紧密结合，并与众多应用学科交叉融合的新兴学科，具有复合性、应用性和前沿性的特点，它所需要掌握的知识不仅涉及到众多相关专业的基础知识，还包

12、括围绕大数据的采集、存储、挖掘、分析、可视化展现等新发展起来的方法和技术体系知识。因此，目前国内主要是一些有实力的研究型大学在积极探索开展大数据专业人才的培养，职业院校尚未开设大数据专业。从相关专业来看，职业院校开设的与大数据比较相关的专业主要有计算机信息管理、计算机应用技术、软件技术、统计实务等。其中，开设计算机应用技术和软件技术专业的职业院校较多，开设统计实务专业的院校则很少。表2 职业院校开设的大数据相关专业情况（二）专业人才培养分析目前，国内高校探索大数据专业人才培养较晚，尚未形成明晰的人才培养体系。而一些市场培训机构由于市场敏感度高、企业资源丰富等优势，开始实施大数据技术的相关培训的

13、时间较早，已经构建起符合市场需求的人才培养体系，值得学校借鉴。1. 慧科教育大数据人才培养分析慧科教育致力于移动互联网、云计算、大数据、互联网营销等前沿科技领域的人才培养。在大数据人才培养方面，慧科教育开设了大数据技术与应用专业，从系统框架搭建、应用研发及数据分析三个层面培养具有实战经验的高素质、实用型大数据人才。在课程体系建设方面，慧科教育加强投入力度，设置了兼顾理论课程与实践课程的大数据课程体系（详见表3），包括专业基础课程和专业核心课程。另外，慧科教育与IBM合作在“开课吧”开设了IBM大数据与分析专区，提供基于IBM产品和服务的大数据专业课程，培养大数据职业人才。2. 小象学院大数据人

14、才培养分析小象学院为小象科技成立的大数据专业在线教育平台，凭借China Hadoop大数据社区积累的大数据领域的专家资源和超高人气，提供包括大数据平台、大数据应用、云计算等专业的课程（详见表4），致力于成为中国互联网技术职业教育的“黄埔军校”。小象科技受北京海淀区政府委托，实施中关村大数据人才计划，开展小象训练营系列培训。小象训练营的师资团队由业内大数据专家组成，学习形式采用远程在线教育方式，学习周期为12周，学员完成全部课程并通过考核将获得结业证书和实习就业岗位推荐。3. 达内科技大数据人才培养分析达内科技作为IT职业教育领域的领军企业，针对企业对人才需要掌握的技术和要求的变化，把握技术发

15、展趋势，达内推出了基于大数据技术的全栈式IT人才行业培养新标准，包括：课程设置、实验平台、领衔名师、教学管理系统等方面：（1）课程设置。达内的Java大数据课程，是在“Java经典课程体系”的基础之上围绕着Hadoop生态系统的大数据核心技术课程，具体包含七大核心技能：Java基础功底、Linux操作技巧、数据库技术、Web前端技术、企业级框架和企业开发流程及文档规范。此外，达内为了让课程内容根植于企业真实需求，基于达内上万家合作企业的真实岗位需求进行课程研发。（2）实验平台。企业在开发、测试、部署实际项目时需要有特定的软件环境。软件工程师不但要非常熟悉这些环境，还要特别注意在工作中容易出现的

16、各种问题和错误。真正的大数据课程需要有分布式的实验环境支撑，达内借助雄厚的资金实力创建了国内培训界内第一个大数据实验平台，以电商后端数据平台作为贯穿项目，学员的所有实验都基于此平台完成。（3）领衔名师。达内大数据高级软件工程师授课老师大多来自企业一线的首席架构师，具有丰富的实战经验，清楚地知道学生需要掌握大数据相关的哪些知识。此外，达内授课的老师采用组合培训的方式，每一位教师只讲授自己最擅长的部分。（4）教学管理系统。达内2014年3月推出TTS7.0教学管理系统，是国内首个O2O教学平台，功能更加强大。TTS7.0教学平台上增加了问答系统，为学生随时向教学团队提问各种问题；增加了-在线交互系

17、统，学员可以利用在线交互系统跟老师和助教时时沟通互动；微课程，达内将课程内容全部划分成微知识点，并把它们录制成微课程，通过考试检测学生学习知识点的盲区，学生通过在线微课程检讨微知识点的缺失。四、对我国大数据专业职业教育发展的启示大数据是继云计算、物联网之后IT界的又一次颠覆性技术革命，大数据产业的发展对大数据人才提出了新的需求，而目前我国大数据专业建设尚属起步阶段。鉴于大数据产业的快速发展和我国大数据专业建设的缺失，应从以下几方面着手，加快大数据专业教育的发展。（一）启动大数据人才培养计划中国在2004年开始数据分析人才的考培工作，首批项目数据分析师（CPDA，Certificate of P

18、rojects Data Analysis）诞生。目前，一些知名大学建立了大数据研究中心，要求统计分析、计算机和经济管理专业的学生参与大数据研究与实践工作。综合来看，中国大数据硕士专业教育刚起步，需要启动类似美国的“中国大数据科学与工程研究计划”纲领性文件，要求国家在大数据平台的构建、典型行业的应用以及研发人才的培养等方面应提供相应的财力、物力与人力支持，明确鼓励科研院校开展跨学科合作来培养下一代数据科学家。（二）加快大数据专业建设步伐未来的十年将是一个“大数据”引领的智慧科技的时代。随着社交网络的逐渐成熟，移动带宽迅速提升，云计算、物联网应用更加丰富，更多的传感设备、移动终端接入到网络。由此

19、产生的数据及增长速度将比历史上的任何时期都要更多、更快。1. 加强校企合作我国需加快大数据专业建设步伐，保证人才培养的质量与效率，注重人才与产业的结合，加强校企合作。政府除了考虑发挥政策支持等优势，从国外引进大数据高端研发人才外，可着重考虑优先选择一批国内先进IT企业、由政府牵线搭桥与国外知名企业开展合作，培养本土的大数据信息技术人才。2. 加快课程设置培养大数据人才应该理论教学与技术教学并重。理论教学可以为学生提供基本知识和发展脉络，为学生以后的发展奠定基础，主要有以下几点：对大数据的概念进行讲解、大数据的特征、大数据和物联网及云计算的关系、大数据的用途以及应用案例等；技术教学可以使学生进一

20、步认同掌握大数据，可以分别从存储技术、感知技术、分布式处理技术以及云计算的发展来讲解大数据采集、整合、保存到最后形成结论的完整过程。3. 注重实训实验大数据技术实验室总体目标是建立一个以IT为核心、面向产业界、具有特色的大数据分析技术的研究中心，研究内容涵盖数据模型、关键技术以及应用方法等；致力于海量数据的智能分析技术的研究和应用，包括大数据、数据库、数据仓库、数据挖掘以及知识管理等基础理论和关键技术，并可与企业合作，服务于各个行业的决策支持，促进行业信息化的进程。4. 强化师资队伍建设一方面，高校在促进双师型师资队伍建设过程中应该加强与大数据企业的合作，鼓励支持高校授课教师深入到大数据企业一线学习实战，掌握更新、更贴合实际的大数据技术，逐渐形成一支理论实战型的教师队伍；另一方面，教育主管部门可制定大数据技术科研人才培养机制，培养一批专业理论知识扎实、专业技能高和科研能力相对较强的专业骨干教师，建立一支年龄结构、专业结构以及学历结构相对合理的专业科研队伍。