大数据IT产业链和生态环境调研报告.docx
《大数据IT产业链和生态环境调研报告.docx》由会员分享，可在线阅读，更多相关《大数据IT产业链和生态环境调研报告.docx（37页珍藏版）》请在冰点文库上搜索。
大数据IT产业链和生态环境调研报告
大数据IT产业链和生态环境
调研报告
1概述
马云曾经说过“人类正从IT时代走向DT时代。
”随着大数据、云计算、移动互联网技术的不断发展，我们已经从信息社会已经进入了大数据（BigData）时代。
大数据是继互联网、云计算、移动互联网之后的又一个新热点，是新一代通信技术的代表。
大数据在推动技术创新、改善公共服务等方面有着重大前景，各国政府纷纷布局大数据战略，推动大数据产业的发展。
随着我国信息产业宏观环境的不断改善，各地方政府纷纷出台大数据发展计划，各高校和科研组织开始培养专业的大数据人才，而以BAT为代表的科技企业也开始涉足大数据产业。
通过各方努力，目前我国已具备加快发展大数据产业发展的基础和态度，大数据产业链正在加速形成。
然而，我国的大数据产业发展还处于起步阶段，大数据产业还存在一些问题，如大数据相关法律法规有待进一步完善，对于信息安全保护还需提高重视等。
因此，我国大数据产业还需要在国家宏观指导下进一步发展。
2国内外大数据产业链现状
2.1大数据产业链全景图
大数据产业包括一切与大数据的产生与集聚、组织与管理、分析与发现、应用与服务相关的所有活动。
数据产业链按照数据价值实现流程，包括生产与集聚层、组织与管理层、分析与发现层、数据应用与服务层四大层级，每一层都包含相应的IT技术设施、软件与信息服务。
全球互联网公司纷纷进入大数据产业，希望瓜分这一市场。
据电信与媒体市场调研公司InformaTelecoms&Media在2013年的调查结果显示，全球120家运营商中约有48%的运营商正在实施大数据业务。
该调研公司表示，大数据业务成本平均占到运营商总IT预算的10%，并且在未来五年内将升至23%左右。
可见大数据巨大的产业价值已经逐渐被企业重视。
图4-1大数据产业链全景图
而根据数据从产生到应用、继而产生新数据的过程大数据产业形成了一个环形产业链。
从数据产生到应用，参与企业逐渐增多，数据价值逐级放大。
概括起来主要包括一下几个方面：
以云计算、物联网、移动互联网等新一代信息技术而不断生产交易数据、交互数据与传感数据的大数据生产活动；以搭建大数据平台、支撑大数据组织与管理的服务器、存储设备、网络设备、数据中心附属设备等IT基础设施硬件销售与租赁活动；大数据平台的运维与管理服务，系统集成、数据安全、云存储等解决方案与相关咨询服务；支撑数据分析与发现的嵌入式芯片、服务器、高性能计算设备等IT基础设施硬件销售与租赁；与大数据应用相关的数据出售与租赁服务、分析与预测服务、决策支持服务、数据共享平台、数据分析平台等。
随着每次数据产生到数据价值实现的循环过程，数据规模不断扩大、数据复杂度不断加深、数据创造的价值不断加大，同时，也加速大数据技术创新与产业升级。
图4-2大数据环形产业链
2.2产业链上中下游
随着现代技术的不断发展，从最初的“在互联网上，没有人知道你是一条狗”，到现在的“不仅知道你是一条狗，还知道是一条什么样的狗”。
随着大数据时代的到临，围绕大数据的产生与集聚、组织与管理、分析与发现、应用于服务的各级正在加速构建。
信息数据产生作为大数据产业链的第一个环节显得尤为重要。
随着新技术的不断发展，数据产生的方式也越来越多样，例如：
人们每天使用的互联网和无限通讯，即时通讯、微信、微博、手机电话、短信、彩信甚至是每一个互联网点击（通过点击习惯可以分析经常浏览某类网站，喜欢某类商品，以及上网时间等使用习惯）都会留下记录，带来爆炸性的数据增长。
大数据产业的上游是一批能够掌握大数据标准、入口、汇集和整合过程的公司，他们在大数据储存、使用和分析的基础上推出个性化、精准化和智能化的机制，跨网站、跨产品、跨终端、跨平台，让人与人、人与物、物与物之间实现高效撮合与匹配，从而建立起崭新的商业模式。
例如：
GOOLE、XX等。
随着信息数据的爆炸式增长，对数据存储提出了更高的要求。
虽然存储设备是整个产业链中技术含量最少的，发展空间也较窄，但却可能是增长最稳定的子行业。
不但数据采集大多来自于半结构化或非结构化数据，存在着零散性，而且许多数据的产生是散乱和随机的，因此数据整理显得尤为重要。
大数据产业的中游是一批在某些垂直领域或者某些特定区域能够掌握大数据入口、汇集和整合的公司，掌握全部网络用户的部分网络行为，或者是部分网络用户的全部网络行为。
这些公司需要大范围地采集信息数据，并进行有效的噪音数据剔除，可见未来这些公司有机会在这些垂直领域或特定区域成为规则制定者和商业模式创新者。
例如：
IBM、EMC2等。
大数据产业链的最末端是信息数据的展示和应用环节，也是最具技术含量和产业价值的行业。
大数据产业的下游由网络公司组成，它们基本上扮演的角色是大数据生态圈里的数据提供者，特色服务运营者和产品分销商，基本通过开放平台和搜索引擎获取用户，处于产业的边缘地带。
任何数据不经过分析这一环节，都无法落实到实际应用。
而且，在同样的数据面前，谁分析出的结果最有效，将决定谁才是真正的“大数据”智能产业领跑者。
例如：
SAP等。
2.3大数据产业链发展趋势
ØGartner对大数据趋势的预测
2014年著名咨询机构Gartner发布的技术成熟度报告中，大数据技术作为最热的新技术已经被物联网取代，并且大数据技术过度到了“幻觉破灭阶段”。
这并不是一件坏事，并且表明大数据市场开始变得成熟，变得更贴合实际的应用，大数据将变得更加商业化。
在过去两年里，围绕着大数据的技术已经被过度炒作。
以Hadoop为核心的生态环境、NoSQL数据库、内存数据库和其他大数据技术，已经能够使公司或组织存储、处理和分析大量数据。
而且，投资公司也投入了数十亿美金在大数据领域，但几乎很少的Hadoop和NoSQL公司能够盈利。
为了获得规模和主导地位，大数据公司都在不断扩展，可能在未来几年会见效益。
对于Gartner的报告，更多的应该是从科学技术的角度去观看，但不应过度解读。
图4-3（2011-2014）Gartner新兴技术成熟度曲线
Gartner总结的技术成熟曲线分为五大阶段：
技术萌芽期（TechnologyTrigger），期望膨胀期（PeakofInflatedExpectations），泡沫化的谷底期（TroughofDisillusionment），稳步爬升的光亮期（SlopeofEnlightenment），最终的产品成熟期（Plateauofproductivity）。
正如图所示，从2011年到2014年，大数据技术经历技术萌芽期、进入峰顶、并开始快速下滑。
大数据技术滑向谷底、进入复苏期，最后走向成熟，这可能需要很多年。
关于大数据技术本身，Gartner在2014年7月发布的技术成熟度曲线如下：
图4-42014Gartner大数据技术成熟度曲线
从图中可以看到，Gartner预测内存计算技术作为一项提升大数据处理效率的技术手段，将会在2年内达到成熟期；物联网作为大数据技术的应用方向之一，目前处于关注的顶峰；基于SQL的Hadoop查询接口也是关注的热点，预期在2～5年内发展成熟；数据开放虽然在学术界的呼声很高，但预期在5～10年内才会达到成熟期。
大数据中的创新将持续，并且创新的催发机制已经很充足，大数据在经过泡沫期后的谷底期的历程将十分迅速。
这种持续的增长将所有的供应商进行洗牌，留下那些紧跟潮流的供应商。
这种趋势可以促发很多初始的并且处于创业初期的项目的呈现，大数据将实现从系统创新到差异化的目标导向的发展。
大数据将会被纳入到市场现有的解决方案中，同时将会取代现有方案的一些功能。
总而言之，大数据市场将会逐步进入一个更加合理的发展方向，新的技术和实践将会嵌入既有的解决方案。
Ø大数据产业链发展趋势全景图
2012年，FirstMark资本的MattTurck绘制了大数据产业链趋势全景图v2.0，该图将数百个大数据创业公司和IT厂商根据产品和商业模式划分为基础设施、分析、应用、数据源、跨基础设施分析、开源解决方案六大类，共计38项。
2014年，MattTurck从一个风险投资者的角度对两年来大数据市场的最新发展进行了深入研判，对未来趋势进行解读，并绘制了大数据产业链发展趋势全景图v3.0。
图4-5大数据产业链发展趋势全景图V2.0
图4-6大数据产业链发展趋势全景图V3.0
在大数据产业链发展趋势全景图V3.0中，一共有358家公司，和V2.0对比只有16家公司已经退出（被收购或者上市），只占到4.5%的份额。
其中，退出最多的是数据分析（7.5%）以及基础设施（4%），而数据源和开源解决方案类均无企业退出。
在大数据产业链发展趋势全景图V3.0中，最热门的分类分别数据分析、基础设施和应用三个大类，如下图所示：
图4-7大数据产业链分类
从大数据产业链发展趋势全景图V2.0版和V3.0版的对比分析中可以看出，大数据产业链有几个关键的变化趋势：
（1）竞争加剧
创业者们纷纷涌入大数据市场，尾随的风险投资商也是挥金如土，导致大数据创业市场目前已经非常拥挤。
例如一些创业项目类别，例如数据库（无论是NoSQL还是NewSQL），或者社交媒体分析，目前正面临整合或去泡沫化（随着Twitter收购BlueFin和GNIP，社交分析领域的整合已经开始）。
虽然大数据创业市场已经人山人海，但是依然有足够的空间给新的创业公司，现阶段大数据基础设施和分析工具领域的创新吸引了大量的资金，当然，这类大数据创业本来就是资金密集型项目。
（2）大数据市场尚处于初期阶段
虽然大数据的概念已经热炒了数年，但该领域依然处于市场的早期阶段，虽然过去几年类似Drawn和Scale这样的公司失败了，但是相当多的公司已经看到了胜利的曙光，例如Infochimps、Causata、Streambase、ParAccel、Aspera、GNIP、BlueFinLanbs、BlueKai等。
还有不少大数据创业公司已经形成规模和气候，并且获得了海量融资，例如MongoDB已经募集2.3亿美元，Plalantir9亿，Cloudera1亿。
但是就成功的IPO或公司而言，市场尚处于早期阶段（虽然已经有Splunk、Tableau等成功IPO）。
此外，目前阶段一些传统IT巨头已经展开了收购大战，例如Oracle收购BlueKai和IBM收购Cloudant。
在很多大数据创业领域，创业公司们依然在为市场领袖的地位展开混战。
未来几年是大数据市场竞争的关键时期，企业的大数据应用从概念验证和实验走向生产环境，这意味着大数据厂商的收入将快速增长，市场将继续扩大。
根据ICTresearch关于大数据在我国和世界范围内近几年的市场走势及未来发展趋势的预测，大数据在2015年到2016年间市场规模会有大幅度增长。
（3）从炒作回归现实
大数据在经历数年的火热后已经归于平淡，但这恰恰是大数据真正落地的开始。
未来几年是大数据市场竞争的关键时期，企业的大数据应用将从概念验证走向生产环境，这意味着大数据厂商的收入将快速增长。
当然，这也是一个检验大数据是否真的有“大价值”的时期。
（4）大数据基础设施
虽然Hadoop已经确立了其作为大数据生态系统基石的地位，但市场上依然有不少Hadoop的竞争和替代产品，但这些产品还需要时间完善。
基于Hadoop分布式文件系统的开源框架Spark近来成为人们讨论的热门话题，因为Spark能够弥补Hadoop的短板，例如提高互动速度和更好的编程界面。
而快数据（实时）和内存计算也始终是大数据领域最热门的话题。
一些新的热点也在不断涌现，例如数据转换整理工具Trifacta、Paxata和DataTamer等。
（5）大数据分析工具
就投资着的投资比重来看，大数据分析可谓是大数据市场最活跃的领域。
从电子表格到时间线动画再到3D可视化，大数据创业公司们提供了各种各样的分析工具和界面，有的面向数据科学家，有的选择绕过数据科学家直接面向业务部门，由于不同的企业对分析工具的类型有不同的偏好，因此每个创业公司在自己的细分领域都有机会。
（6）大数据应用
大数据应用的发展进程相对缓慢，但目前阶段大数据确实已经进入了应用层。
从大数据产业链发展趋势全景图v3.0中可以看到，一些创业公司开发出了大数据通用应用，例如大数据营销工具、CRM工具或防欺诈解决方案等。
还有一些大数据创业公司开发出了面向行业用户的垂直应用。
金融和广告行业是大数据应用起步最早的行业，甚至在大数据概念出现之前就已经开始了。
未来大数据还将在更多行业得到广泛应用，例如医疗、生物科技（尤其是基因组学）和教育等。
3产业链和生态环境的瓶颈和建议
3.1大数据发展产业链和生态环境的瓶颈
Ø数据开放程度低
大数据的拥有者包括政府部门，运营商和互联网大企业等。
目前政府部门的数据开放程度还相当低，可以说是在探索阶段。
政府大数据“富矿”可供全民开采，但总体来讲，政府部门数据开放和共享在国内还未形成一定规模，不管是开放的数据类型、数据量、开放数据的形式，都还有很大提升空间。
李国杰院士总结出阻碍政府信息共享的因素：
不愿贡献、不敢共享、不能共享：
缺乏政府数据共享的理念，对治理现代化认识不足；缺乏政府数据共享机制的责任主体，怕犯泄密错误，宁可不作为；缺乏数据共享的法规和制度，无法可依或者法律法规间相互冲突；缺乏政府数据共享的统一标准和规范，缺乏治理机制设计。
而运营商、互联网大企业等，由于存在竞争关系，数据的开放程度也很低。
政府部门和运营商之间的数据共享和合作也需要进一步加深。
Ø大数据技术问题
在大数据的采集，预处理，存储，分析等技术方面，互联网企业因为其有一定的技术基础，已经摸索出一套适用的大数据技术体系。
目前，在大数据产业发展初期，这些企业在现有大数据存储处理分析技术的实际应用层面上不存在明显的瓶颈。
在大数据存储产品方面，国内有一些厂商推出的大数据存储平台在技术方面与国外商用、开源的平台有类似的地方，技术差距相对来说不大。
对于政府部门和运营商来说，可以通过自主研发或技术外包、购买商业产品的方式来获取大数据存储处理分析技术，相对于其他方面比如数据共享、数据安全等，技术即使是瓶颈也不是首要的因素。
然而，从更高层次和长期来看，大数据技术也受制于存储I/O、网络传输、计算机架构等方面，确实也存在瓶颈。
在智能分析、处理性能、可视化、安全和隐私保护的研究、应用方面也都需要有突破。
比如Hadoop平台不易学、不易编程等，在一定程度上妨碍一些企业使用Hadoop平台存储和处理生产数据。
再比如，数据分析的结果采用可视化的方式展示，将大大提供用户对数据的理解，能更快更准确的进行决策。
提高大数据技术和平台的易用性、实用性、安全性等，大数据技术才能更好的服务于实际应用。
Ø相关政策法律不够完善
在数据开放方面，政府信息公开制度是一种承认公民对国家拥有的信息有公开请求权，国家对这种信息公开的请求有回答义务的制度。
在世界范围内，政府信息公开制度都是各国普遍推行的一项制度，全球已有30多个国家制定了专门的政府信息公开方面的法律。
我国第一部系统规范政府信息公开的全国性法律文件，《中华人民共和国政府信息公开条例》于2008年5月1日起正式施行。
然而，我国的政府信息公开立法存在着立法技术粗糙、立法层级低、受制于其他更高层级立法掣肘的现实问题。
《条例》未明确规定公民享有获取政府信息的权利，反而将不予公开的政府信息在总则中加以强调。
《条例》本身立法层级低于《保守国家秘密法》等法律，因此在确定政府信息公开范围等方面，完全受制于国家秘密的认定。
因此我国政府在信息公开制度上还处于起步阶段。
在标准化方面，工信部促进全国信息技术标准化技术委员会开展了大数据标准化的需求分析、标准体系框架研究及相关标准研制工作，并向相关国际标准化组织提交了大数据研究提案。
在省一级大数据立法方面，广东省率先一步，《广东省信息化促进条例》已于2014年9月1日起施行，这意味着包括大数据在内的多个信息化产业在广东获得了立法扶持。
除此之外，关于数据所有、数据采集、存储、使用权责方面的法律还是空白，这些在宏观层面上直接关系到大数据应用以及大数据的数据安全。
国务院发展研究中心信息一处处长李广乾称，中国只有针对国家秘密的国家保密法，缺少保护个人隐私和商业秘密的专门法律，有针对政府信息公开的政府信息公开条例，以及一些部门的法规，比如统计法，但是总体来说约束力不足，尚没有涉及个人隐私保护和商业秘密保护专门的法律。
根据工信部2014年立法工作安排，目前工信部没有直接涉及大数据产业立法的项目。
Ø数据安全问题
数据的安全一直以来都是个大问题，尤其是在大数据时代，数据的采集、处理、存储、分析等基本上都是分布式的，涉及的终端设备、应用系统和参与方较多，又由于数据量巨大，数据安全问题更加难以解决。
比如苹果手机作为一个终端，它存在后门，用户的个人数据经由苹果手机存储处理，很有可能会被窃取。
目前有人提出对少量的敏感信息可以做加密处理，存储的是密文，在搜索和计算时，可以借助加密算法的特性直接对密文做相应操作，而这种算法的计算代价高，应用范围较小，不适合于真正的大数据。
当前主流的大数据平台自身的安全也存在问题，比如系统缺乏一些基本的安全机制、系统存在漏洞等等，跟传统的关系型数据库相比，在安全性、可靠性等方面还有待提高。
目前一些大数据技术公司已经开始收购一些安全公司，以弥补大数据安全缺陷。
Hadoop软件和服务公司Cloudera公司已经在其软件方案中融入了众多安全措施。
举例来说，Kerberos能够管理哪些用户有权访问特定Hadoop集群，Cloudera方面将其打造成一系列开源技术成果并作为该公司Hadoop发行版的组成部分。
Cloudera还亲自推动其它技术方案的普及，包括用于管理哪些用户（或者应用）有权访问保存在Hive以及Impala环境下的数据与元数据的ApacheSentry项目。
Cloudera也积极与芯片厂商Intel合作做芯片级别的加密机制研发，Rhino项目就是Cloudera与英特尔进行紧密合作后努力打造出的重要成果。
在2014年Cloudera收购了加密厂商Gazzang，专门为大数据环境提供加密方案，使大数据真正可以走入企业生产环境。
Gazzang的技术方案包括一款用于对Hadoop环境内存储数据进行加密的产品，外加一套用于管理哪些用户有权访问密钥、令牌以及其它数据访问类协议的解决方案。
Gazzang技术方案还有助于改进Rhino项目。
类似的大数据技术公司Hortonworks也收购了安全新兴企业XASecure，提供基于身份的授权、审计、治理。
大数据技术公司在数据安全技术上的投入，有助于促进企业将大数据工作流从研发环境部署到生产环境，甚至部署到公有云中。
3.2大数据产业链和生态环境发展建议
Ø促进数据开放和共享
在数据开放问题上，对于政府和科研机构的核心数据，可以以国家或行业规定的形式，促使其把非涉密的政府数据及科研数据开放出来，成立专门部门进行管理、协调，做到数据交换共享，满足国家战略需求；对于政府和科研机构的非核心数据，以及企业的数据，应以市场为导向，以数据交易的形式进行。
对于一些涉及隐私和秘密的信息，可以做变相的共享和交易，比如说数据可以用，但不可以看见（姚期智1982年提出“millionaires’dilemma（百万富翁的窘境）”，就是典型的“可用但不可见”场景）。
上海市政协委员、上海高智科技发展公司董事长刘幸偕认为，出于安全考虑，有些信息是不应该拿出来共享的，哪些能共享、哪些不能，这需要建立一个规范。
数据分享出来之后，数据的使用者在数据使用过程中要有审计，确保使用者对数据的操作跟预先设想的一样，不会偷偷泄露数据。
在数据交易方面，需要数据定价机制，双方数据的价值一定不对等，产生的洞察对各方的用途也不一样，因此要有个定价机制，比大锅饭式的数据共享更有激励性。
针对政府数据开放，李国杰院士的课题组提出六项原则：
1开放原则：
政府信息资源以共享为原则，不共享为例外。
注意开放与保护隐私的平衡。
2保障安全原则：
根据安全等级确定数据共享的范围。
3价值导向原则：
开放的政务数据资源应具有经济价值和社会价值，共享的目的是促进数据资源的利用。
4质量保障原则：
内容完整可信，数据格式方便使用，内容及时更新。
5责权利统一原则：
政务数据拥有部门承担数据开放的责任，依法明确可开放数据的范围。
用户对下载后数据的使用行为负责。
6数字连续性原则：
被开放的政务数据资源应维护其数字连续性，可检索、可呈现、可理解、可被发现，保证可持续再用。
此外，也需要建立评价政府开放数据的量化标准。
李国杰院士提出了评价政府开放数据的五维度框架：
1政策与立法：
相关的立法文件和政策；政府数据共享的程序和标准。
2技术：
共享数据格式的规范程度；数据质量如何；数据是否通俗易懂；数据更新和维护水平等。
3管理架构与组织形式:
监督和合作机制是否恰当，是否明确谁承担保证数据质量的责任；是否提供激励机制让公共部门提供数据（包括对公务员的激励机制）；是否明确谁承担费用，维护政府开放数据的金融机制和费用模式等。
4沟通交流:
政府开放数据是否形成良性的生态系统；企业界的支持程度；公众对政府开放数据的兴趣；反馈渠道是否畅通；公众对政府开放数据的满意度等。
5效果和效益：
政府数据共享产生的经济效益和社会效益；数据共享对政府本身工作效率的提高等。
Ø推动大数据分析在各个行业中的应用实践
当前阶段，大数据的采集、预处理和存储，对于企业、政府部门等，都不是难点，主要的难点在于对数据的分析也就是价值提取。
像腾讯、阿里、XX、移动等企业，对数据的利用和价值提取已经有一定的技术积累，也建立了各自的数据分析模型和利用大数据盈利的模式。
对于政府部门、小中型企业来说，其价值提取能力相对来说弱一些，一方面是因为技术基础薄弱，一方面是没有建立合适的数据分析模型。
首要的任务是尽快培育一些专门做价值提取服务的企业，为政府部门、小中型企业做数据分析。
在国外，比如沃尔玛这样的大数据企业会和别的公司合作做数据分析。
国外专门做数据分析的公司比如Palantir公司，很擅长给各类政府和金融机构提供数据价值提取服务。
还有Kaggle这样的公开数据建模和数据分析平台，企业和研究者可在其上发布数据，统计学者和数据挖掘专家可在其上进行竞赛以产生最好的模型。
Kaggle的初衷就是试图通过众包的形式使数据科学成为一场运动。
根据Kaggle官方提供的数据，Kaggle在全球范围内拥有将近20万名数据科学家，专业领域从计算机科学到统计学、经济学和数学。
Kaggle的竞赛在艾滋病研究、棋牌评级和交通预测等方面取得了成果。
Kaggle这样的服务形式的优势就在于能吸引众多数据分析专家，为企业提供了优质的数据分析服务，是比较值得国内公司借鉴的。
Ø制定大数据政策和相关法律法规
大数据在中国的发展处于初期阶段，相关法律政策一片空白。
政府应为大数据产业发展和生态环境持续良性进化制定积极的政策法规，创建适度宽松的大数据发展环境。
国家改革和发展委员会副主任徐宪平对大数据的观点包括：
首要任务是推动数据开放，关键要推动数据应用，根本之策是推动数据立法。
数据的保护和公开是一体两面，邬贺铨院士呼吁要尽快制定“信息保护法”和“信息公开法”，既要鼓励面向群体而且服务于社会的数据挖掘，又要防止针对个体侵犯隐私的行为，提倡数据共享又要防止数据被滥用。
这方面可借鉴的国家包括：
英国制定了《数据保护法》和《信息自由法》来平衡个人隐私数据保护和政府信息公开之间的关系；美国的政府信息公开制度则由《信息自由法》、《隐私权法》和《阳光下的政府法》三部分构成，共同维护着公民的知情权与隐私权，同时也在一定程度上保护了政府的利益。
Ø保障全生命周期的数据安全
对于数据本身的安全，需要分析各行业对大数据的安全需求，分而治之。
像电信运营商、金融行业、医疗行业、政府组织对数据的安全需求各不相同，有各自的保护重点，比如数
升级会员 