大数据发展跟踪研究报告24.pptx

1、中国电信广州研究院2012年10月,大数据发展跟踪研究报告,目录,大数据发展趋势概述大数据关键技术分析电信大数据策略建议,全球进入大数据时代，数据呈现爆炸式增长趋势,随着互联网/移动互联网、数码设备、物联网/传感器等技术的发展，全球数据生产在高速增长 信息处理技术的发展使数据价值能够被更好地挖掘和利用传统的数据处理技术已经无法应对新的挑战,来源：IDC数字宇宙研究报告，2011.11,据IDC预测，未来10年全球数据量将以40+%的速度增长，2020年全球数据量将达到35ZB（35,000,000PB），为2009年（0.8ZB）的44倍,大数据成为继云计算等之后的全球性新热点,“大数据”关键

2、词在全球范围内迅速升温 短短两年间，“大数据”关键词的搜索量指数双倍增长,数据来源：百度搜索量统计,麦肯锡全球研究机构发布，认为大数据是创新、竞争和生产力的下一个前沿领域，数据将会给社会带来更大的价值 大数据将在政府公共服务、医疗服务、零售业、制造业、以及涉及个人位置服务等领域得到广泛应用，并产生巨大的社会价值和产业空间预测2020年，大数据应用市场规模将达到近2600 亿美元,大数据市场前景广阔，成为全球新的经济增长点,各国政府高度重视大数据，上升到国家战略高度,美国：奥巴马政府3.29宣布“Big Data Research and Development Initiative”将投入超过

3、2亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论,中国：工信部物联网十二五规划信息处理技术作为4 项关键技术创新工程之一被提出包括海量数据存储、数据挖掘等,国外互联网公司走在大数据应用前沿,Google开放BigQuery服务：将企业數據分析能力商品化，成為收費線上服務；统计机器翻译(statistical machine translation)：利用庞大的已经翻译好的文件输入电脑，然后由电脑通过识别库存的句式来进行翻译，而不是只通过语法规则和词库进行翻译。,Twitter 利用大数据技术，预测猪流感等流行性疾病爆发。研究人员收集超

4、过5000万条基于地缘位置的twitter消息，然后按区域与英国国家卫生服务部的官方禽流感数据进行了比较。通过从数据库中找出与禽流感相关的关键词，Lampos能够创造出一个将未来twitter消息中流感发病情况的关键词转化为某一特定地区流感严重程度的模型,国外运营商利用大数据已有初步应用,按流量种类的固定收费，解除用户流量后顾之忧培养用户使用数据业务习惯，增强用户粘性针对预付费用户群，扩大流量收入面向智能终端用户面向低端、高度同质化竞争市场,西班牙电信：包月流量套餐定制（根据客户访问内容和SLA要求，提供不同费率套餐）,T-Mobile：应用大数据技术，降低客户流失率。在多个IT系统中整合了大

5、数据应用，对客户交易和互动数据进行综合分析，更准确地预测客户流失率。通过将社交媒体数据和CRM和计费系统中的交易数据进行综合分析，T-mobile在一个季度内将客户流失率降低了50%。,国内公司：阿里巴巴要做中国数据分析第一平台,阿里巴巴的企业愿景是要做分享数据的第一平台。,大数据时代“将阿里集团变成一家真正意义上的数据公司”知道“你是谁，你想要什么”阿里巴巴集团所积淀的商业数据，支付宝、淘宝、阿里金融、B2B的数据都会成为这个巨大的数据分享平台的一部分，将会获得深度发掘和应用。,国内运营商：中移动依托大云，试点经分,中国移动：历时多年打造大云平台,集团组织技术验证：基于大云平台，以经分为切入

6、点，利用现有数据，探索大数据技术，已在河北等三省试点应用探索：尝试利用大数据技术识别异常话单产品线：分析型PaaS产品，大数据处理的一个主要产品，包括Hadoop基础平台。基于Hadoop的大数据仓库。并行数据挖掘工具。搜索引擎系统，基于中国移动“大云”平台，推出面向公众的搜索业务”盘古搜索”。,国内运营商：联通试点流量清单查询,中国联通：以“流量清单查询”探索大数据技术,平台：英特尔至强平台及“Hadoop开发版”大数据解决方案。功能：客户服务人员提供客户上网记录的快速查询服务，或为客户本人提供高效的异常大流量上网记录自助查询服务。上线：完成北京、黑龙江、浙江、重庆试点，预计将会在今年10月

7、份正式发布。,建设模式：联通的大数据平台是建立在数据大集中的基础之上，“我们现在在集团公司进行统一部署，各个省分仅仅是做数据的采集，按照业务实时性将数据传送到集团公司，由集团公司统一处理。”,目录,大数据发展趋势概述大数据关键技术分析电信大数据策略建议,大数据涉及的关键技术,需求,技术描述,关键技术,海量数据分布式处理,Hadoop 生态系统,针对大量数据进行分布式处理的系统框架,实时数据处理,Streaming Data,流计算引擎,非结构化数据处理,文本处理技术；自然语言理解；多媒体处理技术,文本内容分词与分析；图像、音视频分析,可视化交互界面,通过交互式可视化界面辅助用户进行分析,交互式

8、可视化探索分析技术,智能数据分析,大规模机器学习技术,计算机模拟人类学习行为，包括特征提取、图形生成等,保护隐私数据与信息个体的对应关系等安全技术,高效存储和管理大规模数据,数据存储备份技术、数据放置和调度技术、数据溯源,存储、放置、调度大规模的数据,数据隐私保护,数据隐私防范保护措施与数据安全技术,大数据采集处理,大数据分析,存储、组织、管理,大数据技术处于快速成熟阶段,Gartner 新兴技术 Hyper 曲线(2012年),达到成熟期尚需时间,Gartner 新兴技术 Hyper 曲线(2011年),仅一年时间，大数据技术就取得快速成长。仍处于上升通道，处于期望膨胀期（Peak of I

9、nflated Expectation）需2-5年才能达到成熟期，成为主要应用技术。,各IT厂家纷纷快速跟进大数据技术,“大数据”对信息处理设施和技术提出了更高的要求 全球主流IT厂家纷纷加大在大数据领域的投入，行业价值快速增长,目录,大数据发展趋势概述大数据关键技术分析电信大数据策略建议,传统数据主要来自于业务运营支撑系统、企业管理系统等，比如财务收入、业务发展量等结构化数据；当前爆炸式增长的新数据主要来源于互联网、移动互联网等，比如图片、文本、音频、视频等非结构化数据。非结构化新数据和结构化传统数据一起构成大数据。,大数据,传统数据,客户资料,订单数据,产品数据,物资数据,财务数据,信令数

10、据,网管数据,实时监控视频,传感器数据,即时通信数据,视频文件,客户账单,价值密度由高到低,网上交易数据,微博数据,上网行为数据,位置数据,图片,音频,网页,日志,结构化数据、非结构化数据定义：结构化数据是能够用数据库二维表来逻辑表达的数据；其他为非结构化数据。,大数据是传统数据的延伸，是对传统数据在深度和广度上的补充,大数据为电信带来新的机遇,对数据的有效利用日益成为中国电信进一步发展的关键发现需求/业务创新：对市场保持足够的敏锐度，及时捕捉市场空白，并迅速作出响应吸引和留住用户：快速满足用户个性化需求，成功吸引用户注意力和增加用户黏性,大数据将成为中国电信发展的核心驱动引擎,电信拥有丰富的

11、数据来源客户资料产品信息行为数据位置数据数据网络数据完善360度客户视图帮助我们回答我是谁？我是一个怎样的人？帮助我们进一步的了解事物之间的内在联系帮助我们了解周围有多少人和自己有相同特征，他们有什么有趣的新发现,大数据对电信的主要核心价值客户深度洞察,信息获取的及时性和价值成正比，而及时性主要由数据处理速度和结果获取速度决定。大数据新的处理及应用技术有效提升信息获取及时性流处理和分布式计算技术有效提升数据处理的速度移动BI等能够将各类图表直观快速的传递给用户，提高决策的有效性可视化技术提供了一种对已有预测进行检验，对未知信息进行探索，实现快速、可检验和易理解的评估的手段,大数据对电信的主要核

12、心价值及时有效决策支持,大数据应用,获取并处理DPI数据，分析用户行为特征等根据用户行为偏好，推送相关业务按照流量价值分级经营,优化产品、套餐等，提供个性化定制能力根据用户等级提供差异化服务,实时采集处理信令据，监控网络状况实现网络、应用和用户的智能指配指导网络规划,将数据封装成服务，提供给企业所有用户提供数据分析开放能力,电信大数据应用的主要场景,大数据在管理、技术和应用上带来的挑战,大数据挑战,大数据如何有效组织和管理？大数据时代如何保护数据安全？保护用户隐私？大数据如何保障其数据质量？,如何从海量数据中发掘数据价值？现有数据应用模式已经难以适应大数据持续优化的需求,大数据技术架构挑战,大

13、数据应用挑战,大数据管理挑战,大数据对存储、网络等提出了更高要求；多源异构大规模数据的采集、整合面临挑战；,中国电信大数据应对策略与建议,加强技术储备，有序开展大数据关键技术研究与验证非结构化数据处理、交互式可视化分析、流计算找准切入点，尽快推动大数据技术应用试验，为大规模应用、推广奠定基础智能管道：流量经营、定向广告服务、实时位置营销.综合平台：数据服务、数据能力开放加强人才培养，持续优化组织架构，适应大数据运营要求着力培养“业务+数据+技术”专业化人才队伍建立大数据集约化联合运营团队，构建“管理+生产+研发”一体化运作体系,集团统筹大数据技术及应用研究，加大技术储备和人才队伍建设，迎接大数据时代的到来。,应对措施,总体思路,拥有庞大、高质量数据，能够从移动互联网、互联网等接入端获取到大量用户行为数据；电信的IDC、光网城市，为大数据应用的存储、计算和传输提供了良好基础；以数据为驱动的营销支撑体系基本形成，为大数据价值转换和显现提供良好基础；,现有基础,请各位领导与专家指正！,