大数据技术介绍与应用介绍PPT.pptx

大数据技术介绍与应用介绍PPT.pptx

《大数据技术介绍与应用介绍PPT.pptx》由会员分享，可在线阅读，更多相关《大数据技术介绍与应用介绍PPT.pptx（60页珍藏版）》请在冰点文库上搜索。

,大数据技术介绍与应用介绍PPT,目录Contents,第一章国家大数据战略第二章什么是大数据第三章大数据如何产生第四章大数据带来的思维变革第五章大数据可以做什么第六章中国：

“数据大国”走向“数据强国”,国家大数据战略,郎丰利,国家大数据战略核心内容,加快建设数字中国加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国，更好服务我国经济社会发展和人民生活改善。

助力产业转型升级把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新。

全面推进重点领域大数据高效采集、有效整合，深化政府数据和社会数据关联分析、融合利用，提高宏观调控、市场监管、社会治理和公共服务精准性和有效性。

依托政府数据统一共享交换平台，加快推进跨部门数据资源共享共用。

加快建设国家政府数据统一开放平台，推动政府信息系统和公共数据互联开放共享。

制定政府数据共享开放目录，依法推进数据资源向社会开放。

统筹布局建设国家大数据平台、数据中心等基础设施。

研究制定数据开放、保护等法律法规，制定政府信息资源管理办法。

深化大数据在各行业的创新应用，探索与传统产业协同发展新业态新模式，加快完善大数据产业链。

加快海量数据采集、存储、清洗、分析发掘、可视化、安全与隐私保护等领域关键技术攻关。

促进大数据软硬件产品发展。

完善大数据产业公共服务支撑体系和生态体系，加强标准体系和质量技术基础建设。

4,5,郎丰利,中国大数据正处于高速发展的窗口期，国家政策大力支持,2020,年，中国的数据总量将占全球数据总量比例的,20%，成为世界第一数据资源大国和全球数据中心。

政策,市场,社会,技术,国家级大数据战略陆续发布十八届五中全会提出实施“国家大数据战略”，国务院发布促进大数据发展行动计划、大数据“十三五”规划,大数据市场规模50%高速增长2015年我国大数据市场规模达116亿元，预计未来五年50%高速增长法制法规逐步完善已出台电信和互联网用户个人信息保护规定，但仍存在诸多问题,技术是基石，加大Hadoop、Spark投入大数大据数应据用应仍用处仍于处初于级初技级术技阶术段阶段,2020年，中国大数据市场规模将达1000亿元,注：

数据不包含基础设施部分数据出处：

工信部研究院,郎丰利,6,政府通过大数据实现管理创新，释放经济价值,管理体制创新-碎片化到网格化管理,管理方法创新-数据开放，共享,管理方式创新-数据应用体系,科学决策-决策方式,管理模式创新-动态管理,逐步建立服务政府，提升效率，科学决策的创新管理模式,创新目标供给侧改革新型城镇化简政放权,政府数据体系建设：

自有数据+外部数据,政府数据应用：

内部应用+外部应用,创新举措,1,2,3,大数据时代政府要领跑，需通过广泛采集数据、综合处理数据，实现公共服务的技术创新、管理创新和模式创新，这是大数据时代的必然选择。

管理创新,三步走,郎丰利,7,“七步走”解决政府面临的大数据痛点,1、设立专管机构，完善管理体系,2、整合数据孤岛，统一数据标准,3、构建数据汇聚体系，打通数据整合通道,4、设计数据存储策略，提升数据存储效率,5、打造完整数据治理体系,6、制订开放共享策略，促进数据融合安全发展,7、夯实运营基础，打造大数据综合运营能力,管理机制,安全保障,数据保密,数据分散,信息烟囱,利益割据,技术标准不统一,郎丰利,8,中国大数据未来五年发展趋势,大数据远景,产业规模中国大数据产业规模年均增长率将超过50%大数据产业包括应用市场、基础设施和软件市场,政策制度建立数据标准和税务标准体系政府与企业成立大数据相关部门,数据开放2017年底形成政府跨部门数据资源共享共用格局2018年底前建成国家政府数据统一开放平台，实现公共数据资源合理适度向社会开放,成为重要战略资源大数据将成为企业、社会和国家层面重要的战略资源,与云计算深度融合云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式,数据隐私标准建立出台信息公开与个人隐私相关法规明确数据隐私的标准和条例出台，保障数据安全,什么是大数据,郎丰利,10,大数据的解释,大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据就是“未来的新石油”。

郎丰利,11,本章概要,01,02,什么是大数据,大数据的五个特点,1.什么是大数据,12,它什么都知道会员卡号是：

342623我想要一个海鲜披萨。

*披萨店为您服务。

您的会员卡号是？

海鲜披萨不适合您。

根据您的医疗记录，你的血压和胆固醇都偏高。

您可以试试我们的低脂健康比萨。

为什么？

那你们有什么推荐？

您上星期一在国家图书馆借了一本低脂健康食谱。

你怎么知道我会喜欢吃这种的？

好。

那要一个家庭特大号，多少钱？

99元，它足够您一家六口吃。

但您母亲应该少吃。

郎丰利你们直接把比萨送我家吧，你们多久会送到？

大约30分钟。

如果您不想等，可以自己骑车来。

根据我们CRM全球定位系统的车辆行驶自动跟踪系统记录，您登记有一辆车号为SV-568的摩托车，而您目前正在铁山路右侧骑着这辆摩托车,她上月刚做了心脏手术，还在恢复期。

郎丰利,13,1.什么是大数据,大数据挖掘和整合一切有用的信息，为人类社会提供更好的服务。

21世纪前10年社交媒体的产生，数据开始呈现爆炸式的增长，大数据的提法开始进入大众的视野并获得了越来越多的关注。

郎丰利,14,2.大数据的五个特点,类型多,75%,网络日志、音频、视频、图片、地理位置信息社交媒体中产生的数据,25%,“1、2、3、4”等传统数字以及符号,非结构化数据,结构化数据,15,郎丰利,2.大数据的五个特点,容量大,5000,根据IDC（国际数据公司）的监测统计，2011年全球数据总量已经达到1.8ZB，而这个数值还在以每两年翻一番的速度增长，预计到2020年全球将总共拥有35ZB的数据量，增长近20倍，相当于我们地球上所有海滩沙粒总数的57倍。

（摘自涂子沛数据之巅大数据）,截至2010年，人类拥有的信息总量大概是1.2Z,美国的国会图书馆存储数据量最大的图书馆之一。

2011年4月，拥有235TB的数据,1024一首歌4M,1024一部电影1G,1024一图书馆藏书1T,1024谷歌每小时处理1P,13亿中国人人手1本500页书的信息量总,吉（G）,兆（M）,太（T）,拍（P）,艾（E）,和=1E泽（Z）,百度每天处理数据量约为5000个美国图书馆总和,16,郎丰利,2.大数据的五个特点,数据产生得快,一台大型粒子对撞机里共有1.5亿个传感器每秒钟发生粒子对撞6亿次,仅仅使用十万分之一一年积累25PB的数据1TB的硬盘25000个,剔除99.999%,数据处理速度快,共计1PB，速度1G/s，还剩144小时大数据通过云计算，以上数据储存仅需20分钟,已完成50%,存取速度快,17,郎丰利,2.大数据的五个特点,应用价值大,大数据之“大”，其实并不在于其表面的“大容量”，而在于其潜在的“大价值”。

如果不能把拥有的数据转化为价值，那么拥有再多的数据也是毫无意义的。

个人位置大数据服务,8000亿美元的市场规模,麦肯锡研究院对美国的测算,零售业大数据,帮助企业增加60%的利润,制造业大数据,降低50%的产品开发制造装配成本,18,郎丰利,2.大数据的五个特点,具备大智能,更加智能的社会,传感器、可穿戴式设备等微小的计算设备将进一步普及“万物皆互联、无处不计算”,实时收集数据确保安全行驶,谷歌无人驾驶汽车,大数据的产生,睿利而郎行丰利,20,1保存数据的能力在增强2生产数据的能力在增强3处理数据的能力在增强,大数据的背后推手,睿利而郎行丰利,21,1.随着存储器硬件能力的提升，人类保存数据的能力在增强,摩尔定律英特尔的创始人之一戈登摩尔半个世纪来，硬件技术的发展基本符合摩尔定律：

同一面积芯片上可容纳的晶体管数量，约每隔1824个月便增加一倍。

今天，一根头发尖大小的地方，就能放上万个晶体管。

睿利而郎行丰利,22,1.随着存储器硬件能力的提升，人类保存数据的能力在增强,1955世界上第一款硬盘年IBM商用硬盘存储器一兆字节的存储量需要6000多美元,2010一兆字节年的存储量仅需要0.005美分,20201T硬盘=一年杯咖啡的钱=一个图书馆的全部信息,2.随着物联网技术与互联网经济的发展，人类生产数据的能力睿在利而增郎行丰强利,23,传感器感知和运输不断生产的数据移动设备收集了大量的用户数据,2.随着物联网技术与互联网经济的发展，人类生产数据的能力睿在利而郎增行丰强利,24,社交媒体及互联网经济的发展移动设备收集了大量的用户数据,记录各自的活动和行为,留下支付行为、空间位置、兴趣爱好、信用历史等,每个网民都是数据的生产者,睿利而郎行丰利,25,3.随着云计算的诞生与发展，人类处理数据的能力在增强,爱迪生发明电灯泡,自己用电,信息时代的“云计算”,发电机和电线,持续供电,个人和企业独立发电,私人电厂遍地开,中央电厂公共电网,付费用电,睿利而郎行丰利,26,3.随着云计算的诞生与发展，人类处理数据的能力在增强,云计算一般由数量惊人的计算机群构成，谷歌云计算拥有的服务器超过100万台；云计算系统是一个极其庞大的资源池子，用户可以随时、随地、按需灵活地购买，就像购买煤气和自来水一样便利；云计算让普通人体验每秒10万亿次的运算能力。

而如此强大的计算能力，可以模拟核爆炸、预测气候变化和市场发展趋势。

大数据带来的思维变革,郎丰利,28,大数据带来的思维变革,郎丰利,29,大数据带来的思维变革（更多）,郎丰利,30,大数据带来的思维变革（更多）,郎丰利,31,大数据带来的思维变革（更多）,郎丰利,32,大数据带来的思维变革（更多）,郎丰利,33,大数据带来的思维变革（更杂）,IBM的机器翻译VSGoogle的机器翻译；,大数据时代要求我们重新审视数据精确性的优略；大数据不仅让我们不再期待精确性，也让我们无法实现精确性；错误不是大数据固有的问题，而是一个需要我们去解决的问题，而且会将长期存在；,郎丰利,34,大数据带来的思维变革（更好）,果循环报应规律。

佛教三世因果经主要讲：

一是人的命原因和结果是揭示客观世界中普遍联系是自己造就的；二是怎样为自己造一个好着的事物具有先后相继、彼此制约的一,命；三是行善积德与行凶作恶干坏事的因对范畴。

原因是指引起一定现象的现象,，结果是指由于原因的作用而引起的现象。

大数据的相关关系，而不强调因果关系；（舍恩伯格），其实这个只是一种对无法探究因果的妥协，人类应该去探寻因果，因为世界存在客观的运转规律；,大数据可以做什么,睿利而行,36,郎丰利,1,3,4,大数据让政府治理更精准透明,大数据让公共服务更智慧,大数据让商业创新更迅猛,2大数据让经济治理更有效,大数据可以做什么,睿利而郎行丰利,37,1.大数据让政府治理更精准透明,睿利而郎行丰利,38,1.大数据让政府治理更精准透明,百度地图,用户去目的地前，用百度地图搜索地点和规划路线1,3,提前12小时对即将到来的风险进行预警,2,百度地图通过分析大量数据，预测相关地点的人流量,避免如上海外滩踩踏事件一类悲剧再度发生,39,睿利而郎行丰利,1.大数据让政府治理更精准透明,设计人员编入流感关键词，如温度计、流感症状、肌肉疼痛、胸闷等,只要用户输入这些关键词，系统就会展开跟踪分析，创建地区流感图表和流感地图,预测出世界上不同国家和地区的流感传播情况,2009年，甲型H1N1流感暴发的几周前，“谷歌流感趋势”成功预测了流感在美国境内的传播，其分析结果甚至具体到特定的地区和州，并非常及时，令公共卫生官员备感震惊。

而传统上，美国疾病控制中心要在流感暴发一两周之后才可以做到这些。

谷歌流感趋势谷歌工程师认为，搜索流感信息的人数与实际患病人数之间存在密切关联。

谷歌一周疫情报告,睿利而郎行丰利,40,1.大数据让政府治理更精准透明,大数据“第三只眼”使政府治理更加透明化，打造阳光政府反腐倡廉反应各地区的腐败轻重程度、廉洁指数、市民抱怨度、市民对政府的满意度等网民搜索反腐关键词,睿利而郎行丰利,41,2.大数据让经济治理更有效,经济治理领域是大数据创新应用的沃土大数据是提高经济治理质量的有效手段,42,睿利而郎行丰利,2.大数据让经济治理更有效,支付宝“芝麻信用”“芝麻信用分”，授权开通后，每个支付宝用户都可以看到自己的芝麻信用分。

分数越高代表信用程度越好，违约可能性越低。

天猫,淘宝,水费电费,工商,学历,公安,内部数据,外部数据,淘宝电影,支付宝网购相关行为数据,政府已经开放,的外部数据,学籍,芝麻信用分高租车、住酒店无押金芝麻信用分低,签证无需财产证明,找不到工作,租不到房子,贷不到款,睿利而行,43,郎丰利,2.大数据让经济治理更有效,321,4,2012年7月，通用电器公司投资1.7亿美元在纽约州斯克内克塔迪市开设了一家电池工厂。

睿利而郎行丰利,44,3.大数据让公共服务更智慧,睿利而郎行丰利,45,3.大数据让公共服务更智慧,高德导航,高德公司基于位置服务大数据的能力，与乌镇、古北水镇两家旅游公司合作，上线了全国首个“智慧景区”服务，解决游客在景区容易遇到的迷路、拥堵、排队等问题。

地图渲染,分类筛选,导游语音,智慧景区,睿利而行,46,郎丰利,3.大数据让公共服务更智慧,基于大数据技术，有朝一日，机器的诊疗准确率甚至可能超过人类历史上最有名的名医。

睿利而郎行丰利,47,4.大数据让商业创新更迅猛,商业领域变革未来，无论是在中国，还是在世界其他国家，数据密集型产业将成为发展最快的产业。

拥有数据最多的公司将迅速崛起为这个时代的领军公司。

睿利而行,48,郎丰利,4.大数据让商业创新更迅猛,北美最大的付费订阅视频网站Netflix,2012年，Netflix准备推出自制剧。

不过在决定拍什么、怎么拍上，Netflix推出了自己的秘密武器大数据。

收集,预测,拍摄,中国：

从“数据大国”走向“数据强国”,睿利而行,50,郎丰利,1,2,3,4,“数据驱动”已成为全球大趋势,中国成为数据强国依然面临严峻的挑战,面对机遇与挑战，中国的大思路、大举措,中国具备成为数据强国的优势条件,本章概要,51,1.“数据驱动”已成为全球大趋势,睿利而郎行丰利“大数据研发计划”,2亿美元启动资金，开放多门类政府数据确保商业创新开设课程，为大数据时代储备“数据科学家”,美国,数据价值链战略计划预计到2020年大数据技术将为欧盟创造GDP9570亿欧元，增加就业人数380万,欧盟,“面向2020年的ICT综合战略”创建最尖端IT国家宣言,日本,联合国,“全球脉动”项目：

用大数据对互联网世界进行“情绪分析”提前指导援助项目,大数据时代的到来，让“数据驱动”成为新的全球大趋势。

世界各国纷纷利用大数据提升国家治理能力，“得数据者得天下”已经成为全球的普遍共识。

52,睿利而郎行丰利,2.中国具备成为数据强国的优势条件,未来，国家竞争的焦点将从资本、土地、人口、资源转向数据空间，全球竞争版图将分为数据强国与数据弱国两大阵营。

值得振奋的是，中国具备成为数据强国的优势条件。

中国的优势条件,A,13.68亿（2014年）,中国移动互联网用户,中国人口,中国互联网用户,IDC预计到2020年中国的数据总,量将达到8.4ZB，占全球数据量,的24%，中国将成为世界上第一,数据大国和“世界数据中心”。

北京公交一卡通日均刷卡,6.49亿9.5亿4000万次,数据分别来自国家统计局2014，中国互联网中心（CNNIC）第35次中国互联网络发展状况统计报告，工信部2015年10月份通信业经济运行情况等。

睿利而行,53,郎丰利,搜索,金融,医疗,百科,教育,电信,电商广告12大数据正在得到越来越深入的应用,3,4,7,56城市化创新创业910,8,2.中国具备成为数据强国的优势条件,中国的优势条件,B,未来，国家竞争的焦点将从资本、土地、人口、资源转向数据空间，全球竞争版图将分为数据强国与数据弱国两大阵营。

值得振奋的是，中国具备成为数据强国的优势条件。

54,睿利而郎行丰利,2.中国具备成为数据强国的优势条件,中国的优势条件,C,在网络基础设施方面，截至2015年6月底，中国固定宽带接入用户超过2亿，8M以上带宽占比超过了53%，全国经营性互联网数据中心超过了1000个;2014年互联网趋势报告:

全球10大网站中有四家来自中国;,在数据处理分析、语音识别、视频识别、商业智能软件、数据中心建设和维护、IT咨询等领域都已有代表性企业形成获取、存储、处理、应用的大数据产业链。

未来，国家竞争的焦点将从资本、土地、人口、资源转向数据空间，全球竞争版图将分为数据强国与数据弱国两大阵营。

值得振奋的是，中国具备成为数据强国的优势条件。

3.中国成为数据强国依然面临严峻的挑战,55,政府数据开放共享不够，潜在价值大量淹没,海量的数据分散在各个部门、各个层级，彼此分割，形成一个个“信息孤岛”，且对社会、公众开放严重不够。

AB,个人隐私法律缺位，信息滥用引发焦虑,缺少个人隐私和商业机密的专门法律法规和政策制度，对公民隐私权和知情权范围有待厘清。

C,数据控制力尚未引起足够重视，数据话语权堪忧,发展形态较为单一，核心的数据“基础设施”大量依赖进口,数据主权极易受到侵蚀。

睿利而郎行丰利D,人才培育机制薄弱，数据分析型、复合型人才短缺,人才缺口已经超过100万人。

目前我国每年培养的大数据深度学习方面的博士生大概只有50人左右。

睿利而郎行丰利,56,4.面对机遇与挑战，中国的大思路、大举措,2014年3月，“大数据”首次写进了政府工作报告，大数据正式作为一种新兴产业，得到了国家层面的大力支持。

2004年3月5日,2015年7月1日,2015年8月31日,2015年10月29日,2015年7月1日，国务院办公厅印发关于运用大数据加强对市场主体服务和监管的若干意见。

2015年08月31日，国务院印发,2015年10月29日，党的十八届五中全会通过的“十三五”规划建议提出，要“实施国家大数据战略，推进数据资源开放共享。

”这是大数,据第一次写入党的全会决议，标志,关于促进大数据发展的行动纲要。

着大数据战略正式上升为国家战略。

大数据是一场关乎中国前途未来，涉及格局深刻调整的革命。

幸运的是，这场革命才刚刚开始，面对机遇与挑战，中国已经有了大思路、大举措。

A,睿利而郎行丰利,57,4.面对机遇与挑战，中国的大思路、大举措,01,推动政府数据开放共享，建成国家政府数据统一开放平台；推动社会数据共享，形成全社会开发利用数据的氛围；各类数据互联互通起来，释放出数据红利。

确立了大数据发展的核心理念和管理机制数据的共享和开放。

大数据是一场关乎中国前途未来，涉及格局深刻调整的革命。

幸运的是，这场革命才刚刚开始，面对机遇与挑战，中国已经有了大思路、大举措。

B,58,睿利而郎行丰利,B,4.面对机遇与挑战，中国的大思路、大举措,02,发展大数据与传统产业协同发展的大数据应用发展大数据产品和解决方案建立大数据基础研究和安全可信的大数据技术体系,培育高端智能、新兴繁荣的大数据产业发展新生态。

大数据是一场关乎中国前途未来，涉及格局深刻调整的革命。

幸运的是，这场革命才刚刚开始，面对机遇与挑战，中国已经有了大思路、大举措。

睿利而郎行丰利,59,4.面对机遇与挑战，中国的大思路、大举措,03,围绕工程的推进，将建设起政府数据统一共享交换平台、国家政府数据统一开放平台、国家大数据平台、数据中心等一系列国家和地方大数据平台，并在经济社会各个领域推进大数据应用示范和试点，兴起大数据建设的热潮。

规划了十大重点工程和一系列国家和区域大数据平台建设任务。

大数据是一场关乎中国前途未来，涉及格局深刻调整的革命。

幸运的是，这场革命才刚刚开始，面对机遇与挑战，中国已经有了大思路、大举措。

B,谢谢你的观看,