关于大数据分析的月总结.docx
《关于大数据分析的月总结.docx》由会员分享，可在线阅读，更多相关《关于大数据分析的月总结.docx（16页珍藏版）》请在冰点文库上搜索。
关于大数据分析的月总结
关于大数据分析的月总结
关于大数据分析领域的综述报告
1现状分析
1.1背景介绍
理解大数据分析这个专业领域，有必要先了解大数据相比于传统数据形式所具有的不同特征，主要包括以下四点（4V特性）：
1数据量大。
根据互联网数据中心（IDC）的报告显示，目前的数据容量为1.8万亿GB，2020年全球数据总量将超40ZB。
数据来源包括以微博为代表的Web数据，Facebook、QQ为代表的社交网络数据，阿里巴巴为代表的电子商务数据，由各类传感器、摄像头采集到的物联网数据，以及来自医疗、制造、金融等传统行业信息化后产生的数据。
2数据流动性大，增长迅速，时效性高。
最具代表性的就是Web数据和社交网络数据，Facebook每天生成的日志数据达到300TB以上。
3数据类型多样化，包括结构化、半结构化、非结构化的数据，根据IDC的报告显示，1.8万亿GB的数据中，非结构化数据占到80~90%之间。
4数据价值高密度低。
在海量数据中，包含有用信息的数据比例较低。
而当我们借助传感器、数据采集设备获得海量数据后，再通过挖掘形成知识，人们还想知道这些数据代表了什么，面对这些数据我们应该采取的应对策略。
因此，形成了大数据分析的概念，即：
对海量数据进行分析，从中找出可以帮助决策的隐藏模式、未知的相关关系以及其他有用信息的过程。
大数据代表了信息科技和商业世界的联合，将大数据分析嵌入产品生产和服务的过程已经成为一种趋势。
大数据产业在中国的发展主要分为四个过程，如图1所示：
图1大数据产业在中国的发展过程
目前，我国大数据产业处于高速发展期，多种商业模式得到市场印证，新产品和服务不断推出，细分市场走向差异化竞争。
大数据分析带来的直接经济效益也是很可观的。
来自麦肯锡2012年大数据报告中的一组数据显示，大数据产业为美国医疗系统带来每年3000亿美元的收益;为欧洲公共管理部门带来2500亿欧元的收益;为零售业增加60%的净利润;为制造业减少50%的产品研发等成本。
2015年超过85%的财富500强企业将在大数据竞争中失去优势。
据IDC预测，大数据技术与服务市场将从2010年的32亿美元攀升到2015年的169亿美元，实现40%的年增长率（是IT与通信产业增长率的7倍）。
大数据应用在全球七大重点领域（教育、交通、消费、电力、资源、大健康及金融）都存在巨大的潜在价值。
图2为中国的2011-2016年大数据产业的营收规模，如图所示，大数据产业规模以25%以上的年增长率在快速发展着，预计2016-2018年中国大数据市场规模还将维持40%左右的高速增长。
图22011-2016年中国的大数据产业营收规模
1.2技术介绍及新挑战
1.2.1技术概述及进展
从大数据的处理过程来看，分为以下几个步骤：
大数据采集、大数据预处理、大数据存储及管理、大数据分析、大数据展现和应用，分布式技术以及非传统关系型的NoSQL数据库技术的发展，能够应对海量数据的存储管理及预处理，这也为后续的数据分析提供了技术支撑。
大数据展现和应用则需要借助可视化技术，将数据挖掘结果以一种直观，可理解的方式呈现，并结合应用领域的专业知识，将数据认知，转化为可帮助决策的有用信息。
对于本文论述的大数据分析技术，其核心是数据挖掘，数据挖掘是在大型数据存储库中，自动地发现有用信息的过程，发现先前未知的有用模式，还可以预测未来的观测结果，主要表现为对现有数据进行基于各种算法的计算。
不同于传统的数据分析技术，数据挖掘算法必须要满足可伸缩性，并具备对高维属性的、大量异种或复杂的数据进行处理的能力，另外，当数据分布于多个机构的资源中，还需要相应地开发分布式的数据挖掘算法。
为此，数据挖掘技术吸收了统计学、人工智能、模式识别和机器学习等领域的思想，图3展示了数据挖掘与其他学科之间的关系：
图3数据挖掘汇集的学科知识
数据挖掘的任务主要有四类：
1.分类和预测，分类是预测分类标号，对已知的训练数据集表现出来的特性，构造相应地分类器，应用比较广泛的分类算法有决策树、贝叶斯分类器、人工神经网络和支持向量机，而预测则是建立连续值函数模型。
2.关联分析，其目标是发现数据中强关联特征的模式，著名的关联分析方法有AgrawalR提出的挖掘布尔关联规则频繁项集的Apriori算法，此外还有HanJ等提出的解决Apriori算法缺陷的不产生候选挖掘频繁项集的频繁模式树算法等；3.聚类分析，旨在发现紧密相关的观测值组群，主流的算法有K均值、凝聚层次聚类和DBSCAN，能适用于大数据、处理不同类型数据、发现任意形状的簇、处理高维数据、具有处理噪声的能力和聚类结果可解释、易使用是聚类分析的目标；4.异常检测，任务是识别其特征显著不同于其他数据的观测值。
近年来，大数据领域的数据挖掘方面的研究进展主要包括可扩展性、并行性、分布式算法等方面，在大规模数据下，如何保证现有数据挖掘算法的时间和空间复杂度的应用成为研究热点。
Canny和Zhao通过全新的算法设计方案提出了BID大数据处理框架；MichaelIJordan等提出“bagoflittlebootstraps”方法解决传统分布式计算和并行计算中存在的问题；KarthikRaman等将大数据上的复杂分析任务分解为一系列的简单任务；此外，社交网络分析和信息网络分析方面，Yang等提出时间序列聚类方法，从Twitter数据中挖掘热门话题发展趋势的规律。
1.2.2技术难点
当前，在大数据分析领域面临的问题主要有以下几点：
1.大数据建模问题。
大数据分析处理的是海量数据，过去单个或少数几个模型组合已经不能适应大数据分析的需要，通过构建由众多模型构成的模型库是解决海量数据分析的有效办法。
另一方面，随着其他社会因素的变化及其综合影响，大数据环境下人们行为习惯会发生彻底的改变，或者涌现出一些全新的行为特征，因此需要对这些数据进行有效地监测和分析，找出新的共性特征和个性化差异，构建与这些新的数据分析任务相适应的分析模型。
2.专业大数据分析工具功能受限于复杂数据结构和数据量。
在计算机辅助信息分析的背景下，我们熟知的软件工具有SPSS、SAS和R等，但在信息分析日益专业化和复杂化的今天，这些工具已经不能直接处理人类活动所产生的海量非结构化数据，而随着金融交易大数据、电子商务评论数据、电信服务大数据、医疗健康大数据和科学研究大数据等的长期积累和快速增长，使得目前还没有成熟的数据分析工具能够很好地应对当前人类对大数据分析的需求。
3.59%的数据是无效数据，70-85%数据过于复杂，85%企业数据架构无法适应数据量和复杂性增长的需求。
4.数据实时处理的要求提高。
传统的数据处理都是采取批处理形式，这产生了一定的滞后性。
目前没有一个通用的大数据实时处理框架，且各种工具采用的方法不一，支持的应用类型都相对有限，这导致实际应用中往往需要根据自己的业务需求和应用场景对现有的这些技术和工具进行改造才能满足要求。
1.2.3行业挑战
但是我们也应该清醒地认识到，我国大数据产业也是刚刚起步，从技术上、观念上、法律上等多个层面都需要变革，才能跟上大数据的发展需要。
在技术上，要将打造自主可控的技术解决方案作为首要目标。
对于企业用户，面临着如何规划技术路线、如何选择商用产品、如何构建和运维大数据平台等问题；对于供应商，面临着紧跟技术趋势、精准对接用户需求的压力。
要贯彻供给侧结构性改革的思路，加强供需精准对接，把国内优势技术力量凝聚起来形成合力，突破关键技术，推出满足关键行业重大需求的大数据技术产品体系，以产业实践为基础，形成接地气的大数据标准体系。
随着数据挖掘新的应用出现，数据挖掘面临新的挑战。
例如，近年来人们对数据挖掘破坏隐私问题的关注逐步上升，在电子商务和卫生保健领域的应用尤其如此。
因此，人们对于开发保护用户隐私的数据挖掘算法的兴趣逐步上升。
为挖掘加密数据或随机数据而开发的技术称作保护隐私的数据挖掘，相关文献在ACM知识发现与数据挖掘国际会议和IEEE数据挖掘国际会议（ICDM）都有发表。
在观念上，要打造跨部门、跨行业分享数据、创造价值的新形式。
要在全社会普及数据驱动的决策文化，普及开放共享的发展理念，推动大数据思维理念生根发芽。
在制度上，尽快建立适应大数据发展形势的政策法律法规制度体系。
目前，我国数据采集、开放、交易等方面的法律法规仍不健全，在企业开放数据和数据的商业化流通中，普遍面临着隐私保护、数据安全、数据清洗等方面的问题，一定程度上制约了基于数据的业务发展。
在法律和监管体系逐步完善的过程中，要依托行业组织推进数据流通行业自律，引导大数据流通应用规范发展。
下一步要做的是必须明确大数据资源的权属问题，有效保护数据资产价值；同时还要建立对数据安全保护不利和泄露隐私的惩处机制，有效推动产业联盟、各级协会的行业自律作用。
为了推进大数据产业发展中数据安全保护的标准化与规范化，需要全行业参与，制定并签约相应的公约。
另外，大数据产品和服务采购进入爆发期，国务院出台的《促进大数据发展行动纲要》指出，缺乏顶层设计和统筹规划是我国大数据发展和应用存在的待解难题之一。
1.3应用领域
图4展示的是大数据在全球七大重点领域的潜在应用价值，预计在32200-53900亿美元之间，其中占据前三的分别是教育、交通、消费行业。
图4大数据在全球七大重点领域的潜在应用价值
我国大数据的行业应用正在逐步深化，展现出广阔前景。
我国互联网、电信、金融和医疗等企业已经将发展的重点转向数据资源挖掘和应用。
大型互联网企业已将大数据应用于网络社交、电商、广告、搜索等业务中，探索出新的商业模式盈利增长点。
电信、金融等行业基于大数据推出了风险防控、信用评价等应用，保障企业的正常运营，全社会形成了大数据应用发展的良好氛围。
图5为中国大数据市场行业契合度及应用可能分析，图6为市场集中度与成熟度分析，
图5中国大数据市场行业契合度及应用可能分析
图6中国大数据市场集中度与成熟度分析
大数据在消费领域的应用主要集中在用户、市场、产品、供应链、运营五个方面，如图7所示，
图7大数据在消费领域的应用
大数据在金融领域的应用主要包括支付结算（第三方支付）、网络融资（P2P网贷、众筹融资、电商小贷）、平台金融（平台金融、供应链金融、金融系电商）、渠道创新（传统电子渠道、金融超市、搜索与金融门户、直销银行）、产品创新（余额理财、无抵押贷款）、虚拟货币，图8展示了中国金融行业大数据应用投资结构，
图8应用投资结构
下图展示了大数据产业市场主体，三者之间的角色也在互相渗透，都推出了自己的大数据分析平台。
大数据在工业领域的应用主要包括加速产品创新，产品故障诊断与预测，工业物联网生产线的大数据应用，工业供应链的分析与优化，产品销售预测与需求管理，生产计划与排程，产品质量管理与分析，工业污染与环保监测。
大数据在医疗领域的应用主要的应用场景包括，临床操作，付款/定价，研发，新的商业模式（汇总患者的临床记录和医疗保险数据，以及网络平台和社区），公众健康（公众健康监控）。
1.4行业龙头介绍
国外厂商中提供大数据分析平台的主要是IBM、Intel和Oracle等。
IBM于2014年9月发布的WatsonAnalytics，实现了基于自然语言的认知服务，可提供自助式分析功能，包括数据访问、数据清洗、数据仓库，帮助企业用户获取和准备数据，并基于此进行数据分析、实现结果可视化。
IBMWatsonAnalytics适合于企业营销、销售、运营、金融和人力资源等数据密集型部门，并在以下三方面进行创新：
1.单一商业分析体验；2.引导式预测分析；3.自然语言对话。
IntelHadoop数据平台，相对于开源Hadoop，主要在扩展性、可靠性、均衡性方面做了提高，并专门针对Hadoop对硬件进行了优化，其产品在中国的智慧城市、智能交通、医疗、智能制造等领域有广泛应用。
2014年，Intel公司与大数据实时分析领军企业思爱普（SAP）合作，进一步提升IntelHadoop的海量数据分析效率，加速获取实时的业务洞察。
国内提供大数据分析平台的企业主要有腾讯、阿里、浪潮、象形科技（ETHINK）、曙光、国双等。
大数据产业市场主体分布如下，
图9大数据产业市场主体分布
腾讯在社交、电商、游戏等领域积累了海量数据，其数据分析已经能够做到全部的实时处理。
腾讯大数据平台有如下核心模块：
TDW、TRC、TDBank、TPR和Gaia。
简单来说，TDW用来做批量的离线计算，TRC负责做流式的实时计算，TPR负责精准推荐，TDBank则作为统一的数据采集入口，而底层的Gaia则负责整个集群的资源调度和管理。
其大数据平台结构如图9， 基于以上几大基础平台的组合联动，可以打造出了很多的数据产品及服务，如精准推荐、实时多维分析、秒级监控、腾讯分析、信鸽等等。
图10腾讯大数据平台结构
阿里云计算发布了大数据工具“采云间”，这个工具是基于阿里云ODPS的简易工具解决方案。
利用彩云间，中小型公司可能不用再购买上百万元的商业智能软件（BI），大大降低大数据分析的门槛。
简单来说，采云间是一个Web端的在线工具，简称DPC（DataProcessCenter），内部集成了阿里数据开发者套件和商业智能套件。
目前免费公测版本功能，包括数据工厂、任务管理和数据同步：
数据工厂主要提供ODPSIDE工具和SQL代码管理功能；任务管理可以实现任务调度和执行监控；数据同步支持本地数据上传和云数据同步到ODPS，实现云端数据的无缝流通。
彩云间支持可视化分析，用户可以像搭积木一样，制作数据报表和数据产品页面。
浪潮的大数据分析平台系统采用端到端的解决方案，不止是用户行为分析数据，而是从自动化配置管理系统，到网管系统，到用户行为分析系统，所有数据一览无余。
和浪潮机顶盒、各业务系统无缝对接，管理方便不占用额外资源，数据收集流畅、快速，无需在浪潮机顶盒安装第三方软件，不影响机顶盒整体性能，分析、推荐实时性高。
TRS技术（拓尔思）凭借在非结构化数据管理方面和海量信息处理方面的优势及多年积累的实践经验，以平台+行业解决方案+服务的综合产品线，把海量非结构化信息处理技术和Hadoop架构进行有效结合集成，并结合企业在大数据采集、管理、分析挖掘、可视化方面的具体需求，开发出了针对企业数据、机器数据、社会化数据相关的产品及服务。
TRS大数据产品架构中的机器数据挖掘引擎能够面向物联网、电子商务、医疗、电信、金融等领域，并满足大数据环境下的机器数据存储、管理、检索、分析、可视化等应用技术，推出的日志挖掘和用户行为分析系统。
2.政策及标准
2.1政策利好
美国总统奥巴马的成功竞选及连任的背后都有大数据挖掘的支撑，美国政府认为，大数据是“未来的新石油”，并将对大数据的研究上升为国家意志，这对未来的科技与经济发展必将带来深远影响。
2014年5月，美国白宫发布了2014年全球“大数据”白皮书的研究报告《大数据:
抓住机遇、守护价值》，鼓励使用数据以推动社会进步。
国外政府关于大数据行业的规划如下图所示，
图11各国的大数据战略
国内，2013年11月19日，国家统计局与阿里巴巴、XX等11家企业签署大数据战略合作框架协议。
2014年3月，“大数据”首次出现在全国两会的《政府工作报告》中。
大数据已成为国家战略布局的重要组成部分，给各行各业带来根本性变革。
2015年9月国务院出台的《促进大数据发展的行动纲要》中指出，要求到“十三五”结束，大数据产品和服务要达到国际先进水平。
图122015年关于大数据产业的重要事件
今年两会通过的《国民经济和社会发展第十三个五年规划纲要》提出，要实施国家大数据战略，加快建设数据强国，自此大数据上升为国家战略。
大数据被视为提升政府治理能力，推动产业转型升级的重要抓手。
由工业和信息化部指导、中国信息通信研究院主办的“2016大数据产业峰会”上，工信部正在起草《大数据产业发展“十三五”规划》，目前正在各个方面征求意见，计划在今年下半年发布。
大数据产业在国家政策的加持下正在加速发展。
《大数据产业“十三五”发展规划》将于今年下半年发布。
据介绍，工信部正在从四大工作思路入手，推进大数据产业发展：
一是支持关键技术产品的研发和产业化；二是推动行业大数据应用的不断深化；三是繁荣大数据的产业生态；四是完善大数据的支撑体系，支持数据交易流通平台的探索，培育大数据开源社区项目，加快大数据标准体系建设，建立大数据统计及评估体系，完善大数据。
2.2标准及新规范
为了促进我国大数据分析平台规范化统一化发展，数据中心联盟深入挖掘政府、金融、医疗、能源等行业用户需求，提炼产品评价准则，形成了数据中心联盟《大数据平台基础能力测试规范》和《大数据平台性能测试规范》，推出了大数产品基础能力认证项目。
认证覆盖了大数据平台产品的功能、运维、可用性、安全、兼容性、扩展性和多租户等7个维度，共38个指标，今年4月20日有6家公司的6款大数据平台产品参加并通过了第一批的测试。
第二批大数据产品能力认证工作的报名工作也从5月20日开始。
中国互联网协会互联网法治工作委员会联合数据中心联盟、中国信息通信研究院互联网法律研究中心于3月份召开“数据权属和数据交易规则”研讨会，从法律、经济、技术、产业等多个角度，特邀知名学者、专家、企业代表，共同就相关话题进行深入沟通探讨。
研讨议题：
1、数据的权属界定
2、数据交易的基本原则
3、数据安全流通公约的内容讨论
4月27日至28日，由工业和信息化部指导、中国信息通信研究院主办的“2016大数据产业峰会”在北京国际会议中心盛大召开。
会上，中国信息通信研究院政策与经济研究所鲁春丛所长代表公约发起单位发布了《我国数据流通市场调查报告》和《数据流通行业自律公约》，这份报告和公约主要是针对现有的大数据行业中出现的数据权属问题不清晰，企业并不持有数据的全部权限，数据流通仍然面临流向难以管控、授权难以界定，企业对建立法律法规、标准规范存在迫切需求等问题，提出了相应的行业规范。
3.发展趋势
1.算法崛起大数据已过时，算法正当道。
数据已经成为一种商品，每个组织都能够收集和存储大量的数据。
分析大数据也不再那么引人注目了。
每个组织都可以聘用或培训大数据分析人员来了解数据模式。
2016年，人们更加关注对已接触数据采取什么行动。
算法将大行其道。
算法能够定义行为，它们是非常专业的软件，能够很好地执行专业的指令，远比人类做的要好。
例如，当你访问一个网站时，根据你手上的资料，快速确定最合适的广告。
或者在大量的交易数据中找出异常值来甄别欺诈行为。
这些算法是非常专业的人工智能，不是已经存在多年的普通人工智能所能比的。
但是，非常专业的AI已经存在，2016年我们将见证算法商务的崛起。
2.数据湖服务作为一种解决方案（Data-Lake-as-a-ServiceSolutions）
2015年，我们已认识了数据湖。
企业从M2M连接、社交网络和远程工作人员积累了越来越多的数据，数据湖将成为他们的重要数据存储工具。
“到2020年，信息将被用于重新创造、数字化、或消除80％的业务流程和产品（相比于10年前——2010年）”。
在传统的存储解决方案中，数据之间是相互孤立的。
数据湖与之正好相反，它允许存在各处的原始的、质朴的信息字节相互整合、分析。
数据湖能够帮助你实现商业的数字化，使之真正成为数据驱动的商业。
3.人力资源分析对于大多数组织而言，人才是最重要的财富；对于大多数高级管理人员而言，人才是重中之重。
根据普华永道的研究，34%的美国首席执行官们“非常关注”组织中关键技能的可用性。
因此，高级管理人员正在寻找其人力资源的确切数据，所以，2016年我们会看到人力资源分析将迈出一大步。
人力资源分析虽然是人事部门新的业务领域，但为了更好地提高人力资源的投资回报率，该业务增长极为迅速。
人力资源分析可以被定义为一项大数据技术，使用人力相关数据片段优化商务产出、解决商务问题。
因此，人力资源分析越来越重要。
4.智能政府致力于提高社会和公民体验政府正在尝试用大数据技术来提高公民体验的管理，通过政府分析、把数据驱动决策引入到一线员工的管理，从而创造无摩擦交易，提高政府绩效。
一个政府，或智慧政府，将会于实现目标做出重要贡献，在2016年，在全球范围内将会有越来越多的政府向智能政府方向发展。
5.增强大数据安全、防止数据泄露2016年，我们将看到组织是如何管理他们的数据保证数据安全，包括黑客攻击前、攻击中、攻击后的各种管理措施。
组织将增加安全开支，与有道德的黑客合作提高数据安全，改善内部流程使得员工对于黑客更加警惕。
毕竟，通常情况下人是公司安全协议中最薄弱的一环。
6.智能机器带来的雾分析（FogAnalytics）起步智能机器是新的现实。
因此，在未来的一年，我们将看到更多的智能机器有着越来越多的精密传感器，能收集大量的数据。
组织将不得不转向雾分析，以便数据易于管理，保持洞察力可用并尽可能降低成本。
4．大数据分析对传统电信行业的意义
当前，国内外电信产业发展均遇到瓶颈，需寻找下一个增长点。
据Ovum估计，2018年全球移动运营商将首次面临收入下降。
国内三大运营商传统语音业务发展接近饱和，话音收入近三年持续下滑，新兴市场增长停滞不前。
运营商在优化成本结构的同时，需要挖掘新的营利增长点，探索语音、流量之外的第三条增长曲线（数字化服务）。
根据Gartner预测到2020年大约75%的企业都将大数据分析融入其日常经营决策中，Sysbase的统计分析，电信行业通过在运营中应用大数据，人均产值提升了17%，在行业价值贡献方面更是排在首位，这样的产值增福是鼓舞人心的。
随着《国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见》（国办发〔2015〕51号）、《促进大数据发展行动纲要》（国发[2015]50号）等指导文件的发布，发展大数据应用成为了电信企业转型升级的重要抓手。
《中国移动技术愿景2020》中，将“万物互联的数字化服务”作为未来技术架构的核心，提出十大数字化服务，其中三项与大数据应用密切相关。
4月27日在北京国际会议中心召开的“2016大数据产业峰会”上，“大数据与电信业转型”聚焦电信业大数据发展议题，深入探讨大数据助力电信业转型发展的策略路线、技术手段、安全规范、应用实践和外部合作等核心问题。
进一步推动电信行业和其他行业的跨界合作，促进电信大数据资源的规范应用，推动电信运营企业发挥第三条曲线优势加快转型升级的步伐。
作为信息管道的经营者，电信运营商天然具备数据的收集能力。
相比互联网公司获取的是用户在虚拟网络中的数据，提供用户入网接入服务的电信运营商拥有用户的真实社会型数据信息，而管道的智能化又让运营商拥有获取用户在互联网虚拟社会数据的能力，运营商基于管道平台同时拥有了现实社会和虚拟社会两套数据，通过用户属性的关联实现数据的无缝衔接，这是运营商特有的数据优势，
在大数据时代这是一个重要的核心资产。
大数据领域主流商业模式中，中国电信集团可以采纳的模式主要有两条：
1.数据租售模式，企业具有数据收集及整体萃取能力，通过数据销售或租赁获利；2.数据自营模式，企业同时拥有数据资源和分析能力，通过数据分析获得商业利润。
第一种模式不仅附加值低，而且可能涉及到用户隐私，第二种模式的价值更高，而且相比IT企业，电信运营商具备独天然的优势。
传统电信行业依托大数据转型，前提是树立大数据下的思维方式。
电信行业的数据主要包括客户信息数据（如客户入网资料、套餐情况）、业务过程数据（如通话记录、客户服务记录等）和网络运行数据（网络性能、客户终端使用情况等）几部分，传统上这些数据分布在不同数据库中并且较独立的进行统计分析以服务于不同的运营部门，
升级会员 