大数据及其在税务中的应用.pptx

大数据及其在税务中的应用.pptx

《大数据及其在税务中的应用.pptx》由会员分享，可在线阅读，更多相关《大数据及其在税务中的应用.pptx（99页珍藏版）》请在冰点文库上搜索。

大数据及其在税务中的应用,2016.10,安徽工程大学计算机与信息学院,主要内容,大数据的概念与技术,第一章,3,让我们先看看“大数据时代”,一段小视频,4,大数据的概念与技术,第一章,5,数据爆炸式增长（每分钟）,6,数据的爆炸式增长,想驾驭这庞大的数据，我们必须了解”大数据”,地球上至今总共的数据量：

在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011年，这个数字达到了1.8ZB。

而有市场研究机构预测：

到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）！

1PB（拍字节）=250字节1EB（艾字节）=260字节1ZB（泽字节）=270字节,7,让我们来认识什么是“大数据”,一段小视频,8,20世纪90年代，数据仓库之父的BillInmon就经常提及BigData,2011年5月，在“云计算相遇大数据”为主题的EMCWorld2011会议中，EMC抛出了BigData概念,BigData名词由来,2011年6月，美国咨询界的翘楚麦肯锡咨询公司发布了大数据：

下一个竞争、创新和生产力的前沿领域的研究报告,首次向学界以外的领域推出大数据的概念。

9,可采集可衡量,价值,人的行为活动,生理行为,自然属性,社会属性,交易行为,文化行为,信仰行为,个体行为,家庭行为,群体行为,企业经营活动,研发,服务,营销推广,物流,采购,生产,销售,交易活动,交互活动,多样性相关性,PC互联网,移动互联网,物联网,数据获取通道,大数据的来源,“看”数据的不同方式,可视：

结构化资料15%,未视：

半/非结构化数据85%,DB/DW,主管们看的战情数位仪表板，其实是残缺的,11,大数据=海量数据+复杂类型的数据,海量交易数据：

企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。

通过这些数据，我们能了解过去发生了什么。

大数据包括：

交易数据和交互数据集在内的所有数据集,海量交互数据：

源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。

它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输ManageFileTransfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。

可以告诉我们未来会发生什么。

海量数据处理：

大数据的涌现已经催生出了设计用于数据密集型处理的架构。

例如具有开放源码、在商品硬件群中运行的ApacheHadoop。

大数据的构成,10万GB,10万TB,需要更高性价比的数据计算与储存方式,数据库,数据仓库,计算更快存储更省,14,大数据=海量数据+复杂类型数据,增长如此之块，以至于难以使用现有的数据库管理工具来驾驭，困难在于数据的获取、存贮、搜索、共享、分析和可视化等方面,大数据的定义,数据量,复杂性：

种类和速度,销量,库存,薪酬表,客户信息,合约,ERP/CRM,WEB2.0,广告,博客,搜索营销,文本/图像,网络日志,大数据,社会情绪,音频/视频,传感器,RFID,维基/博客,微博,金融信息,个人数据,位置信息,政府信息,气象数据,保险信息,EBPBTBGB,维基的大数据定义,任何超过一台计算机处理能力的庞大数据量,亚马逊的大数据定义,需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产,Informatica的大数据定义,大数据=交易数据+互动数据+观测数据,中国电信的大数据定义,百度的大数据定义,如果自然界中的事件完全不可预测地随机发生，人们的生活将无法忍受；与此相反，如果每一件事情都是确定的、完全可以预测的，则生活将是无趣的。

利用因果关系解释观测的现象或预测未来存在逻辑和实际上的困难。

对大数据的理性认知,美C.R劳,与传统比较，大数据的分析处理的核心是预测和推断，根本的变革在于不刻意追求因果关系，而更多关注相关关系。

也就是说，只要知道和什么有关，而不必强求为什么有关。

英舍恩伯格,大数据时代来临，使人类第一次有机会和条件在非常多和非常深入的层次获得和使用全面数据、完整数据和系统数据，简而言之就是样本=总体。

英舍恩伯格,大数据为政府统计提供了总体性、非结构化、丰富真实的原始资料，可以极大地缩短数据采集时间，减少报表填报任务，减轻调查对象负担，提高统计数据质量。

国家统计局马建堂,大数据，也叫全局数据、总体数据，数据量越大其预测和推断的准确性越高,大数据市场分析,中央政府对大数据的重视程度,18,大数据上升为国家战略,大数据的概念与技术,第一章,20,大数据的4V特征,BigData大数据,21,大数据的4V特征（Volume）,1Byte,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,22,SocialMedia,Machine/Sensor,DOC/Media,WebClickstream,Apps,CallLog,Log,半结构化/非结构化数据,大数据的4V特征（Variety）,23,大数据的4V特征（Variety）,24,大数据的4V特征（Velocity）,25,大数据的4V特征（Value）,挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息价值密度低，是大数据的一个典型特征,大数据不仅仅是技术，关键是产生价值可以从各个层面进行优化，更要考虑整体,26,大数据带来的思维变革（更多）,27,大数据带来的思维变革（更杂）,从皮尺到哈勃望远镜，人类一直在追求测量的精确性，一方面源于对未知世界的认知；一方面也源于收集信息的有限性。

大数据的简单算法比小数据的复杂算法更有效IBM的机器翻译VSGoogle的机器翻译纷繁的数据越多越好大数据时代要求我们重新审视数据精确性的优略大数据不仅让我们不再期待精确性，也让我们无法实现精确性错误不是大数据固有的问题，而是一个需要我们去解决的问题，而且会将长期存在混杂性，不是竭力避免，而是标准途径,28,大数据带来的思维变革（更好）,Kaggle，一个为所有人提供数据挖掘竞赛的公司，在一次关于二手车的数据分析比赛中得到，橙色汽车有质量问题的可能性是其它颜色汽车的一半。

为什么？

探寻事物的因果关系是人类的本性，但是大数据时代可以做某种程度的妥协，可以只需要关注“是什么”，而忽略“为什么？

”,29,更好不是因果关系而是相关关系,更多不是随机样本而是全部数据,更杂不是精确性而是混杂性,大数据带来的思维变革,30,大数据的概念与技术,第一章,31,先让我们看看大数据处理应用过程,一段小视频,32,待处理的数据,数据规模,大（以GB、TB、PB为处理单位）,小（以MB为处理单位）,数据类型,繁多（结构化、半结构化、非结构化）,单一（结构化为主）,模式和数据的关系,先有数据后有模式，模式随数据增多演变,先有模式后有数据（先有池塘后有鱼）,处理对象,“鱼”通过某些鱼判断其他鱼是否存在,数据（池塘中的鱼）,数据库（池塘捕鱼）,大数据（大海捕鱼）,大数据涉及的关键技术,34,基于SQL语言:

面对OLAP的传统行和列,不基于SQL或map-reduce的:

由谷歌率先发起,数据流:

基于运行商数据直接生成任意图形,数据入口/汇聚,数据平台,分析,传统交付模式-单片或基于设备的解决方案,云:

能够充分利用物理设施的弹性，以实现处理快速增长数据的能力,“数据库将演变成一个虚拟的，基于云计算，超级可扩展的分布式平台。

”-ForresteranalystJimKobielus,大数据涉及的关键技术,35,大数据处理技术特征,数据无限分而治之,功能有限复制分发,大数据的分析模型,研究对象由组织、用户、大数据和工具构成的运行系统研究内容大数据的构成大数据的行为大数据的行为和数据的组织研究方法知识工程解构大数据系统研发工程支撑大数据系统价值工程牵引大数据系统研究目标大数据生产平台大数据开发平台大数据采集平台大数据应用平台研究重点数据分而治之资源组织调度逻辑复制迁移,为什么,是什么,怎么做,云计算与大数据,大数据应用运行在云平台之上,如果数据是财富，那么大数据就是宝藏；云计算就是挖掘和利用宝藏的利器！

没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的存储和积淀，云计算也只能是杀鸡用的宰牛刀！

38,什么是云计算（一段小视频）,Hadoop平台,Hadoop是基于Google有关大数据的论文的开源项目，最初的框架由DougCutting在2005年提出，目前是由Apache维护的开源项目。

从初创到现在，Hadoop体系在10多年中开发完成了一系列重要的子项目，已经形成一个涵盖数据存储、管理和分析功能的较为完整的大数据生态系统，成为大数据存储与处理领域地位最重要、应用最广泛的开源框架。

一段视频介绍Hadoop的诞生与发展,39,Hadoop平台,HDFS分布式文件系统，存储大数据，如同大坝前用于蓄水的水库（大坝发电前先要蓄水）,40,Hadoop平台,HBase，实时、分布式、高纬数据库，对数据快速读取。

（弱水三千、只取一瓢）,41,Hadoop平台,MapReduce，分布式计算框架，实现数据并行处理（一头牛拖不动，多头牛一起拖）,42,Hadoop平台,Hive，数据仓库，支持提取、查询、分析（英文意为：

蜂房，如同在大数据花园中采集花粉酿制蜂蜜）,43,Hadoop平台,Pig，数据流处理语言，提供编程接口（猪，懒惰而又浑身是宝，伸伸懒腰，不用费九牛二虎之力就能完成所需的数据操作）,44,Hadoop平台,Mahout，数据挖掘（英文原意：

骑象人，驯象人。

分布式机器学习算法的集合）,45,Hadoop平台,Flume，日志收集工具（英文原意：

水管，日志数据如同水管中的涓涓细流汇集到大数据平台）,46,Hadoop平台,Sqoop，关系数据ETL工具（数据搬运工，完成外部数据和大数据平台中的数据的“搬运”）,Hadoop平台,ZooKeeper，分布式协作服务（英文原意：

动物园管理员）,48,大数据带来的机遇与挑战,第二章,49,大数据改变生活,50,。

大数据对政府、金融机构、企业来说，象空气一样不可或缺！

让我们先看看一些生活中的例子,一段小视频,51,消费大数据,52,亚马逊“预测式发货”的新专利，可以通过对用户数据的分析，在他们还没有下单购物前，提前发出包裹。

这项技术可以缩短发货时间，从而降低消费者前往实体店的冲动。

从下单到收货之间的时间延迟可能会降低人们的购物意愿，导致他们放弃网上购物。

所以，亚马逊可能会根据之前的订单和其他因素，预测用户的购物习惯，从而在他们实际下单前便将包裹发出。

根据该专利文件，虽然包裹会提前从亚马逊发出，但在用户正式下单前，这些包裹仍会暂存在快递公司的转运中心或卡车里。

亚马逊为了决定要运送哪些货物，亚马逊可能会参考之前的订单、商品搜索记录、愿望清单、购物车，甚至包括用户的鼠标在某件商品上悬停的时间。

大数据+政治,53,奥巴马大选中，奥巴马背后的数据分析团队一直在收集、存储和分析选民数据。

在大选中，奥巴马竞选阵营的高级助理们决定将参考这一团队所得出的数据分析结果来制定下一步的竞选方案。

利用在竞选中可获得的选民行动、行为、支持偏向方面的大量数据。

比如，在东海岸找到一位对女性群体具备相同号召力的名人，从而复制“克鲁尼效应”并为奥巴马筹集竞选资金。

“Twitter的政治指数”提供了一个衡量社会化媒体平台的用户如何评价候选人的方式。

奥巴马积极的情绪指数是59，而罗姆尼的只有53,证监会大数据,54,回顾“老鼠仓”的查处过程，在马乐一案中，“大数据”首次介入。

深交所此前通过“大数据”查出的可疑账户高达300个。

实际上，早在2009年，上交所曾经有过利用“大数据”设置“捕鼠器”的设想。

通过建立相关的模型，设定一定的指标预警，即相关指标达到某个预警点时监控系统会自动报警。

而此次在马乐案中亮相的深交所的“大数据”监测系统，更是引起了广泛关注。

深交所有几十人的监控室，设置了200多个指标用于监测估计，一旦出现股价偏离大盘走势，深交所利用大数据查探异动背后是哪些人或机构在参与。

马乐，博时基金明星基金经理，在任期间先于、同期或稍晚于其管理的“博时精选”基金账户买入相同股票76只，累计成交金额高达10.5亿余元，从中非法获利1883万余元,金融交易大数据,55,量化交易，程序化交易，高频交易是大数据应用比较多的领域。

全球2/3的股票交易量是由高频交易所创造的，参与者总收益每年高达80亿美元。

其中，大数据算法被用来作出交易决定。

现在，大多数股权交易都是通过大数据算法进行，这些算法越来越多地开始考虑社交媒体网络和新闻网站的信息来在几秒内做出买入和卖出的决定。

当一个产品可以在多个交易所交易时，会形成不同的定价，在这当中，谁能够最快地捕捉到同一个产品在不同交易所之间的显著价差，谁就能捕捉到瞬间套利机会，技术成为了重要因素。

制造业大数据,56,在摩托车生产厂商哈雷戴维森公司位于宾尼法尼亚州约克市新翻新的摩托车制造厂，软件不停的在记录着微小的制造数据，如喷漆室风扇的速度等等。

当软件察觉风扇速度、温度、湿度或其它变量脱离规定数值，它就会自动调节机械。

哈雷戴维森同时还使用软件，还寻找制约公司每86秒完成一台摩托车制造工作的瓶颈。

最近，这家公司的管理者通过研究数据，认为安装后挡泥板的时间过长。

通过调整工厂配置，哈雷戴维森提高了安装该配件的速度。

美国一些纺织及化工生产商，根据从不同的百货公司POS机上收集的产品销售速度信息，将原来的18周送货速度减少到3周，这对百货公司分销商来说，能以更快的速度拿到货物，减少仓储。

对生产商来说，积攒的材料仓储也能减少很多。

57,谷歌基于每天来自全球的30多亿条搜索指令设立了一个系统，这个系统在2009年甲流爆发之前就开始对美国各地区进行“流感预报”，并推出了“谷歌流感趋势”服务。

谷歌在这项服务的产品介绍中写道：

搜索流感相关主题的人数与实际患有流感症状的人数之间存在着密切的关系。

虽然并非每个搜索“流感”的人都患有流感，但谷歌发现了一些检索词条的组合并用特定的数学模型对其进行分析后发现，这些分析结果与传统流感监测系统监测结果的相关性高达97%。

这也就表示，谷歌公司能做出与疾控部门同样准确的传染源位置判断，并且在时间上提前了一到两周。

”,医疗大数据,能源大数据,58,国际大石油公司一直都非常重视数据管理。

如雪佛龙公司将5万台桌面系统与1800个公司站点连接，消除炼油、销售与运输“下游系统”中的重复流程和系统，每年节省5000万美元，过去4年已获得了净现值约为2亿美元的回报。

准确预测太阳能和风能需要分析大量数据，包括风速、云层等气象数据。

丹麦风轮机制造商维斯塔斯（VestasWindSystems），通过在世界上最大的超级计算机上部署IBM大数据解决方案，得以通过分析包括PB量级气象报告潮汐相位、地理空间、卫星图像等结构化及非结构化的海量数据，优化风力涡轮机布局，有效提高风力涡轮机的性能，为客户提供精确和优化的风力涡轮机配置方案不但帮助客户降低每千瓦时的成本，并且提高了客户投资回报估计的准确度，同时它将业务用户请求的响应时间从几星期缩短到几小时。

交通大数据,59,UPS最新的大数据来源是安装在公司4.6万多辆卡车上的远程通信传感器，这些传感器能够传回车速、方向、刹车和动力性能等方面的数据。

收集到的数据流不仅能说明车辆的日常性能，还能帮助公司重新设计物流路线。

大量的在线地图数据和优化算法，最终能帮助UPS实时地调配驾驶员的收货和配送路线。

该系统为UPS减少了8500万英里的物流里程，由此节约了840万加仑的汽油。

文化传媒大数据,60,与传统电视剧有别，纸牌屋是一部根据“大数据”制作的作品。

制作方Netflix是美国最具影响力的影视网站之一，在美国本土有约2900万的订阅用户。

Netflix成功之处在于其强大的推荐系统Cinematch，该系统基于用户视频点播的基础数据如评分、播放、快进、时间、地点、终端等，储存在数据库后通过数据分析，计算出用户可能喜爱的影片，并为他提供定制化的推荐。

Netflix发布的数据显示，用户在Netflix上每天产生3000多万个行为，比如暂停、回放或者快进，同时，用户每天还会给出400万个评分，以及300万次搜索请求。

Netflix遂决定用这些数据来制作一部电视剧，投资过亿美元制作出纸牌屋。

Netflix发现，其用户中有很多人仍在点播1991年BBC经典老片纸牌屋，这些观众中许多人喜欢大卫芬奇，观众大多爱看奥斯卡得主凯文史派西的电影，由此Netflix邀请大卫芬奇为导演，凯文史派西为主演翻拍了纸牌屋这一政治题材剧。

2013年2月纸牌屋上线后，用户数增加了300万，达到2920万。

航空大数据,61,Farecast已经拥有惊人的约2000亿条飞行数据记录。

用来推测当前网页上的机票价格是否合理。

作为一种商品，同一架飞机上每个座位的价格本来不应该有差别。

但实际上，价格却千差万别，其中缘由只有航空公司自己清楚。

Farecast预测当前的机票价格在未来一段时间内会上涨还是下降。

这个系统需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。

Farecast票价预测的准确度已经高达75，使用Farecast票价预测工具购买机票的旅客，平均每张机票可节省50美元。

62,63,机遇大数据技术促进国家和社会发展,大数据技术的运用前景是十分光明的。

当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。

大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。

63,大数据所能带来的巨大商业价值，被认为将引领一场足以与20世纪计算机革命匹敌的巨大变革。

大数据正在对每个领域都造成影响，包括商业、经济等领域。

大数据正在促生新的蓝海，催生新的经济增长点，正在成为企业竞争的新焦点。

网民和消费者的界限正在变得模糊，无处不在的智能终端，随时在线的网络传输，互动频繁的社交网络让以往只是网页浏览者的网民的面孔从模糊变得清晰，企业第一次有机会进行大规模的精准化的消费者行为研究：

作为保持着持续变革欲望的企业，主动地拥抱这种变化，从战略到战术层而开始自我的蜕变和进化将会让他们更加适应这个新的时代，大数据蓝海成为未来竞争的制高点。

机遇大数据蓝海成为企业竞争的新焦点,64,65,机遇大数据时代呼唤创新型人才,盖特纳咨询公司预测大数据将为全球带440万个IT新岗位和上千万个非IT岗位。

麦肯锡公司预测美国到2018年需要深度数据分析人才44万-49万，缺口14万-19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。

中国是人才大国，但能理解与应用大数据的创新人才却是稀缺资源。

65,大数据带来的机遇与挑战,第二章,66,67,今天，大数据似乎成了“灵丹妙药”，“包治百病”，无所不能。

但千万别把“大数据”用做解决世界上所有问题的全能办法，无论是管理城市到消除贫困，制止恐怖袭击、疾病流行到拯救地球环境等，以为有了“大数据”，就没有解决不了的问题，这也是一种误解。

人类的思想、个人的文化和行为模式、不同国家及社会的存在发展都非常复杂、曲折和独特，显然不能全部由计算机来“数字自己说话”。

无论到何时，其实都还是人在思考和“说话”。

当你有了锤子，好像什么问题都看上去像钉子！

大数据的挑战,摘自工程院院士邬贺铨的报告,大数据的挑战,PRISM,税务管理的机会与挑战,需要关注的问题：

税源数据获取是一切工作的基础！

新模式推广的方式转变如何由“抓管理”变化为“抓管理、重服务”？

税务管理的机会与挑战,税务管理未来展望,大数据在税务中的应用,第三章,74,让我们先看看一些实际应用的例子,一段小视频,75,财税税源交易信息采集系统对企业和消费者的服务和价值,系统建设的理念和准则,76,财税物联网系统示意图,77,手机,手机,MAC,MAC,定位设备,定位设备,商家,财税管理部门,用户群,手机,税源数据采集系统拓扑图,GAG交易数据采集设备,服务转发器,多功能数据接收器,#商店名称会员:

#会员收银员:

#收银员流水号:

#流水号交易时间:

#交易时间-商品条码单价数量小计-#item#商品名称#导购员#条码#单价#数量#小计#item-总件数:

#总件数整单折扣:

#整单折扣付款方式:

#付款方式总计:

#总计实收:

#实收找零:

#找零-联系电话:

#联系电话联系地址:

#联系地址-请当面点清所购商品和找零，并保管好收银小票以做开发票，退换货凭证，谢谢惠顾！

欢迎下次光临-,税源数据采集交易明细数据,税源采集交易关联数据,详细内容请点击,ST850服务转发器,ST600服务转发器,交易数据获取核心设备服务转发器,81,交易数据获取核心设备服务转发器,82,刷卡,扫描商品,手机APP推送订单,现金结账,手机APP推送账单,平台系统多种交易流程支持,示例：

手机交易流程,灵活支持多种交易流程，完成交易数据获取。

商家信息实体店管理操作,平台系统后台查看商家详细信息,平台系统后台查看商家交易信息,平台系统后台查看交易关联详细信息,提供给商家的整合营销数据服务,以城市商业综合体为例：

87,场内即时PPMessage信息诱导基于位置的商家优惠信息诱导基于位置的品牌产品激励信息诱导收银台服务客户互动屏诱导账单即时省钱诱导会员综合服务诱导结账票据追加信息诱导扫描票据二维码成为会员获取奖励,线下会员发展基于移动身份的会员发展,88,在店中经营你的消费者,89,个性化店面客显屏个性化推荐个性化陈列基于购买商品的营销历史消费商品基于消费整体的营销好友推荐基于支付方式的营销店家吆喝个性化诱导,离店状态经营你的消费者,90,平台系统后台税源数据分析,平台系统后台税源数据分析,提供电子发票管理手机发送发票信息管理发票信息录入交易单据凭证管理,Gooagoo服务转发器,商户自有POS,发票打印机,发票管理,内屏：

用户手机传送的发票信息+发票信息录入+交易单据信息,打印发票,发票业务模块,93,电子发票,94,电子发票,支持电子发票的生成、存储、核对、打印。

95,发票自助和优惠券、停车券申领,发票打印服务停车券打印服务优惠凭证打印服务商品、品牌、店铺查询服务积分查询服务,与消费者互动支持手机二维码互动支持手机精细声波互动支持NFC、RFID会员卡互动支持磁条卡、IC卡等会员卡互动,发票业务模块自助打印,96,优惠券分享扫二维码将该笔交易优惠券直接分享朋友圈（无需关注电商账号）电子账单下发关注电商微信账号的用户自动下发详细账单非关注用户扫二维码获取账单，并可直接分享朋友圈产品和服务分享产品和服务评论关联产品分享基于微信的逛伴群品牌逛伴群零售商家逛伴群,轻松进行社交内容分发,我在菱角湖万达广场用万汇卡优惠了50元，太赞了！

微信互动模块,97,当前,大数据的应用只是冰山一角,绝大部分隐藏在表面之下。

未来，大数据所带来的精彩值得期待！

98,ThankYou!

99,