统计云大数据平台运营规划设计.docx

上传人:b****1 文档编号:2779224 上传时间:2023-05-04 格式:DOCX 页数:20 大小:2.12MB
下载 相关 举报
统计云大数据平台运营规划设计.docx_第1页
第1页 / 共20页
统计云大数据平台运营规划设计.docx_第2页
第2页 / 共20页
统计云大数据平台运营规划设计.docx_第3页
第3页 / 共20页
统计云大数据平台运营规划设计.docx_第4页
第4页 / 共20页
统计云大数据平台运营规划设计.docx_第5页
第5页 / 共20页
统计云大数据平台运营规划设计.docx_第6页
第6页 / 共20页
统计云大数据平台运营规划设计.docx_第7页
第7页 / 共20页
统计云大数据平台运营规划设计.docx_第8页
第8页 / 共20页
统计云大数据平台运营规划设计.docx_第9页
第9页 / 共20页
统计云大数据平台运营规划设计.docx_第10页
第10页 / 共20页
统计云大数据平台运营规划设计.docx_第11页
第11页 / 共20页
统计云大数据平台运营规划设计.docx_第12页
第12页 / 共20页
统计云大数据平台运营规划设计.docx_第13页
第13页 / 共20页
统计云大数据平台运营规划设计.docx_第14页
第14页 / 共20页
统计云大数据平台运营规划设计.docx_第15页
第15页 / 共20页
统计云大数据平台运营规划设计.docx_第16页
第16页 / 共20页
统计云大数据平台运营规划设计.docx_第17页
第17页 / 共20页
统计云大数据平台运营规划设计.docx_第18页
第18页 / 共20页
统计云大数据平台运营规划设计.docx_第19页
第19页 / 共20页
统计云大数据平台运营规划设计.docx_第20页
第20页 / 共20页
亲,该文档总共20页,全部预览完了,如果喜欢就下载吧!
下载资源
资源描述

统计云大数据平台运营规划设计.docx

《统计云大数据平台运营规划设计.docx》由会员分享,可在线阅读,更多相关《统计云大数据平台运营规划设计.docx(20页珍藏版)》请在冰点文库上搜索。

统计云大数据平台运营规划设计.docx

统计云大数据平台运营规划设计

 

统计云大数据平台

运营规划设计

 

第一章现状与需求分析

一.1总体现状分析

一.1.1信息化现状

统计信息化是中国统计走向现代化的核心,是提高统计数据质量的关键,是中国统计更加规范统一的重要支撑。

统计信息化是统计建设的重要内容,是推动统计改革的内在动力。

经过多年的信息化建设,国际统计局已经建成了比较完备的IT软硬件基础设施和专业应用系统,在统计业务的各个环节特别是数据的采集生产环节提供了较为有力的支撑。

一.1.1.1基础设施建设

在基础设施建设方面,统计局通过骨干网扩容提速,实现国家局到31个省(市、区)统计局和新疆生产建设兵团统计局的一级主干网,采用了双设备、双线路的冗余架构,专线的网络带宽已提升到155M(数据)+2*2M(音视频),另外还有1*2链路用来对网络系统的带外管理,大部分异地办公的省级调查总队实现了同城百兆光线的链接。

目前,统计局的互联网出口带宽已经提升至1G(联通、电信各500M)。

局域网实现了核心万兆交换,桌面千兆接入,部分省及省以下统计信息网络系统进行了扩容改造的配套建设,提升了带宽,有的已将统计信息网延伸到了乡镇一级,全国县以上政府统计机构的3068家统计局、调查队分别以专线、VPN专线、政务网等方式接入国家统计信息主干网,并且各省都建设了独立的互联网出口。

国家统计系统的信息交换、数据传输能力不断提升。

(图7:

国家统计信息网络拓扑结构)

近年来,统计局利用虚拟化、资源池、云计算等新技术、新理念,对国家统计核心业务系统进行资源整合,构建了大规模联机业务处理和高并发事务处理能力的核心业务系统,进一步提升了统计数据处理系统的可靠性、安全性,为未来全国统计业务的统一在线处理提供云服务打下了基础。

同时,利用农业普查、经济普查、人口普查等大型普查的中央投资以及各地配套资金,为乡镇、县市、省统计局也配备了大量的微机、激光打印机、服务器、小型机、存储、数据库、中间件等软硬件设备,进一步推动了统计信息化基础建设。

以三里河西楼为主的机房面积大约3000平方米,包括传输机房、IDC机房、存储机房和UPS机房。

目前大约有小型机近40台,PC服务器300余台,并建立了集中的网络设备监控管理系统。

目前核心机房的设备大约分为三大部分:

1.小型机系统:

主要承载统计局核心业务系统的各个关键应用及Oracle数据库;

2.虚拟化平台:

包括300多台PC服务器、150TB磁盘阵列的虚拟化资源池,部署了160多个不同类型和部门的应用软件系统;

3.PC服务器:

采用物理机的方式部署了覆盖系统所有工作人员的电子邮件系统与OA系统。

(图8:

统计局机房设备分布)

一.1.1.2应用系统建设

依托基础设施资源,统计局信息化应用开发取得了显著进展,特别是2012年1月份以来,统计局正式实施统计“四大工程(一库、一表、一台、一网)”,带来了统计数据生产方式的重要变革,在新的数据生产方式下,原有的分散设计改为统一设计,调查制度由原来的分散布置改为统一布置,原始数据由间接采集改为直接采集,实现了统计局直接掌握原始数据并加工和汇总,各级统计机构在线实时共享数据,大大提升了统计局信息化应用的整体水平。

统计局开发的数据处理软件,已成功应用于农业普查、经济普查、“R&D”资源清查、人口普查等大型普查,以及畜牧业监测、城乡住户一体化、“一套表”等多项统计调查。

采用3G/4G无线网络技术,已在全国500个城市开展了手持移动电子采价系统在统计数据采集工作中的应用。

按照全国一库在线、分级管理维护的模式,建成了全国统一的基本单位名录库系统,并建立了与质监、工商、税务、编办、民政等部门的单位信息共享交换机制和名录比对系统。

统计局的OA办公自动化系统,已在全国大部分个省级统计局、调查总队推广使用。

遥感、空间定位和地理信息系统等空间技术,已在农作物对地调查、主要粮食作物种植面积测量与估产、人口普查、经济普查和投资项目监测等统计业务应用。

统计局核心业务系统采用采用虚拟化技术,提供统一的WEB服务、数据库服务、存储服务以及管理调度,支持企业联网直报系统、第六次人口普查和第二次、第三次经济普查等重要统计业务的数据采集和处理工作。

(图9:

核心业务系统逻辑架构)

•基础应用系统

✓大型普查:

支持人口普查、农业普查、经济普查等大型普查任务;

✓专项调查:

人口变动、投入产出、R&D等;

✓经常性调查:

支持各专业的常规性调查、如月报、季报、年报等。

•联网直报系统

实现工业、能源、投资、贸易和重点服务业等主要专业100%以上的“四上”共100多万多家单位的联网直报的工作。

目前联网直报系统采用全国集中部署和使用,17个省(区、市)的企业通过网络直接向统计局数据中心报送数据,14个省(区、市)的企业通过网络向国家批准的省级节点报送数据,国家实时从省级节点抓取原始数据。

目前企业上报数据以月报方式为主,平均每月3~4张报表,大约共有200多个统计指标。

在数据采集和处理环节,采用统一兼容的数据采集软件系统进行数据采集、录入、审核、编辑和汇总,提高了统计生产过程的可控性和规范性,减轻了调查对象和基层的工作负担,促进了地区数据与国家数据、专业数据与综合数据的有效衔接。

(图10:

联网直报系统体系结构)

•遥感、空间定位与地理信息系统

利用遥感(RS)、地理信息系统(GIS)和全球定位系统(GPS)为代表的空间信息技术,构建相关统计应用。

以农村社会经济调查司为例,该司目前通过高分遥感卫星(863项目),结合GPS、GIS对农产品进行种植面积、产量、灾情等数据的调查、统计、预测及可视化展现。

•其他应用系统

✓统计分析建模软件

✓办公自动化(OA)系统

✓电子邮件系统

✓视频会议系统

✓统计局内、外网站

✓微信、微博、手机客户端信息发布平台

✓各司局内部专业应用系统等

一.1.1.3数据资源建设

国家统计数据资源体系由基础支撑数据库、专业原始数据库、专业工作数据库、综合应用数据库等功能子系统初步构成;按统一设计、分级建设、同构互联的原则,由中央和地方的统计数据库系统共同组成。

•专业原始数据库

专注于基础性调查数据的集中管理、维护,需要统筹考虑统计数据结构及相关安全域划分管理;支持微观的专业报表基础数据文件、中观的主题数据文件和宏观的综合数据报表文件的归档管理,提供接收、下载、导入导出、整理维护、加载更新等管理功能,是统计数据处理系统与统计数据库体系的数据管理和交换子系统。

这部分内容需在物理隔断的涉密网部署管理。

•专业工作数据库

使用数据仓库和专业统计分析、数据挖掘工具软件,建设形成专业性的主题数据库或数据仓库系统,支持数据处理阶段后专业内部针对基础数据深入的分析汇总和结构查询,这部分功能应在物理隔断的涉密网运行管理;支持跨专业、跨部门的综合数据共享查询,支持综合应用库的建设和应用,这部分功能需在逻辑隔断的内网运行管理。

•综合应用数据库

以常规数据库系统对供宏观决策支持、部门共享或公开发布的综合指标、综合数据进行管理,形成以应用查询为主要功能的数据库系统。

本系统以数据处理结果、专业工作数据库为来源,根据共享程度及安全域划分,分别在物理隔断的涉密网、逻辑隔断的内网或外网运行管理。

国家统计数据库等发布数据库属于此类。

•基础支撑数据库

一是统计调查项目管理数据库、基本单位名录库等元数据管理系统,二是地理信息和遥感信息等基础信息管理系统,为统计工作和其他数据库提供基础性共享信息支撑。

一.1.1.4安全体系建设

统计局城域网划为14个安全域,配置了防火墙、入侵检测、网络信息审计、客户端安全管理、漏洞扫描、病毒防范、VPN登录认证、数据库审计、网上行为管理系统、防病毒网关、恶意代码拦截网关、网页防篡改系统、主机保护、安全服务器、网络异常流量分析等信息安全软硬件系统技术措施;并实行用户上网实名制管理;实现核心统计业务应用系统的安全身份认证管理;同时,在系统内组织安全系统的建设,实现全网一致的安全策略。

•安全管理

制定了国家统计信息系统安全保障体系五年总体规划;全国统计信息系统的二级、三级安全管理中心布局,整体进度已完成90%以上。

实施统计局重要信息系统的安全等级保护定级工作。

•物理安全保障

全国约3/4的统计部门建设了专用机房,大多数机房配置了专用设备,采取了安全措施。

国家局机关建设了标准屏蔽机房。

•网络安全

国家统计系统骨干网采用了冗余技术,配置了各类安全防护系统,建设了统一的国家、省、地市三级网络管理系统,实现对网络运行状况的实时监控,实现网络资源的动态调控与分配。

•主机安全、应用安全和数据安全

建立了CA认证系统,正在建立网络用户实名制制度,保证网络用户的合法性,确保统计信息网络的安全性。

一.1.2关键问题分析

随着经济全球化和中国经济的快速增长,各级党委和政府、企业、社会团体和社会公众都越来越多地关注统计信息,对统计数据的准确及时、客观完整提出了更高的要求。

建立既符合中国国情,又与国际一般规则基本接轨的现代统计体系,切实提高统计数据的科学性、准确性和统计工作的权威性,提高统计工作能力,提高统计数据质量,提高政府统计公信力,为党和政府、国内、国际社会提供优质高效的统计服务是统计工作一贯不变的方针。

在新的形势和信息技术高速发展的背景下,给统计工作带来了新的发展机遇和挑战。

经过多年的建设,统计局信息化有了相当的信息资产积累,具备了一定的发展基础。

但从技术视角来看,还存在需要进一步改进提升的空间和薄弱环节,主要表现在:

•信息化建设缺乏有效的顶层设计和统筹规划;

•各个系统技术架构封闭,整合交互少,信息孤岛多;

•重生产支撑轻协同共享,缺乏对数据资源的深度开发利用;

•缺乏统一的数据和技术标准,系统融合困难;

•现有技术架构缺乏对大数据的有效处理能力。

随着大数据时代的到来,对统计学与政府统计具有划时代的意义。

对统计学而言,大数据将突破通过样本推断总体的传统方法,直接对总体进行相关分析,并更加注重结论的相关性和实时性;对政府统计工作而言,大数据是采用多种数据收集方式、整合多种数据来源的数据,是采用现代信息技术和架构高速处理及挖掘、具有高度应用价值和决策支持功能的数据、方法及其技术集成。

大数据让让官方统计迎来重要的发展战略机遇期,也使其面临着前所未有的课题。

一方面,计算机技术、网络技术和空间信息技术的巨大进步,为提高统计生产力提供了广阔空间。

海量的非结构化、电子化数据,极大地丰富了统计数据的来源,为数据提供了更多的收集手段;另一方面,统计调查主体的多元化发展趋势和电子商务、电子政务、搜索引擎等领域的飞速发展,也对现有的统计业务模式、工作方法和IT架构提出了新的挑战。

一.2业务需求理解

随着智能分析和互联网数据挖掘技术的日益成熟,从海量数据中挖掘出更多有价值的信息资源成为可能,这对保证统计工作的顺利开展、提升数据信息处理质量和效率,都将起到至关重要的作用。

作为国家数据信息的官方生产和管理部门,统计局对于加强系统内部的统计信息化建设、建立大数据平台服务的需求较为迫切,主要集中在统计云平台建设、数据采集与拓展、创新应用等方面。

一.2.1开放的统计云数据平台

目前,政府统计部门对企业、家庭、个人的调查都是通过预先设定好的统计标准报表,要求调查对象按照表中的统计指标填报数据,然后整理汇总成最终的统计数据并对外公布。

统计部门希望通过应用大数据,实现政府统计部工作从“先有指标再有数据”到“先有数据再有指标”的质变。

1.建立标准的指标平台:

针对统计数据标准各异的特点,统计局希望能够搭建一个标准的指标平台,实现对元数据、指标的统一报表管理以及数字化管理,从而解决数据不统一的问题。

规范政府统计部门应用大数据的统计标准,也是为数据资源的利用与共享提供可靠的平台支持。

2.大数据计算和存储:

通过建设稳定的大数据资源平台来支持数据库技术和云存储技术,解决对基础设施的管控和数据计算和存储问题,形成整个系统的平台处理基础。

3.资源协同共享:

打破原有的闭源数据分析处理思路和模式,各司局之间的业务数据可以用过开源的数据平台进行沟通和查询,建立信息互通机制,一方面可以根据不同的业务模型和角度来分析平台上的共有数据;另一方面也为数据的有效性提供更多维度的评估参考。

一.2.2数据采集与拓展

如何通过大数据采集技术来实现统计局现有数据的成功拓展,成为统计系统内部业务提升的核心需求。

统计局关于互联网数据的采集与拓展需求,主要是实现从互联网海量数据资源中挖掘出更多数据资源的问题。

数据采集与拓展方面的主要需求有:

1.非结构化数据激活:

目前的政府统计是在统一标准下处理结构化数据,然而统计局现存的历史数据多以文本、音频、视频、照片等非结构化形式存在,处理大量缺乏统一标准的非结构化数据是现阶段统计分析业务应首要解决的问题。

通过技术手段来激活历史数据、扩充有效数据来源,可以拓宽统计分析的时间维度和信息视角,为统计工作后期的分析汇总工作增加评判依据。

2.互联网信息精准采集:

现有政府统计的工作中,统计标准的应用范围大多局限在统计系统内部。

利用互联网信息发布速度快、分布广等特性,统计局希望可以通过大数据技术对互联网信息进行精准采集,用以增加数据采集来源、拓展统计标准的应用范围,从而提升统计数据分析的应用水平。

3.按需分类:

从非标准化、信息量繁杂的网络信息中抓取核心的关键数据,对这些信息进行标准分类转换,按照统计局的统一业务标准进行有效分类。

4.数据校验:

统计局希望可以通过多渠道采集到的数据信息来验证和评估现有数据的准确性。

互联网信息数据具有数据量大、类型丰富、信息价值高的特点,可以利用大数据技术有效补充现有统计数据的不足,从多个维度全面解释社会经济现象,从而更好的提高统计数据的适用性。

一.2.3创新应用开发

基于平台建设与数据采集拓展的基础上,统计局各业务部门希望可以在可视化、自动化、评估预测等方面实现技术突破。

1.可视化:

摒弃传统的表格、饼柱图等分析方式,借助图形化手段,清晰有效地传达与沟通信息。

例如,可以将统计局收集到的二手房交易价格信息、农作物种植及病虫害信息等分别用地图GIS的形式集中展示,从而更清晰的表达数据与数据之间的逻辑关系,赋予数据内在价值和活力。

2.自动化:

希望数据处理平台可以提供自动生成分析报表的创新功能,可根据系统导入的数据文件,批量生成统计分析表格,从而替代现有的重复手工劳动,实现报表的一键分析处理和发布。

3.评估预测:

现有的数据来源广泛,数据质量校验的形式大多依靠人工经验分析,且数据验证的标准较为单一。

统计局各业务司希望可以利用大数据的分析处理技术,挖掘更多数据资源来作为现有数据基础的验证和参考。

同时希望可以在数据资源丰富的基础上,依靠专业的建模分析工具来发现数据背后所表达的客观规律,从而准确描述和预测未来的发展趋势,为国家宏观决策提供可参考的数据依据。

一.3基础平台建设需求

主干系统采用应用和数据大集中模式,为了满足业务系统对可用性、可靠性和安全性的要求,保障数据中心业务数据的安全、可靠,提高业务系统稳定性和业务连续性,须建立多个数据中心来承载业务系统实现应用的高可用性,主干系统大集中的数据中心整体部署采用“两地三中心”(同城双活、异地灾备)架构(即上节第四种架构):

●在北京同城部署两个生产数据中心,生产数据中心以双活模式工作,在这种工作模式下,所有的业务系统同时在两个生产数据中心运行,同时为用户提供服务,当某个数据中心的应用系统出现问题时,由另一个数据中心的应用来持续的提供服务;双活数据中心最大的特点是:

一、充分利用资源,避免了一个数据中心常年处于闲置状态而造成浪费。

通过资源整合,双活数据中心的服务能力是双倍的。

二、双活数据中心如果中断了一个数据中心,另外一个数据中心还在运行,对用户来说是不可感知的。

●在南宁部署容灾数据中心,为北京生产双中心业务系统提供灾备机制,当北京生产中心的出现故障时,可以将单个应用或者数据中心整体切换到容灾数据中心。

三中心完全按照应用级灾备目标建设,每个中心均具有独自承担业务运行和数据管理的相关能力,三中心的设置既可以在同城范围有效保证数据的同步性、安全性、负载均衡性和业务连续性,又可以在远距离进行异地数据保护和灾难业务接管,在提高业务处理性能的同时防范同城与异地范围内的灾难。

第二章总体架构设计

二.1总体架构

二.2数据架构视图

二.3创新的业务模式

第三章平台运营规划设计

三.1平台价值

大数据时代的到来,是现代生产力水平发展到一定阶段的必然。

数据不断产生,而且越来越多。

统计不是一个抽样的推断,也绝不会出现总体已经等于样本的现象。

但这个总体也可能非常之庞大,超过现阶段任何超级汇总的规模。

我们不可能或没必要动员成百上千的统计人员按照分层、等距等原理去实施全样本抽样。

那么,统计人确需要在数据处理之前确定正确的统计方法。

如果我们确信统计是要研究搜集数据的方法、是要用数据来说话的,那么,我们就要承认,大数据时代的到来,给我们带来了许多新的情势、新的问题。

无论是数理统计,还是社会经济统计,都需要面对已经变化了、正在变化着、还将继续变化的数据的世界。

因此,我们也需要在“大统计”的世界里,学习、掌握、比较、选择、运用和创新统计理论和统计方法,以适应大数据时代的发展及其带来的挑战。

大数据将促进“大统计”,而“大统计”也应该在大数据时代,为人类社会的发展和进步作出新的贡献。

三.2商业创新模式

平台针对统计业务来说其商业创新的模式主要是以信息交换为源点,针对不同业务卡口的数据需求,通过变换数据形式、组织数据内容、创新数据关联、提供数据加工等模式来满足不同部门和行业的数据需求。

三.2.1商业模式创新

泰莫斯定义商业模式是指一个完整的产品、服务和信息流体系,包括每一个

参与者和其在其中起到的作用,以及每一个参与者的潜在利益和相应的收益来源

和方式。

商业模式创新作为一种新的创新形态,其重要性已经不亚于技术创新等。

商业模式创新是指企业价值创造提供基本逻辑的创新变化,它既可能包括多个商业模式构成要素的变化,也可能包括要素间关系或者动力机制的变化。

在我们这里平台的商业模式创新主要是指如何为数据生产、加工的部门、企业创造有效的价值。

三.2.2基于统计云大数据的商业创新模式方向

三.2.2.1大数据环境下的数据对象洞察与营销策略

基于大数据的三个价值杠杆:

对对象群体细分,然后对每个群体量体裁衣般的采取独特的行动;运用大数据模拟实境,发掘新的需求和提高投入的回报率;提高大数据成果在各相关部门的分享程度,提高整个数据管理链条和产业链条的投入回报率;进行商业模式、产品和服务的创新。

大数据环境下的数据对象洞察与营销策略包括:

●基于大数据的统计云平台形成统一的客户视图,实现市场细分基于大数据与云计算的CRM系统能够深度挖掘目标客户需求,实现统计局及各部门的综合管理与应用,建立以数据为核心的大数据用户管理平台,对不同类型、级别的用户进行细分,牢牢抓住对数据需求的用户群体,实现效益最大化。

●以需求用户为导向,确定营销策略,实现对数据营销全过程管理,根据庞杂的客户数据,按照横纵多维方式对数据的需求群体准确分析,筛选出核心目标,并且准确传达数据产品、数据服务等信息,能够确保实现精准营销。

●畅通渠道,重组服务流程,建立稳定数据需求群精准营销借助先进的数据库技术、网络通信技术等手段保障和数据需求部门进行的长期个性化沟通,从而不断满足用户的个性需求,建立稳定的用户客群,实现用户链式反应增值,使营销达到可度量、可调控等精准要求,促进数据的长期稳定高速发展。

总之,一方面,大数据技术具有让各种类型的数据变成能够快速获得的有价值信息的优势;另一方面,基于交叉融合后的可流转性数据以及全息可见的消费者个体行为与偏好数据,所以,未来的营销可以精准地根据每一位消费者不同的兴趣与偏好为他们提供专属性的个性化产品和服务。

三.2.2.2基于大数据的商业模式类型

大数据产业链自底向上主要由三层构成。

第一层是部门内部交易数据和外部外部的用户行为数据、物联网数据等,这一层次的主要任务是数据的采集、存储和传输等工作;第二层次是信息层,去粗取精,提炼后形成价值密度更高的信息,这一层可以产生诸如数据包销售、租赁等业务模式,也会诞生一批靠搜集各类数据为主业的部门;第三个层次是知识层,对于知识的利用需要人工介入以外,主要还需要融合行业信息。

具体来看,围绕上述两种主要的业务模式。

租售数据模式:

将产业定位在大数据采集和整理阶段,通过收集、整理、过滤、校对、打包、发布等一系列流程后,实现数据的增值,这就是租售数据模式。

租售数据模式对于数据提供商来说具有极大的价值,因为这一模式能使其拥有很强的话语权。

由于数据的稀缺性,数据提供商位于产业链的有利位置,具有较强的议价能力、较强的竞争优势以及良好的成长空间。

这一模式的关键成功因素是大数据的采集和维护,企业要将在经营中接触到的大量实时数据进行汇总记录并校对,加工成客户所需的数据才能销售获利。

数据使能模式:

将产业定位在某一具体行业,通过大量数据支持,对数据进行挖掘分析后预测相关主体的行为,以开展业务,这就是数据使能模式。

数据使能模式依据大数据技术开展高收益、低风险的业务,为部门创造新的盈利模式。

未来将会有更多的数据使能型的业务模式出现,它们将具备创新业务的特质。

这一模式的关键成功因素是维护数据的真实性和完整性,并适时进行风险分析。

数据越完善,风险越低,越有利于保证用户的高收益。

三.3管理及运营支撑

三.3.1锁定信息化运营

建立信息化运营体系,讲信息化运营融入统计业务的业务流程管理、数据采集管理、数据加工管理、标准化作业管理及风险控制、部门内部管理当中,并通过这个可自动扩展、复制的虚拟化云平台实现对运营、管理系统的支撑。

数据化运营是通过全面的信息收集和快速分析,为统计数据的准确性、客观性、合理性、多样性提供依据,实现运营数据的信息化管理,是以云化的IT基础架构、面向物联网应用设计的网络架构为基础建立的具备大数据分析能力的运营数据管理系统,是保障整体数据稳定、安全、可靠、准确的必要手段。

锁定信息化运营的主要内容为,建设基于多样本的数据采集校验,提供标准化的数据范本,建立完善的数据互通渠道,保障第二轨的顺畅运行。

三.3.2明确IT主体和业务主体

三.3.3用互联网数据打造第二轨,用数据分析平台完善第二轨

统计业务涉及面比较广,经过多年的信息化建设和数据分析摸索,从数据采集、数据加工、数据校验到数据统计都已经形成了相对完善的制度和方法,基于现有业务的拓展面比较窄,通过互联网数据的采集校验,打造数据统计的第二轨已经迫在眉睫,但是来源互联网的数据、信息存在标准统一、格式化复杂、数据信息不完善等问题,和传统采集、上报、统计的模式有很大差异,所以数据运营在第二轨的打造上显得尤为重要。

互联网数据采集是第二轨建设的必要环节,标准化的采集、人工的数据校验在面向数据的统计业务中是关键环节,通过对互联网网站的筛选、新增、删除来完成对互联网站点的运营管理,通过标准化数据的转换、人工的校验、加工完成对基础数据的完善和标准化的工作。

面向多种不同来源的数据,数据的质量就存在严重的问题,通过不同互联网公司、部委之间、司局之间的多渠道数据校验,能够满足对于数据接近真实的要求,从而为统计工作提供更可靠的数据支撑。

三.3.4高并发下的数据安全保障

在海量数据的采集、加工、统计的体系当中,如果需要提供保障安全运营并实现可持续发展的大数据服务,就必须把信息化嵌入数据生产的各个环节,跟踪数据在运行中的全部过程,并对各个环节实施数据运行过程当中的全样本采集,并在采集过程中提升分析能力,通过大数据运营监控系统监控数据的全生命周期。

面对数据量的不断增长带来的数据存储、数据分析成本的递增,采用“云”来降低成本,通过信息分级,把

展开阅读全文
相关资源
猜你喜欢
相关搜索
资源标签

当前位置:首页 > PPT模板 > 商务科技

copyright@ 2008-2023 冰点文库 网站版权所有

经营许可证编号:鄂ICP备19020893号-2