公共管理服务大数据中心建设方案.docx
《公共管理服务大数据中心建设方案.docx》由会员分享，可在线阅读，更多相关《公共管理服务大数据中心建设方案.docx（20页珍藏版）》请在冰点文库上搜索。
公共管理服务大数据中心建设方案
公共管理大数据工程中心建设方案
一、概述
二、
大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。
信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为国家基础性战略资源，大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。
大数据正在成为经济社会发展新的驱动力。
随着云计算、移动互联网等网络新技术的应用和发展与普及，社会信息化进程进入数据时代，海量数据的产生与流转成为常态。
预计到2020年，全球数据使用量将达到约400亿TB，将涵盖经济社会发展各个领域，成为新的重要驱动力。
大数据重新定义了各个大国博弈的空间。
在大数据时代，世界各国对数据的依赖快速上升，国家竞争焦点已经从资本、土地、人口、资源的争夺转向了对大数据的争夺。
鉴于大数据潜在的巨大影响，很多国家或国际组织都将大数据视作战略资源，并将大数据提升为国家战略。
2012年3月，美国奥巴马政府宣布了“大数据研发计划”，并设立了2亿美元的启动资金，希望增强海量数据收集、分析萃取能力，认为这事关美国的国家安全和未来竞争力。
迄今为止，美国在大数据方面实施了三轮政策，开放了50多个门类的政府数据确保商业创新。
欧盟正在力推《数据价值链战略计划》为320万人增加就业机会。
日本积极谋划利用大数据改造国家治理体系，对冲经济下行风险。
联合国推出的“全球脉动”项目，希望利用“大数据”预测某些地区的失业率或疾病爆发等现象，以提前指导援助项目。
截至2014年4月，全球已有63个国家制定了开放政府数据计划，数据开放推动政府从“权威治理”向“数据治理”转变。
2015年国务院总理李克强主持召开国务院常务会议，通过《关于促进大数据发展的行动纲要》，从国家大数据发展战略全局的高度，提出了我国大数据发展的顶层设计。
同年，五中全会的“十三五”规划建议提出：
“实施国家大数据战略，推进数据资源开放共享。
”，使大数据战略成为我国十四大战略之一。
目前，我国在大数据发展和应用方面已具备一定基础，拥有市场优势和发展潜力。
据相关调研，2015年我国大数据市场规模增速达到38%，预计2016至2018年我国大数据市场规模还将维持在40%左右的调整增长。
二、立项依据、背景与目标
2.1立项依据
落实国家“一带一路”、“信息化和信息安全”、“互联网+大数据”的国家发展战略，促进技术进步与科技创新，加快行业发展与转型，推动社会进步，充分利用高等院校的技术、人力等资源以及先进成熟的技术成果，利用企业的工程实施经验，针对行业的具体需求与应用场景，提高科研与人才培养能力，将科研成果尽快地转化为生产力，不断提升相关产业的技术和管理水平，各方发展各自优势，通过多种形式开展全面合作，共同推进合作，形成包含研究、工程实践、应用的完整的合作体系，专业、产业、应用相互促进、共同发展，共同推进大数据技术的行业发展。
2.2立项基础
为了推动大数据处理技术对技术侦察、金融、公共管理等领域的的转型升级的支撑作用，三方各自发挥优势进行有效的合作，以达到强强联合、优势互补、互利共赢，共同推进大数据产业的发展。
1.中科院光机所在合作中作为工程的实施方，具有以下优势：
1）前期的实践经验和工程实施技术储备：
2）
九索数据是一家为公共安全防务工作提供大数据技术的数据挖掘分析公司，参与了市局、人民银行等单位的数据处理项目，曾参与云南缉毒的海量数据的处理、通信行业信息处理以及人流量统计等工作，有着丰富的工程实施技术的积累。
（XXX）（九索提供应用案例）
3）市场能力：
4）
中国科学院西安光学精密机械研究所是中国科学院在西北地区最大的研究所之一。
其下属九索数据公司在西安市公共安全大数据处理领域中承担了重要工作，同时在陕西省拥有丰富的媒体资源以及强大的市场运作能力。
（XXX）（九索提供）
2.西安交大在合作中作为解决方案的提供方和人才资源的提供方，具有以下优势：
1）丰富的、先进的大数据处理技术、模型的储备：
2）
西安交通大学是国家教育部直属重点大学，为我国最早兴办的高等学府之一。
近年来，西安交大积极推动大数据处理技术研发，成立了“陕西省大数据处理与分析重点实验室”、“智慧城市联合实验室”等科研机构，在大数据处理领域取得多项研究成果，拥有先进的大数据处理技术及模型。
3）先进的人才培养环境以及丰富的人才储备：
4）
西安交大与IBM中国开发中心合作开设业务分析专业，应用IBM的培养体系、培训人员、资料等，培养业务分析工程师，是大数据处理分析人才培养基地。
目前，该专业已有3届学生毕业，每届约30人。
5）丰富的科研项目管理经验：
6）
西安交大拥有5个国家重点实验室，4个国家专业或专项实验室，2个国家工程研究中心，1个国家工程技术研究中心，11个教育部重点实验室，2个教育部工程研究中心，2个卫生部重点实验室，12个陕西省重点实验室，8个陕西省工程研究中心、8个陕西省工程技术研究中心和3个陕西省文科重点研究基地，承担大量国家、省级、市级基金及专项研究，拥有成熟的科研项目管理经验。
7）与政府的良好的、密切的合作关系：
8）
西安交大与西安市政府在多个领域有着密切的合作，特别是信通研究院与市局等单位有过合作的经验，对市局工作流程以及业务有这一定的了解。
3.西安市局具有以下优势：
1）拥有海量的数据资源：
2）
（XXX）（由市局提供所拥有的数据信息）
3）拥有切实的应用场景以及任务需求：
4）
近年来，市局由于警力资源紧张、数据量巨大、数据处理能力不足，亟需在数据处理方面引入先进的大数据处理技术来辅助工作的进行。
尤其是在人员排查、警卫安保、人口及人流量监控、案件侦破等公共安全管理领域，对大数据处理技术有着切实的、迫切的需求。
5）作为政府的重要职能部门，为项目落实提供给政策基础：
6）
（XXX）（由市局方提供相关资料）
2.3任务与目标
1.工程中心发展方向
工程中心研究开发的方向为：
大数据处理技术的行业应用以及行业大数据解决方案。
以公共安全管理领域以及人民银行数据处理领域为突破点，未来涵盖公共管理、运营商以及智慧城市等领域。
2.工程中心主要任务
项目分阶段实施，并最终建成以独立模式运营的工程研究中心，并拥有相应的自主知识产权、具有国内领先的技术及行业解决方案以及行业大数据应用的标准。
为完成以上目标，中心需要三方合作实施以下措施：
（1）建设大数据处理平台，能够支撑大数据处理分析、深度学习以及数据可视化等功能。
（2）确立行业大数据应用需求，构建应用场景。
（3）构建数据处理模型，提出行业大数据的解决方案，并进行工程实施。
（4）开发相应行业大数据应用，并对应用进行推广。
（5）进行人才培养及人才储备，并对为合作方人员提供培训环境，包括学历教育和非学历教育。
（6）共同申请国家级、省级、市级科研项目。
3.工程中心建设目标
（1）提供公共安全领域以及其他领域的行业大数据解决方案、模型；
（2）提供大数据处理人才的培养与人员的培训；
（3）推广相关大数据处理的行业应用；
（4）制定行业大数据解决方案的标准。
三、中心规划
3.1中心总体架构
工程中心是由光机所、西安交大、西安市局三家单位合作支持的，以独立方式运作的，涉及公安、银行、智慧城市以及运营商领域的，针对行业大数据处理应用的科研中心。
图1中心总体架构图
3.2中心管理与运行机制
工程研究中心是以独立模式运行的科研机构，中心建立完善的中心管理机制。
工程中心与三方联盟、学术委员会协同运作，并运营下属的科技公司，推动工程中心研究成果的产业化应用。
同时，中心引入投资公司的资金支持，保障中心的健康、持久的运作。
未来工程中心将发展为市级、省级乃至国家级工程研究中心机构。
图2中心组织架构图
1.中心机构设置：
工程中心下设公共关系部、战略发展部、研发中心、信息资源部、项目管理部、中心办公室等纵向职能部门，各部门实行分工明确、职责到位的责权管理制度。
公共关系部：
建立并保持与公众之间的交流与合作；参与处理各种问题与事件；帮助管理部门了解社会需求，并对其做出反应；确定并强调工程中心为公众利益服务的责任；作为社会趋势的监视者，帮助企业保持与社会同步。
战略发展部：
把握国家宏观经济政策，进大数据行业和相关行业的调查研究、信息收集，分析和评估宏观经济和行业发展对工程中心造成的影响，发现主要发展机会与主要风险；分析工程中心现状以及各业务单位在行业内的地位、优势与弱点，寻找新业务发展机会，进行可行性研究工作； 负责工程中心企划工作，编制中长期发展战略规划及年度发展规划，对工程中心发展战略的实施进行跟踪，并及时提出合理化建议； 收集国内外同行业先进企业资料，总结先进经营理念、管理体制、管理方法，提高内部管理水平,为工程中心提高核心竞争力和管理、技术创新提供建设性意见 。
研发中心：
负责工程中心技术管理工作，组织编制、修订、完善产品操作规程等技术文件；根据工程中心发展及市场需要对现有技术进行改进，并开发、设计新产品；根据工程中心发展的需要，研究市场和用户的潜在要求，制定技术研发中心中、长期规划及资金预算；及时提出研究开发方向和研究课题，并负责对提出的研究开发方向或课题组织评审，保证课题具有前瞻性、可操作性和现实性；负责工程中心专利申报、成果鉴定、论文发表等工作；研发中心实验室负责试验设备的日常维护和保养。
信息资源部：
建立健全各类工作条例、职责，并督促、检、落实。
负责外来单位来工程中心联系业务及商场招商等工作，协调关系，做好接待工作；负责信息的收集和宣传工作，接收工作文件、通知及资料的收发工作；为领导及时准确的提供信息资料，发挥领导的参谋及助手作用，不定期汇报工作，做好外来电话的记录，并及时汇报经理，按领导批示去办；做好办公用品采购，保管和分配工作，建立物资管理制度。
项目管理部：
在工程中心内推行项目管理制度，并不断完善、分析、改进；协调项目实施过程中的资源配置，及时向相关部门反馈项目进程；在项目各阶段控制文档的收集、整理、归档；负责组织与项目有关的各项目评审，对项目成果作总结评定；推行项目管理工具，实现项目管理信息化。
负责项目实施阶段的成本预算、成本控制，辅助项目经理进行项目决算；保证工程中心质量管理体系的正常运行，负责组织对产品、体系的持续改进。
中心办公室：
按规定统一保管好工程中心公章；负责工程中心人员、财务、设备、后勤工作的组织协调和管理；根据领导工作部署，制定工作目标计划，做到年度有计划，季度有安排，每周有重点，年终有总结；认真落实各项工作制度和岗位职责，严格按照工程中心的工作制度和岗位职责，对有关人员和部门进行考核。
图3中心机构组成图
2.中心运转机制：
（大改XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX）
市局提供工程中心所要研究的应用场景，同时提供场景下的业务需求，并为相关领域研究提供数据资源以及研究成果的实践平台。
光机所九索公司为工程中心的研究成果进行工程实施，并形成完整的工程应用，结合市局的应用场景和行业需求，形成完善的市场应用，通过市场运作，对成果进行推广。
西安交大为工程中心提供所需要的后续研究的技术支持，提出应用场景的模型以及相应的解决方案，同时进行仿真验证成果的可靠性，并为工程中心提供相关的人才培养以及合作方的人员培训。
三方单位是最佳的合作组合，在西安市政府、国家级项目、省部级项目的支持下，有效合作、强强联合、优势互补、互利共赢，共同推进大数据处理产业的发展。
图4产业推进体系架构图
3.3研究应用领域
网络大数据工程研究中心以公共安全领域为突破点，并同时开展银行领域的大数据研究，未来将涵盖智慧城市、运营商等领域的研究。
图5研究应用领域图
图6研究应用场景图
1.大公安领域
（1）公安信息采集与处理
公安信息数据来自不同业务部门的应用系统，要从杂乱无序的数据源中挖掘最有价值的信息，必须对数据进行预处理。
数据预处理在数据挖掘过程是通过数据选择、汇总等操作取得与任务相关的业务数据集合，以提高数据的提取速度；通过数据集成将多种数据源中的数据整合在统一的数据仓库或数据集市中，为有效分析和决策提供全面而正确的数据；通过将集成后的数据仓库或数据集市中检索出与此次挖掘相关的数据集合，避免数据盲目搜索，从而提高数据挖掘的质量和效率。
（2）治安预警
利用数据挖掘技术，充分、有效地利用公安所能获取的数据，发现隐藏在其背后的重要信息，为公安行业的预测预警提供有力的依据，以提高执法效率和快速反应能力．及时预防和打击犯罪活动。
（3）案情分析
通过对现有数据进行分析，确认刑事案件受理系统中的案件类别、案发时间、危害程度、选择部位、选择对象等信息。
该分析目标；
（4）案发趋势预测
设计案发趋势预测方案，发现不同辖区未来一段时间的治安情况走势；利用相关性分析理论实现了旅业预警分析中的“旅业群体分析”。
发现流动人口犯罪的模式和规律的信息，发现指定行政区划的外来人口在本市某辖区的数量变化情况，与某辖区某种案件报警数量之间的关联关系。
（5）网络舆情动态的挖掘
对于热点和敏感话题等舆情，通过网络数据挖掘分析，从中发现舆情受众以及受众的构成、关注点、意见倾向的信息，进行跟踪分析和预测舆情未来走向。
使政府相关部门能够及时有效地应对网络舆情的动态变化；同时利用可以发现舆情信息之间的链接结构和发布的先后顺序，追溯舆情源头。
（6）网络违法犯罪线索的搜集
为网上信息资源的犯罪情报搜集提供公安业务数据挖掘技术的有效工具。
收集所需要的犯罪情报资料，同时提供各类信息资源被使用的情况以及热点专题等，利用数据挖掘技术自动对所搜集来的数据进行清理、去冗等处理，缩短从原始信息到侦查情报的处理时间。
利用数据挖掘技术在海量的交易数据中查找出某些异常模式，再结合违法犯罪信息进行分析研究，从而提供聚集的可疑线索，确定侦查方向。
2.大银行领域
（1）金融领域犯罪活动分析
目前银行已积累了大量的客户交易数据，但缺乏对于数据的使用的相关技术；另一方面，洗钱活动日益猖獗，严重威胁全球经济发展和国家安全。
运用各种数据挖掘技术可以实现反洗钱系统的智能分析，结合洗钱行为的异常特点，识别出一些重要的活动关系和模式，有助于调查人员关注可疑线索，进行深入调查。
（2）快消品营销
快速消费品行业的企业为了保持竞争力、扩大市场份额，必须要有先进的数据分析手段来对数量庞大的历史数据进行处理的能力，以更好的对市场趋势、产品特性需求进行了解，为正确的决策提供强有力的支持。
数据挖掘技术通过强大的技术手段，依托飞速发展、高性能的技术平台来进行数据中知识的发现，可以有效的解决快速消费品行业企业的面对的数据处理困境。
（3）投资风险评估
风险分析及管理信息系统的数据仓库中存有大量的事实数据，这些数据包括客户的基本信息、企业主要管理人员及主要家属基本情况、客户重大事项、企业大事登记、企业所属行业、破产日期、违约类别、债务结构等诸多数据信息，数据挖掘技术在风险分析领域的应用会有广阔的前景。
（4）征信体系
信用评分作为重要的信用风险事前管理手段，对金融机构提高自身信用风险管理水平、提升信用风险管理决策的科学性、实现更高的信用管理效益起着重要的作用。
信用评分模型的构建需要对大量数据进行分析处理，需要大数据和数据挖掘技术的支持。
3.智慧城市领域
（1）智慧交通
近年来城市持续增长的交通需求和更为复杂的交通拥堵状况也成为了城市道路交通管理的难题。
海量的综合交通信息处理需求是传统交通信息系统难以满足的，数据挖掘技术能够为交通规划和管理提供坚实的基础。
（2）智慧医疗
智慧医疗是智慧城市的一个重要组成部分，通过信息技术将医疗基础设施与IT基础设施进行融合，以“医疗大数据处理”为核心，跨越原有医疗系统的时空限制，并在此基础上进行智能决策，实现医疗服务最优化的医疗体系。
（3）智慧政务
智慧政务是运用大数据处理技术，通过监测、整合、分析、智能响应，实现各职能部门的各种资源的高度整合，提高政府的业务办理和管理效率；加强职能监管，使政府更加廉洁、勤政、务实，提高政府的透明度，形成高效、敏捷、便民的新型政府。
4．运营商领域
（1）移动互联网大数据的内容智能推荐
基于互联网日志的用户行为分析算法和用户模型的研究，以及基于用户标签匹配业务产品的分析，研发适合海量日志数据的用户行为分析、偏好分析。
（2）网络运维大数据挖掘
围绕网络运维管理中的告警、工单、网络资源等大数据挖掘分析的关键技术难点，从网络告警与故障工单语义分析、基于复杂网络的故障诊断与评估和基于网络运维大数据视角的网络运维质量管理挖掘分析三个层面挖掘网络运维大数据价值，为集中化网络运维管理中故障管理、指挥调度和流程优化提供高效的业务数学模型和可靠的分析决策支撑。
（4）产品微营销技术与应用
围绕移动计算环境所产生的位置、时间、行为等海量情境数据，设计对海量非结构化移动时空数据存储、处理与挖掘的实时大数据管理框架。
四、研究中心筹建
4.1中心平台筹建
网络大数据工程中心是集技术研究、仿真实现、人才培养、行业解决方案设计于一体的大数据合作基地。
中心建于西安交大曲江校区智慧城市研究院，占地500至800平方米，拥有20余台大数据服务器和高性能计算机，支持大数据业务分析人才的培养，具备构建复杂大数据处理模型的能力，掌握数据分析、机器学习、深度学习等大数据技术，实现与业务需求和产业推动的无疑对接。
1.平台总体架构
图7网络大数据处理平台的硬件体系
在平台的硬件基础上，搭建用于大数据存储和处理的软件系统如图8，包括：
（1）基于Hadoop的大数据基础平台，主要用于大数据存储和调度，配备分布式文件系统、分布式数据库、大数据计算引擎和大数据计算调度机制。
（2）基于Spark的大数据计算系统，主要用于并行计算和集群计算。
（3）深度学习计算框架，主要使用人工神经网络、卷积神经网络、递归神经网络等最新的深度学习技术进行大数据处理和分析。
（4）大数据建模和仿真平台，使用数据标记、机器学习、行为分析、实时统计等技术对相关大数据建模，并实证模型。
（5）数据可视化平台，展示大数据平台的实时仓储和数据动态，并以丰富的形式表现大数据模型、及处理和分析结果。
（6）应用层，以大数据分析为支撑的，运行在大数据平台上相关行业的大数据解决方案。
图8网络大数据处理平台的软件体系
2.大数据计算集群模块（简称集群）
大数据计算集群安装了Hadoop和Spark系统，Hadoop主要实现了一个分布式文件系统，它有高容错性的特点，并且设计用来部署在低廉的硬件上。
而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。
Spark是一种与Hadoop相似的开源集群计算环境，启用了内存分布数据集，除了能够提供交互式查询外，还可以优化迭代工作负载。
集群通过Hadoop和Spark对大数据进行分布存储和快速数据调度，完成对大数据的并行计算和集群计算，是大数据平台的主要存储和计算部分。
（1）集群的组成:
20-30台高性能服务器，每台服务器都配有：
2个8核以上的cpu，20T以上的存储能力，以及64G以上的内存。
（2）集群的部署形式：
采用一主多从的部署形式；集群内部使用万兆以太网保证计算数据的传输；集群以Hadoop为基础，使用Spark计算框架对大数据做分析建模。
（3）集群的可扩展性：
集群在数据量增长和计算量长时，通过扩充计算节点的方式应对；在计算节点量超过阈值时，需要增加主节点；
为大数据平台推荐的Hadoop与Spark集群配置为：
（1）Hadoop：
中心研究平台以Hadoop的计算与建模分析为主，DataNode/TaskTrackers：
12-24个1-4TB硬盘，采用JBOD配置；2个2-2.5GHz的至少四核以上CPU；64-512GB内存；千兆或万兆以太网。
NameNode：
需要于集群数据块成比例的RAM；4-61T硬盘，采用JBOD配置（用于OS，文件系统映射，ZooKeeper，Journal）；2个2-2.5GHz的至少四核以上CPU；64-128GB内存；千兆或万兆以太网。
（2）Spark：
在已经搭建好的Hadoop平台上运行Spark作业，在HDFS节点上直接创建SparkStandalone集群，同时配置Spark和Hadoop对内存和CPU使用量。
网络配置Spark有其特殊性，由于Spark有大量的内存计算，大多的应用场景下，I/O瓶颈会限制计算能力。
在集群环境下，I/O瓶颈主要体现为网络传输。
所以最好使用10Gbps或更高的网络带宽。
3.深度学习计算模块
深度学习是在计算机计算能力和存储能力得到极大提升的情况，对人工神经网络一个巨大的改造和增强，它通过对大规模数据的模式和特征进行自主学习，以完成相应的分类、预测、生成等任务，目前已经颠覆了图像、视频、文本、语音、推理等诸多领域的传统方法，并广泛应用于无人车、医疗、搜索、识别等行业。
（1）深度学习计算服务器组成：
由2-3台左右高性能计算机组成，每台计算机配有：
1个4核以上cpu，4个nividaTitanX的gpu。
（2）深度学习服务器的部署形式：
2台高性能计算机内部独立运行，与集群部署于同一组网，同时深度学习数据从集群中接入。
4．数据可视化模块
可视化平台使用丰富、直观的形式观察数据处理的效果，展示数据分析结果，并形象反映大数据应用模型的成效。
数据可视化平台主要组成：
由4台大屏幕显示器和2-3应用服务器组成；展示数据从集群中接入，在应用服务器做可视化处理，通过显示器展示独立的结果。
5．平台环境建设所需的基础设施
为使大数据平台可以安全、稳定、可靠的运行，还需要为平台配备相关环境：
（1）场地配置：
500到800平米；配备有完善的配电系统和照明系统；配备机房专用空调。
（2）安全保障配置：
监控设备和门禁设施需要独立的电力供给系统，并配备UPS；机房采用专业防火材质装修，并配置相应的火灾监控系统。
（3）人员配置：
3名设备管理人员，具有丰富的服务器维护经验；机房需要配置专门的后勤人员；中心需要配置相应管理人员，负责监管中心的正常运作；中心需要20-30名数据分析工程师，进行相关研究工作。
4.2经费估算
1．预算估计
表1经费需求概算
项目
序号
条目
总额（万元）
基本建设费用
1
办公场地费
365
2
设备购置费
172
3
租赁使用费
95
4
其他基本建设费
25
运行费用
1
劳务费
670
2
材料费
160
3
燃料动力费
190
4
办公用品
295
5
差旅费
47
6
会议费
79
7
管理费
90
8
参展费
145
9
交通费
76
10
国际合作与交流费
192
11
出版/文献/信息传播/知识产权事务费
165
12
专家咨询费
145
13
设备维护费
82
14
其他费用
7
总计
3000
2．资金筹措
XXX（描述资金支持来源）
升级会员 