智慧公安大数据分析系统建设方案.docx
《智慧公安大数据分析系统建设方案.docx》由会员分享，可在线阅读，更多相关《智慧公安大数据分析系统建设方案.docx（82页珍藏版）》请在冰点文库上搜索。
智慧公安大数据分析系统
建设方案
目录
第1章 项目概述 1
1.1 项目背景 1
1.2 项目必要性 1
1.3 建设目标 3
1.4 编制依据 3
第2章 项目建设单位概况 6
第3章 需求分析 7
3.1 功能及性能需求 7
3.2 系统集成需求 8
3.3 数据来源 9
3.4 运行环境 9
3.5 安全需求 9
第4章 总体设计 12
4.1 总体设计原则 12
4.2 总体目标 13
4.3 系统总体结构和逻辑结构 13
4.3.1 系统总体结构 13
4.3.2 系统逻辑结构 15
4.4 标准规范建设内容 15
第5章 详细设计方案 17
5.1 信息资源规划和数据库设计 17
5.1.1 数据模型概述 17
5.1.2 数据建模方法论 18
5.1.3 数据建模基本原则 19
5.1.4 数据库架构设计 20
5.2 数据应用支撑系统设计 22
5.2.1 大数据平台关键技术 22
5.2.2 云平台数据共享功能 27
5.3 数据服务层计 34
5.3.1 模型的应用 34
5.3.2 平台基础应用 38
5.4 数据处理和存储系统设计 41
5.4.1 大数据处理核心技术 41
5.4.2 数据存储采用MPP与hadoop融合架构 41
5.5 终端系统及接口设计 42
5.6 网络系统设计 43
5.7 安全系统设计 44
5.7.1 系统安全满足情况 44
5.7.2 系统安全配置管理功能 45
5.7.3 系统无安全漏洞保障 48
5.7.4 软件自身安全 51
5.7.5 性能和可靠性 52
5.8 备份系统设计 54
5.8.1 容灾备份系统架构 54
5.8.2 容灾备份系统类型 55
5.9 运行维护系统设计 57
5.9.1 服务器管理 57
5.9.2 网络设备管理 57
5.9.3 进程管理 57
5.9.4 服务管理 57
5.9.5 数据库管理 57
5.9.6 中间管理 57
5.9.7 集群管理 57
5.9.8 故障管理 58
5.9.9 性能管理 58
5.9.10 配置文件管理 58
5.9.11 SYSLOG管理 58
5.10 其他系统设计 58
5.11 系统配置及软硬件选型原则 58
5.11.1 软硬件部署 58
5.11.2 数据要求 59
5.11.3 技术要求 59
5.12 系统软硬件物理部署方案 60
第6章 项目建设与运行管理 61
6.1 项目领导机构 61
6.2 项目管理机构 61
6.3 项目承建机构 63
6.4 运行维护机构 63
6.5 核准的项目招标方案 64
6.5.1 招标内容 64
6.5.2 招标有关说明 64
6.5.3 招标范围 64
6.5.4 招标组织形式和方式 65
6.6 相关管理制度 67
6.7 项目测试 68
6.7.1 单元测试 68
6.7.2 集成测试 68
6.7.3 系统测试 69
6.7.4 性能测试 69
6.7.5 验收测试 70
6.7.6 安装测试 70
6.8 安全性测试 71
6.8.1 功能验证 71
6.8.2 漏洞扫描 71
6.8.3 模拟攻击实验 71
6.9 项目验收 73
6.9.1 项目验收要求 73
6.9.2 项目验收的目的和原则 74
6.9.3 项目验收的组织和实施 74
6.9.4 项目验收的步骤和程序 74
6.9.5 项目验收的测试方案 74
6.9.6 项目验收的文档清单 74
第7章 项目培训计划 75
7.1 培训对象和培训目标 75
7.2 培训内容 75
第8章 效益及风险分析 77
8.1 效益分析 77
8.1 风险分析及对策 77
5
第1章项目概述
1.1项目背景
党中央、国务院高度重视大数据在经济社会发展中的作用，不管是推动政府的简政放权，放管结合，还是推进新型工业化、城镇化、农业现代化，都要依靠大数据、云计算。
所以，它应该是大势所趋，是一个潮流。
国务院办公厅在《运用大数据加强对市场主体服务和监管的若干意见》（国办发（2015）51号）中明确指出：
加快推进国家政务信息化工程建设，统筹建立国家信息资源库，加快建设完善国家重要信息系统，提高政务信息化水平。
目前，随着警务改革的不断推进，公安网络系统、信息中心、信息安全系统的规模不断扩大，各类信息应用系统日趋复杂，迫切需要借助云计算平台，实现灵活、高效的软硬件资源分配和管理，从而有效整合公安的各类信息资源，提升公安信息系统的安全性、稳定性、可扩展性。
另一方面，随着社会公共安全管理的日趋复杂，公安行业通过大数据应用，把大量的关联信息进行汇总处理，可以重新认知和感知我们的外部环境。
不但能快速锁定疑犯，而且还可以预防和打击犯罪。
公安云计算+大数据系统，将成为面向各警种的管理和分析利器，通过高效的云计算平台提供强大的大数据应用承载能力，面向各警种提供集中资源、集中管理、集中监控、配套实施的统一大数据应用环境，为各警实战应用提供强大支撑、服务、保障作用。
云计算和大数据是改变未来公安工作发展的新趋势，并且已经实实在给公安科技管理与创新来了深刻的变革，有力地推动了公安各警种的工作优化和提升。
1.2项目必要性
第一，构建“智慧公安”是未来警务形态演进的必然趋势。
近年来，随着公安信息化建设的持续推进，我国公安机关的警务改革已开始迈进智能化发展的快车道，警务与人之间的相互感知和联系越来越紧密，“公安大数据分析系统”建设已成为当代警务发展的新趋势。
第二，构建“智慧公安”是新一轮信息技术变革下的时代潮流。
当前，全球正进行物联网、移动互联网、云计算等新一轮信息技术变革。
新技术往往孕育着新的重大突破，信息资源成为重要的公安战斗力要素，信息化不仅成为推动公安警务方式变革的重要引擎，也给整个社会管理创新带来深刻变化。
“公安大数据分析系统”建设将极大地创新公安管理方式，促进“管制型公安”向“服务型公安”转变。
应当说，经过最近十年的发展，以网络化、数字化为载体的信息化警务特征日益显现，警务活动中人、事、物之间的互动能力显著增强，警务工作传载的功能不断增多，智能化程度逐步提高，“公安大数据分析系统”建设已成为现代信息技术变革下的时代潮流。
第三，构建“智慧公安”是推动公安战斗力生成模式转变的重要途径。
公安信息化的“智慧公安”建设是一场新的警务革命，对于整合警务情报资源、改造警情处理流程、创新警情研判模式、降低警务成本、实现警务效能的最优化具有推动作用。
这场新警务革命的实质是推动公安建设和警务工作由数量规模型向质量效能型、由人力密集型向科技密集型转变。
它要求把传统的公安战斗力生成模式转变到依靠科学技术特别是以信息技术为核心的高新技术上来。
在这一转变过程中，大数据将成为公安战斗力生成的核心要素。
拥有对海量数据占有、控制、分析、处理的主导权，将大数据优势转化为公安决策优势，继而转化为治安优势，将成为“公安大数据分析系统”的制胜关键。
第四，构建“智慧公安”有利于拓展现代警务功能、促进警务机制改革和提升警务管理精细化水平。
一方面，“智慧公安”的建设和实施将促进公安机关由传统的一元化管理职能向管理与服务功能并重、融合转化。
另一方面，“智慧公安”的建设和应用将改变传统的“金字塔”型公安管理体制，实现警务领导与指挥机制的扁平化，从而减少中间管理层，加快信息流动，达到精减机构、快速反应、即时联动的目的。
同时，构建“智慧公安”还有助于提高公安机关警务管理的精细化和科学化水平，提升公安机关的执法水平和服务水平。
1.3建设目标
公安部推行的“扁平化指挥模式”，就是最大限度地压缩指挥层级。
减少中间环节，优化现有的情报信息管理，建立情报信息主打警务的相关机制，着力拉近指挥与实战，机关与一线的时空距离，缩短响应时间，提高快速反应能力。
基于数据中心融合空间采集、电信运营商、交管部门、公安部门、社会公众的移动位置等数据形成大数据环境，建立大数据分析平台，支持警情处理、宏观决策、情报分析等大数据专题应用。
智慧公安大数据分析系统项目一期建设主要目标为：
l建立智慧、高效的情报研判体系；
l建立扁平、快速的指挥调度体系
l建立打防一体化警务管理体系
l建立集约化的信息技术支撑体系。
l建立专业化的警务指挥作战队伍。
1.4编制依据
《国务院关于加快推进“互联网+政务服务”工作的指导意见》（国发〔2016〕55号）
《国家信息化发展战略纲要（2016年）》
中共中央办公厅、国务院办公厅关于转发《国家信息化领导小组关于我国电子政务建设指导意见》的通知（中办发[2002]17号文件）
中共中央办公厅、国务院办公厅转发《国家信息化领导小组关于加强信息安全保障工作的意见》的通知（中办发[2003]27号）
《国家信息化领导小组关于推进国家电子政务网络建设的意见》（中办发[2006）]18号）
2012年12月全国人民代表大会常务委员会《关于加强网络信息保护的决定》
《促进大数据发展行动纲要》（国发〔2015〕50号印发）
《关于加快推进网络与信息安全信息通报机制建设的通知》（公信安〔2015〕21号）
《国家电子政务总体框架》（国信[2006]2号）
《电子政务标准化指南》
《政务信息标准化指南》
《信息安全技术网络基础安全技术要求》GB/T20270-2006
《信息安全技术信息系统安全通用技术要求》GB/T20271-2006
《信息安全技术信息安全事件分级分类指南》GB/Z20986-2007
《信息安全技术信息安全事件管理指南》GB/Z20985-2007
《信息安全技术信息系统安全工程管理要求》GB/T20282-2006
《国家电子政务外网安全标准汇编》
《计算机软件产品开发文件编制指南》（GB/T8567-1988）
《计算机软件需求说明编制指南》（GB/T9385-2008）
《计算机软件测试文件编制规范》（GB/T9386-2008）
《计算机软件配置管理计划规范》（GB/T12505-1990）
《计算机软件开发规范》（GB8566-1988）
《信息技术系统间远程通信和信息交换局域网和城域网特定要求》（GB／Tl5629-2003）
《信息技术互联国际标准》（ISO/IEC1180195）
《云计算标准研究报告》
《云安全关键领域技术指南》
《计算机系统安全保护等级划分准则》（GB17859-1999）
《计算机信息系统安全等级保护管理要求》（GA/T391-2002）
第2章项目建设单位概况
2015年以来，国务院先后出台“互联网+”行动计划、大数据发展行动纲要等政策文件，在全国大力推行“互联网+政务服务”，实现部门间数据共享。
面对大数据迅猛发展、引领变革的时代，市委、市政府顺势而为，乘势而上，制定出台《关于加快推进“三维数字”及信息化发展改革方案》，成立了以市委主要领导为组长的信息化建设管理工作协调推进领导小组，总体安排部署全市大数据工作，在全国率先成立了市政府直属的大数据社会服务管理局。
公安系统信息化办公室作为信息化的管理部门，不论从理论、实践及惯例都应承担全市信息方面的重要工作职责和任务，一并承担统筹大数据平台建设、应用，全市资源整合与共享工作等。
第3章需求分析
3.1功能及性能需求
1.功能需求
作为公安信息化发展到高级阶段的一种警务形态，“智慧公安”主要采用大数据、云计算、等新一代信息技术，将公安工作IT基础设施与物理设施、人际环境等高度融合，以提供智能化公安决策与服务。
其建设目标是充分利用科技创新，以“智慧”引领警务改革与发展，打造公安行政高效、警务指挥扁平、治安管控联动、公安服务便捷的良性公安工作机制。
“智慧公安”建设是一项涉及公安机关内外各领域、各部门的复杂系统工程，需要从整体上进行统一规划协调，做好顶层设计。
2.性能需求
l软件系统必须保证质量，并在实施前经过完全测试；
l系统应具备自动报警功能，以提醒系统管理员避免出现系统崩溃等严重事件；
l主服务器宕机时，可实时地切换到备用服务器上，用户的应用应该不受影响；
l主备切换时，业务不感知，任务不失败，业务不会中断；
l主备切换时间小于1秒；
l故障节点重启时间小于2分钟；
l系统不得出现数据丢失、切换失败等，影响正常业务运行的故障；
l服务器端系统应可长期稳定运行，必须支持负载均衡能力，确保无单点故障；
l不会因长期使用或负载过高导致系统故障。
系统应具有良好的并行处理机制，对存取冲突的竞争具有有效的仲裁和加锁机制，充分保证事务处理的完整性，并降低系统I/O开销，提高并发用户查询和存取的性能。
平台提供自底层硬件到上层处理流程的全面监控体系，帮助运维人员快速定位问题解决问题，使系统持续健康稳定的运行。
3.2系统集成需求
软件平台具备集成内外各种运行系统的基本能力。
软件平台集成性包括以下几个方面：
Ø软件平台具备对不同厂家提供的各类软件产品接入、运营、监控能力；
Ø软件平台提供独立的集成平台来提供各种集成手段实现和移动现有业务支撑系统和能力系统的集成，以及对于今后有可能存在的各类业务平台进行业务引入的接口能力等。
集成手段包括实时调用、批量数据交换等方式，集成接口兼容WEBSERVICE、FTP、XML等方式，可以提供服务的封装能力。
集成平台能力包括以下方面：
l数据路由：
能够对经由应用集成平台的数据进行检查和过滤，根据预定义的规则实现基于主题或数据内容的动态路由机制，应支持点对点、广播以及发布/订阅方式；
l协议转换：
具有系统间传输/调用协议转换的能力，这些协议包括但不限于JMS、FTP、CORBA、Socket、HTTP等；
l格式转换：
具有不同数据格式转换的能力，能够对来自不同应用系统的数据进行识别和解析，能够以图形化方式定制不同的数据转换逻辑，实现数据格式的转换和数据内容的整理；
l消息映射：
将来自于源系统的消息结构或业务数据对象映射为目标系统的消息结构或业务数据对象；
l事件处理：
支持事件驱动的架构技术，支持对系统之间信息交换事件的获取、处理和监控；
l集成监控：
提供对接入访问、数据传输和集成服务等各种集成处理能力的监控功能，可根据各种日志查询并监控应用集成组件的运行情况。
l数据传输：
实现各种应用之间的数据交换，数据交换支持基于消息队列和文件传输等模式。
集成平台要能保证应用时间数据传输的可靠性，支持交易的完整性，支持数据传输的并行处理，并且支持管理人员对数据传输的过程进行监控和干预。
l数据访问：
支持但不限于JDBC、ODBC等多种数据库接入模式。
3.3数据来源
Ø运营商数据（移动、联通、电信）包含基站资源数据、经分数据、信令数据、上网行为数据、位置信息数据等。
Ø交管部门数据：
包含铁路部门票务数据包含购票信息、车次出发到站时间数据；民航部门票务数据包含购票信息、航班起始到达时间数据；客运中心票务数据，高速路口收费信息等。
Ø公安内部数据：
通过接口实现与网综平台、警综平台、PGIS平台、情报综合平台、治安防控平台、三台合一接处警系统、监所系统、出入境系统、卡口数据库、视频数据库以及其他相关警种部门业务系统的数据汇集。
Ø社会外部单位的业务系统数据：
如民航铁路订票系统、酒店旅店住宿系统、公路客运系统、工商税务系统、民政司法系统、社交媒体系统、电商系统、教育宗教等系统的外部数据。
3.4运行环境
智慧公安大数据分析系统服务平台需要接收来自公安系统各部门的数据资源，各权属单位向系统共享、交换业务数据，系统需要提供相应的汇交、接收工具，以及导入、导出工具，业务数据的查询、统计等功能，并可以对外发布。
3.5安全需求
智慧公安大数据分析系统，根据2000年1月1日起实施的《计算机信息系统国际联网保密管理规定》第二章第六条规定：
“涉及国家秘密的计算机信息系统，不得直接或间接地与国际互联网或其它公共信息网络连接，必须实行物理隔离”。
根据中央办公厅、国务院办公厅转发的《国家信息化领导小组关于加强信息安全保障工作的意见》（中办发〔2003〕27号）指出：
我国当前对信息系统实施等级化保护和管理的制度——即“等级保护制度”，以及《信息安全等级保护管理办法》（公通字【2007】43号文件）的相关规定和要求，系统安全建设须满足以下要求：
1.物理安全要求
物理安全要求包括但不限于：
物理位置的选择、物理访问控制、供电安全保障、防火防潮等。
2.网络及设备安全要求
网络安全要求包括但不限于：
系统部署所在的网络结构安全、设备入侵防范、设备防护、安全审计等。
3.数据安全性要求
包括数据存储的安全性、数据传输的安全性、数据传输的完整性、数据传输的正确性、数据传输的及时性、数据备份及恢复机制、异常处理机制等。
4.系统安全要求
包括数据资源及应用模块的等级访问控制、身份鉴别（不限于数字证书应用）及不可抵赖性、安全审计、系统的容错性等。
5.应用安全要求
（1）以CA认证系统为基础，实现用户与服务资源的双向认证机制；
（2）以基于角色的授权原则，建立与政务信息资源共享平台业务、平台管理人员、部门管理人员岗位职责相对应的权限管理机制及统一的安全登陆机制；（3）以密码技术为基础的数据完整与保密机制；（4）对安全事件进行审计机制以及根据政务信息资源共享平台不同的业务、数据应用需求而采用标准的安全协议；（5）对应用进行严格的监控，实时掌握个应用系统资源的消耗、运行的状况，保障服务的连续性和可用性。
6.制度安全
7.包括项目管理制度、系统巡检及维护制度、数据备份制度、各类紧急应急措施；明确该项目基于该制度下的职责分工。
8.具有丰富安全特性的交换机构成数据中心网络的第一重保护；
9.具有高性能检测引擎的IPS对网络报文深度检测，构成数据中心网络第二重保护；
10.凭借高性能硬件防火墙构成的数据中心网络边界，对数据中心网络做第三重保护。
第4章总体设计
4.1总体设计原则
遵循相应标准：
系统的设计应符合国家、省及有关信息化建设的政策法规、规范和标准，并考虑与正在制定或即将出台的相关政策法规、规范和标准的衔接。
技术先进性：
平台作为一个大投资、复杂度高、周期长的网络数据应用系统，必须在开发初期考虑到技术的延展性。
作为应用系统建设的首要要求，就是应当保证系统在未来的几年中在软件基础结构和应用形态方面的技术先进性。
安全性和可靠性：
运用先进的访问控制、身份认证等技术防止非法用户入侵；保证系统在异常情况下的正确可靠运行。
数据的完整性和一致性：
数据在全网各个应用系统中的采集、存储、传输和处理应当保持完整和一致。
易扩展性：
所有的产品均考虑到应用及系统不断扩展的要求，以形成一个易于管理、可持续发展的体系结构。
未来业务的扩展只须在现有机制、标准的基础上，增加新的应用与服务模块。
易用性：
用户界面规范统一直观，易于用户掌握；提供方便的软件配置、管理和分发手段，门户网站系统作为信息系统统一架构体系，要求具备保持基本功能统一的前提下，能灵活开发扩展功能，采用统一的接口技术和接口规范。
互操作能力：
在不同层次的各个应用系统之间的数据应能充分共享，并通过技术手段实现应用程序之间的互操作。
规范性：
规范性包括业务规范、开发规范、术语规范和数据规范等方面。
可维护性及可扩展性：
应用系统要便于维护，并可实现跨平台运行，同时应留有与未来工程的软件接口，确保系统能够扩展、升级。
实用性：
提供方便的软件工具，便于系统的配置、管理和维护，门户网站系统将针对不同类型的信息访问者提供不同的信息展现内容，使用户根据自身对信息的访问要求，迅速获取相关的信息内容，从而充分发挥门户系统的渠道、桥梁作用。
信息兼容性强：
系统的建设支持对现有数据库数据的实时抽取，自动转化成统一的XML格式并且集成后的数据由本平台统一管理、联合查询、综合分析。
另外，对于查询基础业务系统内数据的请求，要能够实时的对多个不同的数据库进行联合查询，还包括了对文档，影音文件等内容，因此要求本系统的建设必须能够对非结构化的数据统一管理、联合查询。
4.2总体目标
基于先进的云服务体系，建立统一的警务大数据平台和数据中心，利用大数据、空间数据采集等技术，通过整合警务指挥体系及电信运营商、交通部门、大数据中心信息挖掘，实现信息最大共享的基础上，构建警务指挥核心智慧应用方案。
4.3系统总体结构和逻辑结构
4.3.1系统总体结构
本项目系统总体架构，是在统一的基础设施支撑下，依据智慧公安大数据中心建设目标，建立统一的大数据资源中心，构建自主可控的统一信息安全保障体系。
在统一的技术标准和业务规范支撑下，建立数据采集、数据清洗、质量管理、信息安全服务和资源统一调度等系统，并通过内、外网服务支撑其他智慧应用，建设覆盖全区的公共数据综合服务体系。
平台架构如下图所示：
图4-1智慧公安警务大数据分析系统总体架构示意图
IaaS层：
利用虚拟化技术将计算、存储和网络等基础硬件资源，以逻辑方式形成基础资源池层，再将资源池提供的虚拟机、虚拟存储或虚拟端口组等经过二次封装与组合、调度使用，形成一个个面向组织用户的虚拟服务器、虚拟桌面或者云存储系统，通过这样的形式为系统的各业务单位提供资源服务；同时提供物理资源和虚拟资源的统一。
PaaS层：
在IaaS层基础上，提供开放式公安基础大数据处理平台整合公安内部数据和运营商数据，提供分布式数据库来解决海量结构化数据的管理和数据交互，提供标准SQL接口、JDBC技术，能够与前台应用进行无缝对接；同时提供海量流式计算处理cstorm，能够实时处理大规模并发任务的负载均衡和任务分发，做到所有任务实时分发处理，不堆积，做到高度可靠性，任何任务处理过程中不会丢失，保障所有任务都能够处理完。
SaaS层：
平台能够支撑所有电信运营商、公安警务系统数据运行，所有业务数据统一管理，根据权限做到绝对安全访问，基于数据中心利用大数据、空间数据采集等技术，通过整合公安部门、电信运营商等多部门采集的移动位置、舆情信息等，建立宏观决策、警情分析、警务调度管理等分析模型，为警务及公共安全管理提供大数据专题分析及应用。
4.3.2系统逻辑结构
图4-2公安大数据库逻辑架构图
MPP架构的新型数据库集群，重点面向行业大数据，采用SharedNothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑，运行环境多为低成本PCServer，具有高性能和高扩展性的特点，在企业分析类应用领域获得极其广泛的应用。
4.4标准规范建设内容
1、下列规范性引用文件中的条款通过引用而成为本规范的条款：
（1）《电子信息系统机房设计规范》GB50174-2008；
（2）《综合布线系统工程设计规范》GB50311-2007；
（3）《公用计算机互联网工程设计规范》YD/T5037-2005；
（4）《通信局（站）电源系统总技术要求》YD/T1051-2000；
（5）《通信电源设备安装工程设计规范》YD/T5040-2005；
（6）《电信专用房屋设计规范》YD/T5003-2005；
（7）《建筑物电子信息系统防雷技术规范》GB50343-2004；
（8）《通信局（站）节能设计规范》YD5184-2009；
（9）《电信设备安装抗震设计规范》YD5059-2005；
（10）《互联网数据中心（IDC）工程设计规范》YD5193-2014；
（11）《互联网数据中心（IDC）工程验收规范》YD51
升级会员 