合成作战中心平台建设项目(纯方案,34页)Word文档下载推荐.docx
《合成作战中心平台建设项目(纯方案,34页)Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《合成作战中心平台建设项目(纯方案,34页)Word文档下载推荐.docx（35页珍藏版）》请在冰点文库上搜索。
1）完善各部门警种之间的情报指挥、勤务联动机制
合成作战平台基于云计算和大数据，力图集成公安已建或在建各类应用系统在不同领域的专业能力，整合各警种、各部门以及社会相关资源，将警综平台、情报平台、警用地理平台、视频监控平台、智能卡口系统、刑侦作战平台、接处警系统等有机整合，互联互通，面向实战，提高立体化社会治安维稳协调运作能力、警种合成作战能力、推动突发事件快速处置能力。
2）完善跨区域、跨警种、跨部门的情报收集、共享及保障机制
合成作战平台将探索新时期情报工作全警共建的方式，通过完善情报收集渠道和手段、提供情报共享能力、并配套情报提供者的激励保障机制，激发基层警务实战热情，强化更多的、规模更为巨大的、对研判工作辅助能力更强的社会化数据的收集、共享能力。
3）以大数据为支撑，完善预警、研判模型
打通各警种业务系统之间的数据链接，根据“信息主导、快速反应、准确打击”的思路，基于大数据，逐步开发、完善预警、研判模型，为公安开展合成研判提供强有力的手段支撑。
1.1.2建设任务
本项目建设的主要内容包括：
基础硬件设备建设、合成作战平台（大数据支撑服务、合成作战业务系统）建设。
1）基础硬件设备建设
为合成作战平台提供运行的服务器、存储等基础环境。
2）公安大数据服务平台建设
共享公安机关掌握的丰富的信息资源，根据合成作战业务，建设大数据缓存库，提供针对性的研判工具。
3）合成作战平台建设
合成作战平台通过构建日常研判、集中研判的协同机制实现各警种部门的合成作战研判，完善公安各部门警种之间的情报指挥、勤务联动机制，并在此基础上实现情报研判成果转化，情报导侦、导控、导指，实现情勤联动的无缝对接，把研判成果转化为合成作战的现实战斗力。
1.1.3项目服务对象
该系统建成后，主要服务于壁山区公安局、基层所队两级公安机关、各警种。
1.2项目设计方案与功能
1.2.1公安大数据服务平台概述
当前，各行业数据爆发性增长，亟需转变数据处理模式。
在公共安全领域，治安系统、智能交通视频数据呈井喷式增长，已显现出行业大数据的典型特征。
如社会治安视频监控系统，如果我们将社会上所有的视频监控数据都接入公安系统，每天将产生PB规模的视频、图像及相关数据。
如何对如此大规模的数据进行智能、高效的组织管理和分析处理，在此海量信息中提取有用信息，以辅助公安机关开展治安防控、警情研判及指挥决策已成为当前公安业务中亟需解决的难题。
本平台通过综合运用云计算、云存储、并行数据挖掘等技术，针对图像、视频等非结构化数据开展存储、挖掘和联动分析等应用，有效整合集成各种数据资源，来构建数据种类丰富、大数据量和动态海量数据库体系，并建设智能搜索门户、专题应用课题，以及建立统一监控机制，有效支撑公安打防管控业务开展，提升公安工作的情报洞察能力、分析决策能力、指挥管理能力、侦查破案能力和服务社会能力。
1.2.2公安大数据服务平台建设
1.2.2.1数据汇聚平台
数据汇聚功能要求实现将各部门相关的信息资源统一采集交换到数据中心前置库中，满足多种采集方式，能够满足不同的网络，数据汇聚功能包含数据采集、数据交换、数据处理等功能。
1.2.2.1.1数据采集系统
数据采集子系统依托应用集成中间件、应用集成中间件适配器设计，实现对各部门业务数据信息的采集。
数据采集系统通过丰富灵活的适配器服务组件采集各业务部门的数据信息，将其传输、归集到数据中心前置库中。
根据其特点，按照批量更新、增量更新、实时更新、数据同步等不同的更新策略，定制各类数据的更新接口，提供手工录入、整体导入等数据采集方式，并提供严格的质量检查工具，实现数据中心各类数据的采集与更新，保证数据中心数据库的时效性、权威性和一致性。
1.2.2.1.2物理拷贝采集
物理拷贝方式，采用传统的移动硬盘、硬盘、DVD和VCD等数据存储介质通过硬拷贝方式实现数据共享的模式。
采用该模式的实现环境主要有以下几种情况：
（1）数据应用部门与支撑服务平台存在着网络互联互通的障碍，导致无法通过网络实现数据共享。
（2）数据量较大，基于网络传输模式无法满足用户要求。
例如海量影像，数据量高达几百个GB，甚至是TB，采用网络方式进行数据共享不但容易造成网络阻塞，而且成本代价较大，往往采用物理拷贝模式。
1.2.2.1.3数据上传采集
数据上传方式主要是通过平台提供的数据上传入口，上传各业务部门的相关数据，实现数据的共享。
主要提供两种上传入口：
（1）通过登录数据采集系统的WEB界面，进行WEB界面直接上传相关数据。
（2）通过搭建的FTP服务，各业务部门将所需要上传的资料通过FTP上传到前置库中。
数据上传采集的特点：
通过系统对支持大附件上传；
支持数据批量上传；
支持数据断点续传等功能保障数据的传输速度和传输质量。
1.2.2.1.4接口服务采集
接口服务模式是属于一种较高层次的共享模式，各业务部门的应用系统建立与数据中心平台的接口，通过系统与系统之间的接口交互模式，实现数据的共享与调用。
支持常见的接口服务有webservice、API等多种接口类型，满足平台的接口服务采集需求。
1.2.2.1.5关系型数据库采集
基于关系型数据库的采集方式，对各业务部门的业务系统的数据库类型、网络环境、数据密级等多方面进行调研分析，可使数据中心的连接部门业务系统的数据库，直接读取相关数据。
此种数据采集涉及到数据类是否为关系型数据库，而且需要考虑网络环境的连通性，是否能否连接，另外还需要考虑业务系统的密级性，是否允许直连数据库获取数据等多种因素，需要综合考虑。
1.2.2.1.6数据采集校验
数据校验从校验对象细粒度维度分析，支持文件级校验与记录级校验二大类。
数据校验模块还内置了部分的数据检查功能，如数据唯一性检查、外键完整性检查。
数据校验内容有类型、长度、是否为空、精度、范围、格式等信息。
如果数据不符合，会进行过滤，只有正确的数据才能继续使用。
对于错误的数据，可以进行输出，包括错误原因和错误字段序号等信息。
相关的错误类型和数量等统计信息也会绑定到流程变量中，以便后续节点进行判断使用。
能够提供将分散的、异构数据源中的数据如关系数据、非关系数据、数据文件、FTP等抽取到临时中间层后进行入库前的数据类型校验功能以及针对海量数据的高性能数据解析功能。
实现对数据进行校验检查，主要检查空间拓扑一致性、属性结构的一致性、数据内容的一致性。
该检查主要在数据采集和数据同步中使用，并可以单独提供数据校验比对服务。
在发生数据数据采集时，各业务部门采集的数据向数据中心前置库系统传入要校验的数据条目信息，前置库校验该条目信息是否吻合一致，如果一致相符，则返回对比成功，否则返回比对错误，并将各业务部门采集准确的信息返回给调用者。
在向业务部门数据同步时，数据校验用于比对导入数据和业务部门数据的一致性，如果一致，则不需要重复导入，如果不一致，则用最新的数据覆盖不一致信息。
数据校验比对工具，要将检查比对的结果以便于阅读分析的报告形式展现给用户。
1.2.2.1.7采集服务配置
获取信息资源中定义的信息资源更新频率，自动实现采集、可以配置全量或者增量采集方式，可以配置数据提供部门在数据中心部门前置库的存储位置等。
能够提供对于采集周期，时间的采集策略配置、接口配置采集任务配置功能。
对于应用数据采集，需要管理的关键业务点有采集点、数据传输。
主要性能指标包括：
在采样周期内成功取得文件的数量、采集数据间隔时间、采集文件大小、进程状态、文件连续性、采集状态、传输速率等。
1.2.2.1.8采集监控管理
系统提供采集异常处理机制，如采集任务中断、采集数据失败等相关异常现象时，实现相关的补采机制，或通过告警的方式通知系统用户等。
数据采集过程的日志推送到系统运营管理平台、报错推动到数据提供部门的代办事宜。
1.2.2.2数据资源应用
数据资源应用层主要包括：
综合查询、搜索引擎、数据比对、布控预警、分类统计等常用功能，以及趋势分析、异常分析、相关性分析等挖掘功能。
公安大数据平台对外发挥价值的核心是提供种类丰富、类型多样的服务接口和服务能力。
从服务类型来看，可分为通用类服务、研判类服务和智能类服务。
通用类服务：
在大数据平台提供的数据资源基础上，结合分布式计算、可视化分析和展现等技术，可实现综合查询、搜索引擎、数据比对、布控预警、分类统计等常用功能，以及趋势分析、异常分析、相关性分析等挖掘功能。
研判类服务：
基于大数据分析挖掘，实现各类战法集市、积分预警模型、全要素分析工具、社交网络分析、隐性重点人挖掘、治安态势分析等综合情报研判功能。
智能类服务：
综合情报研判功能，实现案件多维分析、人流激增预警、犯罪预测模型、人员智能画像、涉恐系数分析、人员亲密度模型分析等功能。
1.2.2.3数据治理平台
数据在共享共用、开放运营及行业应用过程中，数据来源于各个业务系统，只有建立对数据质量的信任，才能放心地进行使用。
所以数据治理和质量保障在平台建设中显得由为重要，数据治理功能主要包括信息资源目录管理、数据管理和数据质量管里等内容。
1.2.2.3.1数据管理系统
数据与数据目录密切相关，良好的数据管理是目录管理的有效基础和前台。
数据的范围包括数据结构、数据词典、字段维度、程序映射逻辑、数据生命周期等。
数据管理包括数据定义、存储、查询、维护、检查和分析应用。
1.2.2.3.2数据定义
数据的定义参考以下步骤：
基础分类信息制定
设置基本的分类编码信息。
如主题分类，层次的分类，表级别分类配置管理。
模型制定
根据管理需要，自定义模型信息。
模型是指管理数据的基本信息模型。
配置表模型的信息要素，规范管理要素等。
数据分层定义
归纳分类是认识和理解对一个复杂的对象的最有效的办法，在对数据进行管理我们认为从分层、再分主题对数据进行分类是行之有效的方法，制定好数据分层分主题，每个表归属到层次和主题上。
数据主题管理
根据数据交换共享数据目录为基础，按照政府机关事业单位相关业务，划分主题并对各主题进行管理。
可以通过分类来约定表数据资源的存储周期，预置多个表资源分类（层次、主题、存储周期等），分类可动态扩展，通过分类的表命名规则，可以快速把表资源归属到各个分类下。
模型规范制定
制定表的命名规范，字段的命名规范。
解决各源系统不规范的命名方式，避免同名不同义，同义不同名的现象。
维表管理
从各层次、主题，提取出公共维度和维度的统一编码，以了解系统数据的非常关键的内容。
指标管理
从各层次、主题提取基础的指标，并定义其业务含义，技术口径。
1.2.2.3.3数据存储
数据存储的信息管理范围：
数据源接口、ETL和前端展现等全部数据处理环节，并提供对技术数据及业务数据存储。
1.2.2.3.4数据查询
数据查询必须支持对数据库中的数据基本信息进行查询与检索的功能，可查询数据库表、维表、指标、过程及参与的输入输出对象信息，以及其它纳入管理的对象基本信息，查询的信息按处理的层次及业务主题进行组织，查询功能返回实体及其所属的相关信息。
提供可视化的界面，实现数据信息的查询展现，支持按照数据的查询、按指标定义和指标名称的查询。
查询的信息内容包括：
数据字典、数据目录、服务目录等。
提供对历史信息的查询，方便维护人员了解具体对象的历史变更情况。
查询功能包括快速查询功能和属性查询。
1.2.2.3.5数据维护
平台的数据是动态更新的，因此数据的维护需提供对数据的增加、删除和修改等基本操作。
对于数据的增量维护，可以保留历史版本信息。
用户使用数据基本维护功能，可以统一管理所有系统中的数据。
数据的维护操作是原子操作，这些原子操作可通过服务封装的形式向性能管理系统的其它模块提供数据维护接口。
使用者可基于业务和管理的层面对业务、管理需求进行建模，定义数据的属性；
支持Excel批量操作和外部接口导入功能。
1.2.2.3.6数据检查
数据质量检查机制能及时发现、报告和处理数据的数据质量问题，因此，平台应提供对数据数据质量的检查手段，在数据上线时，对数据进行稽核检查，保证数据信息的完整性，合理性。
数据检查应包括sql解析成功率、表级关系完整率、字段关系完整率等评估指标进行数据质量检查。
1.2.2.3.7数据分析
当数据出现问题时，数据管理能够通过血缘分析和影响分析，定位数据问题产生的路径，并评估出该问题对平台其他数据或应用的影响。
1.2.2.3.8数据共享
将各类情报数据库资源以标准数据服务接口的形态应用层提供服务。
平台能够提供以下服务：
基础资源库服务封装、主题库服务、资源目录服务、服务接口管理、服务地址配置管理、服务接口负载控制。
1.2.2.4数据处理服务
公安大数据平台可实现合成作战业务所需公安数据抽取、整合、清洗、建库等工作。
1.2.2.4.1数据处理系统
处理采集过来的数据，实现数据的清洗、转换、加载功能，一方面保障采集的数据能正确、完整、规范地加载到目的地；
另一方面，实现数据整合过程中的异常处理机制，如：
处理传输异常、数据加载异常、数据结构与质量异常等。
数据处理是数据中心的核心内容，系统需提供基础数据服务，主要步骤包含数据抽取、数据清洗、数据转换和数据加载等功能。
数据处理是数据比对整合系统的核心，作为一个面向服务的平台，数据清洗整合应用就是由多个数据服务组成的，其中包括一系列预定义的基础数据处理，这些基础数据处理包括以下几个：
1.2.2.4.2数据抽取
数据抽取就是从数据中心的中心库中获取业务数据的过程。
数据来源为业务系统和文件系统,抽取方式为根据具体业务进行全量抽取或增量抽取,根据具体业务制定抽取的时间、频率、这些参数都是可配置的。
l抽取方式:
全量抽取
该抽取方式一般在数据初始化的时候使用。
将数据源中的数据原封不动的从数据库中抽取出来。
增量抽取
我们采用基于时间戳的增量抽取
建立数据库连接
定义一张数据字典表，定义需要进行处理的任务，其中主要包括业务数据库和目标数据库的表名、字段列表、以及条件等。
对比源表和目标表的目前最大时间，抽取数据时间断为【目标表的最大时间】一【原表的最大时间】
1.2.2.4.3数据清洗
数据清洗指对前端抽取过来的数据进行清洗处理，包括数据过滤、数据剔重、类型转换、编码映射、文件拆分与合并、维度转换等功能。
数据清洗的任务主要是进行不一致的数据转换、数据粒度的转换、数据去脏和一些转换规则的计算。
其中不一致转换过程是数据整合的过程，侧重于将来源于不同业务系统的相同类型的数据进行统一处理；
数据粒度转换需要对数据进行统一归整；
转换规则计算按照设计的计算归则对数据进行重新计算。
系统支持批量清洗和实时清洗，针对批量离线数据进行分布式并行清洗转换，针对实时数据进行不落地清洗转换。
数据清洗主要是针对源数据库中出现二义性、重复、不完整、违反业务或逻辑规则等问题的数据进行统一的处理，一般包括如：
NULL值处理，日期格式转换，数据类型转换等等。
在清洗之前需要进行数据质量分析，以找出存在问题的数据,数据质量问题具体表现在以下几个方面：
正确性：
数据是否正确的表示了现实或可证实的来源完整性：
数据之间的参照完整性是否存在或一致一致性：
数据是否被一致的定义或理解完备性：
是否所有需要的数据都存在
有效性：
数据是否在定义的可接受的范围之内时效性：
数据在需要的时侯是否有效
可获取性：
数据是否易于获取、易于理解和易于使用
对主要数据质量问题的清洗策略
主要问题
表现形式
产生原因
清洗策略
数据完整性问题
大量的空值字段的
出现
源数据中对很多字段
没有做非空限制
1.反馈信息给采集库
2.根据简单规则补齐数据值
超出字典表范围
填写这些值的时候是直接让用户填写而非下拉框选择
2.完善字典表信息
3.根据简单规则补齐数据值
数据一致性问题
一个特定的字段在不同的表中内容不同
录入,同步的问题
选取最可靠的表中的字段为确定值,也就是权威数据
应该成为主键的值不唯一
源数据中未建立有效的主键关系
消除错误,重复的主键
1.2.2.4.4数据转换
数据转换可以看作是数据整合和数据清洗过程的结合，数据源的数据按照一定的转换规则生成新的数据并存放至目的数据源中。
数据转换支持数据字段之间
一对多，多对一，以及多对多的映射关系。
转换规则
1）数据合并：
多用表关联实现，大小表关联用lookup，大大表相交用join
2）数据拆分:
按业务规则进行数据拆分。
3）行列互换
4）排序/修改序号
5）去除重复记录
1.2.2.4.5数据加载
数据加载主要指将抽取与清洗转换的数据，准确、及时地存储到不同基础库中，依据数据的加载方式包括文件加载、流加载、压缩加载、不落地加载等。
依据数据加载技术特点，可分为全量数据加载、流式（实时）数据加载、文件落地双加载、内存不落地加载。
对于不同的数据库加载、不同的方式加载，在数据加载过程的工作原理基本相同，数据加载能力包含：
1）默认情况下提供基础通用的加载控件，支持将数据源加载到不同的数据库中，加载的数据支持接口、文件加载策略或流式策略。
2）加载方式支持全量或实时方式，全量加载方式则采用落地加载策略，并且需要结合运用不同平台的加载工具；
实时加载与实时采集必须配套使用，二者之间共享内存实现同步数据交换，通过引入插件机制来屏敝不同数据源差异性。
3）支持加载时事物提交的参数配置，允许设定数据文件相关输入路径与加载文件匹配规则等信息，由数据装载完成发现文件、文件获取、加载数据、数据校验等操作流程后完成数据入库操作。
4）在加载实现过程中支持提供SQL、HQL、SHELL等不同类别的行为定义脚本，数据加载执行组件将根据定义行为脚本类型调起相应的脚本执行来加载到数据。
5）数据加载结束或失败时，都需要记录操作日志，为后续数据稽核与问题排查提供详细信息。
6）在加载触发模式上支持自动加载与手工执行的二大类型。
支持数据自动加载的设计与执行，当数据加载出错时，应提供操作界面以人工干预的方式来重新启动数据的接收和加载。
加载方式
实现方式
优点
缺点
时戳方式
在业务表中统一加字段作为时戳，当原系统更新改业务数据时同时修改时戳字段值
源数据抽取相对清楚，速度快，适合数据的增量加
载
需要修改业务表的数据结构，业务数据变动时工作量比较大，相对风险较大
日志表方式
在OLTP系统中添加日志表，业务数
据发生变化时，更新维护日志表内
容
不需要修改业务中的数据结构。
源数据抽取简单清楚，速度快，适合数据的增量加载
业务系统中更新记录日志
操作麻烦
全量对比方式
抽取所有源数据，在更新目标表之
前先根据主键和字段进行数据比对，有更新的进行update或insert
对系统表结构没有任何影响，管理维护统一，可以实现数据的增量加载
数据比对复杂，设计比较
复杂，执行速度慢
全表删除插入
方式
删除目标表数据，将源数
据全部插
入
ETL规则简单，速度快
对维表加代理健不适应，原系统有删除数据时，不能在数据仓库体现被删数据，不能实现增量加载
1.2.3合成作战平台建设
1.2.3.1平台概述
近年来，公安部要求强化专业合成作战机制建设，各地也制定了合成作战平台指挥室的相关建设规划。
将垂直类的系统资源整合、实现跨部门跨人员甚至跨警种之间的多组织协同、突破跨系统间的数据共享、最后达到工作成果和战果的总合成，是符合公安合成作战应用实际需求的。
基于对上述趋势的判断，基于视频侦查的“三纵一横”合成作战平台应势而生。
1.2.3.2平台功能
1.2.3.2.1案件研判功能
根据各警种或部门不同的警务需要，系统设置了不同的研判功能模块，更贴合实战应用。
将案事件中的所有相关信息，事件、时间、地点、人员、组织单位及物品等信息以图形化的方式将各信息之间的关系直观展示出来，从中挖掘潜在信息，同时系统可根据个案具备的时空特征、手段特征、犯罪嫌疑人特征等信息，使用相关工具、研判方法对案件进行研判，能够形成个案分析报告，并纳入情报成果管理功能管理。
1、案事件导入
平台支持与警综平台案事件办理模块对接的基本内容包括案事件源头信息、业务变更维护信息、业务办理信息、用户信息以及疑似刑事案件线索、未知名尸体信息、疑似被侵害失踪人员信息、发现/丢失管制物品信息、疑似被盗抢可疑物品信息等。
2、数据采集
在整合本地各警种、各部门情报信息的基础上，将公安内部的其他信息资源和相关的社会信息资源进行汇集整合，根据具体需求将这些信息合理地进行梳理和资源调配，这些信息经过汇集整合后形成情报信息数据仓库。
与警综平台标准化采集设备对接的基本内容包括人员资料信息、人员背景核查信息等。
针对平台联网对接的系统或者数据，可联网直接调取、采集、存储相关数据。
未直接接入平台的数据，可通过平台向专案组组员分配数据采集任务，然后再将数据导入平台，如：
手机通话记录、上网记录、DNA/指纹/足迹、视频图像信息等。
3、线索研判
平台可根据个案具备的时空特征、手段特征、犯罪嫌疑人特征等信息，使用相关工具、研判方法对案件进行研判，能够形成个案分析报告，并纳入情报成果管理功能管理。
4、单点摸排
平台支持单点摸排功能；
在GIS地图上通过单个框选，对人和号（手机号码）的数据按照时空范围筛选查询，进行多维数据碰撞分析研判。
5、多点摸排
平台支持多点摸排功能；
在GIS地图上通过多个框选，对人和号的数据按照时空范围筛选查询，进行多维数据碰撞分析研判。
。
6、人员信息研判
★系统支持人员信息研判；
包括人员基本身份研判；
支持基于“时间空间”人
升级会员 