合成作战中心平台建设项目(纯方案,34页)Word文档下载推荐.docx

1、1）完善各部门警种之间的情报指挥、勤务联动机制合成作战平台基于云计算和大数据，力图集成公安已建或在建各类应用系统 在不同领域的专业能力，整合各警种、各部门以及社会相关资源，将警综平台、 情报平台、警用地理平台、视频监控平台、智能卡口系统、刑侦作战平台、接处 警系统等有机整合，互联互通，面向实战，提高立体化社会治安维稳协调运作能 力、警种合成作战能力、推动突发事件快速处置能力。2）完善跨区域、跨警种、跨部门的情报收集、共享及保障机制合成作战平台将探索新时期情报工作全警共建的方式，通过完善情报收集渠 道和手段、提供情报共享能力、并配套情报提供者的激励保障机制，激发基层警 务实战热情，强化更多的、规

2、模更为巨大的、对研判工作辅助能力更强的社会化 数据的收集、共享能力。3）以大数据为支撑，完善预警、研判模型打通各警种业务系统之间的数据链接，根据“信息主导、快速反应、准确打 击”的思路，基于大数据，逐步开发、完善预警、研判模型，为公安开展合成研 判提供强有力的手段支撑。1.1.2 建设任务本项目建设的主要内容包括：基础硬件设备建设、合成作战平台（大数据支 撑服务、合成作战业务系统）建设。1）基础硬件设备建设为合成作战平台提供运行的服务器、存储等基础环境。2）公安大数据服务平台建设共享公安机关掌握的丰富的信息资源，根据合成作战业务，建设大数据缓存 库，提供针对性的研判工具。3）合成作战平台建设合

3、成作战平台通过构建日常研判、集中研判的协同机制实现各警种部门的合 成作战研判，完善公安各部门警种之间的情报指挥、勤务联动机制，并在此基础 上实现情报研判成果转化，情报导侦、导控、导指，实现情勤联动的无缝对接， 把研判成果转化为合成作战的现实战斗力。1.1.3 项目服务对象该系统建成后，主要服务于壁山区公安局、基层所队两级公安机关、各警种。 1.2项目设计方案与功能1.2.1 公安大数据服务平台概述当前，各行业数据爆发性增长，亟需转变数据处理模式。在公共安全领域， 治安系统、智能交通视频数据呈井喷式增长，已显现出行业大数据的典型特征。 如社会治安视频监控系统，如果我们将社会上所有的视频监控数据都

4、接入公安系 统，每天将产生PB规模的视频、图像及相关数据。如何对如此大规模的数据进 行智能、高效的组织管理和分析处理，在此海量信息中提取有用信息，以辅助公 安机关开展治安防控、警情研判及指挥决策已成为当前公安业务中亟需解决的难 题。本平台通过综合运用云计算、云存储、并行数据挖掘等技术，针对图像、视 频等非结构化数据开展存储、挖掘和联动分析等应用，有效整合集成各种数据资 源，来构建数据种类丰富、大数据量和动态海量数据库体系，并建设智能搜索门 户、专题应用课题，以及建立统一监控机制，有效支撑公安打防管控业务开展， 提升公安工作的情报洞察能力、分析决策能力、指挥管理能力、侦查破案能力和 服务社会能力

5、。1.2.2 公安大数据服务平台建设1.2.2.1 数据汇聚平台数据汇聚功能要求实现将各部门相关的信息资源统一采集交换到数据中心 前置库中，满足多种采集方式，能够满足不同的网络，数据汇聚功能包含数据采 集、数据交换、数据处理等功能。1.2.2.1.1 数据采集系统数据采集子系统依托应用集成中间件、应用集成中间件适配器设计，实现对 各部门业务数据信息的采集。数据采集系统通过丰富灵活的适配器服务组件采集各业务部门的数据信息， 将其传输、归集到数据中心前置库中。根据其特点，按照批量更新、增量更新、实时更新、数据同步等不同的更新 策略，定制各类数据的更新接口，提供手工录入、整体导入等数据采集方式，并

6、提供严格的质量检查工具，实现数据中心各类数据的采集与更新，保证数据中心 数据库的时效性、权威性和一致性。1.2.2.1.2 物理拷贝采集物理拷贝方式，采用传统的移动硬盘、硬盘、DVD和VCD等数据存储介质 通过硬拷贝方式实现数据共享的模式。采用该模式的实现环境主要有以下几种情 况：（1）数据应用部门与支撑服务平台存在着网络互联互通的障碍，导致无法 通过网络实现数据共享。（2）数据量较大，基于网络传输模式无法满足用户要求。例如海量影像， 数据量高达几百个GB，甚至是 TB，采用网络方式进行数据共享不但容易造成 网络阻塞，而且成本代价较大，往往采用物理拷贝模式。1.2.2.1.3 数据上传采集数据

7、上传方式主要是通过平台提供的数据上传入口，上传各业务部门的相关 数据，实现数据的共享。主要提供两种上传入口：（1）通过登录数据采集系统的WEB界面，进行WEB界面直接上传相关数 据。（2）通过搭建的FTP服务，各业务部门将所需要上传的资料通过FTP上传 到前置库中。数据上传采集的特点：通过系统对支持大附件上传；支持数据批量上传；支 持数据断点续传等功能保障数据的传输速度和传输质量。1.2.2.1.4 接口服务采集接口服务模式是属于一种较高层次的共享模式，各业务部门的应用系统建立 与数据中心平台的接口，通过系统与系统之间的接口交互模式，实现数据的共享 与调用。支持常见的接口服务有webservi

8、ce、API等多种接口类型，满足平台的接口 服务采集需求。1.2.2.1.5 关系型数据库采集基于关系型数据库的采集方式，对各业务部门的业务系统的数据库类型、网 络环境、数据密级等多方面进行调研分析，可使数据中心的连接部门业务系统的 数据库，直接读取相关数据。此种数据采集涉及到数据类是否为关系型数据库，而且需要考虑网络环境的 连通性，是否能否连接，另外还需要考虑业务系统的密级性，是否允许直连数据 库获取数据等多种因素，需要综合考虑。1.2.2.1.6 数据采集校验数据校验从校验对象细粒度维度分析，支持文件级校验与记录级校验二大 类。数据校验模块还内置了部分的数据检查功能，如数据唯一性检查、外键

9、完整 性检查。数据校验内容有类型、长度、是否为空、精度、范围、格式等信息。如 果数据不符合，会进行过滤，只有正确的数据才能继续使用。对于错误的数据， 可以进行输出，包括错误原因和错误字段序号等信息。相关的错误类型和数量等 统计信息也会绑定到流程变量中，以便后续节点进行判断使用。能够提供将分散的、异构数据源中的数据如关系数据、非关系数据、数据文 件、FTP等抽取到临时中间层后进行入库前的数据类型校验功能以及针对海量数 据的高性能数据解析功能。实现对数据进行校验检查，主要检查空间拓扑一致性、属性结构的一致性、 数据内容的一致性。该检查主要在数据采集和数据同步中使用，并可以单独提供 数据校验比对服务

10、。在发生数据数据采集时，各业务部门采集的数据向数据中心前置库系统传入 要校验的数据条目信息，前置库校验该条目信息是否吻合一致，如果一致相符， 则返回对比成功，否则返回比对错误，并将各业务部门采集准确的信息返回给调 用者。在向业务部门数据同步时，数据校验用于比对导入数据和业务部门数据的一 致性，如果一致，则不需要重复导入，如果不一致，则用最新的数据覆盖不一致 信息。数据校验比对工具，要将检查比对的结果以便于阅读分析的报告形式展现给 用户。1.2.2.1.7 采集服务配置获取信息资源中定义的信息资源更新频率，自动实现采集、可以配置全量或 者增量采集方式，可以配置数据提供部门在数据中心部门前置库的存

11、储位置等。能够提供对于采集周期，时间的采集策略配置、接口配置采集任务配置功能。对于应用数据采集，需要管理的关键业务点有采集点、数据传输。主要性能 指标包括：在采样周期内成功取得文件的数量、采集数据间隔时间、采集文件大 小、进程状态、文件连续性、采集状态、传输速率等。 1.2.2.1.8 采集监控管理系统提供采集异常处理机制，如采集任务中断、采集数据失败等相关异常现 象时，实现相关的补采机制，或通过告警的方式通知系统用户等。数据采集过程 的日志推送到系统运营管理平台、报错推动到数据提供部门的代办事宜。1.2.2.2 数据资源应用数据资源应用层主要包括：综合查询、搜索引擎、数据比对、布控预警、分

12、类统计等常用功能，以及趋势分析、异常分析、相关性分析等挖掘功能。 公安大数据平台对外发挥价值的核心是提供种类丰富、类型多样的服务接口和服 务能力。从服务类型来看，可分为通用类服务、研判类服务和智能类服务。通用类服务：在大数据平台提供的数据资源基础上，结合分布式计算、可视 化分析和展现等技术，可实现综合查询、搜索引擎、数据比对、布控预警、分类 统计等常用功能，以及趋势分析、异常分析、相关性分析等挖掘功能。研判类服务：基于大数据分析挖掘，实现各类战法集市、积分预警模型、全 要素分析工具、社交网络分析、隐性重点人挖掘、治安态势分析等综合情报研判 功能。智能类服务：综合情报研判功能，实现案件多维分析、

13、人流激增预警、犯罪 预测模型、人员智能画像、涉恐系数分析、人员亲密度模型分析等功能。1.2.2.3 数据治理平台数据在共享共用、开放运营及行业应用过程中，数据来源于各个业务系统， 只有建立对数据质量的信任，才能放心地进行使用。所以数据治理和质量保障在 平台建设中显得由为重要，数据治理功能主要包括信息资源目录管理、数据管理 和数据质量管里等内容。1.2.2.3.1 数据管理系统数据与数据目录密切相关，良好的数据管理是目录管理的有效基础和前台。 数据的范围包括数据结构、数据词典、字段维度、程序映射逻辑、数据生命周期 等。数据管理包括数据定义、存储、查询、维护、检查和分析应用。1.2.2.3.2 数

14、据定义数据的定义参考以下步骤：基础分类信息制定设置基本的分类编码信息。如主题分类，层次的分类，表级别分类配置管理。 模型制定根据管理需要，自定义模型信息。模型是指管理数据的基本信息模型。配置 表模型的信息要素，规范管理要素等。数据分层定义归纳分类是认识和理解对一个复杂的对象的最有效的办法，在对数据进行管 理我们认为从分层、再分主题对数据进行分类是行之有效的方法，制定好数据分 层分主题，每个表归属到层次和主题上。数据主题管理根据数据交换共享数据目录为基础，按照政府机关事业单位相关业务，划分 主题并对各主题进行管理。 可以通过分类来约定表数据资源的存储周期，预置 多个表资源分类（层次、主题、存储周

15、期等），分类可动态扩展，通过分类的表 命名规则，可以快速把表资源归属到各个分类下。模型规范制定制定表的命名规范，字段的命名规范。解决各源系统不规范的命名方式，避 免同名不同义，同义不同名的现象。维表管理从各层次、主题，提取出公共维度和维度的统一编码，以了解系统数据的非 常关键的内容。指标管理从各层次、主题提取基础的指标，并定义其业务含义，技术口径。1.2.2.3.3 数据存储数据存储的信息管理范围：数据源接口、ETL和前端展现等全部数据处理环 节，并提供对技术数据及业务数据存储。1.2.2.3.4 数据查询数据查询必须支持对数据库中的数据基本信息进行查询与检索的功能，可查 询数据库表、维表、指

16、标、过程及参与的输入输出对象信息，以及其它纳入管理 的对象基本信息，查询的信息按处理的层次及业务主题进行组织，查询功能返回 实体及其所属的相关信息。 提供可视化的界面，实现数据信息的查询展现，支 持按照数据的查询、按指标定义和指标名称的查询。查询的信息内容包括：数据 字典、数据目录、服务目录等。提供对历史信息的查询，方便维护人员了解具体 对象的历史变更情况。 查询功能包括快速查询功能和属性查询。1.2.2.3.5 数据维护平台的数据是动态更新的，因此数据的维护需提供对数据的增加、删除和修 改等基本操作。对于数据的增量维护，可以保留历史版本信息。用户使用数据基 本维护功能，可以统一管理所有系统中

17、的数据。 数据的维护操作是原子操作， 这些原子操作可通过服务封装的形式向性能管理系统的其它模块提供数据维护 接口。 使用者可基于业务和管理的层面对业务、管理需求进行建模，定义数据 的属性；支持Excel批量操作和外部接口导入功能。1.2.2.3.6 数据检查数据质量检查机制能及时发现、报告和处理数据的数据质量问题，因此，平 台应提供对数据数据质量的检查手段，在数据上线时，对数据进行稽核检查，保 证数据信息的完整性，合理性。 数据检查应包括sql 解析成功率、表级关系完 整率、字段关系完整率等评估指标进行数据质量检查。1.2.2.3.7 数据分析当数据出现问题时，数据管理能够通过血缘分析和影响分

18、析，定位数据问题 产生的路径，并评估出该问题对平台其他数据或应用的影响。1.2.2.3.8 数据共享将各类情报数据库资源以标准数据服务接口的形态应用层提供服务。平台能 够提供以下服务：基础资源库服务封装、主题库服务、资源目录服务、服务接口 管理、服务地址配置管理、服务接口负载控制。1.2.2.4 数据处理服务公安大数据平台可实现合成作战业务所需公安数据抽取、整合、清洗、建库 等工作。1.2.2.4.1 数据处理系统处理采集过来的数据，实现数据的清洗、转换、加载功能，一方面保障采集 的数据能正确、完整、规范地加载到目的地；另一方面，实现数据整合过程中的 异常处理机制，如：处理传输异常、数据加载异

19、常、数据结构与质量异常等。 数据处理是数据中心的核心内容，系统需提供基础数据服务，主要步骤包含数据 抽取、数据清洗、数据转换和数据加载等功能。数据处理是数据比对整合系统的核心，作为一个面向服务的平台，数据清洗 整合应用就是由多个数据服务组成的，其中包括一系列预定义的基础数据处理， 这些基础数据处理包括以下几个：1.2.2.4.2 数据抽取数据抽取就是从数据中心的中心库中获取业务数据的过程。数据来源为业务 系统和文件系统,抽取方式为根据具体业务进行全量抽取或增量抽取,根据具体业 务制定抽取的时间、频率、这些参数都是可配置的。l 抽取方式:全量抽取该抽取方式一般在数据初始化的时候使用。将数据源中的

20、数据原封不动的从 数据库中抽取出来。增量抽取我们采用基于时间戳的增量抽取建立数据库连接定义一张数据字典表，定义需要进行处理的任务，其中主要包括业务数据库 和目标数据库的表名、字段列表、以及条件等。对比源表和目标表的目前最大时间，抽取数据时间断为【目标表的最大时间】 一【原表的最大时间】1.2.2.4.3 数据清洗数据清洗指对前端抽取过来的数据进行清洗处理，包括数据过滤、数据剔重、 类型转换、编码映射、文件拆分与合并、维度转换等功能。 数据清洗的任务主 要是进行不一致的数据转换、数据粒度的转换、数据去脏和一些转换规则的计算。 其中不一致转换过程是数据整合的过程，侧重于将来源于不同业务系统的相同类

21、 型的数据进行统一处理；数据粒度转换需要对数据进行统一归整；转换规则计算 按照设计的计算归则对数据进行重新计算。 系统支持批量清洗和实时清洗，针 对批量离线数据进行分布式并行清洗转换，针对实时数据进行不落地清洗转换。数据清洗主要是针对源数据库中出现二义性、重复、不完整、违反业务或逻 辑规则等问题的数据进行统一的处理，一般包括如：NULL 值处理，日期格式 转换，数据类型转换等等。在清洗之前需要进行数据质量分析，以找出存在问题 的数据,数据质量问题具体表现在以下几个方面：正确性：数据是否正确的表示了现实或可证实的来源 完整性：数据之间的参照完整性是否存在或一致 一致性：数据是否被一致的定义或理解

22、 完备性：是否所有需要的数据都存在有效性：数据是否在定义的可接受的范围之内 时效性：数据在需要的时侯是否有效可获取性：数据是否易于获取、易于理解和易于使用对主要数据质量问题的清洗策略主要问题表现形式产生原因清洗策略数据完整 性问题大量的空值字段的出现源数据中对很多字段没有做非空限制1.反馈信息给采集库2.根据简单规则补齐数据值超出字典表范围填写这些值的时候是 直接让用户填写而非 下拉框选择2.完善字典表信息3. 根据简单规则补齐数据值数据一致 性问题一个特定的字段在 不同的表中内容不 同录入, 同步的问题选取最可靠的表中的字段为确 定值,也就是权威数据应该成为主键的值 不唯一源数据中未建立有效

23、 的主键关系消除错误, 重复的主键1.2.2.4.4 数据转换数据转换可以看作是数据整合和数据清洗过程的结合，数据源的数据按照一 定的转换规则生成新的数据并存放至目的数据源中。数据转换支持数据字段之间一对多，多对一，以及多对多的映射关系。转换规则1） 数据合并：多用表关联实现，大小表关联用lookup，大大表相交用join2） 数据拆分:按业务规则进行数据拆分。3） 行列互换4） 排序/修改序号5） 去除重复记录1.2.2.4.5 数据加载数据加载主要指将抽取与清洗转换的数据，准确、及时地存储到不同基础库 中，依据数据的加载方式包括文件加载、流加载、压缩加载、不落地加载等。依据数据加载技术特点

24、，可分为全量数据加载、流式（实时）数据加载、文 件落地双加载、内存不落地加载。对于不同的数据库加载、不同的方式加载，在数据加载过程的工作原理基本 相同，数据加载能力包含：1） 默认情况下提供基础通用的加载控件，支持将数据源加载到不同的数据 库中，加载的数据支持接口、文件加载策略或流式策略。2） 加载方式支持全量或实时方式，全量加载方式则采用落地加载策略，并 且需要结合运用不同平台的加载工具；实时加载与实时采集必须配套使用，二者 之间共享内存实现同步数据交换，通过引入插件机制来屏敝不同数据源差异性。3） 支持加载时事物提交的参数配置，允许设定数据文件相关输入路径与加 载文件匹配规则等信息，由数据

25、装载完成发现文件、文件获取、加载数据、数据 校验等操作流程后完成数据入库操作。4） 在加载实现过程中支持提供SQL、HQL、SHELL等不同类别的行为定义 脚本，数据加载执行组件将根据定义行为脚本类型调起相应的脚本执行来加载到 数据。5） 数据加载结束或失败时，都需要记录操作日志，为后续数据稽核与问题 排查提供详细信息。6） 在加载触发模式上支持自动加载与手工执行的二大类型。支持数据自动 加载的设计与执行，当数据加载出错时，应提供操作界面以人工干预的方式来重 新启动数据的接收和加载。加载方式实现方式优点缺点时戳方式在业务表中统一加字段 作为时戳，当原系统更新 改业务数据时同时修改 时戳字段值源

26、数据抽取相对清楚， 速度快，适合数据的增 量加载需要修改业务表的数据结 构，业务数据变动时工作 量比较大，相对风险较大日志表方式在OLTP系统中添加日志 表，业务数据发生变化时，更新维护 日志表内容不需要修改业务中的 数据结构。源数据抽取 简单清楚，速度快，适 合数据的增量加载业务系统中更新记录日志操作麻烦全量对比方式抽取所有源数据，在更新 目标表之前先根据主键和字段进 行数据比对，有更新的进 行update或insert对系统表结构没有任 何影响，管理维护统 一，可以实现数据的增 量加载数据比对复杂，设计比较复杂，执行速度慢全表删除插入方式删除目标表数据，将源数据全部插入ETL规则简单，速度

27、快对维表加代理健不适应， 原系统有删除数据时，不 能在数据仓库体现被删数 据，不能实现增量加载1.2.3 合成作战平台建设1.2.3.1 平台概述近年来，公安部要求强化专业合成作战机制建设，各地也制定了合成作战平 台指挥室的相关建设规划。将垂直类的系统资源整合、实现跨部门跨人员甚至跨 警种之间的多组织协同、突破跨系统间的数据共享、最后达到工作成果和战果的 总合成，是符合公安合成作战应用实际需求的。基于对上述趋势的判断，基于视 频侦查的“三纵一横”合成作战平台应势而生。1.2.3.2 平台功能1.2.3.2.1 案件研判功能根据各警种或部门不同的警务需要，系统设置了不同的研判功能模块，更贴 合实

28、战应用。将案事件中的所有相关信息，事件、时间、地点、人员、组织单位 及物品等信息以图形化的方式将各信息之间的关系直观展示出来，从中挖掘潜在 信息，同时系统可根据个案具备的时空特征、手段特征、犯罪嫌疑人特征等信息， 使用相关工具、研判方法对案件进行研判，能够形成个案分析报告，并纳入情报 成果管理功能管理。1、案事件导入平台支持与警综平台案事件办理模块对接的基本内容包括案事件源头信息、 业务变更维护信息、业务办理信息、用户信息以及疑似刑事案件线索、未知名尸 体信息、疑似被侵害失踪人员信息、发现/丢失管制物品信息、疑似被盗抢可疑 物品信息等。2、数据采集在整合本地各警种、各部门情报信息的基础上，将公

29、安内部的其他信息资源 和相关的社会信息资源进行汇集整合，根据具体需求将这些信息合理地进行梳理 和资源调配，这些信息经过汇集整合后形成情报信息数据仓库。与警综平台标准化采集设备对接的基本内容包括人员资料信息、人员背景核 查信息等。针对平台联网对接的系统或者数据，可联网直接调取、采集、存储相 关数据。未直接接入平台的数据，可通过平台向专案组组员分配数据采集任务， 然后再将数据导入平台，如：手机通话记录、上网记录、DNA/指纹/足迹、视频 图像信息等。3、线索研判平台可根据个案具备的时空特征、手段特征、犯罪嫌疑人特征等信息，使用 相关工具、研判方法对案件进行研判，能够形成个案分析报告，并纳入情报成果 管理功能管理。4、单点摸排平台支持单点摸排功能；在GIS地图上通过单个框选，对人和号（手机号 码）的数据按照时空范围筛选查询，进行多维数据碰撞分析研判。5、多点摸排平台支持多点摸排功能；在GIS地图上通过多个框选，对人和号的数据按 照时空范围筛选查询，进行多维数据碰撞分析研判。6、人员信息研判系统支持人员信息研判；包括人员基本身份研判；支持基于“时间空间” 人