应急管理综合应用平台数据治理系统解决方案.docx

应急管理综合应用平台数据治理系统解决方案.docx

《应急管理综合应用平台数据治理系统解决方案.docx》由会员分享，可在线阅读，更多相关《应急管理综合应用平台数据治理系统解决方案.docx（70页珍藏版）》请在冰点文库上搜索。

应急管理综合应用平台数据治理系统解决方案

应急管理数据治理系统

建设方案

5.系统功能10

5.1信息资源规划10

5.1.1信息资源11

5.1.2信息要素规划11

5.1.3信息资源目录编制11

5.1.4分类管理11

5.1.5综合查询11

5.1.6定期更新11

5.1.7绩效考核12

5.2数据接入12

5.2.1数据接入方式12

5.2.1.1外部关联部门数据接入方式12

5.2.1.2应急管理厅内部业务部门数据接入方式12

5.2.1.3互联网公开数据接入方式12

5.2.1.4感知数据接入方式12

5.2.1.5其他数据12

5.2.2系统功能13

5.2.2.1数据探查13

5.2.2.2数据读取13

5.2.2.3数据对账13

5.2.2.4断点续传13

5.2.2.5任务管理13

5.2.2.6数据分发13

5.3数据处理13

5.3.1数据处理场景14

5.3.1.1从前置库到原始库14

5.3.1.2从原始库到资源库14

5.3.1.3从资源库到主题库14

5.3.1.4从主题库到专题库14

5.3.2系统功能14

5.3.2.1数据探查14

5.3.2.2数据提取15

5.3.2.2.1半结构化文件内容提取15

5.3.2.2.2非结构化文件内容提取15

5.3.2.3数据清洗16

5.3.2.4数据转换16

5.3.2.5数据关联17

5.3.2.6数据比对17

5.3.2.7数据标识17

5.3.2.8数据融合17

5.3.2.9数据去重18

5.3.2.10数据补全18

5.4数据资源池18

5.4.1应急管理数据库18

5.4.1.1原始库18

5.4.1.2资源库19

5.4.1.3主题库19

5.4.1.4专题库20

5.4.2应急管理配置库21

5.4.2.1标签规则库21

5.4.2.1.1基础标签规则库21

5.4.2.1.2业务标签规则库21

5.4.2.1.3智能标签库21

5.4.2.2知识库21

5.4.2.2.1应急基本信息21

5.4.2.2.2应急速查手册21

5.4.2.2.3应急处置流程22

5.4.2.2.4应急案例信息22

5.4.2.2.5应急专家信息22

5.4.2.2.6应急法规政策22

5.4.2.3索引库22

5.4.2.4日志库22

5.5数据支撑22

5.5.1数据集成23

5.5.1.1批量数据集成23

5.5.1.2实时数据集成24

5.5.1.3分布式消息队列24

5.5.2数据存储24

5.5.2.1分布式文件存储25

5.5.2.2分布式列数据库25

5.5.2.3数据仓库26

5.5.2.4分布式关系型数据仓库26

5.5.2.5内存数据库26

5.5.2.6全文检索库27

5.5.3数据计算27

5.5.3.1离线计算能力28

5.5.3.2实时流处理能力29

5.5.3.3交互查询能力29

5.5.3.4实时检索能力29

5.5.4数据安全管理29

5.5.4.1用户认证与角色授权30

5.5.4.1.1用户认证30

5.5.4.1.2角色授权30

5.5.4.2数据加密30

5.5.4.3数据传输加密31

5.5.4.3.1大数据平台传输加密31

5.5.4.3.2共享交换传输加密31

5.5.4.4多租户隔离31

5.5.4.5安全审计31

5.5.5统一调度管理32

5.5.5.1资源调度框架32

5.5.5.2管理平台32

5.6数据服务32

5.6.1数据基础访问服务33

5.6.2数据索引服务33

5.6.3元数据访问服务33

5.6.4数据字典服务33

5.6.5数据授权服务33

5.6.6数据鉴权服务33

5.6.7数据接口服务34

5.6.7.1数据查询类服务34

5.6.7.2数据比对类服务34

5.6.7.3数据订阅/推送类服务34

5.6.7.4数据分析类服务34

5.6.7.5动态数据获取服务34

5.6.8.1可视化组件服务35

5.6.8.2数据治理可视化35

5.6.8.2.1数据治理概况35

5.6.8.2.2数据质量可视化35

5.6.8.2.3数据接入可视化35

5.6.8.2.4数据处理可视化35

5.6.8.2.5数据管控可视化36

5.6.8.2.6数据资源可视化36

5.6.8.2.7数据应用情况可视化36

5.7数据管控36

5.7.1数据标准管理36

5.7.2元数据管理37

5.7.2.1元数据分类37

5.7.2.2元数据管理37

5.7.2.3元数据分析38

5.7.3资源目录管理38

5.7.4数据鉴权管理39

5.7.5数据质量管理39

5.7.6数据运维管理40

5.7.7数据血缘管理41

5.7.9生产库管理42

5.8数据共享交换42

5.8.1服务共享管理42

5.8.1.1服务目录42

5.8.1.2服务注册42

5.8.1.3服务申请42

5.8.1.4服务发布43

5.8.1.5服务订阅43

5.8.1.6服务审核43

5.8.1.7通用服务接口43

5.8.2数据交换管理43

5.8.2.1数据交换服务43

5.8.2.2共享资源配置43

5.9算法模型44

5.9.1算法工程44

5.9.1.1算法管理44

5.9.1.2算法组件44

5.9.1.3算法库45

5.9.2模型工程45

5.9.2.1模型创建45

5.9.2.2模型分析45

5.9.2.3模型管理46

5.10工具引擎46

5.10.1通用工具46

5.10.1.1可视化工具46

5.10.1.2智能查询工具46

5.10.2业务流程引擎47

5.10.2.1中间件47

5.10.2.2基础服务组件47

5.10.3工作流引擎48

5.10.4搜索引擎48

5.10.5表单引擎48

5.11标签工程48

5.11.1标签体系管理48

5.11.1.1标签主体管理49

5.11.1.2标签目录管理49

5.11.1.3标签管理49

5.11.2标签分类管理50

5.11.2.1业务分类50

5.11.2.2管理分类51

5.11.2.3技术分类51

5.11.3标签规则管理52

5.11.3.1标签元数据管理52

5.11.3.2标签规则管理52

5.11.3.3标签生命周期管理53

5.11.3.4标签计算53

5.11.3.5标签画像54

5.12知识图谱55

5.12.1知识图谱创建55

5.12.2知识图谱库构建55

5.12.3知识图谱服务55

5.12.3.1知识图谱检索服务56

5.12.3.2关联分析/图析服务56

5.12.3.3多维展示/全息档案服务56

5.12.3.4地理展示和时空比对服务56

5.13通用应用服务56

5.13.1统一机构管理56

5.13.2统一用户管理56

5.13.3统一权限管理57

5.13.4统一身份认证57

5.13.5统一消息服务57

5.13.6日志管理57

5.13.7安全审计58

5.13.8数据治理门户58

5.14资源目录58

5.14.1元数据资源目录58

5.14.2数据资源目录58

5.14.3标签资源目录58

5.14.4算法资源目录59

5.14.5模型资源目录59

5.14.6服务接口资源目录59

5.15数据服务总线59

5.15.1服务注册59

5.15.2服务编排59

5.15.3服务路由59

5.15.4协议适配60

5.15.5事务管理60

5.15.6服务监控60

6.技术指标60

5.系统功能

5.1信息资源规划

地方应急管理部门应在应急管理部编制的信息资源目录的基础上，补充梳理本省应急管理信息资源，并按照相关规范要求进行编目，为应急管理业务系统和政务服务提供数据资源清单，并定期与部级数据治理系统的资源目录实现同步，为数据接入、数据汇聚、数据存储、数据交换、数据应用提供技术约束，确保数据治理工作规范、统一、有据。

5.1.1信息资源

应急管理数据治理系统建设是一项长期的工作，数据资源池中存储和接入的信息资源类型不断丰富、数据量不断增长数据来源单位范围逐步扩大。

本期信息资源的采集范围主要包括以下单位：

应急管理各转录部门以及林业、交通运输、国土资源、地震、城管、消防、民政、气象等单位。

采集数据类型主要包括：

1、各单位应急相关基础数据，危险源、防护目标、地理信息等。

2、各单位应急资源数据，包括救援队伍信息、应急专家、应急救援物资装备信息等。

3、各单位实时监测监控数据，如气象信息、舆情信息等。

4、各单位应急相关业务数据，包括预案、案例、法律法规信息、安全生产监管的相关信息等。

5、各单位专业预测信息，如气象预测信息、地震预测预警信息等。

5.1.2信息要素规划

根据应急管理业务的数据特征，以相关要素为基础，将应急管理业务中可以进行信息化处理的数据进行分类。

5.1.3信息资源目录编制

本项目将依照《政务信息资源目录编制指南（试行）》、GB/T21063.1-2007及GB/T21063.3-2007等相关指南和标准的要求，结合应急管理部的管理需要，梳理应急管理信息资源，规划应急管理元数据范围，编制完成标准《应急管理信息资源资源目录》。

基于应急管理信息要素，将应急管理信息资源进行汇总融合，可形成包括最小的一级分类。

基于一级分类，将关联于同一信息要素的不同职能或不同对象进行子类划分，形成信息资源二级分类。

对二级分类下的业务流程或业务处理对象进行信息资源再划分，形成信息资

源三级分类。

5.1.4分类管理

按类别管理。

5.1.5综合查询

综合查询。

5.1.6定期更新

形成完备的更新机制。

5.1.7绩效考核

根据资源规划情况进行考核。

5.2数据接入

数据接入主要提供统一的数据汇聚功能，将纷繁复杂、格式各样的外部关联部门业务系统、应急管理内部业务系统、互联网业务系统的数据接入到数据治理平台中，方便和外部系统进行数据交换，为上层大数据应用支撑平台的业务分析工作提供数据源。

5.2.1数据接入方式

从数据来源分布来看，本次项目建设接入数据包括外部关联部门数据、应急管理厅内部业务部门数据、互联网公开数据、感知数据等。

针对不同来源数据采用不同的数据接入方式。

5.2.1.1外部关联部门数据接入方式

对于林业、交通运输、国土资源、地震、城管、消防、民政、气象等外部相关部门业务系统数据可通过数据交换平台获取，引接方式遵从平台规定方式进行，目前主要提供库表交换、服务接口调用、文件上传方式。

5.2.1.2应急管理厅内部业务部门数据接入方式

对于黑龙江应急管理厅等应急管理厅内部业务部门的数据，可通过前置系统采用数据抽取、接口调用、消息服务的方式进行数据接入。

5.2.1.3互联网公开数据接入方式

对于来自互联网以及社会企业的舆情数据可通过互联网单向传输设备接入到数据资源

池。

5.2.1.4感知数据接入方式

对于来源于GPS与北斗定位及速度、方向等实时定位设备、各单位实时监测监控数据，可通过接口实时接入或定点接收的方式实现数据接入。

5.2.1.5其他数据

对于没有IT系统支撑的业务数据，还可采用人工填报，XLS表格导入的方式实现数据接入。

5.2.2系统功能

数据接入子系统提供数据探查、数据读取、数据对账等功能模块。

5.2.2.1数据探查

数据探查是指通过对来源数据存储位置、提供方式、总量和更新情况、业务含义、字段格式语义和取值分布、数据结构、数据质量等进行多维度探查，以达到认识数据的目的，为数据定义提供依据。

5.2.2.2数据读取

数据读取是指从源系统抽取数据或从指定位置读取数据，检查数据是否与数据定义一致：

不一致的停止接入，并重新进行数据的探查和定义；一致的执行进一步接入，对数据进行必要的解密、解压操作，生成作用于数据全生命周期的记录ID，并对数据进行字符集转

换等，将其转成符合数据处理要求的格式。

5.2.2.3数据对账

数据对账是针对数据接入环节，对数据提供方和数据接入方在某一对账节点的完整性、一致性、正确性进行核对和检验的过程。

如果在某一对账时间点数据提供方和数据接入方分别对应的数据条数不一致，说明对账出现异常，记录异常，在必要时需告警。

5.2.2.4断点续传

系统应该提供基于消息的数据传输服务，从一个应用系统传输数据实体和数据格式到另一个应用系统，每个传输服务可以运行多个传输实体。

另外系统也提供断点处理功能，用户可以通过流程诊断工具查看流程发生错误的断点，用户可以只修改发生错误的断点处的消息，然后把该消息重新发送，而不是回退和重新发送整个流程。

5.2.2.5任务管理

主要实现对数据接入任务的管理，支持数据接入任务的创建、查询、删除等功能，并可指定接入任务所使用的抽取方法、转换规则和加载方式，并根据指定类型进行任务的调度执行。

5.2.2.6数据分发

将预处理后的数据按需分发到资源库、主题库、业务库，更新维护原始库，以及向请求方反馈数据。

5.3数据处理

半结构化文本等具体数据内

数据处理主要是针对数据接入系统汇聚的结构化数据记录、容建立标准化的数据处理模式，经过处理后的数据存储在应急管理数据资源池中。

数据处理子系统提供数据探查、提取、清洗、转换、关联、比对、标识、融合等功能模块。

5.3.1数据处理场景

5.3.1.1从前置库到原始库

数据处理系统通过数据接入系统接入到前置库中的数据，这些数据包括各业务系统中的结构化数据和非结构化数据，通过数据探查和数据提取等手段，对前置库的数据进行探查分析，提取出数据源信息，并将非结构化数据的关键文字信息如森林草原林火视频监控数据中的时间等提取出来，整个数据处理过程处理后的数据会落入原始库中。

5.3.1.2从原始库到资源库

原始库的数据经过数据比对、数据提取、数据关联、数据转换、数据清洗等处理过程，将数据加工成符合标准规范的数据。

例如人员伤亡表的数据处理工作，经过比对人员伤亡表中的各个字段和标准数据元的差异，将标准数据元与原始表进行关联，如身份证号，然后进行转换和清洗。

5.3.1.3从资源库到主题库

资源库的数据经过数据比对、数据关联、数据融合、数据标识的处理过程，将资源库的数据映射到灾害事故、管理对象、应急环境、救援资源、动态感知五大信息分类中，并详细对应到各信息分类中与森林防火相关的二级、三级主题库中。

例如“地”主题中的关键基础设施主题，需要比对关键基础设施表与资源库中表的数据结构差异，选择有效的字段关联、融合数据到关键基础设施主题中。

5.3.1.4从主题库到专题库

主题库的数据经过数据比对、数据关联、数据融合、数据表示的处理过程，将灾害事故、管理对象、应急环境、救援资源、动态感知五大信息分类中的数据提取出来，按照森林防火专题库所需要的方式进行组织。

5.3.2系统功能

5.3.2.1数据探查

数据探查功能组件主要对业务缓冲库和原始库中的数据进行探查分析，以便对待汇聚整合的数据有一个清晰的了解，进而提取出数据源头的元数据信息，为后续的数据处理过程提供管理、业务、技术等方面的支撑。

业务探查：

对来源表的业务含义进行探查，以便能准确地理解和描述数据。

接入方式探查：

对来源表的存储位置、提供方式进行探查，为数据接入规则定义和数据处理、组织提供依据。

字段探查：

对具体字段的数据内容进行探查，识别其代表的含义和统计分布情况。

空值率探查：

统计字段空值占比情况，一方面可重点关注空值率高的重要字段，另一方面可通过与历史情况比较及时发现数据质量的动态变化。

值域及分布探查：

对字段的值域范围以及分布情况进行探查。

命名实体探查：

根据数据内容识别人名、地名、机构名、手机号等命名实体，帮助理解字段语义。

数据元探查：

根据字段名字及内容，探查字段的确切语义，并与数据元标准进行映射。

类型及格式探查：

探查字段的类型及格式是否符合规范。

数据集探查：

对来源数据集表名、引用数据元等进行探查，确定数据集是否是标准数据集。

探查数据总量、增量及更新情况，为数据接入、处理和组织提供依据。

问题数据探查：

探查字段中不符合规范的数据，为后续数据清洗规则的制定提供依据。

数据推送：

把数据探查的结果信息推送到数据清洗组件、数据转换组件以及元数据库中，为相关组件的规则制定，流程分发等提供必要的信息。

5.3.2.2数据提取

数据提取是原始数据进行规范化处理的过程，主要针对半结构化数据，通过数据提取过

程，从这些半结构化数据中提取出人员、机构、应急物资、事件等相关信息，并将提取的信息以结构化形式进行存储。

5.3.2.2.1半结构化文件内容提取

主要针对存在于原始库中的半结构化数据，根据文件中的内容，提取出业务需要的数据内容。

常见的半结构化数据类型包括：

XML、CSV、TXT、Word、Excel等文件。

数据缓存：

对XML、CSV、TXT、Word、Excel文件解析出来的结构化信息缓存的功能。

数据封装：

对解析出来的数据进行数据封装，形成标准化的数据结构。

数据推送：

推送封装好的结构化数据到资源库、主题库。

源数据索引：

需实现对原始半结构化数据的索引能力，便于对提取后的结果进行溯源追

5.3.2.2.2非结构化文件内容提取

多媒体信息提取：

从图片、语音、视频等多媒体数据中提取文字、图片等信息。

如从相关图片中提取文本信息，从视频信息中提取关键帧信息，对图片中出现的二维码进行解析识别，提取包含的文字信息、链接信息等。

生物特征提取：

从海量图像、视频、音频信息中提取人脸、人声等信息，为应急救援提供数据支撑。

如从人事管理系统中的人员照片信息提取人脸特征信息、从各类视频信息中提取人脸信息，识别出涉及的领导人员信息等。

全文信息提取：

主要是从海量文本数据中提取姓名、身份证号、电话号码、车牌号码、社会统一信用代码、企业名称、地址、时间等信息。

如从安全生产诚信管理系统的黑白红名单中提取企业名称、社会统一信用代码等企业组织要素信息，从评估报告信息中提取灾害事故的发生时间、地点、伤亡情况等结构化要素信息。

如从业务信息系统中对接的Word格式

的文献文件内容中提取单位名称、姓名等要素信息。

5.3.2.3数据清洗

数据清洗是对业务数据中不符合标准规范或者无效的数据进行相关操作。

在进行数据整合之前先定义数据的清洗规则，并对符合清洗规则的数据设置数据的错误级别。

当进行数据整合过程中遇到符合清洗规则的数据时，系统将把这些业务数据置为问题数据，并根据错误的严重程度进行归类。

对出现的问题数据进行标记后存入问题数据库中，经确认后再决定是通过清洗转换后入库，还是直接放弃，抑或其他方式处理。

对于清洗前后的数据还需进行一致性检查，以保证清洗结果集的质量。

5.3.2.4数据转换

本次数据治理项目涉及多个部门、多个业务系统中的数据。

不同系统有不同的数据结构定义，数据汇聚在一起后就会产生数据格式不规范统一、数据命名不规范统一、数据编码不规范统一、数据标识不规范统一。

这样的数据是无法支撑业务应用需要的，因此需要对汇集的数据进行数据格式规范统一、数据命名规范统一、数据编码规范统一、数据标识不规范统一等数据转换处理。

具体数据转换组件包括以下功能：

数据命名转换：

通过比对标准数据元和实际数据表中的数据项，如果比对结果一致，则不需要转换处理，如果比对结果不一致，要按照标准数据元中规定的命名进行转换。

数据类型转换：

通过比对标准数据元和实际数据表中的数据项，如果比对结果一致，则不需要转换处理，如果比对结果不一致，要按照标准数据元中规定的数据类型进行转换。

按照标准规范将不同来源、不同格式的数据转换成统一的标准化数据格式。

平台将建立一系列的数据标准，进入平台的数据都必须遵循这些标准，只有这样才能保证平台上层应用的调用数据的通用性和应用之间充分的信息共享。

需要做的格式统一有以下几种：

全角转半角、电话号码转换、URL形式转换、身份证件号码转换、社会统一信用代码转换、时间格式转换、经纬度等数据标准化类型。

身份证号码和社会统一信用代码标准化是将身份证位数统一为18位半角字符，字母字符转为大写字符，电话号码标准化主要是保留源数据的数字字符部分，去除加减号、空格等特殊字符，仅保留有效的数字字符内容。

特定字段全角转半角（URL、账号等信息）。

时间标准化即将“yyyy-MM-ddHH:

mm:

ss”、“yyyyMMddHHmm”ss等各种时间格式值，这些格式也统一转成平台定义的标准时间格式。

经纬度标准化主要将各种经纬度坐标系统一转换为2000国家大地坐标系，经纬度数值统一为十进制数值格式。

所有数据格式标准化后的字段单独存储，原字段予以保留。

数据编码转换：

比对标准数据元和实际数据表中的数据项，如果比对结果一致，则不需要转换处理，如果比对结果不一致，需要按照标准数据元中规定的标准编码进行转换。

将来源于不同系统的不同数据字典转化为标准数据字典。

视频转码：

由于应急管理数据治理工程中的视频信息来源于不同终端设备，且多经由异构通信网络进行传输，因此需要进行视频转码，将已经压缩编码的视频码流转换成另一个视频码流，以适应不同的网络带宽、不同的终端处理能力和不同的用户需求，并保证服务质量。

数据标识转换：

通过数据元和数据表字段的关联，根据关联关系自动生成可执行的转换规则，进行数据标识的转换。

标准地址转换：

对地址要素不完整、文字表达不一致的地址信息进行标准化处理。

依托民政的标准化地址库及互联网公开的POI地址信息库，形成应急相关的地址标准基础库，对应急采集的地址信息进行标准化处理。

为保障数据转换处理过程不会造成数据丢失，数据转换模块需要支持断点功能。

5.3.2.5数据关联

数据关联组件需要完成在不同数据集之间的关联，实现在不同数据集的联动，为数据治理、业务应用的需求提供支撑。

根据数据处理流程设计的要求，数据关联组件的功能包括：

标准关联、字典关联、半结构化关联、关联回填。

标准关联：

在