政务信息资源共享交换平台建设方案数据共享交换系统.docx
《政务信息资源共享交换平台建设方案数据共享交换系统.docx》由会员分享，可在线阅读，更多相关《政务信息资源共享交换平台建设方案数据共享交换系统.docx（56页珍藏版）》请在冰点文库上搜索。
政务信息资源共享交换平台建设方案数据共享交换系统
1.1数据共享交换系统建设方案
1丄1产品简介
数据交换平台立足于对现有的系统进行数据整合，尤其是对相关的数据资源进行整合，消除“信息孤岛”，实现业务系统各种信息系统的互通互连和数据共享,形成统一的数据服务层，为上层应用提供数据服务。
数据交换平台计划采用星型拓扑结构，尽量简化网络结构，实现数据交换智能路由功能，根据交换数据内容，能够方便实现一个中心对多个节点或多个中心多个节点之间的通信，以及发送、转换、转发、接收等多种交换流程。
通过采用中间件机制独立进行应用部署，很好的屏蔽了应用系统直接的耦合程度，实现了数据的无缝交换和共享访问，保证了各应用系统的有效协同，同时又能保证各应用系统的相互独立性和低耦合性，从整体上提高了系统运作效率和可靠性。
1丄2产品技术架构
作为整合各应用系统之间的数据采集交换接口，为了保证其可扩展性和系统的可靠性，本信息交换平台采用组件化的设计模式实现，各组成模块尽量作到松散耦合，可以无限制扩充，从而实现与其他系统模块的无缝集成，该系统采用面向对象的组件化技术建设基于B\S结构的系统，并且以Windows服务程序模式与Windows程序用户交互模式结合方式运行。
整体技术架构主要由服务层、功能层、组件层、数据层等几部分组成。
＞服务层：
是以WEB服务等形式对功能层各项功能进行组合，封闭后提供的服务接口。
＞功能层「是指数据共享交换平台的核心功能，主要包括核心元数据管理，交换元数据管理，节点管理，曰志管理，资源目录管理，交换策略管理等。
＞组件层：
是支撑数据共享交换平台核心功能实现的各类可重用基础组件,包括文件适配器，数据库适配器，数据传输组件，数据转换组件等。
＞数据层：
是数据共享交换平台要交换共享的数据，可以是文件和数据库
这种设计具有以下一些优势：
/以服务方式运行的系统可以在服务器不登陆的情况下，数据交换就能够运行；
/服务程序与交互界面并存，这样可以实时监测和控制交换程序的运行,方便维护和调试；
/系统提供用户操作界面，可以让用户非常便捷地完成相关设置与订阅操作；
/B/S程序最适合网络间数据交换，能够保证程序的持续稳定运行；
/系统采用ODBC数据源来连接数据库，解决多种类型的数据库源的连接问题。
本平台技术框图如下:
数据釆集交换平台技术框图
大多数数据均包含敏感的国家机密或企业的商业机密，为了确保数据库信息的保密性、数据库本身的安全性以及数据库所在的政府的内部网的安全性，需满足以下要点：
♦采用前置机（或中间库），需求方不直接访问业务系统
♦对前置机进行IP绑定，结合业务系统访问的用户名、密码
♦访问控制安全:
交换元数据的执行，采用了SSL协议，只有通过中心统一的权限认证服务器的认证，才能实施数据交换、查询。
同时结合业务系统访问的用户名、密码检查节点合法性.
♦数据安全:
通过非对称加密技术，对传输过程中的数据进行加密保证了数据在传输过程中不被窃取和篡改。
♦权限设计:
用户分类，功能权限
♦访问控制安全：
（1）显示控制：
根据不同用户具有的不同功能权限，加载
序号
组件名称
容器
类型
功能描述
4
监控组件
可选组件
实时监视本节点信息资源交换状况，包括本节点接受和发送的数据
5
信息比对
执行指定的本节点信息数据与其他节点可
共享数据的比较，报告比较结果
6
流量分析
统计某时间范围内，本节点共享数据输出和
输入数量统计
7
数据抽取
交换容器
标准组件
依据信息资源元数据描述以及信息资源的时间特性，定时或定期从指定的数据库或文件夹中读取数据
8
封装与分发
将数据抽取的结果按照数据报文要求进行封装，每个资源订阅方分别封装各自的数据包，然后分别发送给接收方
9
通讯组件
将封装、分发后的数据报文，通过底层网络
链路，传送到指定的资源共拿节点
10
分包组件
将信息节点接收到的数据包，按照接口规范，进行拆分、解析以及必需的编码转换，转化为本信息节点对应数据的存储格式
11
存储组件
将分包后的数据，写入信息资源元数据描述
的数据库或文件夹中
12
加密压缩
可选组件
在通讯组件运行前执行，将数据内容进行加密、压缩后，生成新的加密压缩报文
13
关联计算
在分包组件完成后执行，主要完成针对业务
的一些专业计算需求
14
信息整编
在关联计算组件运行后执行，根据信息资源时间特性需求，生成新的不同时间频率的数据
15
审计组件
交换平台将自动记录运行日志。
可以定义多
序号
组件名称
容器
类型
功能描述
个级别，不同级别记录日志的详细程度不同
注:
节点指使用本平台的各个系统用户
以上组件与主要功能模块的对应关系如下:
安全消息管理队列管理其它服务
M础服务
通讯监控流量分析数据抽取
组件与功能对应关系
上图中浅黄色为组件，淡蓝色为功能模块‘箭头表示功能与组件的主要对应
关系。
1.1.3.1接入点管理
1.1.3.1.1接入点注册
所有的数据节点需要在数据中心中进行身份验证通过后才可以注册并接入信息交换平台。
1.1.3.1.2接入点配置
根据实际数据接入需求，定制不同的数据节点，将数据节点发布到数据交换平台中；共享接入点的管理员可以根据需要设置接入点的类型（只能收、只能发、接收都可）。
1.1.3.2交换前置子系统
1.1.3.2.1交换前置子系统的功能
由于数据采集的安全性等原因，大多数的业务数据库是不能让我们访问的,
但为了保证数据采集的及时性和准确性，我们是通过在业务系统之外通过部署交换前置机与业务系统相连，在前置机上建立采集交换库，用于采集和存储各种财
配置交换前置机，使其成为与信息交换总线相连接的桥梁，同时也是与部门内部业务系统及业务信息库相隔离的“堡垒"。
在前置机上安装前置交换数据库、应用适配器和信息交换软件，用于实现信息的发送和接收。
1.1.3.2.2交换前置子系统的部署
部门交换前置机安装消息中间件产品作为信息交换软件系统，与中心交换服务器的信息交换软件进行通信。
J2EE是SUN公司推出的一个标准，提供了一个企业级的计算模型和运行环境，用于开发和部署多层体系结构的应用标准，它定义了提供企业计算环境所必需的各种服务和接口。
J2EE支持Java语言，使得基于J2EE标准开发的应用从理论上可以跨平台地移植，大大简化了应用开发和移植过程。
本平台适用于BEAWeblogicServer、IBM公司的WebSphere以及ApacheTomcat和JBoss等多种中间件。
它们都是J2EE中间件的典型产品，这些产品各有各的优势和劣势，本项目在选取中间件时，考虑到产品的易用性和安全性，我们建议采用Weblogic,它具备以下特征:
（1）加速应用开发，所有开发人员都可马上提高开发效率，构建企业级应
用的速度比以往大为提高。
（2）充分利用现有资产，与现有基础结构之间即取即用的互操作性，既统
—软件环境，又降低成本。
（3）保证各种应用的安全，运行时设计和实施实时、实际的安全策略，无须改变应用代码。
（4）简化管理，简化并实现自动化运行；掌握和了解各种应用及基础结构。
1.1.3.2.3交换桥接子系统
交换平台的交换桥接子系统指由部门业务应用数据库（或文件等数据）到前置交换数据库（或文件等数据）之间的信息交换桥接接口，以完成两个数据库（或文件等数据）之间的在线实时交换的系统。
采用桥接系统的目的是为了保护业务系统的安全性和独立性，信息交换平台通过交换前置机与业务系统相连，在前置机上建立交换库，用于存储各节点向外发布的信息和从其他节点交换过来的信息。
桥接系统的实现可以利用集成中间件提供的编程接口，但业务系统接口的编程是必不可少的，必须像适配器提供一个透明的数据提供源。
考虑到业务系统的复杂情形，有时并不一定是提供数据接口，也可以是文件的各式，提供给前置交换系统，再通过交换平台进行传递。
桥接系统还包括把数据交换到目的系统。
比如把A系统的数据通过交换平台传递到B系统，那么B系统在接收这些数据时也需要利用桥接系统编写相应的适配器。
1.1.3.2.4数据源类型
数据交换平台支持多种数据源，通过数据适配器可以灵活扩展。
支持多种主流关系型数据库,包括:
Oralce（10g、LLg）、MYSQL、DB2等，
支持WebserviceXFTP等。
1.1.3.2.5数据获取方式
通过调用ETL抽取工具进行数据抽取，如库可连通则采取库对库直接抽取,不可连通则采用ELT工具进行文件解析方式进行。
ETL是ExtractionTransformationLoading的缩写，E表示数据抽取，T表示转换或清洗，L表示加载。
ETL的架构如图所示，如果说数据整合层的模型设计是一座大厦的设计蓝图，数据是建筑材料的话，那么ETL过程就是建设大厦的过程。
池业务•铁抵库或文件
技术架构说明：
设计管理器：
提供一个图形化的映射环境，让开发者定义从源到目标的映射关系、转换、处理流程。
设计过程的各对象的逻辑定义存储在一个元数据资料库中。
元数据管理：
提供一个关于ETL设计和运行处理等相关定义、管理信息的元数据资料库。
ETL引擎在运行时和其它应用都可参考此资料库中的元数据。
数据抽取：
通过接口提取源数据，例如：
ODBC、专用数据库接口和平面文件提取器。
参照元数据来决定提取何处的数据和怎样提取。
数据转换：
开发者将提取的数据，按照业务需要转换为目标数据结构，并实现汇总。
数据装载：
加载经转换和汇总的数据到目标数据仓库中，可实现SQL或批量加载。
传输服务：
利用网络协议（TCP/IP等）或文件协议（FTP等）,在源和目标系统之间移动数据，利用内存（DataCaches等）在ETL处理各组件中移动数据。
管理和运行：
可让管理员基于事件和时间进行调度、运行、监测ETL作业、管理错误信息。
从失败中恢复和调节从源系统的输出。
1.1.3.3数据转化可视化管理
图形化设计风格使产品细节操作简洁直观，大幅度降低了用户的培训和使用的难度。
内置的智能化处理机制，简化了配置的难度.使普通用户也能完成复杂的ETL方案。
编号
特征点
特征描述
1
多视图布局
产品提供了服务器视图、大纲视图、缩略图视图、属性视图、问题视图、控制台视图等多个视图.可以对建模信息进行直观的查看和修改操作，使用户的建模操作更加方便易用。
2
图形化设计器
采用图形化的方式进行建模操作，直观的反映岀数据处理的过程，易于维护和修改。
3
多编辑器操作
支持多编辑器同时操作，也提供了强大的复制粘贴功能。
建模操作可以在多个编辑器中切换进行。
4
错误即时检查
利用ETL高效的模型验证引擎.对用户正在编辑的模型进行实时检查，及时提示用户模型中的错误和问题。
5
客户端调试
在客户端实时执行ETL模型，方便的跟踪数据在处理过程的变化，达到调试的目的。
6
智能优化
针对不同的场景和数据源（或目标），执行引華会自动根据用户配置的内容进行智能优化。
程序内置了多种不同场景的优化策略，既保证了数据提取的高速执行，也简化了用户的配置工作。
1.1.3.4.1数据抽取程序的设计原则
数据仓库需要的数据存在于不同种类、不同技术平台的业务系统中，数据抽
取就是从这些不同的数据源中抽取数据作为数据仓库的原材料。
本项目数据抽取设计时，采用以下方法：
直接从源业务系统抽取最原始的数据，不抽取派生数据。
按照数据仓库的粒度需求，抽取数据，对于能在抽取阶段完成的聚合表，原
则上在抽取阶段完成，以减少数据发送和数据转换的工作量。
到数据仓库，增量数据包括业务系统新增数据和变化数据两部分，采用増量抽取的方法确保每次最小的数据子集加载到数据仓库里。
产品采用业务系统应用系统曰志的方法识别増量数据，不依据数据库曰志来判断是否为増量数据。
11.3.5数据清洗校准
数据转换是数据仓库项目中数据管理部分的核心内容，这个过程会直接影响数据仓库数据的质量，数据转换主要设计以下工作内容：
数据整理:
这一处理过程将数据从源系统中的结构和格式转换成数据仓库所需的结构和格式，包括长度转换、代码类型改变，归一化转换等。
数据剔除;这一处理过程确保所有的数据满足输入验证规则，包括：
定义空值（NULL）和非空值域、小数与非小数域、数据满足合适的范围域约束规定等°
数据合并：
这一过程将多个源的数据进行合并，从多个源数据忠选取数据并归入目标表，合并包括基于规则从每一数据源选择记录。
数据清理：
数据清理通常用来处理已知的某一数据源的数据质量问题.数据清理主要是根据相关的业务规则来纠正数据质量问题，给数据仓库中的数据一个合理的取值。
数据验证：
这一过程确保所选择的数据成功采集、在转换处理过程中保证数据的完整性。
在许多情况下，包括验证主题实体数量、金额总数和对象数是否平衡。
数据转换设计采用如下设计方法:
数据转换程序首先完成数据整理工作，保证数据格式的正确性。
数据仓库中不需要的数据（记录和/或字段）应该尽早剥离掉。
只有数据质量问题无法在源应用系统中修复的时候才采用数据清洗的方法。
这些问题可能需要源应用系统中相应程序的改变，也可能只需要用户执行一个数据清扫的任务。
数据转换时，确证满足数据仓库的数据参考完整性要求。
采用参数化的设计方法，以便新的条件和规则增加时，只需要做最少的编程工作，通过配置参数表的方式来完成。
转换程序的设计采用模块化的设计方法，以便于数据仓库的后续阶段的共享。
11.3.6数据同步
经过数据抽取、数据映射转换后的数据，就可以给目标数据源进行同步了。
1.1.3.6.1数据同步方式
数据同步支持的方式有：
>Webservice
通过判断Webservice调用后的返回结果和预期是否一致，判断同步是否成功，记录成功的记录数和失败的记录数。
>文件把转换后的数据同步成文件。
＞数据库通过数据直连抽取数据。
I.1.3.6.2数据同步异常
数据同步过程中的异常数据，系统会自动记录下来，包括数据和错误原因，在监控平台上，可以实时查看异常数据和异常记录，供系统维护人员进行分析处理。
II.3.7主要数据婕组件
数据处理组件是构成数据转换的基本单位，通过步骤间的连接，我们可以完成不同的数据处理流程。
1.1.3.7.1输入
■CSV输入
CSV逗号分割值文^（CommaSeparatedValue）,是一种用来存储数据的纯文本格式，通常用于电子表格或数据库软件。
NIO,本地系统调用文件意味着更快的性能，但是仅限于本地文件，不支持vfSo
并行运行，如果设置了此步骤在集群模式或者在多个副本中运行，并且使用并行执行，每一个副本都会读取一个来自于文件的不同信息。
简易转换，如果读许多字段，并且这些字段中有很多都是无法操作的，但是
仅仅通过转换来加载一些文本文件或其他数据库，懒转换可以阻止PDIDesigner
进行一些不必要的操作，例如将他们转换成字符串、曰期、或者数字等。
转换步骤名称CSV输入
功能描述
这个步骤可以从CVS文件里面读取数据
参数说明
选项
描述
步骤名称
步骤的名称，名称必须唯一
文件名
要读取的CSV文件
文件名字段
（来自于前一步
骤）
从前一步骤中获取文件，如果这个步骤从前一步骤获取数据
信息
列分隔符
用来分割不同列的字符
封闭符
在目标文件中明确的封闭符
NIO＞缓存大小
读取数据的缓存大小，允许一次从磁盘中读取的记录数
简易转换
简易转换试图避免不必要的数据类型转换，因此可以在一定情况下提升系统性能，典型的例子就是从文本文件中读取倍息，然后再与回文本文件。
包含列头行
如果目标文件的头包含列名的话要选中此参数
将文件增加到结
果
在结果中增加CSV文件名
行号字段
输出步骤中包含行号（整型）的字段名称
并发运行
并发运行，用以提高系统性能。
警告:
由于某些原因并发读取文件信息仅仅支持一此字段文件，这此字段文件没有分割线或者附带返回值。
文件编码
确定读取文件的编码方式
字段
表中包含了文件中所有可读取的字段
预览
预览来自文件中的信息
获取字段
获取来自文件中的字段
使用范例
■Excel输入
转换步骤名称
Excel输入
功能描述
利用这个步骤可以从Kettle支持的系统的Excel文件里面读取数据。
备注：
默认的工作表格式是03-07.当读取OpenOffice,ODS,Excel2007这种文件时，需要在内容页签中改变工作表类型。
参数说明
文件页签
选项
描述
步骤名称
步骤的名称，在单个转换中必须唯一。
文件或目录
文件所在的具体位置•须知:
点击增加按钮，将选择的Excel文件添加到文件列表中。
常规表达
确定你想使用的常规表达来选择文件目录中的Excel文件。
预览行
点击预览可以查看指定Excel文件的内容。
工作表页签
在这一页签中你可以根据名字确定要操作的工作表，你可以为每一工作表指定开始的行和列，行列都是从0开始。
【备注】：
读取所有工作表示可以的，如果想读取，可以通过清除“要读取的工作表"和第—行中开始的行和列，可以用于所有工作表•也就是说，如果你想读取所有的工作表，一定要注意不要指定任何工作表名称。
字段页签
在这里可以指定想从EXCEL中读取的宇段。
如果工作表有一个头部行，按钮“获取来自头部的字段”将自动获取并填充可用的字段。
内容页签
选项
描述
头
检查是否工作表指定了一个头部行
非空记录
检查是否不需要空行输出。
停在空记录
当步骤在读取工作表遇到一个空行的时候停止读取。
文件名称字段
步骤输出指定一个包含文件名的字段。
工作表行数
步骤输出指定一个包含工作表行数的字段。
工作表行数是实际的EXCEL工作表的行数。
行数
步骤输出指定一个包含行数的字段
限制
限制输出的行数，0代表输出所有行
编码
确定编码的方案
读取文件名
允许你从转换中的前一步骤中读取文件名
从哪个步骤读文件名
包含了选中文件名的列表
保存文件名字段
保存的文件名宇段列表
其他页签
其他页签包括其他输出的字段以及一些错误处理，用户可以定义一些其他字段。
并且可
以对错误进行处理，例如可以忽略错误，可以跳过错误行等。
使用范例
■生成记录
转换步骤名称生成记录
功能描述
这个步骤输出一定数量的行，缺省为空。
可选包括一定数量的静态字段：
:
参数说明
选项
描述
步骤名称
步骤的名称，在单个转换中必须唯一
限制
设置你要生成行的最大数量
宇段
在输出行中你想要包含的静态字段
从不停||■牛成记录
这选项是用于实时控制
间隔（ms）
间隔的时间（毫秒）
目前时间字段值
目前的时间字段
先前的时间字段值
先前的时间字段
使用范例
■系统信息
转换步骤名称系统信息
功能描述
这一步骤可以获取DiDesigner环境的系统信息，下表中为系统信息的具体含义
参数说明
选项
描述
步骤名称
转换的步骤名称，必须唯一
宇段
要输出的字段
使用范例
■表输入
转换步骤名称
表输入
功能描述
这一步骤通过数据库连接和SQL语句读取数据库中的数据.一些基本的SQL语句可以
自动生成
参数说明
选项
描述
步骤名称
步骤的名称，在单一的步骤中，名称必需
连接
读取数据的数据库连接
SQL
SQL语句用来从数据库连接中读取数据
允许懒加载
如果允许，懒加载避免了一些不必要的数据类型，提升执行
性能
是否变量取代
可以在SQL脚本中使用变量
从步骤插入数据
指定我们期待读取数据的步骤名称。
这些信息能被插入到
SQL语句
每一行执行
允许为每一行分别插入数据
限制
设置从数据库中读取的行数。
0所有行
使用范例
1.1.3.7.2输出
转换步骤名称
Excel输出
功能描述
利用这个步骤，在PDIDesigner支持的系统中，你可以写入数据到一个或者多个Excel文
件中。
参数说明
基本
选项
描述
步骤名称
步骤的名称，在单一的步骤中，名称必需
文件名
文件名，可以用变量
扩展名
扩展名，可以用变量，用于输出文件
包含步骤数
这参数主要是在多个文件执行中时需选中
包含日期
允许文件名中包含系统日期
包含时间
允许文件名中包含系统时间
显示文件
展现步骤运行后，创建的文件名集合，这是一个虚拟的集合，有时候它取决于每一个文件中的记录数目等等
字段
你可以指定你想输出到EXCEL文件中的字段。
如果电子表单的头部，按钮经获取字段“将
自动获取可以使用的字段，可以指定EXCEL使用的格式。
高级
高级的组包含了一些用户不经常设置的信息，主要的参数如下:
选项
描述
头部
检查表单是否有头部
尾部
检查表单是否有尾部
编码
指定表单使用的编码
分割记录
分割数据到几个输出文件中
工作表名称
指定要写入数据的工作表名称
保护工作表
输出的工作表是否使用密码保护
密码
指定保护的工作表的密码
使用模板
输出的EXCEL数据是否使用模板
Excel
用来格式模板名称的excel
模板
Excel输岀文件
附加Excel模板
是否将EXCEL输出添加到指定的EXCEL模板中
使用范例
■删除
转换步骤名称删除
功能描述
这个步骤利用查询关键字在表中捜索行。
如果行找到，就删除记录。
参数说明
选项
描述
步骤名称
步骤名称，在单个转换中必须唯一
连接
目标表所在的数据库连接名称
目标模式
要写入数据的表的Schema名称。
允许表名中包含…是很
重要的
目标表
想插入或者更新的表的名称
提交数量
提交之前要改变（插入/更新）的行数。
用来查询的关键字
可以指定字段值或者比较符。
可以用以下比较符：
二，
<><><=,>）LIKE,BETWEENJSNULL,ISNOTNULLo
使用范例
■插入更新
转换步骤名称
插入更新
功能描述
这个步骤利用查询关键字在表中搜索行。
如果行没有找到，就插入行。
如果能被找到，并且要被更新
的字段没有任何改变，就什么也不做。
如果有不同，行就会被更新
参数说明
选项
描述
步骤名称
步骤名称，在单个转换中必须唯一
连接
目标表所在的数据库连接名称
目标模式
要写入数据的表的Schema名称。
允许表名中包含"•是很重要的
目标表
想插入或者更新的表的名称
提交数量
提交之前要改变（插入/更新）的行数。
不执行任何更新
如果被选择，数据库的值永远不会被更新c仅仅可以插入
用来查询的关键字
可以指定字段值或者比较符。
可以用以下比较符：
=,
<><<=>tLIKE,BETWEENJSNULLJSNOTNULLo
更新字段
指定你想要插入/更新的字段
SQL按钮
点击SQL按钮
升级会员 