2015数据交换技术方案..docx

2015数据交换技术方案..docx

《2015数据交换技术方案..docx》由会员分享，可在线阅读，更多相关《2015数据交换技术方案..docx（42页珍藏版）》请在冰点文库上搜索。

数据交换中间件技术方案

201106

021-63642512

42

目录

1项目概况 4

2与业务应用接入关系 4

2.1与已有业务系统的支撑关系 4

2.2与新建业务系统的支撑关系 4

2.3与业务系统之间的公共支撑关系 5

3总体技术路线 5

3.1JAVAEE规范 5

3.2中间件技术 5

3.3SOA服务体系架构 6

3.4ESB企业服务总线 7

3.5异构系统适配器服务 7

3.6XSLT服务 8

3.7WebServices 8

3.8消息队列技术 8

4数据交换技术方案 9

4.1需求分析 9

4.2产品配置 10

4.3产品部署 11

5交换监控扩展设计 12

5.1功能图 12

5.2功能描述 12

6ESB服务总线系统功能 13

6.1服务封装 13

6.1.1XML数据表示 13

6.1.2适配器服务 14

6.1.3数据描述工具 14

6.1.4数据自动同步功能 15

6.2共享交换机制 15

6.2.1实时交换机制 15

6.2.2定时交换机制 16

6.2.3单向交换机制 16

6.2.4双向交换机制 16

6.3服务库及管理 16

6.4服务编排功能 17

6.4.1服务编排 17

6.4.2数据加工 18

6.4.3服务流程合成 19

6.5数据可靠传输通道 19

6.6服务管理监控 22

6.6.1服务资源管理 22

6.6.2服务流程管理 22

6.6.3服务流程监控 22

6.6.4安全及授权机制 23

6.6.5服务流程日志 25

7硬件建议配置 25

8方案特点 26

9产品介绍 27

9.1应用集成中间件TongIntegratorSOA套件 27

9.1.1产品概述 27

9.1.2产品组成结构 28

9.1.4 产品特点 30

9.2消息中间件TongLINK/Q 31

9.2.1产品概述 31

9.2.2主要功能 31

9.2.3技术特点 33

9.3应用服务器中间件TongWeb 34

9.3.1产品概述 34

9.3.2主要功能 35

9.3.3技术特点 40

10项目预算 41

1 项目概况

随着政府职能部门服务意识的不断增强，以及便民服务需求的日益增加，外网接件内网办理等应用需求越来越多。

面对越来越多内外网系统、专网与其他网络之间数据信息安全、高效、可靠共享交换的需求，亟需一套安全、高效、可靠的数据信息共享交换解决方案。

业务数据交换是一个跨多系统、跨网络、跨防火墙（网闸），不同安全域之间数据安全、可靠交换的信息系统，需要确保内外网数据交换的一致性，以及数据交换的安全、可靠、高效。

公司专注于国产基础中间件领域，在我国电子政务基础支撑平台体系、数据信息资源共享交换等政务信息化领域的研究建设工作，公司产品广泛应用在全国一百多个电子政务数据共享交换平台体系建设项目中，得到用户的高度认可和支持。

2与业务应用接入关系

2.1与已有业务系统的支撑关系

数据交换系统建设不涉及原有专业系统的内部业务流程，而是要求业务系统通过松耦合的 “桥接”方式将数据资源提供给平台。

桥接技术上可以是数据结果、程序接口、URL地址、WebService接口等。

数据交换系统为业务应用提供数据资源服务。

对需要获取的应用系统数据资源经过采集、转换处理、传输、写入数据库中供应用系统使用。

既可以实现上级机构向上级机构系统汇集数据，又可以实现上级机构系统向下级机构数据共享下发，同时可实现各应用系统的流程集成服务。

数据交换系统为业务应用提供界面及用户认证服务。

对需要集成的应用系统，可以将一个外部的URL资源做为用户表单的一部分与其他常用HTML组件组合在一起使用，利用外部应用页面丰富表单元素。

2.2与新建业务系统的支撑关系

对于新建业务系统，数据交换系统只需要扩展一个接入节点可以采集并共享

的数据交换传输给新建业务系统，提供数据共享服务。

服务的技术实现可以是数据库、消息、WebService等多种方式。

2.3与业务系统之间的公共支撑关系

ESB服务总线是连接各应用系统的公共数据共享传输通道。

各业务系统可以通过数据交换系统的适配器接入，由ESB企业服务总线来完成适配器服务之间的消费关系。

消费关系可以是直接消费、间接消费。

直接消费通过ESB进行内部服务合成，直接为业务系统服务；间接消费通过ESB的服务注册中心，进行公共服务发布，可检索、查询、代理运行等多种方式，供其外部调用。

3总体技术路线

3.1JAVAEE规范

为了保证高可用性、高可靠性和可扩展性，系统必须要选择支持强大的企业级计算的成熟的技术路线。

能够满足这些条件的技术首推JAVAEE企业标准。

JAVA EE是主流的开发技术平台，已成IT领域的国际工业标准，围绕着

JAVA EE有众多的厂家和产品，其中不乏优秀的软件产品，合理集成以JAVA

EE为标准的软件产品构建数据交换系统，可以得到较好的稳定性、高可靠性和扩展性。

JAVAEE技术的基础是JAVA语言，JAVA语言的与操作系统平台无关性，保证了基于JAVAEE平台开发的应用系统和支撑环境可以跨平台运行。

3.2中间件技术

中间件具有以下的一些特点：

满足大量应用的需要；运行于多种硬件和OS平台；支持分布式计算，提供跨网络、硬件和OS平台的透明性的应用或服务的交互功能；支持标准的协议；支持标准的接口。

程序员通过调用中间件提供的大

量API，实现异构环境的通讯，从而屏蔽异构系统中复杂的操作系统和网络协议。

针对不同的操作系统和硬件平台，它们可以有符合接口和协议规范的多种实现。

由于标准接口对于可移植性和标准协议对于互操作性的重要性，中间件已成为许多标准化工作的主要部分。

对于应用软件开发，中间件远比操作系统和网络服务更为重要，中间件提供的程序接口定义了一个相对稳定的高层应用环境，不管底层的计算机硬件和系统软件怎样更新换代，只要将中间件升级更新，并保持中间件对外的接口定义不变，应用软件几乎不需任何修改，从而保护了企业在应用软件开发和维护中的重大投资。

中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。

中间件软件管理着市民端程序和数据库或者早期应用软件之间的通讯。

中间件在分布式的市民和服务之间扮演着承上启下的角色，如事务管理、负载均衡以及基于Web的计算等。

利用这些技术有助于减轻开发者的负担，使他们利用现有的硬件设备、操作系统、网络、数据库管理系统以及对象模型创建分布式应用软件时更加得心应手。

由于中间件能够保护企业的投资，保证应用软件的相对稳定，实现应用软件的功能扩展；同时中间件产品在很大程度上简化了一个由不同硬件构成的分布式处理环境的复杂性，所以它的出现正日益引起用户的关注。

3.3SOA服务体系架构

SOA（ServiceOrientedArchitecture，缩写SOA），即面向服务的体系架构，提供了一种构建IT组织的标准和方法，并通过建立可组合、可重用的服务体系来减少IT业务冗余并确保信息系统的可持续发展以及快速构建。

SOA的实现对技术没有限制。

SOA是关于共享和管理服务的结构，对所采用的技术只需要满足它的需要就可以。

虽然Web服务协议到目前为止还是首选的创建和部署SOA架构的标准，但是也可以使用其他标准，比如CORBA、COM和JAVAEE。

甚至可以采用私有技术创建SOA。

SOA可以节省组织成本，包括重复利用已存在的软件作为服务，以及增强改变IT方案适应需求变革或灵活性的能力。

SOA对兼容性的需求完全处在松耦，可以通过在项目实施过程中为创建和部署大多数SOA提供的端到端解决方案解决兼容性问题。

3.4ESB企业服务总线

ESB（EnterpriseServiceBus，缩写ESB），即企业服务总线，是SOA的骨干，在完成服务的接入，服务间的通信和交互基础上，还提供安全性、可靠性、高性能的服务能力保障。

应用系统

4

应用系统

3

应用系统

1

适配器服务 适配器服务

适配器服务

适配器服务

企业服务总线ESB

………… 流程服务

业务服务

信息服务

数据服务

应用系统

2

采用SOA架构，基于ESB总线进行信息系统集成，如下图所示，信息系统之间的交互通过总线进行，这样可以降低应用系统、各个组件及相关技术的耦合度，消除应用系统点对点集成瓶颈，降低集成开发难度，提高复用，增进系统开发和运行效率，便于业务系统灵活重构，快速适应业务及流程变化需要。

3.5异构系统适配器服务

异构系统适配器服务是数据交换系统的基础服务部件，是各信息系统接入

ESB的桥梁，是多种异构系统之间互连互通及互操作的服务单元。

适配器应遵循国际级行业标准，提供标准的XML数据对象、服务接口、服务操作方法，如下图示，真正实现了信息系统服务重用。

适配器服务应分为提供服务者和消费服务者，既可以提供服务消费，也可以消费其他服务。

可以实现信息系统常用文件、数据库、通讯等技术适配能力，并可以按照特定规范进行适配器服务定制，满足可扩展需要。

XML

服务接口 操作方法

文件

数据库

通讯

其他

适配器服务

3.6XSLT服务

XSLT是扩展样式表转换语言（Extensible Stylesheet LanguageTransformations）的简称，它是把XML文档转化为另一文档的转换语言，即将源文档的所有数据或者部分数据，利用XPath进行选择，生成另外的XML文档或者其他可直接显示或打印的文件格式。

XSLT服务是用来对数据进行转换的一种服务，通过XSLT服务，一种数据格式可以轻松的转换为另一种数据格式。

3.7WebServices

WebServices即Web服务，属于轻量级访问协议服务。

服务的技术实现和表现形式多种多样，例如：

适配器服务、XSLT服务、服务编排服务等，这些服务都可以发布为Web服务。

同样，ESB总线还可以访问其他信息系统提供的WEB服务。

Web服务是相关的主要协议和技术包括SOAP（Simple Object Access

Protocol，简单对象访问协议）、WSDL（Web Services Description Language，

Web服务描述语言）、UDDI（UniversalDescriptionandIntegration，统一描述、发现和集成）。

SOAP用来定义数据描述和远程访问的标准；WSDL是发布和请求

Web服务的描述语言；UDDI则把Web服务与用户联系起来，起中介作用。

3.8消息队列技术

为了实现大数据服务的并发压力控制、网络上大数据的可靠传输，ESB将实现数据适配器服务与消息适配器服务的编排，解决多部门、多信息系统之间数据

发送、接收过程中的可靠传输保障需求。

消息队列技术基于点对点的队列通讯通道，确保信息系统之间的数据有且仅有一次完整传输给对方，并为适配器服务提供异步数据缓存机制，提高适配器服务的数据并发压力承载能力。

4数据交换技术方案

4.1需求分析

电子政务业务涉及内外网两个域，需要解决跨网络、跨安全域数据安全、可靠传输处理等问题。

并要面向五十多个业务应用实现整合和数据交互。

系统接入

系统接入

数据获取 数据获取

数据加解密 数据加解密

传输认证 传输认证

安全传输通道

内网安全域

外网安全域

l系统接入：

实现门户外网应用、内网办理的系统数据接入。

提供丰富的适配器，支持XML标准和内外网系统接入的松耦合接入服务，不会影响现有内网业务系统的正常稳定运行。

l数据获取：

提供数据的定时、实时安全获取服务，支持数据完整性验证。

l数据加解密：

提供数据加解密服务，满足内外网数据交换安全的需要。

支持多种数据加解密算法。

l传输认证：

提供交换域之间双方的身份认证，支持双向认证。

l安全传输通道：

提供数据安全传输通道，在网络通讯协议之上建立更安全的数据可靠传输虚拟专用通道。

4.2产品配置

为了解决上述问题和需求，我们采用了基于中间件的内外网数据交换解决方案。

方案从数据交换的安全性、可靠性、可用性、可扩展性等方面，阐述如何解决业务面临的内外网数据安全、实时/定时采集、同步和可靠交换传输等问题。

方案采用的中间件产品主要包括：

序

号

产品及版本

数量

功能概要描述

1

应用集成中间件

TongIntegrator

2

提供数据交换框架及ESB服务

TongIntegrator

ESB

总线，交换流程、控制管理、

SOA套件

日志审计等功能服务。

分别部署在内网和外网交换服

务器上。

TongIntegrator

29

提供系统自动适配、数据自动

ESBAdaptor

采集、数据加工转换、数据加

载入库等功能服务。

部署在需要交换的业务系统服

务器或者前置机上。

2

消息中间件TongLINK/Q

2

提供数据信息安全、高效可靠、传输服务通道，提供数据通讯双方身份认证、传输安全通道建立、数据加解密等数据传输可靠保障服务。

部署在内、外网交换服务器上和需要采用分

布式的系统交换服务器上。

3

应用服务器中间件TongWeb

1

提供交换管理监控应用系统的

运行支撑服务。

部署在交换管

理服务器上。

4

交换监控扩展

1

基于中间件是实现交换监控。

4.3产品部署

内网安全域

外网安全域

………

………

业务系统前置机 业务系统前置机

TIESBAdapter TIESBAdapter

业务系统前置机

TIESBAdapter

业务系统前置机 业务系统前置机

TIESBAdapter TIESBAdapter

业务系统前置机

TIESBAdapter

数据库服务器

内网交换服务器

TIESB

TongLink/Q

安全隔离：

防火墙

外网交换服务器

TIESB

TongLink/Q

数据库服务器

管理监控服务器

TongWeb

服务代理服务器

TIESBAdapter

数据交换产品部署实施如下图所示：

在本项目中，内外网跨安全域数据交换基于公司先进、成熟的应用集成中间件TongIntegrator和消息中间件TongLink/Q设计构建，交换管理基于应用服务器中间件TongWeb设计实现。

考虑应用系统比较多，对部分业务采用WEB服务代理模式，对文件服务器采用分布式传输模式，对业务数据量大采用分布式部署模式。

对DMZ区的系统采用分布式代理模式部署。

应用集成中间件TongIntegrator提供系统适配接入、数据采集与同步、数据转换、数据过滤、数据压缩、数据加工清洗、异常处理、日志审计、监控管理等

功能服务。

消息中间件TongLINK/Q为内外网跨安全域数据信息的安全、可靠、高效传输处理提供安全通道、身份认证、数据加解密、数据压缩、数据路由、断点续传等服务保障。

应用服务器中间件TongWeb为交换管理WEB页面提供开发、运行环境和底层支撑服务。

5交换监控扩展设计

5.1功能图

5.2功能描述

（1）、 总监控中心

v交换结构图分级显示：

显示节点上流程名和起停状态。

v显示所有交换节点。

v显示所有交换流程及状态

v显示各部门交换条数的饼图。

v显示整体交换数据交换条数，包括总体发送量、总体接收量、总交换量。

v显示有提示错误定位，可以是数据库错误、通讯错误、数据错误。

v显示系统当前时间及当前时间完成的交换量。

（2）、 业务域监控中心

v对本域的发送总量作统计。

包括总体发送量、总体接收量、总交换量。

v对本域根据交换流程的交换日志进行实时显示。

v数据交换总量按历史发送图分时间报表（选择时间周期），并可以导出为

EXCEL.

v显示当前交换传输通道的传输速率。

v显示有提示报错信息的交换流程。

v显示本域交换节点。

v显示本域交换流程。

v显示本域各部门交换量的饼图。

6ESB服务总线系统功能

6.1服务封装

数据服务封装主要是完成数据加工处理的过程，包括数据格式转换、数据清洗、以及数据加工等数据处理功能。

数据服务封装首先是适配器服务。

适配器服务是外系统接入数据交换系统的桥梁，是多种异构系统之间互连互通及互操作的重要组件。

适配器遵循JCA1.5标准，真正实现了适配器的重用。

常见的适配器，如结构化及非结构化文件适配器，Oracle、DB2、SqlServer、KingBase、MySql、Access、Excel等数据库适配器，FTP、SMTP/POP3、JMS等通讯类适配器等。

除了系统本身集成的适配器之外，它还提供了适配器开发工具，便于用户开发适合自己需要的定制适配器，并无缝集成到开发系统中。

服务封装是数据交换接入的最前端，无论直接交换还是“桥接”交换，都可

以采用该适配器服务封装实现。

6.1.1XML数据表示

即根据转换定义的规则，完成数据转换的处理。

将原始的数据转换为需要的数据格式。

统一的数据和服务表示——标准XML。

不同的系统传输数据内容和方式都可能不一样，不同的系统提供服务的方式和数据格式也不一样，为了使不同系统在互相交互时有一个统一的接口表现方式，需要定义一套统一的接口（服务方式和数据格式）表示方式，因为XML的强大描述能力，使用XML来描述各系统的服务接口和数据传输方式。

6.1.2适配器服务

不同的业务系统存储数据的方式可能各不相同，需要支持数据源的不同存储方式（如不同的数据库、文件等）。

采用适配器服务技术。

接入的适配器服务封装主要是为了减少开发工作量，努力实现接入部门的“零编程”目标。

适配器服务是外系统接入数据交换系统的桥梁，是多种异构系统之间互连互通及互操作的重要组件。

适配器遵循JCA1.5标准，真正实现了适配器的重用。

常见的适配器，如结构化及非结构化文件适配器，

Oracle、DB2、SqlServer、KingBase、MySql、Access、Excel等数据库适配器，

FTP、SMTP/POP3、JMS等通讯类适配器等。

除了系统本身集成的适配器之外，它还提供了适配器开发工具，便于用户开发适合自己需要的定制适配器，并无缝集成到开发系统中。

6.1.3数据描述工具

数据共享的主要功能是数据采集和数据应用，需要有一个方便的数据描述工具和数据描述方式，作为整个数据共享的基础。

数据共享服务的技术实现及其表现形式可以有多种，如本产品提供的Java服务、常用的Web服务等。

在TIStudio工具中，能够将用户创建的Java服务、适

配器服务等，发布为Web服务，而且还提供了访问外系统提供的Web服务的开发工具。

且数据服务方式支持已有应用的快速接入及服务化封装，并提供代理服务的快速开发向导，以便通过服务总线统一提供已有应用服务或第三方服务的接入、访问和管理。

支持Web服务的常用工业标准，如WSDL、SOAP、UDDI、WS-

Security、WS-IBasicProfile等

6.1.4数据自动同步功能

数据共享服务存在着大量的数据抽取和数据同步需求，需要提供基本的数据自动抽取和同步功能，支持数据同步功能的快速建立。

同步方式分为：

全表、时间戳、触发器三种方式。

6.2共享交换机制

根据业务系统需求，建立实时交换、定时交换机制。

6.2.1实时交换机制

实时交换机制采用触发器机制，依靠数据库自身的实时触发管理，确保数据交换的实时同步，实时同步时间在毫秒级。

触发器分为

INSERT、UPATE、DELETE三种。

即业务表在数据变化时根据三种触发条件判断属于那种数据更新方式并定位数据记录。

在数据加载时通过定位信息获取数据并按照触发类型进行数据更新同步。

6.2.2定时交换机制

定时交换机制采用时间戳方式，依靠操作系统时间就需要在业务表中统一添加时间字段作为时间戳（如表中已有相应的时间字段，可以不必添加），每当更

新修改业务数据时，同时修改时间戳字段值。

当数据加载时，通过上次运行时间、本次运行时间与时间戳字段的比较来决定进行何种数据抽取。

6.2.3单向交换机制

无论是定时还是实时交换机制，都可以设定为单向交换。

即针对一个数据源，只是做同一种操作向其他数据源做数据同步。

6.2.4双向交换机制

对于实时数据同步可以支持双向交换。

即针对一个数据源，在往其他数据源做数据同步的同时，该数据源又要受被其同步的数据源的变化做实时同步。

6.3服务库及管理

使用标准接口（支持UDDI和JAXR接口）的服务注册库进行服务注册和检索、Web服务部署后的启动/停止控制及将部署后的服务列表查询功能集成进了监控中心等，可提供完整的Web服务封装、开发、部署、运行监控、运行服务水平数据监测统计、服务注册和检索等全生命周期管理。

另外，集成了基于标准规范的服务注册库可供用户直接使用。

6.4服务编排功能

6.4.1服务编排

基于Java的编码调试开发环境，能够让用户根据具体业务，开发相应服务，或者进行服务的合成与编排。

Java服务对外可以封装提供业务服务，供其他服务或应用消费；另外它也能够消费其他服务，将不同的业务服务进行组装，形成粒

度更大的业务服务。

服务编排：

消费其他服务（按一定逻辑顺序消费即所谓对这些被消费服务的编排），同时对其他消费者提供服务（将多个服务编排起来完成更大任务的功能）

将已经开发的业务服务和其所用到的服务建立连接关系，进行合成组装，构成一个能够打包和部署、完成某些业务功能的应用。

6.4.2数据加工

标准的数据处理模块——过滤，格式转换、合并、拆分。

因为不同的系统使用数据方式和格式都可能不一样，为了方便各系统间数据的交换，需要提供一些标准的数据处理模块，以实现不同系统间自动的数据格式转换。

包括数据库数据、普通文件数据、XML格式数据间的互相映射和转换。

提供图形可视化的异构数据格式转换映射工具，内置丰富函数，能够将输入数据和输出数据进行不同格式间的转换（如结构化的XML、非XML或Java对象数据），从而可快速集成异构应用，无需考虑表示数据采用的格式。

还提供了基于XSLT服务、Java服务、数据库函数三种图形可视化数据格式转换工具。

6.4.3服务流程合成

将已经开发的业务服务和其所用到的服务建立连接