大数据接口技术比较样本.docx

1、大数据接口技术比较样本系统接口规范以及常用接口技术概述一、基本规定：为了保证系统完整性和健壮性，系统接口应满足下列基本规定：1.接口应实现对外部系统接入提供公司级支持，在系统高并发和大容量基本上提供安全可靠接入；2.提供完善信息安全机制，以实现对信息全面保护，保证系统正常运营，应防止大量访问，以及大量占用资源状况发生，保证系统健壮性；3.提供有效系统可监控机制，使得接口运营状况可监控，便于及时发现错误及排除故障；4.保证在充分运用系统资源前提下，实现系统平滑移植和扩展，同步在系统并发增长时提供系统资源动态扩展，以保证系统稳定性；5.在进行扩容、新业务扩展时，应能提供迅速、以便和准的确现方式。二

2、、接口通讯方式： 接口基本采用了同步祈求/应答方式、异步祈求/应答方式、会话方式、广播告知方式、事件订阅方式、可靠消息传播方式、文献传播等通讯方式：1.同步祈求/应答方式：客户端向服务器端发送服务祈求，客户端阻塞等待服务器端返回解决成果；2.异步祈求/应答方式：客户端向服务器端发送服务祈求，与同步方式不同是，在此方式下，服务器端解决祈求时，客户端继续运营；当服务器端解决结束时返回解决成果；3.会话方式：客户端与服务器端建立连接后，可以多次发送或接受数据，同步存储信息上下文关系；4.广播告知方式：由服务器端积极向客户端以单个或批量方式发出未经客户端祈求广播或告知消息，客户端可在恰当时候检查与否收

3、到消息并定义收到消息后所采用动作；5.事件订阅方式：客户端可事先向服务器端订阅自定义事件，当这些事件发生时，服务器端告知客户端事件发生，客户端可采用相应解决。事件订阅方式使客户端拥有了个性化事件触发功能，极大以便了客户端及时响应所订阅事件；6.文献传播：客户端和服务器端通过文献方式来传播消息，并采用相应解决；7.可靠消息传播：在接口通讯中，基于消息传播解决方式，除了可采用以上几种通讯方式外，还可采用可靠消息传播方式，即通过存储队列方式，客户端和服务器端来传播消息，采用相应解决。三、接口安全规定： 为了保证系统安全运营，各种接口方式都应当保证其接入安全性。 接口安全是系统安全一种重要构成某些。保

4、证接口自身安全，通过接口实现技术上安全控制，做到对安全事件“可知、可控、可预测”，是实现系统安全一种重要基本。 依照接口连接特点与业务特色，制定专门安全技术实行方略，保证接口数据传播和数据解决安全性。 系统应在接入点网络边界实行接口安全控制。 接口安全控制在逻辑上涉及：安全评估、访问控制、入侵检测、口令认证、安全审计、防恶意代码、加密等内容。四、传播控制规定： 传播控制运用高速数据通道技术实现把前端大数据量并发祈求分发到后端，从而保证应用系统在大量客户端同步祈求服务时，可以保持迅速、稳定工作状态。 系统应采用传播控制手段减少接口网络承担，提高接口吞吐能力，保证系统整体解决能力。详细手段涉及负载

5、均衡、伸缩性与动态配备管理、网络调度等功能：1、负载均衡：为了保证接口服务吞吐量最大，接口应自动地在系统中完毕动态负载均衡调度；2、伸缩性与动态配备管理：由系统自动伸缩管理方式或动态配备管理方式实现队列管理、存取资源管理，以及接口应用恢复解决等；3、网络调度：在双方接口之间设立各种网络通道，实现接口多数据通道和容错性，保证当有一网络通道通讯失败时，进行自动切换，实现接口连接自动恢复。五、接口技术：5.1 J2EE/EJB5.1.1. 技术描述 Enterprise JavaBean (EJB) 是可重用、可移植 J2EE 组件。EJB 涉及三种重要类型：会话 bean、实体 bean和消息驱动

6、bean。会话bean执行独立、解除耦合任务，譬如检查客户信用记录。实体bean是一种复杂业务实体，它代表数据库中存 在业务对象。消息驱动bean用于接受异步JMS 消息。 EJB 由封装业务逻辑办法构成，众多远程和本地客户端可以调用这些办法。此外，EJB 在容器里运营，这样开发人员只要关注bean里面业务逻辑，不必紧张复杂、容易出错问题，譬如事务支持、安全性和远程对象访问、高速缓存和并发等。在 EJB规范中，这些特性和功能由EJB容器负责实现。容器和服务提供者实现了EJB基本构造，这些基本构造解决了EJB分布式、事务管理、安全性等内容。EJB规范定义了基本构造和Java API为了适应各种状

7、况规定，而没有指定详细实现技术、平台、合同。 EJB上层分布式应用程序是基于对象组件模型，低层事务服务用了API技术。EJB技术简化了用JAVA语言编写公司应用系统开发、配备和执行。5.1.2. 技术特点长处：基于规范平台，不受限于特定操作系统或硬件平台；基于组件体系构造，简化了复杂组件开发；提供对事务安全性以及持续性支持；支持各种中间件技术。缺陷：与特定于某个操作系统或平台实现技术相比，性能尚有待进一步提高，且资源占用量较大。5.2 Web Service5.2.1. 技术描述 Web Service是一种自包括、模块化应用，是基于网络、分布式模块化组件，它执行特定任务，遵守详细技术规范，这

8、些规范使Web Service能与其他兼容组件进行互操作。可以在网络上(普通是Internet)上被描述、发布、定位和调用。 Web Service体系重要由如下三某些构成：传播合同、服务描述和服务发现，由一系列原则构成，重要有：XML（可扩展标记语言）、SOAP（简朴对象访问合同）等。 上图显示了Web Service（中央）、客户端软件应用程序（左侧）及其使用资源（涉及数据库、其他Web Service等）（右侧）之间关系。Web Service通过使用原则合同（如 HTTP）互换XML消息来与客户端和各种资源进行通信。在Web Server上布置Web Service后，由Web Ser

9、ver负责将传入XML消息路由到Web Service。Web Service 将导出 WSDL 文献，以描述其接口，其他开发人员可以使用此文献来编写访问此Web Service组件。5.2.2. 技术特点 Web Service使用原则技术，应用程序资源在各网络上均可用。由于Web Service基于HTTP 、XML和SOAP等原则合同，因此虽然以不同语言编写并且在不同操作系统上运营，它们也可以进行通信。因而，Web Service合用于网络上不同系统分布式应用。长处：合用于网络上不同系统分布式应用、原则性好、扩展性好、耦合度低；内容由原则文本构成，任何平台和程序语言都可以使用；格式转换基

10、本不受限制，可以满足不同应用系统需求。缺陷：当XML内容较大时，解释程序执行效率较低，普通不合用于实现大批量数据交互接口。5.2 交易中间件5.3.1. 技术描述 交易中间件是专门针对联机交易解决系统而设计。联机交易解决系统需要解决大量并发进程，涉及到操作系统、文献系统、编程语言、数据通讯、数据库系统、系统管理、应用软件等各种环节，采用交易中间件技术可以简化操作。交 易中间件是一组程序模块，用以减少开发联机交易解决系统所需编程量。X/OPEN组织专门定义了分布式交易解决原则及参照模型，把一种联机交易系统划 提成资源管理（RM）、交易管理（TM）和应用（AP）三某些，并定义了应用程序、交易管理器

11、、各种资源管理器是如何协同工作。资源管理器是指数据库和 文献系统，交易管理器可归入交易中间件。5.3.2. 技术特点长处：开放体系构造，满足大顾客量与实时性规定，提供交易完整性、控制并发、交易路由和均衡负载管理。缺陷：解决大数据量交易效率不高。5.4. 消息中间件5.4.1. 技术描述 基于消息中间件接口机制重要通过消息传递来完毕系统之间协作和通信。通 过消息中间件把应用扩展到不同操作系统和不同网络环境。通过使用可靠消息队列，提供支持消息传递所需目录、安全和管理服务。当一种事件发生时，消 息中间件告知服务方应当进行何种操作。其核心安装在需要进行消息传递系统上，在它们之间建立逻辑通道，由消息中间

12、件实现消息发送。消息中间件可以支持同 步方式和异步方式，事实上是一种点到点机制，因而可以较好合用于面向对象编程方式。消息中间件可以保证消息包传播过程对的、可靠和及时。 消息中间件提供如下基本功能：消息队列、触发器、信息传递、数据格式翻译、安全性控制、数据广播、错误恢复、资源定位、消息及祈求优先级设定、扩展调试功能等。5.4.2. 技术特点 消息中间件可以在任何时刻将消息进行传送或者存储转发，不会占用大量网络带宽，可以跟踪事务，并且通过将事务存储到磁盘上实现网络故障时系统恢复。长处：为不同公司应用系统提供了跨多平台消息传播；除支持同步传播模式外，还支持异步传播，有助于在应用间可靠地进行消息传播。

13、缺陷：与其他中间件技术同样，存在高流量性能瓶颈问题。5.5. SOCKET5.5.1. 技术描述 Socket（套接字）用于描述IP地址和端口。应用程序通过Socket向网络发出祈求或应答网络祈求。 Socket 使用客户/服务器模式，服务端有一种进程（或各种进程）在指定端口等待客户来连接，服务程序等待客户连接信息，一旦连接上之后，就可以按设计数据交 换办法和格式进行数据传播。客户端在需要时刻发出向服务端连接祈求，然后发送服务申请消息包，服务端向客户端返回业务接口服务解决成果消息包。5.5.2. 技术特点 此类接口不需要其他软件支持，只要接口双方做好有关商定（涉及IP地址、端标语、包格式）即可

14、；包格式没有统一原则，可以随意定义。长处：实现简朴、性能高。缺陷：原则性差、扩展性差。5.6. CORBA5.6.1. 技术描述 CORBA即公共对象祈求代理体系构造，是一种具备互操作性和可移植性分布式面向对象应用原则。 CORBA 原则重要分为3个层次：对象祈求代理、公共对象服务和公共设施。最底层是ORB（对象祈求代理），规定了分布对象定义（接口）和语言映射，实现对象间 通讯和互操作，是分布对象系统中“软总线”；在 ORB之上定义了诸多公共服务，可以提供诸如并发服务、名字服务、事务（交易）服务、安全服务等各种各样服务，同步ORB也负责寻找适于完毕这一工作对象，并在服务器对象完毕后返回成果；最

15、上层公共设施则定义了组件框架，提供可直接为业务对象使用服务，规定 业务对象有效协作所需协定规则。 客户将需要完毕工作交给ORB，由ORB决定由哪一种对象实例完毕这个祈求，然后激活这个对象，将完毕祈求所 需要参数传送给这个激活对象。除了客户传送参数接口外，客户不需要理解其他任何信息，不必关怀服务器对象与服务无关接口信息，这就大大简化了客 户程序工作。ORB需要提供在不同机器间应用程序间通信，数据转换，并提供多对象系统无缝连接。5.6.2. 技术特点 CORBA具备模型完整，独立于系统平台和开发语言，被支持限度广泛特点。长处：以一种中间件方式为不同编程语言提供协同工作也许；对操作系统没有特殊规定和

16、依赖；与主流体系架构（如J2EE）关系密切。当需要集成两个公司应用软件互为异构，由不同编程语言实现时（如Java与C+），CORBA可以实现两种语言协同工作。 缺陷：庞大而复杂，并且技术和原则更新相对较慢；性能与详细业务实既关于。5.7. 文献5.7.1. 技术描述 文献接口定义了服务端与客户端文献存储途径、文献名命名规则和文献格式，并开放相应读/写操作权限。接口通讯过程涉及三种： 同一主机内可以共享一种途径； 服务器端向客户端开放途径，客户端定期查看此途径下与否有新文献，可以采用FTP等方式取走服务端开放途径下文献； 客户端向服务器端开放途径，由服务端将文献写入，客户端定期查看此途径下与否有

17、新文献。 网络传播方式应支持对通信机IP地址、帐户、口令、存取目录验证。接口应支持如下主流网络合同：FTP、FTAM等。数据传播应支持： 实时、高效和安全可靠地传送批量数据； 断点续传功能； 数据压缩传播； 传播过程中差错控制。 5.7.2. 技术特点长处：文献接口不需要其他软件支持，只要接口双方商定好途径、格式、解决方式即可，实现简朴、传播批量数据效率较高。缺陷：格式没有统一原则，原则性差；需要开放文献系统权限，安全性差。5.8. 过程调用和共享数据表5.8.1. 技术描述 过程调用和共享数据表技术实现了服务端向客户端开放可直接调用过程和可直接进行读写操作共享数据表，客户端直接调用服务端过程

18、和对共享数据表进行读写操作。 接口支持各种数据库连接方式，如Login、DB Link等。接口通讯过程涉及两种： 客户端直接调用服务端开放过程或对服务端开放共享数据表进行增、删、改和查询操作，完毕业务解决； 客户端向开放共享数据表中写入服务祈求数据，服务端定期扫描共享数据表并作出响应，依照服务祈求数据中接口服务类型代码，进行不同业务逻辑解决，然后向共享数据表中写入解决成果数据；客户端定期扫描共享数据表，依照解决成果数据并作出响应，进行业务后续解决。 5.8.2. 技术特点 此类接口不需要其他软件支持，只要接口双方做好有关商定即可；但接口没有统一原则，并且需要开放数据库权限，安全性差。长处：实现简朴、传播批量数据效率较高。缺陷：原则性差、合用场合有限、安全性差。