产权交易大数据智能分析平台与应用系统开发招标文件2技术部分Word文档格式.docx

1、（2）应用系统定制化开发项目精准推介系统经纪人推广系统项目洽谈展会管理系统专家库系统（3）智能化运维平台建设智能化运维平台建设（实现对运行在中国产股权交易大数据智能分析平台下对网络、网络设备、服务器、数据库、中间件等内容的集中监控和管理以及业务核心数据的实时展示，完成对信息系统运行状态的全面监控和运行问题的及时处理，支撑应用系统的安全、稳定、高效、持续运行。1.4项目总体要求1.4.1整体性原则系统的性能设计应从整体的角度出发，性能设计的方面包括网络环境、硬件设备、操作系统以及应用系统等，不能只针对某一层面和环节进行优化而忽略其他环节，进而产生性能瓶颈，从而造成系统整体上未达到性能设计目标。1

2、.4.2稳定性原则性能的提升与系统的稳定性是不可分割的，必须要考虑平台在业务峰值和低谷时的处理能力以及对系统稳定性带来的影响，不能单纯追求性能而破坏系统的稳定性。在模块间引入异步处理的缓冲区机制会带来“削峰填谷”的作用，对系统在峰值压力下的稳定性有很好的作用，而且异步处理方式可以使得不同模块之间可以分别进行扩展。1.4.3弹性扩展原则随着系统业务的扩展，其对业务的要求将会逐渐变化，系统设计应支持弹性扩展原则，使系统的功能设计能够根据业务需求的变化进行调整和扩充。1.4.4性能要求本项目中，性能需求主要指作业响应时间方面的要求，作业响应时间指完成目标系统中的交互或批量处理所需的响应时间。根据业务

3、处理类型的不同，把作业划分为两类：交互类业务、查询类业务，分别给出响应时间要求的参考值，包括峰值响应时间、平均响应时间。信息采集业务对于各类接入数据资源，系统须在各类公示信息披露后的1日内完成ETL采集，对采购人特别指定的公示信息，须在公示信息披露后的1日内完成自动采集和发布。交互类业务交互类业务是指平时工作中在系统中进行的业务处理，如录入，修改或删除一条记录、发布一条信息等操作。平均响应时间：0.5-1（秒）峰值响应时间：1-2（秒）查询类业务查询业务由于受到查询的复杂程度、查询的数据量大小等因素的影响，需要根据具体情况而定，在此给出一个参考范围。简单查询平均响应时间：1-3（秒）复杂查询平

4、均响应时间：3-5（秒）。1.5平台与应用系统要求投标方应根据本工程业务功能要求，提出软件系统结构。投标方的软件系统结构要求组件化模块化。要求投标方在其软件系统中采用中间件技术，可以缩短开发周期，增加整个系统的可靠、有效、健壮，以及伸缩性能。投标方应详细说明在系统中使用的中间件产品种类和作用，并附详细技术资料。投标方应将大数据智能分析平台软件、智能运维平台软件、自己开发的应用软件分别列出，并提供软件清单和说明，以及软件和硬件的对应安装关系，软件模块和业务功能的对应关系。1.5.1大数据智能分析平台1.5.1.1产股权交易大数据支撑平台中国产股权交易大数据智能分析支撑平台包括了门户平台、数据中心

5、、数据交换等几个部分。其中数据中心是面向产权交易，基于WebServices技术的数据交换、数据流管理和跨地区协同数据交互的应用支撑平台系统。数据交换中心是实现数据交换、跨区域数据交换（数据流引擎和管理）和数据共享的核心。由上图可见，数据交换平台，能够实现不同的交易所应用系统之间的基于统一标准的数据交换和共享。可以高效地在纯XML数据服务器上构建起面向主题的操作数据库；也可以实现对分布在各省市交易所的信息资源的共享、查询和数据交换，从而实现对众多的应用系统中关键数据地抽取和集中。数据交换器所提供的工作流引擎和XML文档（表单）处理功能，可以快速地构建一站式服务平台，能够实现对众多的产权交易应用

6、的协同和调度，从而使得在同一系统中处理需要多系统业务协同的产权业务交易信息服务成为可能。同时，平台提供针对不同业务应用系统的数据交换适配器，这些数据交换适配器将成为应用系统连接到数据交换器也就是一站式服务平台上的纽带，数据交换适配器技术使得我们能够充分利用原有的应用系统的功能。该应用支撑架构通过数据交换中心实现异构系统的信息交换，并可将数据集中到本体系中的数据中心上，为以后开发决策支持系统提供接口支持。具体功能及技术需求为 ：1.5.1.1.1数据交换平台组件1.5.1.1.1.1功能要求交换节点管理1.支持跨网络数据交换系统的对接,包括支持相互传递命令数据、业务数据以及配置数据2.提供节点拓

7、扑图形化管理，支持在统一的管理页面统一管理3.支持注册、修改、删除交换节点4.支持实时监控交换节点的在线、离线状态数据源管理系统要求对所有接入数据交换系统的数据资源进行统一的管理。1.关系型数据库（包括Oracle、DB2、SQLServer、Sybase、MySQL、PostgreSQL等主流数据库以及达梦、神通等国产数据库）2.文件型数据源，如Excel、txt和xml等。3.文件传输系统（包括FTP/SFTP）4.提供对数据源的查询、新建、修改、删除功能。5.提供对数据源的分组管理功能。6.针对于关系型数据库类型数据源，提供连接池参数的配置，支持管理员依据项目实际情况对连接池配置调优。7

8、.数据源配置信息（IP、端口、用户名、密码等）支持按需变更，且不需要修改数据标准以及数据交换规则等配置信息，即可实现自动适应功能。数据标准管理支持对数据标准的统一管理和存储，作为整个组织重要资产统一管理、维护、跟踪和共享。1.支持OMG CWM Specification v1.1元模型规范2.支持OMG XML Metadata Interchange （XMI） v2.1 元数据交换规范3.W3C Schema 1.0规范4.提供可视化方式配置数据标准，能够支持主动抽取数据标准。5.数据标准管理功能支持抽取关系数据库的基础数据结构，包括数据库表名称、字段名称、数据类型、相关注释以及主外键关

9、联关系等信息。6.支持对结构化数据标准的描述，包括关系型数据库表、视图、查询SQL等7.支持对半结构化数据标准的描述，包括XML格式、Excel文件格式、文本文件格式等。8.支持对数据标准的新建、修改、删除等、分组管理与查询功能。9.支持对数据标准的导出导入功能交换任务规则管理1.提供基于Web的图形化交换任务模型配置方式。以可视化流程的方式管理交换规则资源与监控数据流转2.管理数据交换的流程，配置串行、并行数据交换流程3.支持执行数据同步、数据上载、传输等操作。4.支持按名称等条件的检索功能。5.支持配置执行映射规则、文件传输规则、数据库存储过程，JAVA程序等。调度规则管理配置数据交换任务

10、的执行周期，并按配置周期触发交换任务，调度支持与一到多个交换任务关联，同时交换任务支持同时被一到多个调度触发执行。周期性执行的交换任务要求同时支持手动、实时接口触发的执行方式。1.支持查询、新建、修改、删除、启用/禁用调度配置2.支持配置秒级、分钟级、小时级、天级、周级、月级的策略，支持按需配置出任意的执行周期3.支持按名称等条件的检索功能4.支持查看执行周期5.支持配置并发的任务数大于1000个资源关系管理1.提供系统内部资源关系的数据流向展示，可按照数据流入、流出进行数据过滤2.支持数据源、数据表级别的数据流向展示，并可查看、编辑某一个数据源/数据表关联的元数据、映射、任务和调度等信息。系

11、统审计1.记录用户登入登出操作信息，以及登录系统后的所有增、删、改等操作信息。并可根据用户名称进行过滤。系统监控1.支持监控服务器的内存使用率、磁盘使用率，以及展现系统环境等参数。系统日志1.支持系统日志的查看，可分为正常、错误、忽略等维度查看。1.5.1.1.1.2技术要求1.数据交换元数据模型支持基于 OMG Common Warehouse Metamodel（CWM） Specification v1.1 元数据协议标准管理，支持脱离原始数据源离线配置数据交换映射与转换,支持对数据标准的统一管理和存储，数据抽取、转换规则的定义完全依赖于CWM元数据标准实现。2.数据标准管理功能支持抽取

12、关系数据库的基础数据结构，包括数据库表名称、字段名称、数据类型、相关注释以及主外键关联关系等信息。支持对结构化数据标准的描述，包括关系型数据库表、视图、查询SQL等.支持对半结构化数据标准的描述，包括XML格式、Excel文件格式、文本文件格式等。3.支持异构数据源多对多数据交换，支持主流的关系型数据库包括Oracle、MySQL、PostgreSQL、SQLServer、DB2、Sybase、神通、达梦、金仓、GBase8t/8a、虚谷、浪潮、Greenplum等国内外主流关系型数据库，XML文档、文本数据、Excel等文档数据、HBase、MongoDB等NoSQL数据源、HIVE及Web

13、Service接口等，支持灵活的扩展新的数据源。4.支持集中部署、分布式部署与集群部署等多种部署方式。支持跨网络、跨机房的数据同步与交换，支持跨物理隔离网闸设备的同步与交换。提供节点拓扑图形化管理，分布式部署时，支持在统一的管理页面统一管理,支持实时监控交换节点的在线、离线状态，可以在多个数据交换服务节点之间灵活切换。5.支持单表的多线程抽取与加载；6.支持较好的冲突机制，提供意外停机、网络中断的错误自动处理能力，支持服务托管与自动恢复能力，支持错误恢复策略配置。7.提供系统内部资源关系的数据流向展示，可按照数据流入、流出进行数据过滤。支持按照数据源、数据表等级别展示数据流向，并可查看、编辑某

14、一个数据源/数据表关联的元数据、映射、任务和调度等信息。8.提供基于Web的图形化交换任务模型配置方式。以可视化流程的方式管理交换规则和监控数据流转性能,并支持以进度条的形式体现执行进度。支持配置串行、并行数据交换流程。支持配置执行映射规则、文件传输规则、数据库存储过程，JAVA程序等。9.交换系统提供基于webservice 的API，能很好的与其他系统集成，支持通过接口启动、恢复任务，支持通过接口获取、推送数据，支持通过接口管理资源，支持实时获取监控日志信息；能够集成其他应用程序，支持使用统一的交换流程配置、调度和监控。 10.支持菜单级授权和数据级授权管理。11.支持手动触发、计划任务触

15、发和基于事件接口形式的实时触发能力，以适应人工参与、自动化无人工干预的实时数据同步与批量数据同步等多种场景。12.在任务管理中，新建任务时需要自动生成对应的WebService服务，该功能主要通过通用Web服务接口将任务直接生成对外服务接口。13.支持配置数据交换任务的调度执行周期，并按配置调度周期触发交换任务，调度支持与一到多个交换任务关联，同时交换任务支持同时被一到多个调度触发执行。调度配置策略支持秒级、分钟级、小时级、每天、每周、每月等，同时支持用户自定义配置任意的执行周期。调度管理支持按名称等条件的检索功能，支持查看执行周期,支持配置并发的任务数大于1000个。14.支持审计日志功能，

16、包括记录用户登入登出操作信息，以及登录系统后的所有增、删、改等操作信息，并可根据用户名称进行过滤。15.支持系统日志功能，记录系统的所有日志信息，包括常规信息、错误信息和忽略信息等，支持日志查看、检索、导出和清空等功能。16.支持系统告警功能，针对特定事件或异常情况，可以产生相关告警信息并给预设人员发送email信息通知。17.支持基于Web的在线升级与补丁安装。18.支持创建Shell/Batch脚本任务，可以监控脚本执行的过程和结果。19.支持系统信息查看功能，包括CPU使用率、内存使用率和磁盘使用率，以及系统环境参数，如操作系统、IP地址、CPU核数、和物理内存等等。1.5.1.1.2转

17、换清洗ETL工具组件1.5.1.1.2.1功能要求数据转换定义 提供图形化转换映射定义工具，提供丰富的转换定义规则，支持生成数据转换模板。数据清洗 允许通过条件抽取、过滤、筛选等手段将有问题的数据剔除或转换掉；同时为了满足特殊转换清洗需求，需支持以接口扩展方式创建自定义转换节点，以实现自定义数据清洗功能。数据加载 支持多种数据加载方式，可以做到直接插入新数据、可以判断数据是否存在如存在则更新否则插入、可以判断数据是否存在如存在则删除再插入及支持增量加载。1.5.1.1.2.2技术要求1.支持基于OMG Common Warehouse Metamodel（CWM） Specification

18、v1.1 元数据标准，支持可视主动抽取数据源元数据，提供对元数据的变更与维护的支持，ETL规则的定义完全依赖于元数据标准实现2.提供元数据管理功能，基于web方式管理数据源，web方式抽取和管理元数据3.支持基于模型配置ETL过程，支持运行期动态修改ETL模型，无需重启应用4.提供基于Eclipse RCP技术实现图形化ETL转换与映射的工具，提供多种关联查询策略，图形化连线方式配置关联查询配置，可配置左连接、右连接和全连接5.支持多种数据抽取策略，包括全量抽取、时间戳/标志位增量抽取以及快照对比增量抽取等。支持多种数据加载策略，可配置插入、更新、删除、删除/插入、插入/更新、增量加载等多种加

19、载策略。6.支持多数据源整合，支持主流的关系型数据库包括Oracle、MySQL、PostgreSQL、SQLServer、DB2、Sybase、神通、达梦、金仓、GBase8t/8a、虚谷、浪潮、Greenplum等国内外主流关系型数据库，XML文档、文本数据、Excel等文档数据、HBase、MongoDB等NoSQL数据源以及HIVE等，支持灵活的扩展新的数据源。7.支持JavaScript自定义转换、字段拆分、合并；类型转换、常量、码表、替换、大小写转换、字符串截取/重组/反转、频率统计、计算表达式等多种数据转换，支持自动完成数据类型转换。支持灵活的扩展新的转换规则。8.提供实时监控功

20、能，基于web方式实时展现ETL运行状态，可监控ETL运行过程的性能和数据量信息，支持以进度条的形式体现执行进度。9.支持菜单级授权和数据级授权管理。10.资源管理和监控功能提供开放的基于WebService API，可集成到其他应用系统。11.支持对重复数据的自动过滤，自动实现唯一性冲突的情况的数据更新12.支持脏读以及事务一致性控制13.支持异常情况自动恢复与断点续传14.支持除执行ETL规则外，可以执行自定义存储过程、自定义SQL、自定义JAVA程序等转换规则15.支持单表并行抽取与加载16.支持调度方式、手动方式以及基于事件接口形式启动ETL任务17.支持集群部署18.支持任务转换的变

21、量自定义设置 1.5.1.1.3数据比对（对账）系统1.5.1.1.3.1功能及技术要求1.支持基于OMG Common Warehouse Metamodel（CWM） Specification v1.1 元数据标准，支持可视主动抽取数据源元数据，提供对元数据的变更与维护的支持，比对规则的定义完全依赖于元数据标准实现2.完全基于Web方式配置比对规则、管理比对任务和监控比对过程及结果，支持以进度条的形式体现当前比对进展，以及当前比对速度。3.支持数据量比对、表结构比对和数据内容比对等维度，支持配置比对键和比对列4.比对结果支持以图表形式展现详细差异结果，支持查看数据比对的动态和静态详细差异

22、结果，以及当前比对和历史比对的详细差异结果；5.支持主流的关系型数据库包括Oracle、MySQL、PostgreSQL、SQLServer、DB2、Sybase、神通、达梦、金仓、通用、虚谷、浪潮、Greenplum以及非关系型数据库HBase，HIVE等；同时支持灵活的扩展新的数据源。6.支持差异数据的同步7.支持菜单级和数据级的权限控制8.支持视图和SQL数据的比对。9.支持跨异构数据源的比对10.支持跨网络、跨机房的比对11.支持全量比对、支持基于自定义条件的比对1.5.1.1.4数据质量管理系统1.5.1.1.4.1功能及技术要求1.支持基于OMG Common Warehouse

23、Metamodel（CWM） Specification v1.1 元数据标准配置数据质量规则，支持可视抽取数据源元数据，提供对元数据的变更与维护的支持2.支持多种数据源，支持主流的关系型数据库，包括Oracle/MySQL/SQLServer /DB2/Sybase/神通/达梦/金仓/通用/Netezza/HIVE等国内外主流数据库，支持HBase数据源和txt/csv格式的文本数据源校验；同时支持通过扩展接口配置，提供扩展新数据源功能。3.支持基于浏览器Web方式配置与执行数据质量规则。其中，度量规则包括三种校验维度，包括：表间规则，校验多表之间数据质量情况，支持跨数据源的多表之间数据质量

24、校验；表规则，校验表内数据质量情况；列规则，校验多列数据质量情况4.支持数据质量监控和统计功能，可以对所有的数据质量处理过程进行统计，提供质量校验报告并且可以查看当前和历史的校验结果。5.支持校验错误数据的自动建表、自动入库存储。6.支持质量分析功能，提供数据源维度和时间维度的质量统计分析，包括数据质量分数、数据源、规则数、问题数量统计、数据质量评估统计和数据源分数排名等。并可根据校验规则数据符合度进行排名，展示数据质量分数走势图，问题数据占比走势图等。7.支持规则的权重定制，同一规则在不同的评估方案下，用户可定制不同的权重。8.支持自定义配置行业标准的校验规则。9.支持菜单级权限管理和业务级

25、授权管理。10.数据校验完毕后，支持回写原表的标识列和描述列，用于标识数据是否正确，并记录错误的具体原因。11.支持对数据的唯一性、完整性、合法性等质量问题进行综合分析。12.提供数据质量校核码表管理功能，支持业务码表管理和系统码表管理。系统码表支持模板导入方式。13.提供复杂关联条件校验、数据冗余、数字、时间、码表等至少50项内置校验规则。14.支持智能记忆和扫描已配置规则，依据业务相似度智能推荐15.支持规则启停，对规则的应用进行整体控制，支持运行期关闭或者开启规则16.支持数据质量规则的导入、导出等功能，实现分布式校验节点规则的统一管理17.支持基于java语言的扩展及自定义数据质量规则

26、实现18.支持数据质量评分走势分析1.5.1.1.5数据接口服务系统1.5.1.1.5.1功能要求数据访问 支持访问数据源，包括但不仅限于 关系型数据库，如Oracle，DB2,SQLSerever，Sybase等；可扩展支持文件类型数据源，如CSV，Excel，XML等；可扩展支持HTTP，如REST，SOAP；可扩展支持数据库存储过程，JMS；可扩展支持NoSQL 如：Hadoop/Hbase等。数据查询 支持数据库关联查询，标准的SQL查询，并行查询处理，支持基于规则的自动优化，单数据源更新，多数据源更新，包括事务一致性数据处理 支持处理标准SQL函数,重命名,用户自定义函数,数据类型转

27、换数据发布 支持基于OData V4.0标准的 REST API发布数据安全管理 支持用户认证，用户组/角色，CRUD权限，访问权限；支持基于Token的认证，数据加密建模与元数据管理 支持图形化拖拽方式配置，元数据迁移，元数据查询，调试，元数据管理，多用户资源管理运行监控 支持日志监控，管理控制台支持的操作系统，如Windows,Linux等，支持集群部署，管理监控API，实时监控接口调用统计 支持数据服务系统概览，包括数据源数量、接口数和用户数等。 支持接口访问趋势统计，并可按照时间维度统计用户访问和接口访问TOP情况1.5.1.1.5.2技术要求1.支持独立的元数据模型管理，元数据模型支持基于 OMG Common Warehouse Metamodel（CWM） Specification v1.1 元数据协议标准管理，支持对数据标准的统一管理和存储，数据服务接口的的定义完全