数据管控规范Word格式文档下载.docx

1、 数据同步规则确定分析采集的各种数据需要达到的同步频率，从实时、准实时到天、月不等，针对不同的同步频率需求结合每次同步的数据量来选择同步方式，ETL（抽取-转化-加载）和ESB（企业服务总线）分别适用于不同场景。ETL本身也有多种具体的技术手段来实现各种情况下的同步，如Hotplug、全表对比、时间戳等。在这里，将根据不同的数据类别和数据使用频度和需求频度等情况，制定出相应的数据同步的机制，采用实时数据整合和批量数据整合两种方式进行数据的整合。 数据清洗规则确定在进行数据整合过程中，由于不同系统中可能重复出现的数据，以及数据本身的缺失和错误等问题，为了避免由于不同系统中相同数据由于编码规则、格

2、式之间的差异，在清洗过程中需要制定统一的数据清洗规则，对数据进行清洗和转换，确保数据管理平台中的数据能够保持一致性。同时，在数据清洗的过程中，需要对采集数据的质量以及清洗后数据的质量进行检测。其中，在数据采集过程中，对采集的数据进行整合，确保采集的数据都能满足质量要求，能够通过正确的清洗和转换；对于转换完成的数据，通过再次的检测，保证转换数据的一致性和正确性，从而确保数据的准确行和权威性。1.3 数据管控数据管控就是对于进行整合后的数据进行相关的管控，使其能够满足交易中心管理对于数据使用的各种需求。1.3.1 数据生命周期规划数据生命周期规划，就是对数据从在各个应用系统的中产生，然后通过各种采

3、集整合手段聚合到数据管理平台，直至最终通过建立各种主题数据仓库提供各种数据服务的整个过程进行规划，使数据能够满足各种业务的使用需要。数据生命周期规划，把数据划分为以下3个域，分别保存不同阶段的数据：ADB应用数据库数据管理平台数据仓库核心功能为操作型应用提供数据存储和访问提供领域内统一、一致的数据视图，包含MDM主数据管理1、存储数据管理平台历史数据2、为分析应用提供多维数据基础数据模型应用自身的数据模型共享数据模型共享关系模型，多维分析模型数据存储类型关系型数据库关系型数据库、多维数据库、或多维数据引擎软件数据内容本应用需要的所有细节信息运营共享信息数据管理平台的所有历史数据支撑的应用实时应

4、用统一视图、准实时/实时的数据访问支撑分析型应用数据更新频率秒分钟到1天1天-1周数据存储周期3-12个月所有 ADB应用数据库应用数据库主要是为交易中心主要的业务支撑系统和内部管理系统的应用提供数据存储和访问。在应用数据库只存储支撑本系统运行的数据资源，以满足本系统的使用要求。应用数据库的数据在进行日常业务处理的过程中，不断的进行更新，以便同实际的业务情况保持一致。 数据管理平台应用数据库的数据，经过统一的清洗和转换后，进入数据管理平台进行统一的存储管理。在数据管理平台，将通过建立统一的数据视图，为各种数据服务提供数据。数据管理平台的数据更新根据不同的数据需求和应用系统的实际情况进行区分，通

5、过实时的数据采集和批量数据采集两种方式进行。 数据仓库数据仓库是为了满足某一特定的决策支持和联机分析而建立的结构化数据环境。交易中心在进行业务活动和内部管理的过程中形成了大量的数据资源，利用数据仓库，对已有的数据资源进行深入的挖掘和联机分析，即可以满足交易中心日常的数据查询要求；又可充分挖掘数据内涵的意义，为中心的各项业务决策提供良好的支持。例如，根据交易中心目前的使用要求，建立交易信息、企业信息、专家信息的主题数据仓库，为中心的各项活动提供业务支持。1.3.2 元数据管理元数据是关于数据的数据，元数据主要用于在数据仓库里描述数据及其环境，它是在数据仓库建设过程中所产生的有关数据源定义，目标定

6、义，转换规则等相关的关键数据。因此，元数据的管理对于数据仓库有着重要的意义。在目前的数据管理平台上，将提供对各数据的实体定义和流程管控管理两方面的元数据进行管理。其中，数据实体管理是对各个数据实体来进行实体定义，对实体之间的关系进行约束，实现对数据管理平台里所有数据实体的管理。对于流程管控管理方面，通过制定规范的数据流程制度，严格控制数据的流向以及数据在各流程中的情况，对数据管理平台中的各项数据流程进行管控。1.3.3 主数据管理主数据是描述核心业务实体（如招标项目、企业和专家）的一个或多个属性，主数据管理具有很高的重要性。首先，完善的主数据管理可以使各个业务视角能获得一致的数据基础，减少数据

7、差异带来的业务错误和客户投诉，还可以充分发挥各个业务视角数据管理和维护的能力，而不加重业务部门的负担，另外，主数据管理是SOA实施过程中，关键业务对象抽象的重要基础。主数据管理具备以下功能特点： 整合：在组织层面上整合了现有应用系统的主数据信息，进行主数据的集中处理。 共享：主数据作为组织权威的统一、一致的数据，为组织各应用系统提供准确的共享数据。 统一：实现对于客户、产品和供应商都通用的主数据形式，加速数据输入、检索和分析。 并行管理：支持数据的多用户管理，包括限制某些用户添加、更新或查看维护主数据的流程的能力。 集成能力：集成产品信息管理、客户关系管理、客户数据集成以及可对主数据进行分析的

8、其他解决方案。在交易中心的系统中，主要的主数据为招投标项目主数据、企业主数据和专家主数据，各个主数据又由若干个相关实体组成。通过统一的主数据管理，可以规范数据的录入和使用，使得数据的存储的一致性，使用的规范性。以下为各主数据在进行主数据管理前后的情况列表。主数据主系统（生产系统）从属系统（使用系统）招标项目项目基本信息网上填报编码系统，交易系统，评标系统，企业库，专家库，电子化资审，诚信平台项目编码编码系统交易系统，评标系统，企业库，专家库，电子化资审，诚信平台正式投标人交易系统评标系统，企业库，专家库，诚信平台定标结果企业库，专家库，诚信平台中标公示专家抽取信息专家库专家签到信息专家专家基本

9、信息交易系统，评标系统专家回避单位人员指纹库企业企业基本信息企业库交易系统，电子化资审，诚信平台企业项目信息企业人员信息表1 应用系统整合前主数据情况主系统（生产造系统）评标系统，企业库，专家库企业库，专家库交易系统 表2 应用系统整合后主数据情况通过对于系统的整合和主数据管理后，对于数据的使用和管理都更为明晰，使得系统间的数据交互更加清晰，系统间的耦合程度大为降低，系统的效率大为提高。1.3.4 数据质量管理数据质量的好坏是数据应用的基础，因此，在数据管理平台中，对于数据质量的管理也是数据管理的重点。对于数据质量的管理，主要分为对数据使用的流程进行管理，以保证数据的使用符合规范的流程，保证了

10、数据使用的规划；对数据使用的应用服务进行管理，以便对于各项数据服务的情况有一个全面、细致的了解；最后，对于数据服务的信息进行监测，对于异常情况进行预警，并输出服务信息报表，以便对服务情况进行分析。1.4 服务共享数据共享的基本思路是将现存系统中点对点的网状结构改造为基于数据总线的模式。通过运用数据总线的模式，通过统一规范的数据共享机制使得对于数据管理的可以大大降低后续对数据维护的成本。下表为独立接口和总线模式的各种效率对比。比较项 独立接口 数据总线 接口数量 多n*（n-1） 少（n） 耦合程度 紧 松 开发复杂性 复杂，手工编码 简单 管理与维护 混乱 容易，集中管理 扩展性 困难 易扩展

11、 实施周期 长 短 通过在交易中心的系统调研，我们整理出现有的系统的数据接口以及系统接口的数据交换情况，并以此进行数据总线的改造，形成基于总线的数据共享模式，以期达到服务共享的目的。整合前的系统之间的数据交互关系复杂，且企业库等系统同交易系统形成一个大的系统，不便于数据服务的共享。运用数据总线的思想，我们构建了基于总线的数据服务形式，情况如下图所示。如图所示，通过数据总线的形式，我们整合了所有系统的数据，并通过数据总线的形式，提供了统一的数据服务，使得数据的管理和使用能够有一个统一的机制，以便能够更好的达到服务共享的目的。1.5 服务治理在总线上实现数据服务共享后，为了使用户更好的了解数据服务

12、的应用情况，需要在为系统上搭建数据服务的维护管理功能。用户可通过图形化的方式实现对数据服务的监控、统计和分析。服务治理功能主要用来对众多的服务进行管理和控制（包括此处的数据服务，也包括今后将实现的业务服务），为服务消费者、服务供应商、SOA运营人员提供方便的服务治理工具。对于服务消费者，通过该模块可以更好的查找到需要的服务及更准确的使用服务。对于服务供应商，通过该模块可以方便的进行服务的注册和发布，解决目前ESB对服务的注册和发布过程复杂技术门槛高的问题。此外，通过一系列的图形化的监控手段，使得监控管理人员能够清晰的查看目前的服务情况，并通过一系列的报表，对于整体的服务情况有了一个清晰的了解。对于SOA运营人员，通过该模块做到对服务的统一管理，统一控制、统一监视，将大大降低管理的成本和提高管理的效果。