移动经营分析系统元数据规范.docx

1、移动经营分析系统元数据规范中国移动通信企业标准QB-J-010-2006附件2中国移动省级经营分析系统元数据管理规范The Metadata Management Specification of Business Analysis Support System版本号：1.5.02006-04-30发布中国移动通信有限公司 发布2006-04-30实施目录1 范围 12 引用标准 13 术语和定义 14 符号和缩略语 15 总则 15.1 概述 15.2 目标 25.3 包含附件内容 26 元数据管理规范总体说明 36.1 规范涉及的元数据标准 36.2 元数据基本框架 46.3 省级（包括一

2、级经营分析系统）元数据管理架构 56.4 中央元数据库管理架构 66.5 元数据管理系统拓扑图 87 经营分析系统核心元数据 97.1 概述 97.2 经营分析系统基础层元数据 107.2.1 概述 107.2.2 对象模型元数据 107.2.3 基础元数据 147.2.3.1 概述 147.2.3.2 业务信息 157.2.3.3 数据类型 167.2.3.4 表达式 177.2.3.5 主键和索引 187.2.3.6 系统部署 197.2.3.7 类型映射 217.3 经营分析系统数据获取层元数据 227.3.1 概述 227.3.2 ETL元数据 237.4 经营分析系统数据存储层元数据

3、 287.4.1 概述 287.4.2 数据仓库元数据 297.4.2.1 关系模型元数据 297.4.3 数据仓库管理元数据 317.4.3.1 仓库过程元数据 317.4.3.2 仓库操作元数据 337.5 经营分析系统数据访问层元数据 367.5.1 概述 367.5.2 OLAP元数据 377.5.3 数据挖掘元数据 387.5.4 信息可视化 407.6 其他可选元数据 428 经营分析系统元数据库存储标准 438.1 概述 438.2 元数据库存储标准 438.3 备份要求 448.3.1 省级元数据备份要求 448.3.2 中央元数据备份要求 469 省级与集团公司元数据接口规范

4、 489.1 概述 489.2 集团公司职责 489.3 各省公司职责 489.4 各省元数据提交范围 499.5 各省元数据提交规定 499.6 接口文件传输要求 499.7 省级与集团公司元数据接口文件和描述文件命名方式 509.8 省级元数据接口文件描述文件格式标准 519.9 省级中央元数据库CORBA IDL接口 519.10 省级中央元数据库XMI接口 539.11 校验原则 5410 经营分析系统元数据库接口规范 5810.1 省级元数据库接口 5810.1.1 概述 5810.1.2 集团公司职责 5810.1.3 各省公司职责 5910.1.4 各省元数据接口管理范围 591

5、0.1.5 各省元数据XMI接口抽取规定 5910.1.6 省级元数据库XMI文件命名规则 6010.1.7 省级元数据接口文件描述文件格式标准 6110.1.8 省级元数据库省级经营分析系统XMI接口内容与格式要求 6210.1.9 省级元数据库CORBA IDL接口 6310.2 一级经营分析系统元数据库接口 6510.2.1 概述 6510.2.2 集团公司职责 6510.2.3 一级经营分析系统元数据提交范围 6610.2.4 一级经营分析系统元数据提交规定 6610.2.5 接口文件传输要求 6610.2.6 一级与集团公司元数据接口文件和描述文件命名方式 6710.2.7 一级元数

6、据接口文件描述文件格式标准 6710.2.8 一级元数据接口文件内容格式标准 6810.2.9 一级元数据库CORBA IDL接口 6910.3 中央元数据库接口 7110.3.1 概述 7110.3.2 中央元数据接口管理范围 7110.3.3 中央元数据库与经营分析系统XMI接口内容与格式要求 7210.3.4 中央元数据库CORBA IDL接口 7311 经营分析系统元数据管理规定 7411.1 元数据质量要求 7411.1.1 概述 7411.1.2 本地元数据质量规定 7511.1.3 接口文件数据质量规定 7611.1.4 传输过程元数据质量规定 7611.2 元数据管理平台功能说

7、明 7611.2.1 元数据获取 7711.2.2 元数据检索和浏览 7811.2.3 元数据分析 8011.2.4 元数据维护 8111.2.5 权限管理 8311.2.6 版本控制 8311.2.7 中央元数据管理平台特殊要求 8511.3 经营分析系统元数据管理系统应用举例 8511.3.1 数据时效性探察 8511.3.2 指标和报表元素血缘分析 8611.3.3 元数据相关性分析 8712 编制历史 88前言为更好地实现元数据管理从技术上及功能上对数据质量管理提供支撑，保证数据质量的稳定可靠，特制定元数据管理规范。本标准由中国移动通信有限公司业务支撑系统部提出并归口。本标准以中移有限

8、业【2006】78号印发。 本标准起草单位：中国移动通信有限公司。本标准主要起草人：吴唯宁、刘虹、段云峰、柳兰屏、高男男、谢志崇、崔洪涛、王敬尧、常冬、赵静、余疆、刘盾。本标准解释单位：中国移动通信有限公司。1 范围 本规范包含了为中国移动经营分析系统经营分析系统内部控制的管理体系及数据质量管理系统提供技术及功能支撑的元数据管理规范。本规范适用于集团公司元数据管理、一级经营分析系统元数据管理和中国移动各省（直辖市、自治区）经营分析系统元数据管理系统2 引用标准3 术语和定义4 符号和缩略语5 总则5.1 概述为使中国移动通信集团公司（以下简称中国移动）适应日趋激烈的市场竞争环境，有效并准确的使

9、用经营分析系统提供的资源，从而对信息进行智能化加工处理，并最终为各级市场决策管理者提供及时、准确、科学的辅助决策依据，指导中国移动经营分析系统的元数据管理系统发展，依据中国移动经营分析系统技术规范和OMG组织的CWM国际标准与相关标准，并参考中国移动一级经营分析系统需求说明书、二级经营分析系统需求说明书、特制定中国移动经营分析系统元数据管理规范。本规范包含对集团公司经营分析系统的元数据管理要求和各分公司经营分析系统元数据管理要求。本规范是中国移动经营分析系统元数据管理和建设的基本要求。各省、自治区、直辖市公司依照本技术规范，进行经营分析系统的元数据建设。从技术理论上讲，经营分析系统元数据涉及到

10、经营分析系统数据仓库、ETL、联机分析处理、数据挖掘、前端展现等多方面内容，元数据贯穿经营分析系统始终。从技术实现上讲，元数据分布在仓库的不同组件中，业务规则和技术元数据是分离的，而且由不同系统以不同格式保存且用户界面不同，不利于业务人员和技术人员对于元数据的管理和使用。而根据从数据仓库的系统中获得的数据做出智能决策和采取信息化行动时，分析人员和决策者需要知道自己的需要与经营分析系统中数据的关系。因此集团公司制定了经营分析系统元数据规范，使得技术人员和业务人员可以统一地对经营分析系统中的元数据进行管理和监督以及探查。本规范囊括了中国移动通信公司经营分析系统中常见的元数据，首先描述了经营分析系统

11、中元数据标准框架、各省元数据管理体系结构和省级元数据库与中央元数据库管理架构，明确了本规范的工作范围。其次定义了经营分析系统核心元数据涉及到的范围以及与CWM标准对应的对象类，并规定存储依据的标准，建立省级-中央，省级-本地，中央-本地等标准化接口和API接口，最后对元数据质量和元数据管理平台进行规定和说明。本规范包含有关元数据四个接口规范、一个存储规范（逻辑模型）以及基于元数据库的几类基本应用等内容。各省、自治区、直辖市公司在实施经营分析系统过程中，可根据实际需要以本规范为基础进行扩充与细化，但务必保证核心元数据的内容和接口不能改变。5.2 目标本规范目的在于指导各省以及集团公司的元数据建设

12、，由于元数据贯穿经营分析系统始终，在经营分析系统中各个系统元数据比较分散，不利于各省公司以及集团公司的管理，因此制定此规范用于指导约束各省公司的元数据接口、存储、管理。具体而言，目标有如下几点： 指导各省公司以及集团公司元数据库和管理平台的建设，规定元数据基本内容 定义经营分析系统元数据管理框架和流程 约束各省公司元数据库接口以及集团公司元数据接口和存储模型 对元数据管理平台提出基本的功能和规定5.3 包含附件内容随本规范附件有省级-本地IDL接口定义（省级-本地IDL接口.zip），中央-本地IDL接口定义（中央-本地IDL接口.zip），省级-本地XMI接口定义（省级-本地XMI接口.dt

13、d），中央-本地XMI接口定义（中央-本地XMI接口.dtd），省级-中央接口定义（省级-中央接口.dtd），一级-中央接口定义（一级-中央接口.dtd）。包含的参考资料有CWM模型1.1标准（CWM标准.pdf），MOF 1.3标准（MOF标准.pdf），其他的参考资料可以查看www.omg.org上的相关涉及到的内容。6 元数据管理规范总体说明6.1 规范涉及的元数据标准本规范是基于OMG组织的元数据规范CWM 1.1而产生的，在CWM标准之上根据中国移动的本地化需要，在一些细节上进行调整。阅读此规范时，必须参阅CWM模型1.1版本，该标准中有对于本规范规定的各类详细定义，关联以及属性详细

14、定义进行的细致的说明。CWM模型是OMG组织定义的数据仓库和相关系统的国际元数据标准，CWM标准的目的在于使得数据仓库和商业智能软件的元数据在分布异构的数据分析工具，数据仓库平台，元数据存储等系统之间交互。目前这个元数据标准得到了IBM、Unisys、NCR、Oracle、SAS等厂商的支持。CWM模型涉及以下几个国际标准，在元数据管理规范中涉及到的接口、定义默认是遵循下列版本的国际标准： CWM 1.1 XMI 1.1 CORBA IDL（由MOF 1.3产生） MOF 1.3 UML 2.0其中UML用来描述元数据模型本身和一些对象元数据，本规范中核心元数据相关的类定义是借助UML语言进行

15、表述的。MOF用来定义元数据存储标准且提供一个良好的CORBA IDL接口，是经营分析系统元数据的存储标准。CORBA IDL是一种基于中间件思想的接口定义语言，它可以支持java，C等流行的编程语言方便、无二义性地访问经营分析系统元数据存储内容。XMI是XML形式的元数据接口定义语言，它是经营分析系统元数据管理体系中元数据默认的交换文件形式。CWM标准是本规范制定的重要参考标准，本规范参考的上述国际标准都是围绕着CWM标准而采纳的，CWM标准对于和数据仓库以及商业智能软件的元数据提取，交换，存储，访问提供了一系列的定义和要求。CWM标准涉及到的元数据模型结构如图6-1。 图 6-1CWM标准

16、涉及到的元数据模型结构本规范基于CWM标准对象模型层和基础层之上对于经营分析系统中获取层、存储层和访问层中的相关元数据描述和定义，CWM模型和经营分析系统元数据的对应关系如表6-1，相关详细信息参见第三章中的有关内容。经营分析系统中元数据CWM标准模型包经营分析系统基础层元数据对象模型包，业务信息包，数据类型包，表达式包，键索引包，类型映射包，软件发布包经营分析系统获取层元数据ETL元数据包经营分析系统存储层元数据关系模型包，仓库过程包，仓库操作包经营分析系统访问层元数据OLAP模型包，数据挖掘模型包，信息可视化包经营分析系统可选元数据业务术语包，XML元数据包，记录包，多维包，对象数据库包表

17、 6-1 CWM模型和经营分析系统元数据的对应关系6.2 元数据基本框架参见图2-2，集团核心元数据为全国各省、直辖市、自治区以及一级经营分析系统要统一的元数据格式。此部分元数据是全国统一必须严格遵守。各省核心元数据为各省、直辖市、自治区元数据库，元数据管理必须遵守的规范，这部分由移动各省公司统一规定，集团公司不做要求。各异元数据为各省内一些特殊或临时数据形成的元数据，这部分元数据可以不进行统一规划。图6-2中，由内至外集团公司强制统一的力度逐渐减弱。本规范规定的范围局限于集团核心元数据部分，各省在进行元数据库和元数据管理系统建设涉及到集团核心元数据时必须遵循本规范有关规定。 图 6-2 元数

18、据管理基本框架6.3 省级（包括一级经营分析系统）元数据管理架构省级（包括一级经营分析系统，以下略）元数据管理是以各省元数据库为中心展开，在规范中定义了元数据库的逻辑（对象）模型，其存储标准是按照OMG组织的MOF 1.3标准。图6-3中，经营分析系统各子系统元数据经过转换工具或者API转换为XMI文件或者调用元数据库的CORBA IDL接口将元数据导入各省元数据库。同时，元数据管理工具也可以通过CORBA IDL或者XMI文件的形式将省级元数据库中的元数据内容返回到各系统中，对经营分析系统各子系统的元数据进行调整。图中的转换工具或者API指的是经营分析系统子系统元数据不支持CWM模型情况下，

19、需要进行双向转换，而支持CWM元数据标准的子系统则不需要转换直接和元数据库接口交互。各省元数据库提供 CORBA IDL接口为本省元数据管理工具提供访问和管理接口，此接口与经营分析系统各子系统和元数据库交互的CORBA IDL接口是相同的，这是由CWM标准本身决定的，这也使得元数据管理工具有能力直接访问某些支持CWM标准的经营分析系统子系统。各省元数据库与中央元数据库的接口为转换后的XMI文件，这里的转换指的是各省依据CWM标准导出的XMI文件后，需将所有对象名称前加入本省标识。详细步骤参见余后各章。对于各省元数据管理工具规范提出几种基本需求，各省根据本省情况，在满足基本需求之上进行扩充。 图

20、 6-3 元数据管理架构6.4 中央元数据库管理架构中央元数据库管理架构如图 6-4所示。中央元数据库内容包括各省上报的元数据以及一级经营分析系统元数据。其中各省元数据和中央一级经营分析系统元数据是以XMI文件的形式导入中央元数据库。或者通过调用省级元数据库的CORBA IDL接口直接访问省级元数据库中的内容。中央元数据库存储标准为MOF 1.3，中央元数据库为元数据管理工具提供CORBA IDL接口，在元数据管理平台上进行元数据管理。由于各省和一级经营分析系统导出XMI文件中的对象是经过编号后存储在中央元数据库中，这样，可在管理工具平台中对于各省不同对象进行分类和处理。图 6-4 中央元数据

21、库管理架构6.5 元数据管理系统拓扑图图 6-5 元数据管理系统拓扑图元数据管理系统由各省元数据管理系统和中央元数据管理系统组成，省级元数据管理系统和中央元数据管理系统通过网络专线进行连接（蓝色线条）。省级元数据管理系统由省级元数据抽取服务器、省级元数据管理平台、省级元数据存储服务器、省级元数据存储服务器组成。 省级元数据抽取服务器的主要功能是将符合CWM模型的各经营分析子系统的元数据（通过XMI文件获取或者通过CWM 兼容CORBA IDL读出）存入省级元数据存储服务器之中（绿色线条），如果有些系统不支持CWM模型则需要通过API或者其他手段获得其元数据并转换为CWM模型格式的元数据存储到省

22、级元数据存储服务器内（红色线条）。有些元数据存储系统是自带元数据抽取功能，那么这部分服务器的功能并入省级元数据存储服务器。 省级元数据存储服务器主要是接受省级元数据抽取服务器提供的元数据（接受提供XMI文件或者访问元数据存储服务器的CORBA IDL），并把这些元数据按照本规范的规定进行存储，省级元数据存储服务器必须提供符合CWM模型1.1标准的XMI接口和CORBA IDL接口以便省级元数据管理平台和中央元数据抽取服务器进行访问。 省级元数据管理平台提供对省级存储服务器中的元数据进行访问，查询，分析等功能，它本身应支持服务器客户端架构，支持多人，分角色对经营分析系统元数据进行访问。中央元数据

23、管理系统主要由中央元数据抽取服务器，中央元数据存储服务器，中央元数据管理平台组成。 中央元数据抽取服务器主要作用在于通过各省提交的XMI文件或者直接通过CORBA IDL接口访问各省元数据存储服务器的方式，采集各省经营分析系统元数据。中央元数据管理平台可以通过中央元数据抽取服务器对各省元数据存储服务器CORBA IDL接口进行直接访问。也可以中央元数据抽取服务器通过各省元数据存储服务器CORBA IDL接口将元数据抽取至中央元数据存储服务器内，或者抽取服务器将各省提交的XMI文件存储至中央元数据存储服务器内，然后让中央元数据管理平台进行访问。 中央元数据存储服务器主要是接受中央元数据抽取服务器

24、提供的元数据（接受XMI文件或者接受访问元数据存储服务器的CORBA IDL），并把这些元数据按照本规范的规定进行存储，中央元数据存储服务器必须提供符合CWM模型1.1标准的XMI接口和CORBA IDL接口以便中央元数据管理平台和中央元数据抽取服务器进行访问。 中央元数据管理平台提供对中央元数据库中的元数据进行查询，分析等功能，它本身应支持服务器客户端架构，支持多人，分角色对全国所有省份（包括一级）经营分析系统元数据进行访问。同时提供即时访问功能，即直接通过中央元数据抽取服务器将CORBA IDL的访问请求映射到相应省份的CORBA IDL的访问请求对各省元数据进行即时探查。7 经营分析系统

25、核心元数据7.1 概述经营分析系统核心元数据指的是经营分析系统中主要系统涉及到的元数据，包括了经营分析系统基础层元数据，经营分析系统获取曾元数据，经营分析系统存储层元数据和经营分析系统数据访问层元数据。本章所涉及的元数据严格遵循CWM模型1.1标准，包括了CWM模型中两个底层部分的七个包。他们分别是对象层中的对象模型包，基础层中的业务信息包、数据类型包、表达式包、键和索引包、类型映射包和软件发布包。下面根据经营分析系统的需要，定义核心元数据涉及到的范围与标准，本章的相关内容可以参考附件CWM标准.pdf CWM模型1.1标准有关内容。对于每一个元数据模块内部的元数据范围来讲，目前的范围规定在除

26、临时表，临时变量以外的所有元数据信息，相关的元数据质量要求参见第7章的相关内容。7.2 经营分析系统基础层元数据 7.2.1 概述经营分析系统基础层元数据的内容是包括经营分析系统中所有其他元数据共享的表示概念和结构元数据。它包括对象模型和基础元数据两部份，对象模型描述的为每一个元数据元素（对象）的基本结构和相应的类型属性，而基础元数据包括了所有上层（数据获取层、数据存储层，数据访问层）其他元数据包共性的元数据。本节的相关内容可以参考附件CWM标准.pdf CWM模型1.1标准中第4章与第5章的有关内容。7.2.2 对象模型元数据经营分析系统中对象模型元数据对应CWM模型中最底层的对象模型包中的

27、内容。它描述了经营分析系统其他元数据中最基本的元模型的类结构，是所有经营分析系统元数据模型的基础。任何一个元数据模型都是从对象模型衍生出来的。经营分析系统中的对象模型元数据完全遵循CWM模型，其中的内容可以参看CWM模型1.1标准中的第四章 Object Model有关内容。这里提到的对象模型是UML的一个子集，仅涉及到与CWM模型相关的内容。这部分使得经营分析系统的元数据标准可以在遵循CWM模型的基础上以UML标准进行表述。其主要内容分为四部分：Core Metamodel、Behavioral Metamodel、Relationships Metamodel、Instance Metam

28、odel。其中Core Metamodel是所有其他几个模型的基础，他们之间的关系如图7-1所示： 图7-1 Core MetamodelCore Metamodel装载着其它经营分析系统元数据所用的类和关联。它严格遵循CWM模型中对象模型里面Core Metamodel的所有标准。其中所有的类和关系如 图7-2、图7-3所示。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第4.3节的有关内容。图 7-2 Core Metamodel 类关系图 参考附件CWM标准.pdf中 figure 4-2图 7-3 Core Metamodel 支持类关系图参考附件C

29、WM标准.pdf中 figure 4-3 Behavioral MetamodelBehavioral Metamodel描述了经营分析系统元数据中其他类和关联的行为类型以及提供一个记录特定行为请求的基础。它严格遵循CWM模型中对象模型里面Behavioral Metamodel的所有标准。其中所有的类和关系如 图7-4所示。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第4.4节的有关内容图 7-4 Behavioral 元模型的主类图和类之间关系 Relationships Metamodel Relationships Metamodel收集了描述经营

30、分析系统元数据存储中对象和对象之间关系的所有类和关联。它严格遵循CWM模型中对象模型里面Relationships Metamodel的所有标准。CWM模型中Relationships Metamodel描述了两种关系：关联和继承。而CWM模型中的继承关系支持多继承，因此CWM模型的继承结构其实是一个由父节点到子节点的有向无环图。Relationships Metamodel所有的类和关系如 图3-5所示。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第4.5节的有关内容。 Instance Metamodel在利用CWM标准正常的交换元数据的时候，有些情况

31、随着元数据附加一些特定的具体数据实例是非常有用的。经营分析系统元数据对象模型中的Instance Metamodel就是用来描述这些附带在元数据后的具体数据的。Instance Metamodel严格遵循CWM模型中对象模型里Instance Metamodel所有标准，具体如 图3-6所示。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第4.6节的有关内容。7.2.3 基础元数据7.2.3.1 概述基础元数据的内容是包括经营分析系统中所有其他元数据共享的表示概念和结构元数据。一般来说，基础元数据包中的元数据是上层（数据获取层、数据存储层，数据访问层）其他元数据包共性的东西。对于上层某一个具体的元数据包来讲，它所囊括的基础元数据不一定是整个经营分析系统的基础包中的元数据，它只需要包括自身包涉及到的基础元数据即可。基础元数据的内容和对象模型元数据的内容是不