移动经营分析系统元数据规范.docx
《移动经营分析系统元数据规范.docx》由会员分享，可在线阅读，更多相关《移动经营分析系统元数据规范.docx（103页珍藏版）》请在冰点文库上搜索。
移动经营分析系统元数据规范
中国移动通信企业标准
QB-J-010-2006
附件2
中国移动省级经营分析系统
元数据管理规范
TheMetadataManagementSpecification
ofBusinessAnalysisSupportSystem
版本号：
1.5.0
2006-04-30发布
中国移动通信有限公司发布
2006-04-30实施
目录
1范围1
2引用标准1
3术语和定义1
4符号和缩略语1
5总则1
5.1概述1
5.2目标2
5.3包含附件内容2
6元数据管理规范总体说明3
6.1规范涉及的元数据标准3
6.2元数据基本框架4
6.3省级（包括一级经营分析系统）元数据管理架构5
6.4中央元数据库管理架构6
6.5元数据管理系统拓扑图8
7经营分析系统核心元数据9
7.1概述9
7.2经营分析系统基础层元数据10
7.2.1概述10
7.2.2对象模型元数据10
7.2.3基础元数据14
7.2.3.1概述14
7.2.3.2业务信息15
7.2.3.3数据类型16
7.2.3.4表达式17
7.2.3.5主键和索引18
7.2.3.6系统部署19
7.2.3.7类型映射21
7.3经营分析系统数据获取层元数据22
7.3.1概述22
7.3.2ETL元数据23
7.4经营分析系统数据存储层元数据28
7.4.1概述28
7.4.2数据仓库元数据29
7.4.2.1关系模型元数据29
7.4.3数据仓库管理元数据31
7.4.3.1仓库过程元数据31
7.4.3.2仓库操作元数据33
7.5经营分析系统数据访问层元数据36
7.5.1概述36
7.5.2OLAP元数据37
7.5.3数据挖掘元数据38
7.5.4信息可视化40
7.6其他可选元数据42
8经营分析系统元数据库存储标准43
8.1概述43
8.2元数据库存储标准43
8.3备份要求44
8.3.1省级元数据备份要求44
8.3.2中央元数据备份要求46
9省级与集团公司元数据接口规范48
9.1概述48
9.2集团公司职责48
9.3各省公司职责48
9.4各省元数据提交范围49
9.5各省元数据提交规定49
9.6接口文件传输要求49
9.7省级与集团公司元数据接口文件和描述文件命名方式50
9.8省级元数据接口文件描述文件格式标准51
9.9省级－中央元数据库CORBAIDL接口51
9.10省级－中央元数据库XMI接口53
9.11校验原则54
10经营分析系统元数据库接口规范58
10.1省级元数据库接口58
10.1.1概述58
10.1.2集团公司职责58
10.1.3各省公司职责59
10.1.4各省元数据接口管理范围59
10.1.5各省元数据XMI接口抽取规定59
10.1.6省级元数据库XMI文件命名规则60
10.1.7省级元数据接口文件描述文件格式标准61
10.1.8省级元数据库省级经营分析系统XMI接口内容与格式要求62
10.1.9省级元数据库CORBAIDL接口63
10.2一级经营分析系统元数据库接口65
10.2.1概述65
10.2.2集团公司职责65
10.2.3一级经营分析系统元数据提交范围66
10.2.4一级经营分析系统元数据提交规定66
10.2.5接口文件传输要求66
10.2.6一级与集团公司元数据接口文件和描述文件命名方式67
10.2.7一级元数据接口文件描述文件格式标准67
10.2.8一级元数据接口文件内容格式标准68
10.2.9一级元数据库CORBAIDL接口69
10.3中央元数据库接口71
10.3.1概述71
10.3.2中央元数据接口管理范围71
10.3.3中央元数据库与经营分析系统XMI接口内容与格式要求72
10.3.4中央元数据库CORBAIDL接口73
11经营分析系统元数据管理规定74
11.1元数据质量要求74
11.1.1概述74
11.1.2本地元数据质量规定75
11.1.3接口文件数据质量规定76
11.1.4传输过程元数据质量规定76
11.2元数据管理平台功能说明76
11.2.1元数据获取77
11.2.2元数据检索和浏览78
11.2.3元数据分析80
11.2.4元数据维护81
11.2.5权限管理83
11.2.6版本控制83
11.2.7中央元数据管理平台特殊要求85
11.3经营分析系统元数据管理系统应用举例85
11.3.1数据时效性探察85
11.3.2指标和报表元素血缘分析86
11.3.3元数据相关性分析87
12编制历史88
前言
为更好地实现元数据管理从技术上及功能上对数据质量管理提供支撑，保证数据质量的稳定可靠，特制定元数据管理规范。
本标准由中国移动通信有限公司业务支撑系统部提出并归口。
本标准以中移有限业【2006】78号印发。
本标准起草单位：
中国移动通信有限公司。
本标准主要起草人：
吴唯宁、刘虹、段云峰、柳兰屏、高男男、谢志崇、崔洪涛、王敬尧、常冬、赵静、余疆、刘盾。
本标准解释单位：
中国移动通信有限公司。
1范围
本规范包含了为中国移动经营分析系统经营分析系统内部控制的管理体系及数据质量管理系统提供技术及功能支撑的元数据管理规范。
本规范适用于集团公司元数据管理、一级经营分析系统元数据管理和中国移动各省（直辖市、自治区）经营分析系统元数据管理系统
2引用标准
3术语和定义
4符号和缩略语
5总则
5.1概述
为使中国移动通信集团公司（以下简称中国移动）适应日趋激烈的市场竞争环境，有效并准确的使用经营分析系统提供的资源，从而对信息进行智能化加工处理，并最终为各级市场决策管理者提供及时、准确、科学的辅助决策依据，指导中国移动经营分析系统的元数据管理系统发展，依据《中国移动经营分析系统技术规范》和OMG组织的CWM国际标准与相关标准，并参考《中国移动一级经营分析系统需求说明书》、《二级经营分析系统需求说明书》、特制定《中国移动经营分析系统元数据管理规范》。
本规范包含对集团公司经营分析系统的元数据管理要求和各分公司经营分析系统元数据管理要求。
本规范是中国移动经营分析系统元数据管理和建设的基本要求。
各省、自治区、直辖市公司依照本技术规范，进行经营分析系统的元数据建设。
从技术理论上讲，经营分析系统元数据涉及到经营分析系统数据仓库、ETL、联机分析处理、数据挖掘、前端展现等多方面内容，元数据贯穿经营分析系统始终。
从技术实现上讲，元数据分布在仓库的不同组件中，业务规则和技术元数据是分离的，而且由不同系统以不同格式保存且用户界面不同，不利于业务人员和技术人员对于元数据的管理和使用。
而根据从数据仓库的系统中获得的数据做出智能决策和采取信息化行动时，分析人员和决策者需要知道自己的需要与经营分析系统中数据的关系。
因此集团公司制定了经营分析系统元数据规范，使得技术人员和业务人员可以统一地对经营分析系统中的元数据进行管理和监督以及探查。
本规范囊括了中国移动通信公司经营分析系统中常见的元数据，首先描述了经营分析系统中元数据标准框架、各省元数据管理体系结构和省级元数据库与中央元数据库管理架构，明确了本规范的工作范围。
其次定义了经营分析系统核心元数据涉及到的范围以及与CWM标准对应的对象类，并规定存储依据的标准，建立省级-中央，省级-本地，中央-本地等标准化接口和API接口，最后对元数据质量和元数据管理平台进行规定和说明。
本规范包含有关元数据四个接口规范、一个存储规范（逻辑模型）以及基于元数据库的几类基本应用等内容。
各省、自治区、直辖市公司在实施经营分析系统过程中，可根据实际需要以本规范为基础进行扩充与细化，但务必保证核心元数据的内容和接口不能改变。
5.2目标
本规范目的在于指导各省以及集团公司的元数据建设，由于元数据贯穿经营分析系统始终，在经营分析系统中各个系统元数据比较分散，不利于各省公司以及集团公司的管理，因此制定此规范用于指导约束各省公司的元数据接口、存储、管理。
具体而言，目标有如下几点：
●指导各省公司以及集团公司元数据库和管理平台的建设，规定元数据基本内容
●定义经营分析系统元数据管理框架和流程
●约束各省公司元数据库接口以及集团公司元数据接口和存储模型
●对元数据管理平台提出基本的功能和规定
5.3包含附件内容
随本规范附件有省级-本地IDL接口定义（省级-本地IDL接口.zip），中央-本地IDL接口定义（中央-本地IDL接口.zip），省级-本地XMI接口定义（省级-本地XMI接口.dtd），中央-本地XMI接口定义（中央-本地XMI接口.dtd），省级-中央接口定义（省级-中央接口.dtd），一级-中央接口定义（一级-中央接口.dtd）。
包含的参考资料有CWM模型1.1标准（CWM标准.pdf），MOF1.3标准（MOF标准.pdf），其他的参考资料可以查看www.omg.org上的相关涉及到的内容。
6元数据管理规范总体说明
6.1规范涉及的元数据标准
本规范是基于OMG组织的元数据规范CWM1.1而产生的，在CWM标准之上根据中国移动的本地化需要，在一些细节上进行调整。
阅读此规范时，必须参阅CWM模型1.1版本，该标准中有对于本规范规定的各类详细定义，关联以及属性详细定义进行的细致的说明。
CWM模型是OMG组织定义的数据仓库和相关系统的国际元数据标准，CWM标准的目的在于使得数据仓库和商业智能软件的元数据在分布异构的数据分析工具，数据仓库平台，元数据存储等系统之间交互。
目前这个元数据标准得到了IBM、Unisys、NCR、Oracle、SAS等厂商的支持。
CWM模型涉及以下几个国际标准，在元数据管理规范中涉及到的接口、定义默认是遵循下列版本的国际标准：
●CWM1.1
●XMI1.1
●CORBAIDL（由MOF1.3产生）
●MOF1.3
●UML2.0
其中UML用来描述元数据模型本身和一些对象元数据，本规范中核心元数据相关的类定义是借助UML语言进行表述的。
MOF用来定义元数据存储标准且提供一个良好的CORBAIDL接口，是经营分析系统元数据的存储标准。
CORBAIDL是一种基于中间件思想的接口定义语言，它可以支持java，C等流行的编程语言方便、无二义性地访问经营分析系统元数据存储内容。
XMI是XML形式的元数据接口定义语言，它是经营分析系统元数据管理体系中元数据默认的交换文件形式。
CWM标准是本规范制定的重要参考标准，本规范参考的上述国际标准都是围绕着CWM标准而采纳的，CWM标准对于和数据仓库以及商业智能软件的元数据提取，交换，存储，访问提供了一系列的定义和要求。
CWM标准涉及到的元数据模型结构如图6-1。
图6-1CWM标准涉及到的元数据模型结构
本规范基于CWM标准对象模型层和基础层之上对于经营分析系统中获取层、存储层和访问层中的相关元数据描述和定义，CWM模型和经营分析系统元数据的对应关系如表6-1，相关详细信息参见第三章中的有关内容。
经营分析系统中元数据
CWM标准模型包
经营分析系统基础层元数据
对象模型包，业务信息包，数据类型包，表达式包，键索引包，类型映射包，软件发布包
经营分析系统获取层元数据
ETL元数据包
经营分析系统存储层元数据
关系模型包，仓库过程包，仓库操作包
经营分析系统访问层元数据
OLAP模型包，数据挖掘模型包，信息可视化包
经营分析系统可选元数据
业务术语包，XML元数据包，记录包，多维包，对象数据库包
表6-1CWM模型和经营分析系统元数据的对应关系
6.2元数据基本框架
参见图2-2，集团核心元数据为全国各省、直辖市、自治区以及一级经营分析系统要统一的元数据格式。
此部分元数据是全国统一必须严格遵守。
各省核心元数据为各省、直辖市、自治区元数据库，元数据管理必须遵守的规范，这部分由移动各省公司统一规定，集团公司不做要求。
各异元数据为各省内一些特殊或临时数据形成的元数据，这部分元数据可以不进行统一规划。
图6-2中，由内至外集团公司强制统一的力度逐渐减弱。
本规范规定的范围局限于集团核心元数据部分，各省在进行元数据库和元数据管理系统建设涉及到集团核心元数据时必须遵循本规范有关规定。
图6-2元数据管理基本框架
6.3省级（包括一级经营分析系统）元数据管理架构
省级（包括一级经营分析系统，以下略）元数据管理是以各省元数据库为中心展开，在规范中定义了元数据库的逻辑（对象）模型，其存储标准是按照OMG组织的MOF1.3标准。
图6-3中，经营分析系统各子系统元数据经过转换工具或者API转换为XMI文件或者调用元数据库的CORBAIDL接口将元数据导入各省元数据库。
同时，元数据管理工具也可以通过CORBAIDL或者XMI文件的形式将省级元数据库中的元数据内容返回到各系统中，对经营分析系统各子系统的元数据进行调整。
图中的转换工具或者API指的是经营分析系统子系统元数据不支持CWM模型情况下，需要进行双向转换，而支持CWM元数据标准的子系统则不需要转换直接和元数据库接口交互。
各省元数据库提供CORBAIDL接口为本省元数据管理工具提供访问和管理接口，此接口与经营分析系统各子系统和元数据库交互的CORBAIDL接口是相同的，这是由CWM标准本身决定的，这也使得元数据管理工具有能力直接访问某些支持CWM标准的经营分析系统子系统。
各省元数据库与中央元数据库的接口为转换后的XMI文件，这里的转换指的是各省依据CWM标准导出的XMI文件后，需将所有对象名称前加入本省标识。
详细步骤参见余后各章。
对于各省元数据管理工具规范提出几种基本需求，各省根据本省情况，在满足基本需求之上进行扩充。
图6-3元数据管理架构
6.4中央元数据库管理架构
中央元数据库管理架构如图6-4所示。
中央元数据库内容包括各省上报的元数据以及一级经营分析系统元数据。
其中各省元数据和中央一级经营分析系统元数据是以XMI文件的形式导入中央元数据库。
或者通过调用省级元数据库的CORBAIDL接口直接访问省级元数据库中的内容。
中央元数据库存储标准为MOF1.3，中央元数据库为元数据管理工具提供CORBAIDL接口，在元数据管理平台上进行元数据管理。
由于各省和一级经营分析系统导出XMI文件中的对象是经过编号后存储在中央元数据库中，这样，可在管理工具平台中对于各省不同对象进行分类和处理。
图6-4中央元数据库管理架构
6.5元数据管理系统拓扑图
图6-5元数据管理系统拓扑图
元数据管理系统由各省元数据管理系统和中央元数据管理系统组成，省级元数据管理系统和中央元数据管理系统通过网络专线进行连接（蓝色线条）。
省级元数据管理系统由省级元数据抽取服务器、省级元数据管理平台、省级元数据存储服务器、省级元数据存储服务器组成。
●省级元数据抽取服务器的主要功能是将符合CWM模型的各经营分析子系统的元数据（通过XMI文件获取或者通过CWM兼容CORBAIDL读出）存入省级元数据存储服务器之中（绿色线条），如果有些系统不支持CWM模型则需要通过API或者其他手段获得其元数据并转换为CWM模型格式的元数据存储到省级元数据存储服务器内（红色线条）。
有些元数据存储系统是自带元数据抽取功能，那么这部分服务器的功能并入省级元数据存储服务器。
●省级元数据存储服务器主要是接受省级元数据抽取服务器提供的元数据（接受提供XMI文件或者访问元数据存储服务器的CORBAIDL），并把这些元数据按照本规范的规定进行存储，省级元数据存储服务器必须提供符合CWM模型1.1标准的XMI接口和CORBAIDL接口以便省级元数据管理平台和中央元数据抽取服务器进行访问。
●省级元数据管理平台提供对省级存储服务器中的元数据进行访问，查询，分析等功能，它本身应支持服务器客户端架构，支持多人，分角色对经营分析系统元数据进行访问。
中央元数据管理系统主要由中央元数据抽取服务器，中央元数据存储服务器，中央元数据管理平台组成。
●中央元数据抽取服务器主要作用在于通过各省提交的XMI文件或者直接通过CORBAIDL接口访问各省元数据存储服务器的方式，采集各省经营分析系统元数据。
中央元数据管理平台可以通过中央元数据抽取服务器对各省元数据存储服务器CORBAIDL接口进行直接访问。
也可以中央元数据抽取服务器通过各省元数据存储服务器CORBAIDL接口将元数据抽取至中央元数据存储服务器内，或者抽取服务器将各省提交的XMI文件存储至中央元数据存储服务器内，然后让中央元数据管理平台进行访问。
●中央元数据存储服务器主要是接受中央元数据抽取服务器提供的元数据（接受XMI文件或者接受访问元数据存储服务器的CORBAIDL），并把这些元数据按照本规范的规定进行存储，中央元数据存储服务器必须提供符合CWM模型1.1标准的XMI接口和CORBAIDL接口以便中央元数据管理平台和中央元数据抽取服务器进行访问。
●中央元数据管理平台提供对中央元数据库中的元数据进行查询，分析等功能，它本身应支持服务器客户端架构，支持多人，分角色对全国所有省份（包括一级）经营分析系统元数据进行访问。
同时提供即时访问功能，即直接通过中央元数据抽取服务器将CORBAIDL的访问请求映射到相应省份的CORBAIDL的访问请求对各省元数据进行即时探查。
7经营分析系统核心元数据
7.1概述
经营分析系统核心元数据指的是经营分析系统中主要系统涉及到的元数据，包括了经营分析系统基础层元数据，经营分析系统获取曾元数据，经营分析系统存储层元数据和经营分析系统数据访问层元数据。
本章所涉及的元数据严格遵循CWM模型1.1标准，包括了CWM模型中两个底层部分的七个包。
他们分别是对象层中的对象模型包，基础层中的业务信息包、数据类型包、表达式包、键和索引包、类型映射包和软件发布包。
下面根据经营分析系统的需要，定义核心元数据涉及到的范围与标准，本章的相关内容可以参考附件CWM标准.pdfCWM模型1.1标准有关内容。
对于每一个元数据模块内部的元数据范围来讲，目前的范围规定在除临时表，临时变量以外的所有元数据信息，相关的元数据质量要求参见第7章的相关内容。
7.2经营分析系统基础层元数据
7.2.1概述
经营分析系统基础层元数据的内容是包括经营分析系统中所有其他元数据共享的表示概念和结构元数据。
它包括对象模型和基础元数据两部份，对象模型描述的为每一个元数据元素（对象）的基本结构和相应的类型属性，而基础元数据包括了所有上层（数据获取层、数据存储层，数据访问层）其他元数据包共性的元数据。
本节的相关内容可以参考附件CWM标准.pdfCWM模型1.1标准中第4章与第5章的有关内容。
7.2.2对象模型元数据
经营分析系统中对象模型元数据对应CWM模型中最底层的对象模型包中的内容。
它描述了经营分析系统其他元数据中最基本的元模型的类结构，是所有经营分析系统元数据模型的基础。
任何一个元数据模型都是从对象模型衍生出来的。
经营分析系统中的对象模型元数据完全遵循CWM模型，其中的内容可以参看CWM模型1.1标准中的第四章ObjectModel有关内容。
这里提到的对象模型是UML的一个子集，仅涉及到与CWM模型相关的内容。
这部分使得经营分析系统的元数据标准可以在遵循CWM模型的基础上以UML标准进行表述。
其主要内容分为四部分：
CoreMetamodel、BehavioralMetamodel、RelationshipsMetamodel、InstanceMetamodel。
其中CoreMetamodel是所有其他几个模型的基础，他们之间的关系如图7-1所示：
图7-1
●CoreMetamodel
CoreMetamodel装载着其它经营分析系统元数据所用的类和关联。
它严格遵循CWM模型中对象模型里面CoreMetamodel的所有标准。
其中所有的类和关系如图7-2、图7-3所示。
其中类和关联的详细定义与约束请参见附件CWM标准.pdfCWM模型1.1标准中第4.3节的有关内容。
图7-2CoreMetamodel类关系图参考附件CWM标准.pdf中figure4-2
图7-3CoreMetamodel支持类关系图参考附件CWM标准.pdf中figure4-3
●BehavioralMetamodel
BehavioralMetamodel描述了经营分析系统元数据中其他类和关联的行为类型以及提供一个记录特定行为请求的基础。
它严格遵循CWM模型中对象模型里面BehavioralMetamodel的所有标准。
其中所有的类和关系如图7-4所示。
其中类和关联的详细定义与约束请参见附件CWM标准.pdfCWM模型1.1标准中第4.4节的有关内容
图7-4Behavioral元模型的主类图和类之间关系
●RelationshipsMetamodel
RelationshipsMetamodel收集了描述经营分析系统元数据存储中对象和对象之间关系的所有类和关联。
它严格遵循CWM模型中对象模型里面RelationshipsMetamodel的所有标准。
CWM模型中RelationshipsMetamodel描述了两种关系：
关联和继承。
而CWM模型中的继承关系支持多继承，因此CWM模型的继承结构其实是一个由父节点到子节点的有向无环图。
RelationshipsMetamodel所有的类和关系如图3-5所示。
其中类和关联的详细定义与约束请参见附件CWM标准.pdfCWM模型1.1标准中第4.5节的有关内容。
●InstanceMetamodel
在利用CWM标准正常的交换元数据的时候，有些情况随着元数据附加一些特定的具体数据实例是非常有用的。
经营分析系统元数据对象模型中的InstanceMetamodel就是用来描述这些附带在元数据后的具体数据的。
InstanceMetamodel严格遵循CWM模型中对象模型里InstanceMetamodel所有标准，具体如图3-6所示。
其中类和关联的详细定义与约束请参见附件CWM标准.pdfCWM模型1.1标准中第4.6节的有关内容。
7.2.3基础元数据
7.2.3.1概述
基础元数据的内容是包括经营分析系统中所有其他元数据共享的表示概念和结构元数据。
一般来说，基础元数据包中的元数据是上层（数据获取层、数据存储层，数据访问层）其他元数据包共性的东西。
对于上层某一个具体的元数据包来讲，它所囊括的基础元数据不一定是整个经营分析系统的基础包中的元数据，它只需要包括自身包涉及到的基础元数据即可。
基础元数据的内容和对象模型元数据的内容是不
升级会员 