硕士学位论文.docx

1、硕士学位论文TP311.522005612100175公开分 类 号 _ 学号 _10487学校代码 _ 密级 _硕士学位论文数据网格环境下的元数据分发技术研究学位申请人：左 金 虎学科专业：计算机软件与理论指导教师：卢炎生 教授答辩日期：2007年6月2日A Dissertation Submitted to Huazhong University of Science andTechnology for the Degree of Master of EngineeringThe Research on Metadata Dissemination Technology for Data

2、GridCandidate: Zuo Jinhu Major: Computer Software and TheorySupervisor: Prof. Lu YanshengHuazhong University of Science and TechnologyWuhan 430074, P.R.C.January, 2007独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法

3、律结果由本人承担。 学位论文作者签名： 日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密，在_年解密后适用本授权书。本论文属于不保密。（请在以上方框内打“”）学位论文作者签名： 指导教师签名：日期：年 月 日 日期：年 月 摘 要伴随着Internet网络规模的飞速增长，在计算密集型和数据密集型应用领域，传统的分布式计算和并行处

4、理技术已不能满足高性能分布式处理和分布式海量存储管理的需求，于是网格技术应运而生。数据网格（Data Grid）的概念来自于网格，它是网格技术在数据管理方面的应用和实现。数据网格环境下的数据访问过程依赖于资源发现，而资源发现即为发现对数据资源进行描述的元数据，网格环境下网络资源频繁变化，相应的元数据变化也很频繁，而如何能更加快捷有效地获得所需要的元数据，就需要各个节点能够将各自的元数据快捷有效地分发到网络中的其他相关节点，这取决于元数据分发策略的实施。现有的元数据分发策略基本可以分为两类：被动分发和主动分发。主动元数据分发具有很高的准确性，但是却会占用很多网络资源；被动元数据分发具有低代价性，

5、但是却很难保证元数据的准确性。轮值会议元数据分发(Rotating Meeting Metadata Dissemination, RMMD)以轮值会议召开的方式来进行元数据的分发，并采用了HLA（High Level Architecture）数据分发管理中采用的数据过滤机制，它兼具了主动元数据分发的准确性和被动元数据分发的低代价性，能快捷有效的完成元数据在整个网格中的分发，让整个网格的元数据在较短的时间内、用较小的代价得到较好的配置。通过模拟仿真实验将RMMD策略与主动元数据分发策略、被动元数据分发策略进行比较，实验结果显示RMMD策略可以有效的分发整个网格中的元数据，提高分发的准确性，并

6、保证分发的低代价性。关键词： 数据网格，元数据分发，轮值会议AbstractWith the rapid growth of internet network scale, the traditional distributed computation and parallel processing technology hasnt met the need of this high-powered distributed computation and distributed management for large memory in the domain of computation-d

7、ense and data-dense application. As a result, grid technology came into being. Data grid of is the grid technology application and realization in data management.The process of data accessing in the data grid depends on resource discovery which finds out the metadata that describes source. For the r

8、esource in grid frequently changes, the corresponding metadata changes a lot, too. To get the requisite metadata quickly and effectively requires that every node could disseminate its data to other corresponding nodes quickly and effectively, and this lies on the implement of metadata dissemination

9、strategy which is classified as passive and active. Active metadata dissemination (ACTMD) has great veracity but it occupies too much network resource. Passive metadata dissemination (PASMD) has low cost but it hardly ensures the veracity of metadata. Rotating Meeting Metadata Dissemination (RMMD) d

10、isseminate metadata in the way of rotating meeting convocation, and adopts the data filtration mechanism in HLA data distribution management .The RMMD which has both the benefits of veracity of ACTMD and low cost of PASMD can disseminate metadata in the whole grid quickly and effectively, and make t

11、he metadata in the whole grid get better collocation with lower cost in a shorter time. Compared RMMD with PASMD and ACTMD through simulation experiment, the results show the RMMD strategy could disseminate the metadata in the whole grid effectively, increase the veracity and ensure the low cost of

12、dissemination.Keywords：Data Grid，Metadata Dissemination，Rotating Meeting目 录摘 要 IAbstract II1 绪论1.1 研究背景 (1)1.2 国内外研究概括 (2)1.3 本课题研究的目标和意义 (5)1.4 本文组织结构 (6)2 数据网格中的元数据分发技术2.1 数据网格核心问题 (7)2.2 元数据的提出 (7)2.3 传统数据分发技术 (11)2.4 数据网格中传统元数据分发技术 (13)2.5 小结 (15)3 轮值会议元数据分发机制3.1 背景介绍 (16)3.2 轮值会议元数据分发的原理 (18)3.

13、3 轮值会议元数据分发的协议 (19)3.4 小结 (28)4 原型系统开发与仿真实验分析4.1 RMMD原型系统开发 (29)4.2 实验环境OPNET (30)4.3 仿真模型 (34)4.4 仿真算法 (37)4.5 实验与性能分析 (40)4.6 小结 (43)5 总结与展望5.1 本文工作总结 (44)5.2 展望 (45)致 谢 (46)参考文献 (47) 1 绪论1.1 研究背景伴随着Internet网络规模的飞速增长，计算机网络技术和分布式技术得到了高速发展和广泛应用，许多科学计算领域，特别是计算密集型和数据密集型应用领域，对广域网环境下海量数字信息分析处理和协同计算能力的要求

14、也越来越高1。这类应用需要将分布在不同地理区域的高性能计算能力、超大规模数据集合和各种资源整合在一起，为分布在不同地理区域的用户提供服务。传统的分布式计算和并行处理技术已不能满足这种高性能分布式处理和分布式海量存储管理的需求，于是网格2,3技术应运而生。网格技术可以把分布在各地的计算机连接起来，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享，感觉如同个人使用一台超级计算机一样。这种虚拟资源可以使相关人员迅速获得所需的数据访问和处理能力，帮助其进行计算密集型的研究和数据分析、解决复杂的业务问题。这样，网格就可以帮助用户突破今天技术基础设施的限制。对于传统网络环境，网格具

15、有动态可变、异构、多域等特性。网格计算作为新一代的分布式计算框架，与传统分布式系统的主要区别在于在没有集中控制的情况下，通过对计算资源进行大规模的共享，满足应用程序对高性能计算的要求4，并且这种对计算资源的大规模共享是动态的、柔性的、安全的和协作的。目前，在国内外网格也引起了极大的关注，如美国Argonne国家实验室研发的Globus系统5,6、欧洲数据网格DataGrid7、美国能源部的科学计算网格DOE Science Grid、中科院计算所的织女星网格VEGA Grid8等等。数据网格（Data Grid）源于网格，它是网格技术在数据管理方面的应用和实现。它将地理上分布、异构的多种数据资

16、源，通过高速互连网络连接并集成起来，屏蔽底层异构的物理资源，形成单一的逻辑视图，实现资源共享和协同工作，为用户提供虚拟的数据访问、数据存储、数据管理和处理环境。其中，良好地表示、存储、访问和使用大量资源信息是数据网格运行的基本前提。在数据网格计算中，资源是分布的，资源及其提供者也是分布的。为了对网络资源进行有效的管理和检索，使目前有序和无序状态并存的网络资源能够像传统资源（如馆藏资源）一样有序化，从而使它们得到更好的利用，人们一直都在作着多方面的努力。从早期的Archie和Gopher系统，到近期的搜索引擎和主题指南，都是这方面努力的成果。历年实践表明，增加关于资源的额外信息或元数据(meta

17、data)是更好地组织资源的基础，它能够提高相关资源被检索和存取的可能性，提供对主题领域更清晰的全面认识，并提高用户区别相似资源的能力。正因为如此，元数据逐渐受到普遍的重视9。元数据(metadata)，简言之就是“关于数据的数据”，是对数据进行组织和处理的基础。数据网格环境下的数据访问过程依赖于资源发现，而资源发现即为发现对数据资源进行描述的元数据。同时数据网格环境中网络资源频繁变化，一方面，结点可以动态的加入、离开系统，另一方面，各个节点中的资源也是不断变化的，相应的元数据变化也很频繁，而如何能更加快捷有效地获得所需要的元数据，就需要各个节点能够将各自的元数据快捷有效地分发到网络中的其他相

18、关节点，这取决于元数据分发策略的实施，也是本文集中探讨的问题。1.2 国内外研究概括1.2.1 Globus中的元数据目录服务Globus系统是目前比较具有影响力的一个网格项目，提供网格环境下的中间件服务，如MDS、GridFtp等。系统使用标准的协议实现了文件数据的移动、远程访问GASS及数据的高速传输GridFtp机制，在此基础上完成数据复制、元数据目录的管理MDS（Metadata and Directory Service）和复制的选择工作，为数据网格系统提供了一个较好的底层系统开发平台10。其中，MDS在网格环境中提供资源信息服务11。MDS主要负责对网格环境中信息的发现、注册、查询

19、、修改等工作，提供对网格计算环境的一个真实、实时的动态反映。该服务是建立在轻权目录访问协议LDAP（Lightweight Directory Access Protocol）12基础上的，处理网格计算环境中的各种资源(包括数据资源、计算资源等)、服务和其他主体(entity)的描述，是网格计算环境中的信息服务中心。它采用两层结构13：1) 网格资源信息服务器(Grid Resource Information Server, GRIS)：以一种目录的结构登记具体的资源信息。2) 网格索引信息服务器(Grid Index Information Server, GIIS)：记录有GRIS的地址

20、，并能提供GRIS信息缓冲。1.2.2 GridDaen中的元信息服务GridDaen是国内最早实现的通用数据网格原型系统，是中国国家网格（China National Grid, 简称CNGrid）研究的一部分。CNGrid是国家“十五”863计划“高性能计算机及其核心软件”重大专向支持建设的网格示范平台，通过资源共享、协同工作和服务机制，有效支持科学研究、资源环境、先进制造和信息服务等领域的应用，以技术创新推动国家信息化建设及相关产业的发展。GridDaen主要目标是统一管理和访问分布异构环境下的海量存储和数据资源，为用户提供一体化虚拟数据空间和统一逻辑视图，支持对分布数据集的统一无缝访问

21、，实现虚拟数据集和跨管理域的联邦数据服务。系统具有可扩展性、安全性、动态可配置、高性能、高可用性等特点14。GridDaen主要由客户机、数据访问、元信息服务MDIS(Metadata Information Service)和底层异构资源四部分组成。其中，数据访问子系统包括请求优化管理调度与DRB(Data Request Broker)服务器，元信息服务子系统包括高层元信息服务与局部信息服务。DRB服务为用户提供数据访问、存储和管理的功能。MDIS是一个层次式分布服务结构，由局部元信息服务器和中央全局元信息服务器组成。各个局部元数据服务器负责所对应本地的资源和数据元信息服务，提供元信息服务

22、的访问。中央服务器建立各个局部元信息的索引和数据缓冲，为DRB实现统一的访问接口和全局数据视图提供元信息支持。MDIS和DRB是相互独立设计和实现的，通过系统的部署和配置建立服务关系。图1.1为元信息服务逻辑结构图。中央全局元信息服务器处于系统的中央位置，管理着分布各处的局部元信息服务。局部元信息服务则分散在系统中的不同位置，受到中央节点的管理和监控。局部元信息服务一般位于某台元信息服务节点机器上，通过配置为某个或者某几个DRB域提供元信息服务。这种两层式设计可以提高系统的可扩展性，方便系统管理，并减少了集中式设计带来的性能瓶颈和单点失效问题。图1.1 元信息服务逻辑结构图1.2.3 传统网格

23、中元数据分发技术现有的元数据分发方式基本可以分为两类：被动分发和主动分发。对于被动分发而言，除非有请求到达，节点不会发布自己拥有资源的元数据；主动分发与之相反，当节点加入网络或者节点数据发生一定变化的时候，节点会立即发布自己的元数据。显然，被动分发的网络资源的消耗甚小，但同时对于网络资源频繁变化的环境，元数据中存在很多错误，其他节点数据的准确性无法得到满足。而主动分发可以在最大可能上保证元数据的准确性，从而可以增加节点数据的有效性，但由于分发数据过多，对网络资源的使用也是最多的。对于主动分发而言，根据对元数据分发处理的不同，即分发给什么样的节点以及怎么样转发别的节点发来的元数据，可以将主动分发

24、策略分为以下几种15,16。1. 泛洪式 在该算法中，元数据分发采用最简单的泛洪的方式。也就是说：当自身产生更新消息后，也向网格中的所有节点发送消息。2. 邻居式在该算法中，所采用的策略是：设定一个半径范围（该半径可以用节点跳转数来衡量）发送消息时，只向处于该半径范围之内的所有节点发送消息。 3. 水流式 在这种方法中，采用的其实是一种特殊节点法，根据某种方式来确定出某些特殊节点。现在比较流行的是网格势能来区分节点的处理能力。网格上的一个节点的网格势能可以被认为是可以被分派给某个节点上的应用程序的处理能力。该处理能力依赖于邻近出现的机器以及他们之间互连的网络。同时还有一个相对网格势能：节点相对

25、于某个远程节点的势能。如果节点的自身网格势能小于相对于某远程节点的势能，就把由该远程节点发出的消息进行转发，否则不转发。而对于自身产生的更新消息，如果周围节点相对势能的平均值小于该节点的自身的势能，则该节点可以向周围的所有节点进行消息发送；否则不能进行消息发送。这种方式的主要特点是：消息从势能高的节点流向势能低的节点。这类似于水流的形式，故称为水流式。 4. 质点式 本算法依然采用了网格势能的概念。不同的是：即使相对势能比自身势能要低，节点也并不一定可以发送消息。在该算法中，引用了概率论的知识，即节点随机选取周围部分的节点进行消息发送。这种行为有点类似于质点的活动方式，故而称为质点式。1.3

26、本课题研究的目标和意义 元数据被动分发对网络资源的消耗甚小，具有低代价性，但同时对于网络资源频繁变化的环境，元数据中存在很多错误，其他节点数据的准确性无法得到满足。而元数据主动分发可以在最大可能上保证元数据的准确性，从而可以增加节点数据的有效性，但由于分发数据过多，对网络资源的使用也是最多的。如何能设计出一种分发策略，将这两种分发技术的优点结合起来，这将是本文的工作核心。本文通过对传统数据分发技术，特别式网格中的元数据分发技术的研究，提出了一种新的元数据分发机制，并设计实现了这种分发策略，通过仿真实验的对比验证，实验结果表明这种分发策略确实综合了主动分发的准确性以及被动分发的低代价性。1.4

27、本文组织结构本文以数据网格为研究背景，介绍了传统的元数据分发技术，在此基础上提出了一种新的元数据分发框机制，并通过仿真实验与传统的分发技术进行了分析对比。本文各章的内容安排如下：第一章为绪论，介绍了本课题的研究背景，然后介绍了国内外的研究现状。第二章为数据网格中的元数据分发技术，介绍了数据网格中的核心问题，并对元数据的概念、网格中元数据的分类、元数据常有的标准化问题以及元数据分发方式做了详细的分析和介绍，最后详细介绍了传统的数据分发技术以及数据网格中的传统元数据分发技术。第三章为轮值会议元数据分发机制，首先介绍了设计此分发机制的背景知识，随后提出了一种新的元数据分发机制，最后对对这种分发机制进

28、行了设计和实现。第四章为仿真实验与性能分析，首先介绍了RMMD的原型系统开发，之后分析了OPNET仿真工具，随后详细介绍了仿真模型及实验算法，最后给出仿真实验结果。第五章为总结与展望，最后为致谢与参考文献。2 数据网格中的元数据分发技术2.1 数据网格核心问题数据网格在网格基本功能的基础上扩充数据管理功能，提供与信息有关的各种服务，其最核心的关键技术是元数据管理和存储资源代理。良好地表示、存储、访问和使用大量资源信息是数据网格运行的基本前提。在数据网格计算中，资源是分布的，资源及其提供者也是分布的，这些资源包括数据、计算机、设备、网络、外设、软件、服务、代码、人员等17。元数据管理服务命名、描

29、述、收集、组织和管理数据网格中的资源信息，这些信息就是用于描述资源、方法、数据集和用户的元数据。为了实现命名的透明性，网格需要有效管理数量繁多的名字和属性，以及它们之间的关系；为了实现定位的透明性，网格需要有效管理数据集的定位信息；为了实现协议的透明性，网格需要有效管理数据资源的有关信息。实际上，这些信息就是用于描述资源、方法、数据集和用户的元数据，概括地说，元数据目录为用户身份认证、数据定位、访问控制、数据复制等提供支持18。2.2 元数据的提出2.2.1 MDS元数据概念元数据的概念起源于计算机科学，早在20世纪60年代，为了有效描述数据集，Jack Mayers就定义了Metadata一

30、词的概念，其中文译名有多种，元数据是其当前在中国大陆比较通用的译名。元数据最常见的宽泛定义“关于数据的数据”已经得到了普遍认可，但由于这一定义过于简单抽象，对它的认可只是表明在元数据的本质方面人们达成的共识。事实上，人们对元数据的理解和认识还存在不少差异，迄今尚未形成一个真正统一的元数据定义19。较宽泛的元数据定义：元数据是描述一个具体的资源对象，并能对这个对象进行定位、管理，且有助于它的发现与获取的数据。这是一个比较笼统的概念，它包括多个词汇：元数据标准、元数据项、元数据记录等，可以认为是这些概念的统称。元数据的产生对管理庞大的信息数据起着不可忽视的作用。元数据的应用领域广泛，作用也各不相同

31、，但总体来看，它们都具有一些共同的基本功能20。1. 描述功能元数据的基本功能就是对信息资源进行描述，供用户读取以便了解自己所获信息是否是所需要的。因此可以节约用户的时间和精力，也可减少网络中信息交换的浪费。2. 检索功能元数据是提供检索的基础。元数据将信息对象中的重要信息抽出，加以组织，赋予语意，建立关系，使得检索结果更加准确。因此利用元数据进行简单、复杂或综合的信息查询，可以提高查询效率。3. 定位功能元数据包含有信息资源的位置信息，由此便可确定资源的位置所在，促进网络中信息对象的发现和检索。4. 选择功能根据元数据提供的描述信息，结合使用环境，用户便可对信息对象做取舍决定，选择适合用户使用的资源。5. 评估功能元数据提供信息对象的各类基本属性，使用户在无需浏览信息对象本身的情况下就能对信息对象具备基本的了解和认识，参照有关标准，即可对其进行价值评估，作为使用的参考。2.2.2 元数据的分类元数据的应用领域不同，对元数据就会有各自不同的分类方法21。在网格数据管理环境下，一般将描述数据对象的元数据分为五种类型22，如图2.1所示。最底层的物理元数据包括描述物理存储系统数据对象的元数据和副本定位元数据，其中物理存储系统包括文件系统和数据库管理系统。副本定位元数据提供将逻辑名与