数据集成总结.docx

1、数据集成总结1 海洋观测数据1.1背景和必要性通过对海洋实施长期、定点、连续、多要素的监测，能够得到大量的海洋观测信息，这些信息对于海洋资源开发及有效管理、保障海洋环境安全起到重要的作用。但是，这些海洋观测资料来源不同、类型不一、结构复杂，还有各种海洋观测系统提供了互补的多变量观测资料，其中存在着大量有用信息可以为海洋预报提供初、边值，为海洋科学研究提供高质量的、时空分布均匀的再分析资料集，并且给观测定位以及对计划的观测系统进行客观的评价。因此，海洋观测信息的集成与智能管理研究可以最大限度地提取观测数据中所包含的有效信息，提高和改进分析与预报系统的性能，并在此基础上做出准确的预测、预报、警报和

2、对策建议，帮助人类深刻认识和掌握自然灾害形成和发展规律，这对于沿海地区防灾减灾、保障公众健康和社会稳定具有重要的作用。并且，还可以及时了解和掌握海域的环境质量状况及其变化趋势，从而有针对性地开展海洋环境保护工作，为海洋环境保护中涉及到的立法、规划、标准、评价、管理、治理、恢复以及建设等各个方面工作，提供必要的资料和依据，有效地对海洋环境加以保护【1】。近几年，随着海洋观测技术与设备的不断发展及更新换代，观测设备的广泛部署，观测数据数量激增，数据背后隐藏着许多重要的信息，如何对其进行更高层次的分析，以便更好地利用这些数据，变得越来越重要。因此，研究与开发创新性的数据处理、信息集成与管理方法与技术

3、成为当代海洋科学的首要问题。目前，世界各国的海洋科学家以及相关领域的研究者对于数据处理与信息集成的研究如火如茶，主要目的是为了更加有效地分析与利用数据，提高海洋灾害的监测与预报能力及精度。如数据预处理技术、数据同化技术、数据融合、信息集成以及灾害预警应用系统等为当前研究的重点难点。【1】海洋信息是开发海洋、建设海洋、管理海洋的重要基础。海洋信息资源己经在海洋管理、生产、科研和国防建设等多个方面发挥巨大作用。科学的海洋管理要以及时、海量的海洋信息资源作为基础。科学的、准确的、翔实的海洋数据信息，是实现科学管海的重要依据。通过实现海洋信息化管理，建立全面、详细的海洋信息元数据库，可以为海域使用管理

4、、海洋环境保护和海洋资源管理工作提供有效的决策辅助工具，从而实现海洋管理的科学化、规范化。【1】1.1.1数据的异构性海洋环境数据相比于其他行业有明显的异构性，丰要表现在如下方面【2】：(一)数据来源的多样性海洋环境数据来源的多样性，是海洋环境数据异构性的丰要表现，也是造成海洋数据异构性的最根本原因。海洋环境数据的来源目前丰要有现场观测调查、遥感测量和数值模拟三大类。(二)数据存储格式的多样性存储格式多样性是海洋环境数据异构性的最直接体现。不同的测量仪器和测量于段、不同的计算方法和工具、不同的数据标准都造成了数据格式的异构。1由于测量仪器和测量手段造成的数据格式异构2由于所用的数据处理工具和方

5、法造成的数据格式异构3由于采用不同的数据标准造成的海洋数据格式异构(三)数据环境数据的多时空和多尺度性海洋环境数据具有很强的时空特性。海洋的变化性比陆地要明显的多，一般情况下，可以认为海洋是时刻变化的，几个小时甚至几十分钟的时间内，海洋的各种属性值的变化都是不可忽略的，因此海洋空间数据的时空性是非常明显的。另外，海洋空间数据测量的于段决定了海洋空间数据的多尺度性，多尺度包括时间多尺度和空间多尺度，时间多尺度表现在测量数据的时间序列间距的不同，如：有些测量点每小时测一次数据，有些一天测一次甚至更长时间；空间多尺度表现在数据测量的精度方面，如：海洋遥感数据来源于不同的卫星，因其空间分辨率不同，造成

6、了海洋空间数据的空间多尺度性。不同环境属性数据采集的传感器各不相同，甚至传感器搭载的卫星平台也不样。另外，因为装载传感器的空间运载工具卫星平台不同，传感器扫描地球表面的轨迹和周期都有很大的不同。就是同一种传感器如果安装在不同的卫星上，比如说Jason和ERS-2上都有微波高度计，但是由于卫星运转轨道的不一样造成了数据采样的时空分布的完全不同。更有甚者安装在ERS-1上的微波高度计由于在不同的阶段任务不同，其扫描地球表面的轨迹也不一样。由于传感器和卫星平台的不同组合，造成了卫星遥感数据时空采样方案的复杂多样，因此也给很多的用户使用卫星遥感数据带来了不方便和网难。(四)海洋环境数据多级别性从数据应

7、用的角度来说，不同类型的用户因为任务层次的不同对卫星遥感数据的要求差别很大。作为数据的最终用户的三大类：公众；政府管理与生产作业部门；从事科学研究的专家学者。显然他们所关心的数据产品级别会有很大的区别。另外，专家学者在为某个特定研究专题准备数据时必须先对数据进行各种预处理和转换，有时候对多源数据产品进行比较或者融合也是必需的。从数据的生产和分发过程来说，不同级别数据的内容、质量以及附加信息都有很大的区别。数据牛产部门出于对数据实时性、质量、保密性以及不同的用户对数据的不同需求等方面的考虑会推出具有不同牛产周期的各个级别的数据产品。对各个级别的数据标准的定义不同的单位不尽相同。表2-2列出了美国

8、国家航空航天局(NASA)的卫星遥感数据产品级别的标准。(五)海洋数据分类标准的多样性：海洋数据的分类标准有很多种，每一种分类标准都针对一定的目的，由此也就造成了不同的分类结果。如按照学科划分，可以将海洋环境数据类型分为海洋物理、化学、地质、生物、渔业、气象等诸多领域；如果按照海洋数据的时空形态来划分，则可以划分为海洋场数据和海洋点数据；在物理海洋学中为了研究的方便，一般将海洋数据类型分为海洋要素数据和海洋现象数据。1.1.2 海洋环境数据集成的迫切性首先，从海洋环境数据集成本身来讲，没有统一的集成模式。这给海洋数据的综合分析及向更高一级的应用造成障碍。其次，海洋环境数据存储格式的多样性给海洋

9、科研人员应用数据造成闲难，如：若想研究某缚区温盐情况，研究人员必须熟悉CTD、BT、ARGO等文件的数据格式，否则工作无法延续，这显然是不现实的。第三，目前海洋观测数据大都存储在文件中的，以目录或文件的方式存在，数据的抽取和分类工作难以进行，因此海洋观测数据的利用率及其低下，这和海洋实测数据的昂贵代价形成鲜明对比。第四，海洋环境数据还存在多维海量的特点，其中存在大量的多对多或一对多的关系，以文件为丰的件理方式根本无法满足要求，且对存储空间形成很大的浪费。第五，海洋环境数据具有很强的区域性，将海洋环境数据按空间地理位置进行组织是数据集成中不可少的内容，但按甘前的海洋环境数据竹；理方式实现起来比较

10、困难。第六，随着网络的飞速发展和普及，信息共享已经成为一种必然的要求。海洋环境信息也不例外。海洋环境信息要进一步发展，必须完全融入大型MIS(符理信息系统)中，而目前海洋环境数据的文件饩理方式显然跟不上这个要求。最后，数据冗余是目前数据管理方式最大的问题。1.2 数据集成概述数据集成用来对各种异构数据提供统一的表示、存储和管理，这些功能在异构数据集成系统中实现。数据集成屏蔽了各种异构数据间的差异，通过异构数据集成系统统一操作，因此集成后的异构数据对用户来说是统一的和无差异的。总的来说，数据集成的目标是为了实现各个异构数据源之间的数据共享，有效地利用资源，提高整个异构数据集成系统的性能。而数据集

11、成的理想目标是在分布式环境下给用户提供一个单一系统的映像。这意味着各个数据源之间的互相作用必须透明地进行。异构数据集成是一项相当复杂的技术，由于异构数据源和异构数据之间的众多差异，使得异构数据集成成为一个难以解决的问题。然而海洋信息要真正实现共享，必须解决数据多格式、多数据库集成等瓶颈问题。海洋灾害预警系统的研究与应用海洋数据集成的研究有以下发展趋势:l)网络化;2)集成机理与规范标准化;3)集成知识规则的专家系统化。【1】国内学者张维民对信息集成系统的定义为：为实现某一目标丽形成的一组信息单位的有机集合，而系统本身又可作为一个信息单位参与多次组合，这种组合的过程可以概括地称为信息系统集成(张

12、维民，2002)。在这个定义中，把信息集成看作是多个信息单位的有机组合，如公式所示【2】:信息系统集成=信息单位i(i=l，2，,n)1.3 海洋信息集成的发展1960年正式成立的国际海洋资料交换委员会(IoDE)促进国际间海洋资料交换工作的开展，并进行了编码资料格式的标准化工作，为各国国家海洋中心(如Nooe、JoDe和Kooe等)资料共享起到了重要作用。20世纪50年代后期，由于计算机和信息技术的发展，海洋资料信息共享服务己从单一资料服务方式逐渐向产品化、可视化、网络化等方向发展。目前，先进国家的海洋资料信息共享平台的可视化技术已基本实现了海洋信息产品由数字向图形，由平面向立体，由单色向彩

13、色的转变。然而，海洋学科内容丰富，涉及到海洋物理、海洋生物、海洋化学、海洋气象、海洋经济、海岸带等许多研究领域，不同的领域数据采集的设备不同，信息处理的平台不同，数据存储的格式也不同，致使数据很难实现交换和共享。联合国科教文组织（UNESCO）的国际海洋资料交换委员会，自成立40多年来，一直致力于海洋数据格式标准化研究，旨在简化数据交换，推动全球海洋技术的发展，但由于种种原因未能取得成功。自1998年2月，Web技术标准化集团 W3C(World Wide Web Consortium，万维网联盟)推出可扩展标记语言 XML (extensible Markup Language)以来，国际上

14、一些海洋强国及研究机构逐渐意识到XML技术在处理多种格式的海洋数据、简化数据交换方面存在着巨大潜力【1】。目前对多源空间数据无缝集成的研究主要有三种模式【1】:(l)格式转换模式把其他格式的数据经过专门的数据转换程序进行转换，变成本系统的数据格式，这是当前一些系统共享数据的主要办法。许多系统为了实现与其他软件交换数据，制订了明码的交换格式，实现不同软件之间的数据转换。(2)数据互操作模式它是 OpenGIseonsortium(oGe)制定的规范。ooe是为了发展开放式地理数据系统、研究地学空间信息标准化以及处理方法的一个非盈利性组织。Gls互操作是指在异构数据库和分布计算的情况下，Gls用户

15、在相互理解的基础上，能透明地获取所需的信息。 OGC为数据互操作制定了统一的规范，从而使得一个系统同时支持不同的空间数据格式成为可能。根据OGC颁布的规范，可以把提供数据源的软件称为数据服务器，把使用数据的软件称为数据客户，数据客户使用某种数据的过程就是发出数据请求，由数据服务器提供服务的过程，其最终目的是使数据客户能够读取任意数据服务器提供的空间数据。oGC规范基于oMG的CORBA、Microsoft的oLE/coM以及sQL等，为实现不同平台间服务器和客户端之间数据请求和服务提供了统一的协议。(3)数据直接访问模式在一个系统中实现对其他软件数据格式的直接访问，直接数据访问不仅避免了繁琐的

16、数据转换，而且在一个系统中访问某种软件的数据格式不要求用户拥有该数据格式的宿主软件，更不需要该软件运行。直接数据访问提供了一种更为经济实用的多源数据共享模式。直接数据访问是利用空间数据引擎的方法实现多源数据无缝集成。由于针对每一种要直接访问的数据格式，客户软件都要编写被访问的宿主软件数据格式的读写驱动，即数据引擎，所以直接数据访问同样要建立在对要访问的数据格式的充分了解的基础上，如果要访问的数据格式不公开，就非破译该格式不可，还要保证破译完全正确，这样才能真正与该格式的宿主软件实现数据共享。如果宿主软件数据格式发生变化，各数据集成软件不得不重新研究该宿主软件数据格式，提供升级版本，而宿主软件的

17、数据格式发生变化时往往不对外声明，这样，其他数据集成软件数据格式的数据的处理必定存在滞后性【1】。1.4 信息集成的目的信息的集成化管理就是在相对独立的管理平台上，对信息资源进行跨越网络、系统、数据库和应用各个层次的全方位管理、分析和整合，提高信息资源的利用率，最大限度地深层次开发利用现有信息资源。其主要目的是:通过统一的信息资源平台，建设信息资源的一个存储应用中心，防止信息孤岛的形成，并在此基础上建立一个多渠道的信息共享空间，在规范化和安全化实现信息自由流动的同时，加强与外部有效信息的交流和沟通【1】。集成化综合体现了系统方法中整体性和最优化这两个基本原则:l)整体性原则，就是把对象作为由各

18、个组成部分构成的有机整体，研究整体的构成及其发展规律;2)最优化原则，就是从多种可能的途径中，选择出最优化的系统方案，使系统处于最优状态，达到最优效果。最优化是自然界物质系统发展的一种必然趋势，而实现系统整体功能最优化的关键在于选择最佳的系统结构。集成化实际上促进了信息系统开发技术研究从“事务中心论”向“系统中心论”的根本性转变。由于信息系统组成结构中数据处于核心地位，数据结构是稳定的，而事务处理是多变的，所以，这种“系统中心论”就实际上被“数据中心论”所替代。目前，在现有的任何信息系统开发方法学，“以数据为中心”都是其根本的支柱性原则。在信息系统中，集成化性能的主要关键性标志就是“数据独立性

19、”、“数据稳定性”和“数据共享性”的实现程度一一数据集成。数据结构相对于处理程序的独立性，是数据稳定性的外在表现形式，数据稳定性是使数据具有相对于处理过程独立性的根本保证。数据共享性是建立在较高程度的数据独立性和数据稳定性基础之上的系统性能，它是系统集成化所追求的根本目标性能【1】。首先，集成的目的是便于信息共享。通过信息集成，可以避免重复劳动，节省劳动时间。举例来说，对于广大科研工作者，如果要调研某一主题的国内情况，需要查找、阅读大量别人已经发表的科研成果文献，在没有对这些成果文献集成前，需要分别登陆到各个期刊网或于工在相应的纸质杂志里查找，这无疑是费时费力，而且查找的结果也不全面。现在由于

20、信息集成技术的出现，人们可以方便的在诸如中国期刊全文数据库、维普全文电予期fU、ACM数据库等图书馆提供的期刊、论文数据库里查找，大大节省了资料收集时间，从而可以把宝贵的时间和精力放在科学研究本身上【2】。其次，信息集成的目的在于信息挖掘。对一个组织或企业来说，把所有相关的信息放到一个单独的地方进行深入分析，从大量的、综合的、历史的信息中，抽取出潜在的、有价值的知识(模型、规则或规律)，从而为单位创造出更大更多的效益。这方面最经典的例予是“尿布与啤酒”的故事，即世界著名商业零售商连锁企业沃尔玛(wall Mart)利用信息集成和数据挖掘技术得到一个意外发现：“跟尿布一起购买最多的商品竟是啤酒”

21、，于是在一个个门店里将尿布和啤酒并排摆放在一起，结果使尿布和啤酒的销售量双双增长【2】。再次，信息集成的目的在于发挥系统的整体效益。在Weston对信息集成的解释中，“集成包含功能交互(Function)、信息共享(Is)及数据通信(DC)”(Weston，1995)，已经强调“信息共享”和“功能交耳”，强调“协同工作”。组成系统各个部分集成在一起的功能应大于各组成部分单独功能之和，即“1+12”【2】。1.5 信息集成的热点和难点信息集成的主要问题是信息的异构问题。Sheth将信息系统的异构性分为四个层次：系统、语法、结构和语义(Sheth，1998)。系统级的异构指不同的丰机、操作系统和网

22、络：语法级的异构是指数据类型、格式的差异：结构级的异构是指数据结构、接口和模式上的不同：语义级的异构则是指在一定领域内专用的词汇意义的共享和交流。YBishr提出了信息系统存在语义，视图和语法三个层次差异，并做了详细的分析(YBishr，1999)。语义层次(Semantic)指一个概念有多种事实描述：视图层次(Schematic)一个事实被描述为不同的概念成分；语法层次(Syntactic)则指构造结构的不同。0GC把地理信息系统集成与互操作分为三个层次：数据层、语法层和语义层。前两种丰要由数据结构、概念模型和软硬件环境的差别引起的，可以通过统一数据结构标准和服务功能原了化，模块化以及开放接

23、口标准来解决。而语义层集成和互操作就相对复杂的多，目前有许多研究利用本体理论来进行。1.6研究的发展趋势随着Iniernet技术的飞速发展，用户通过hitemet快速、准确地获取和共享信息己是大势所趋。海洋数据集成的研究有以下发展趋势【1】:1) 网络化:数据的分布式特征及项目需求数据的多元化，使集成应用项目涉及的部门、内容越来越复杂，要求在集成中能快速使用物理上分布于各个节点的数据，各类网络的建设为数据的网络化集成提供了条件;2) 集成机理与规范标准化:网络、计算机及数据库技术只是为数据集成提供了可能性，而其集成的真正实现与海洋数据的自身特征分不开，而有关海洋数据表达、组织、抽象等问题远没有

24、形成有效的方法。因而基于认知科学、集成机理、集成规则标准、普遍意义的集成方法等仍将是数据集成研究的主流;3) 集成知识规则的专家系统化:集成中用到的诸多知识规则不可能让数据用户全部掌握，而数据集成应用中又离不开这些规则，如何将各类集成中知识规则转化成数据用户可操作的专家系统必将是数据集成研究的另一个方向。1.7 海洋信息共享平台概况在海洋数据共享建设方面，国外有较大发展，产生了许多数据共享平台，并且得到了极好的应用，如：美国国家海洋数据中心(Nooc)、日本国家海洋数据中心(JODC)、英国的国家海洋数据中心(BODc)等。1 9 5 5年9月，国际科学联合会理事会(I C S U)国际地球物

25、理年(I GY)特别委员会针对当时的数据需求通过了建立世界数据中心(W D C)的决议。当时，地球物理学的发展已使得传统的数据系统方式显得陈旧落后。由美国国家科学院提供资助建立了数据中心，命名为wD cA，由前苏联科学院组建了wD c-B，在几个欧洲国家及日本年u澳大利亚也相继建立了分学科中心，形成了w D C-C。全球数据中心(wDC)网络系统把海洋资源信息网列为网络主要部分。由NOAA负责的站点http:/www.nodc.Naaa.gov/nodc.dataexch.html，可以提供美国和全球有关海洋研究的数据，并完成本国观测区域与世界其它区域数据的合并和拼接工作【2】。国家海洋信息中

26、心根据我国多印积累的海洋数据资料，建立了中国海洋信息基础网，对大量的海洋数据进行管理和分发，拥有国内外海洋调查数据和国内海洋站资料、海浪资料、海洋化学数据海洋地质、海冰、海洋生物资料，海洋污染情况凋查数据等。WDCD海洋学中心是继美国WDC-A、俄罗斯WDC-B海洋学中心之后的第三个世界资料中心、海洋学中心，拥有其长期稳定的国内海洋基础资料来源。2001年起，中国科学院海洋研究所、中国老教授协会海洋分会国际海洋信息共享委员会和天津市科技协会国际海洋信息研究中心联合开发了“中国近海及毗邻洋区国际海洋信息管理系统”。该系统的建立和逐步推广应用，为海洋信息处理和错情分析、诊断技术的发展，中国近海资料

27、处理标准的建立，以及海洋科学研究的发展起到积极的促进作用【2】。另外。在学术方面，近年来一大批关于海洋数据平台建设的文章发表(杨晓梅，2002；王敬贵，2002；陈加兵，2002，杜云艳，2003，2004；李安虎，2004；郭忠文，2006)。2005年，作为国内首次针对海洋数据集成的专著海岸带及近海科学数据集成与共享研究问世(杜云艳，周成虎，苏奋振等，2005)，本书旨在围绕海岸带及近海多源数据的集成与共享，从底层数据实体的设计、建设，数据技术系统的研发，多源、多格式数据的集成与发布等多方面探讨数据集成的难点和欲解决的新思路及关键技术【2】。1.8 与国外研究水平的比较与我国快速增长的海洋

28、经济对海洋信息的需求相比，特别是与世界先进国家相比，在海洋信息资源的开发利用水平和信息获取、处理和更新的技术水平、管理和服务等方面存在很大差距。主要归纳为以下几个方面【3】：(1)在数据获取能力方面，经过多年来的建设，国家海洋主管部门已经初步建成由海洋站、浮标、调查船、海监船、海监飞机、海洋卫星等组成的立体海洋监测体系，具备了一定的信息获取能力。但尚缺乏完善的海洋信息资源管理体制，未形成高效运转的信息处理与交换体系，涉海部门间缺乏有效的海洋信息资源管理协调机制，各类海洋信息资源共享的渠道不畅通，一些海洋信息资源现状不清，相当一部分宝贵的海洋信息得不到充分利用，无法实现全社会的共享。因此，急需对

29、信息进行统筹规划，制定相关信息处理与交换的标准规范，强化信息管理，充分发挥其价值；(2)在海洋信息规范与标准体系方面，虽然多年来针对海洋资料制定了一些相关的标准与规范，但相当一部分海洋信息标准不一致，如国家、地方、城市之间的空间定位基准(平面和高程)、数据标准、信息交换标准不统一，导致现有标准和规范得不到有效的推广应用。海洋数据用户面对的数据集和数据格式比较混乱，导致海洋信息兼容性、可比性差，利用率低，其完整性、可比性和权威性也得不到保证；(3)在数据库建设方面，通过多年来的努力，利用海洋勘测、调查以及长期观测获得的数据，我国初步建成了1：100万和l：50万海洋基础地理数据库和海洋学科要素基

30、础数据库系统。但海洋信息资源缺乏系统规划和整合，系列化程度和业务化运行能力不足，信息资源相对分散，低水平重复建设浪费严重，造成入库信息不完整，大多数现有的海洋数据库系统仍处于原始的离散状态，系统的性能和功能较差，不能满足海洋信息共享服务的需求，国家急需的对海洋开发、海洋综合管理等起支撑作用的有效信息也未被充分提取使用，还没形成支撑海洋综合管理的系统的基础信息平台和数据仓库体系；(4)在网络服务平台建设方面，我国先后开通了“中国海洋信息网”、国家海洋局政府网站和各业务中心网站。在海洋管理和监测数据传输方面，通过国家计委专项等项目的实施，初步建成了海洋站与志愿船观测系统监测数据通信网、海洋卫星数据

31、传输系统，具备了一定的监测数据通信与传输能力。但网络传输与网络服务能力明显较弱，网站服务功能急需加强，尚未形成支撑海洋管理的、连接国家和地方海洋管理部门的、统一的通信网络平台；(5)在专题信息系统建设方面，经过多年努力，我国海域管理信息系统已经服务于海域使用管理、海洋功能区划管理、海岛管理、海底管线和人工设施管理等日常的海洋管理业务；海洋划界管理信息系统也已在北部湾中越海上划界及其他海洋划界方案研究中得到应用；海洋环境管理信息系统、海洋执法监察管理信息系统等都已进入试运行阶段17】。我国的海洋业务管理系统已经进入了一个完善和发展的阶段，正有力推动着我国海洋管理技术水平的不断提高。但我国的海洋业

32、务管理系统建设也还存在严重的不足，突出表现在缺乏统一性和系统性两个方面。所谓缺少统一性，指各业务系统基本处于独立开发、孤立运行、非定常维护的状态，既导致工作上的重复和浪费，也不利于技术的提升。2 海洋信息的集成系统框架数据格式转换原理【8】1直接数据格式转换法直接数据格式转换的基本原理就是将原数据格式文件直接转化为目标数据格式文件，中间不需要任何中介，只是需要两个数据格式文件间的转换程序。原理示意图如图，图 直接数据格式转换法示意图这种数据转换方法的优点是，数据转换程序可以将原数据文件中数据的类型、属性和关系直接转换成目标数据文件的记录格式，这样保证了原数据文件能够完整地转换到目标数据文件。其缺点是，任意两种数据格式文件之间进行转换时，都必须编写特定的格式转换程序，由此增加了工作的强度。2中间数据格式转换法中间数据格式转换法的基本原理是以某一数据格式文件为中介，将数据从原数据格式文件转换到目标数据格式文件，如图3-3，中间数据文件主要是用于调整原数据文件到目标数据文