基于JSON的异构数据库整合研究毕业论文.docx

1、基于JSON的异构数据库整合研究毕业论文基于JSON的异构数据库整合研究JSON Based Heterogeneous Database Integration Research目 录摘 要 IAbstract II第1章 绪 论 11.1 课题背景 11.2 研究意义 21.3 研究现状 21.4 所做工作及文章结构 3第2章 异构数据库整合 52.1 数据库 52.1.1 数据库简介 52.1.2 本文所研究的数据库 62.2 异构数据库 62.3 异构数据库整合的背景和意义 72.4 异构数据库整合的目标 82.5 异构数据库整合的基本方法 92.5.1 异构数据库整合基本方式 92.

2、5.1 异构数据库整合常用方式 102.6 异构数据库数据整合重难点 122.7 本章小结 12第3章 JSON与POJO之间的映射研究 133.1 JSON的解码 133.2 JSON与XML的比较 163.3 JSON与POJO的相互转化 173.3.1 POJO的序列化与反序列化 183.3.2 将POJO转化为JSON 203.3.3 将JSON转化为POJO 213.4 将JSON融入ORM 213.5 本章小结 22第4章 异构数据库与JSON的映射研究 234.1 JSON与异构数据库整合系统设计 234.2 JSON与异构数据库的映射技术 244.2.1 基于模板的映射方法 2

3、44.2.2 基于数据库模型的JSON映射方法 254.3 将关系数据库的数据转化为JSON 264.4 将JSON转化为关系数据库的数据 274.4.1 单表映射 274.4.2 多表一对多映射 284.4.3 多表多对多映射 284.4.4 映射算法总结 294.5 本章小结 29第5章 基于JSON的数据库映射中间件的开发、测试及评价 315.1 开发平台简介 315.2 中间件分析 315.3 中间件设计 335.3.1 选取工程 335.3.2 选择框架 335.3.3 框架整合使用 335.4 编码实现中间件 335.4.1 引入Spring和Hibernate 345.4.2 将

4、数据库的表映射为POJO类 345.4.3 定义中间件访问接口 345.4.4 单元测试 355.5 测试环境搭建 355.5.1 系统环境 355.5.2 使用Badboy录制脚本 355.5.3 使用JMeter测试 365.6 数据库映射中间件性能评价 375.6.1 JMeter图形报表 385.6.2 JMeter表格报表 385.6.3 中间件性能分析 395.7 数据库映射中间件功能评价 395.8 本章小结 40第6章 总结与展望 416.1 总结 416.2 展望 41参 考 文 献 42摘 要从数据库诞生到现在，经过长期的积累，互联网里有着相当数量的异构数据库系统。由于现代

5、信息化建设的需要，许多系统需要去访问异构的数据库系统。对于以数据库为中心的系统的开发者而言，因为异构数据库的存在，他们在开发、维护和升级的成本比常规单一的数据库系统要高的多。由于JSON是一种独立于任何计算机语言且与平台无关的通用数据交换格式，使用JSON作为数据交换格式，来整合异构数据库系统成为了一种可能。在此构思的基础上，本文在现有的基于XML的异构数据库系统整合方法的基础上提出了基于JSON的异构数据库系统整合方法，该方法可以大幅度的降低异构数据系统的开发、维护和升级成本，避免异构数据库系统带来的各种弊端，提高了程序开发的效率。本文主要研究了JSON与异构数据库数据的映射及其算法，具体包

6、含以下内容：1）JSON作为异构数据库系统整合的数据交换格式的可行性；2）将JSON转换为POJO；3）将POJO转换为JSON；4）JSON与异构数据库之间的映射算法。为了验证方法的有效性，选择了三个异构的数据库系统，通过编码实现了基于JSON的异构数据库系统中间件。为了验证中间的性能，使用BadBoy和JMeter对中间件进行了测试。关键词：JOSN；异构数据库；POJO；Java；ORMAbstractBorn from the database to the present, long-term accumulation of the Internet with a considera

7、ble number of heterogeneous database systems. Due to the needs of theconstruction of modern information technology, many systems need to accessheterogeneous database systems. For developers, database-centric system, becauseof the presence of heterogeneous databases, their development, maintenance an

8、dupgrade costs higher than the conventional single database system.Since JSON is a universal data exchange format that is independent of any computer language and platform-independent, using JSON as a data exchange format, to integrate heterogeneous database system has become a possibility. On the b

9、asis ofthis idea, proposed in the existing heterogeneous database system XML-basedintegration method based on JSON-based heterogeneous database systems integration, the approach can significantly reduce the development of heterogeneous data systems maintenance and upgrade costs and avoid all the dis

10、advantages ofheterogeneous database systems, improve the efficiency of program development.This paper studies the JSON and heterogeneous database data mapping algorithmspecific to include the following:1) the JSON as the data integration of heterogeneous database systems to exchangethe feasibility o

11、f the format;2) convert JSON into POJO;3) convert POJO into JSON;4) JSON with heterogeneous database mapping algorithm.In order to verify the validity of the method, select the three heterogeneous database system, by encoding the JSON-based heterogeneous database system middleware. In order to verif

12、y the performance of the middle, use BadBoy and JMeter to test themiddleware.Key Words: JOSN; heterogeneous databases; POJO; the Java; ORM第1章 绪 论在互联网还没诞生之前，数据库的应用还只是局限于军方、科研组织、政府机构。在互联网普及之后，数据库应用以井喷式的速度增长。比如我们每天使用的通信软件QQ，他需要使用数据库保存每个用户的各种各样的信息。比如邮件系统，我们草稿、已发送邮件、未阅读邮件、已阅读邮件和垃圾邮件都是保存在数据库里的。再比如铁道部的1230

13、6网上订票系统，火车票信息全部是保存在数据库里面。我们日常生活的方方面面都已经离不开数据库了。尽管数据库应用如此之广，但是遗憾的是对于以数据库为核心的系统的开发者而言，不同数据库厂商之间的访问方式之间是存在不少差异的，即使是同一数据库厂商，其不同时期的产品的访问方式也是有差异的。这意味着同一应用系统更换不同的数据库或者升级数据系统都需要去修改源代码。同一应用系统同时访问多个异构数据库的情况也比较常见，这意味着开发应用系统时需要考虑不同数据库系统之间的差异。若多个数据库系统之间一直以异构数据库系统的的形式存在，这对现代企业信息化建设来说，其后期的开发、维护和升级成本将非常高。针对这种情况，有些研

14、究人员提出各种各样的异构数据库系统整合方案，其中比较有代表性的方案是以XML作为数据交换格式的整合方案。1.1 课题背景现代计算机应用系统无不以数据为核心，而数据的载体正是数据库，也称做数据仓库。性能优良、可靠性高、安全性高的数据库现在都被商业公司以产品化的形式推出来，比如IT巨头Oracle推出的11g，Microsoft推出的SQL Server系列，IBM的DB2和informix，Sysbase推出的Adaptive Server Enterprise12.5。也有免费开源的产品比如MySQL和PostgreSQL。数据库产品的现状可谓是百花齐放。问题随之而来，各个数据库产品之间存在着

15、不小的差异。差异体现在：1）不同数据库存储同一信息采用的数据类型可能不同。2）标准的结构化查询语言SQL，在各产品实现时也作了一定的修改，比如加入了自己的方言和其他习惯。3）不同平台对数据库访问的接口不同。这些平台主要有Java、PHP和Windows等，这些平台的访问方式各有差异。由于历史原因，在同一企业内部，往往存在着多平台。这与现在企业信息化建设所追求的信息同步、信息共享是背道而驰的。对应计算机应用系统的开发者而言，当需要跨数据库操作时，同样是苦不堪言，处理同一数据在不同数据库之间的差异，是件单调枯燥而费时的事情，非常影响工作效率。1.2 研究意义基于以上背景，ANSI制定出来SQL，以

16、期望解决不同数据库之间访问差异的问题。在使用到数据库的的系统中，针对数据库开发往往使用SQL语言。尽管SQL是由ANSI(美国国家标准协会)制定的标准，但不幸的是数据库厂商没有完全执行这一标准，所以存在许多不同版本的SQL语言。但是为了与ANSI标准相兼容，不同的数据库必须以相似的方式共同地来支持一些主要的关键词（比如 SELECT、UPDATE、DELETE、INSERT、WHERE 等等）。不同数据库的SQL之间也就只是一些主要的关键词是一致的，仅此而已，在其他方面或多或少存在着差异。仅仅依靠SQL来减少不同数据库之间的差异是远远不够的。现在数据库产品就是一个百花齐放的情形，现在正在应用的

17、数据库系统在短期内都不会消失，而新的计算机系统又极可能采用了新的数据库系统，差异在不断的产生形成。在这种情况下，如果有一个数据库中间件，对于开发者和使用者而言，直接访问中间件，由数据库中间件完成数据的访问，而数据库是透明的。这样就从数据库使用者和开发者角度消除了不同数据库产品之间的差异，从而极大的提高了数据库使用者和开发者的效率。1.3 研究现状因为不同数据库之间的差异会给数据库的使用者和开发者带来工作上的困扰。为了解决这个问题，现在主要有以下几种解决方案：1）开发数据互连（ODBC，Open Datebase Connectivity）。它是Microsoft开发服务架构(WOSA，Wind

18、ows Open Services Architecture)中有关数据库的一个部分。开发数据互连通过建立规范，提供了一组针对Windows应用程序了访问数据库的编程接口。这些编程接口主要利用SQL语句来完成其大部分工作。2）Java数据库连接（JDBC，Java Datebase Connectivity）。它是一组使用Java语言编写的类和接口的集合，为多种关系型数据库提供统一的访问。其本质是Java程序通过它执行SQL语句，从而访问数据库。3）Hibernate、MyBatis等基于Java的数据持久层框架。Java语言平台有大量优秀的开源框架，Hibernate和MyBatis都是非常

19、优秀的开源数据持久层的框架。Hibernate和MyBatis的思想类似，只不过Hibernate更加的“面向对象”。他们将数据库中的数据表中的数据项映射为Java语言中的简单Java对象（POJO，Plain Old Java Objects），然后在Java程序中就可以直接通过操作简单Java对象，从而间接操作数据库。这种映射关系又叫对象关系映射（ORM，Object Relation Mapping）。Hibernate和MyBatis的本质是对JDBC的封装，从而简化开发者访问数据库的工作，因而他们深受广大开发者的喜爱。4）采用XML作为数据库的通信格式的中间件。其思想是通过建立中间件

20、，让应用程序直接访问中间件，然后中间件去访问各种异构的数据库。通过中间件可以屏蔽数据之间的访问差异，开发者只需要知道怎么访问中间件就可以了，通过制定规范可以使任何平台的应用程序访问中间件是一致。以上研究中都只是一定程度上解决了某些特定应用中的问题。1）只是针对Windows平台提供了支持，2）、3）只是基于Java平台。4）的更具有全局性，哪怕以后平台再多，其规范也可以统一。但是其需要的解决的问题也和多，比如怎样将数据表中的数据项映射为XML格式的文本，XML的格式很繁琐不易于解析，XML格式笨重、性能不佳。1.4 所做工作及文章结构本文就基于JSON的异构数据库整合研究进行了一些研究和探索，

21、在文中主要完成以下几个方面的工作：1 介绍异构数据库，并对异构数据库整合的主流方法进行介绍；2 研究了使用JSON作异构数据库数据交换格式的可行性及其优势；3 研究了JSON与POJO之间的映射；4 研究了关系型数据库与JSON之间的映射；5 讲述了以SCM、QMS、BOM三系统的为例的进行异构数据库系统的整合中间件的开发过程；6 中间件测试。使用Badboy + JMeter组合，对中间件进行了压力测试，并对结果进行分析，得出中间件的各方面结论。本文的章节安排如下：第1章：绪论，首先介异构数据库系统的整合的的背景和意义，研究现状，本文作者所做工作以及本论文的章节安排。第2章：异构数据库整合，

22、首先介绍了数据库、异构数据库、异构数据库整合的背景和意义，接着阐述了异构数据库整合的目标、异构数据库整合的基本方法和异构数据库整合的重难点。第3章：JSON与POJO之间的映射研究，首先介绍了JSON，讲解了JSON优势，接着将JSON与XML作比较，再接着研究了JSON与POJO的映射，最后研究了如何将JSON融入数据库的ORM模型。第4章：异构数据库与JSON的映射研究，首先研究了JSON与异构数据库整合系统设计，接着研究了JSON与异构数据库的映射技术，最后研究了系型数据库与JSON的映射。第5章：基于JSON的数据库映射中间件的开发、测试及评价。在开发方法，首先对开发平台做了简单的介绍

23、，接着对本文的中间件做了分析，再接着对中间的结构设计做了说明，最后介绍了下中间件平台的编码工作。在测试和评价方面，首先介绍了测试环境的搭建工作，接着根据测试结果对中间件的性能做了分析，最后评价了中间的件的功能。第6章：总结，首先对全文做了一全面的总结，接着就本文需要做的进一步的工作做了说明。第2章 异构数据库整合将异构数据库整合的最终目的的是消除异构数据库带来的种种不便，其不便主要有：系统访问其他异构数据困难；对于异构数据库的数据需关注其类型转换；系统开发、维护、升级难度大。这些“难”都是对开发者程序开发者而言，对与最终用户来说是没有任何影响的。如果能够将异构数据库系统整合，广大程序开发者的效

24、率将大大提高。对于异构数据库的整合要达到数据透明性和操作透明性，只有这样才算是完成了异构数据库的整合。异构数据库整合的方法从本质上讲有2种，即数据复制方法和模板映射方法。异构数据库常用的整合方法有建立数据仓库方法，建立联邦数据库方法和中间件方法，其中前者属于数据复制方法，后两者属于模板映射方法。在整合异构数据库的过程中的重难点问题是处理好JSON与异构数据库的数据相互转化的问题，而且转换过程中不能丢失数据库的约束关系。2.1 数据库经过了多年的发展，按其种类划分有很多，本文将根据实际的应用选择一种合适的数据库作为研究对象。2.1.1 数据库简介数据库又名数据仓库（Datebase），是按照一定

25、数据结构将真实世界中的数据信息组织、存储、管理起来的数据仓库。数据库按照发展过程大概有如下四类他们分别是：1）网状数据库（Network Database）。历史上首次出现的数据库是网状数据库，Charles Bachman于1961年在通用电气公司（General Electric Co，简称GE）成功地研制出全球首个网状数据库。网状数据库的出现为数据库系统的概念、方法、技术奠定了基础。网状数据库的特点是其数据模型是以节点为基本单位构成的网状结构，对应于有向图1。2）层次数据库（Hierarchiacl Database）。层次数库的出现完善了数据库系统的概念，其特点是其结构为有向有序的树状

26、结构2。3）关系型数据库。关系型数据库绝对是当代数据库的主流。现在在运行的绝大多数系统的数据库都是使用关系型数据库3。4）非关系型数据库（简称NoSQL）。NoSQL是近年快速成长起来的非关系松散数据存储类型数据库。它打破了关系型数据库长久以来占主导地位的。NoSQL存储在使用前不需要事先设计好表结构，它不会出现多表之间的水平分割和连接操作，学术界称NoSQL类型的数据库为结构化存储。随着互联网世界Web2.0标准的兴起，它不仅改变了网站的表现形式，同时也对网站的整体性能提出来更高的要求。面对着随时可能出现大规模数据的读写4（比如120306网站，也就是铁路客户服务中心的网上订票系统，在春节这

27、种高并发环境下就不能满足广大用户的使用需要），传统关系型数据库在性能上似乎达到了瓶颈，特别是高并发性的SNS纯Web2.0动态网站和超大规模的门户网站的时候更显得力不从心。这时NoSQL应运而生，它抛弃了关系型数据库的许多限制性能提升的部分，因为这些部分在处理表单的存储上是可有可无的东西。同时，在互联网上的应用更让它声名鹊起，许多大公司在NoSQL的概念下开发出了实际可用的数据库产品，例如：Amazon的Dynamo、Google的BigTable、Zvents的Hypertable、Apache的Hbase，这些都是很有代表性的产品，并且在实际应用中得到检验。2.1.2 本文所研究的数据库在

28、现代数据库产品中，网状数据库和层次数据库都已经成为历史了。当今，关系型数据库仍然牢牢占据市场头把交椅，绝大多数系统都是以关系型数据库产品作为其数据中心。NoSQL目前虽然炙手可热，但应用比较局限，在高并发、海量数据、高度可扩展的环境中应用比较多，比如SNS网站、云计算等。所以本文的研究对象是关系型数据库（在以下内容，“数据库”这个词在没有特别强调的情况下都指的是关系型数据库）。2.2 异构数据库异构数据库系统是多个相关的数据库系统的一个集合，因为实际业务的需要，必须实现异构数据库系统之间数据的透明访问和共享，异构数据库系统中每个数据库系统在加入异构数据库系统之初本身就已存在，完全独立拥有属于自

29、己的数据库管理系统5。异构数据库系统的各个数据库系统具有自治性，它们共享数据的同时，每个数据库系统依然保有自己的完整性控制、安全性控制和应用特性。异构数据库系统是一个既与各个异构数据库有密切联系，又区别于各个数据库的新的概念，它的研究目标是对物理上分布的一个或多个异构数据库，在尽可能少的影响本地数据库的自治性的基础上，构造出具有开发者所需要的可以接口统一、透明访问的全局数据库管理系统，以支持对内部各个数据库的全局应用和异构数据库之间的数据信息共享和交换6。异构数据库系统的形成原因主要有以下几方面：1）计算机平台不同。计算机系统指的是计算机基础环境，包括硬件平台、操作系统、访问控制、并发控制和通

30、信方式。具体细分如下：A）计算机硬件异构。根据计算机CPU的不同，也就是数据库系统可能分别存储在大型机、小型机、工作站、个人电脑或嵌入式系统等中。B）操作系统的不同。数据库所在计算机的操作系统可能是 Microsoft的Windows、WindowsNT、各种版本的Unix、Linux、IBM05/2、MacOS等。C）开发语言的不同。比如C、C+、Java、Delphi等。D）网络平台的不同。比如以太网结构、令牌环结构等。2）数据库系统不同。A）数据库系统类型不同。即便计算机平台相同了，在该平台上采用的数据库系统也可以是不同，如网状、层次、关系、非关系型数据库等7。B）数据库产品不同。即数据

31、库可能是同为关系型不同厂商的数据库系统的如MySQL、PostgreSQL、Oracle、MS SQL Server、DB2等。也可能是相同厂商不同时期的数据库产品或不同品牌产品8。3）逻辑结构不同。逻辑结构不同体现在命名差异、值类型差异、模式不同和语义不同等。比如语义的差异具体体现在相同的数据形式表示几种不同的语义，又或者同一语义由几种不同形式的数据表示9。2.3 异构数据库整合的背景和意义当今时代，信息资源己成为政府企业的每个部门的重要资源和财富。建立起一个满足各级部门以及跨部门信息处理要求的的信息系统成为一个组织或企业健康生存和持久发展的先决条件。而作为信息系统基础和核心的数据库技术得到

32、非常广泛的应用。毫不夸张的讲，每个系统都有至少有一个或者多个数据库支持。无论是大型信息系统还是小型单项事务处理系统，无论是联机分析处理还是联机事务处理，无论是计算机辅助设计与制造(CAD/CAM)10、计算机集成制造系统(CIMS)、办公信息系统(OA)、地理信息系统(GIS)还是一般企业管理到等，几乎每个应用领域都采用数据库处理并存储它们的数据信息资源，达到了无数据库不系统的地步。然而，随着信息化建设的持续不断深入和计算机科学技术的快速发展，数据库应用技术发展到现在，已经有很多的科研机构和企业积累了大量的数据，这些数据中又有很多是以电子数据的形式存在于数据库中，由于信息建设规划不足、部门差异、系统差异，导致大量的异