基于linux集群的云服务技术设计与实现.docx
《基于linux集群的云服务技术设计与实现.docx》由会员分享，可在线阅读，更多相关《基于linux集群的云服务技术设计与实现.docx（63页珍藏版）》请在冰点文库上搜索。
基于linux集群的云服务技术设计与实现
分类号：
TP311.5单位代码：
10335
密级：
学号：
Z114325284
硕士学位论文
中文论文题目：
基于云环境的DMOC技术应用实践
英文论文题目：
PracticeofCloud-basedDMOCTechnology
申请人姓名：
申婷婷
指导教师：
平玲娣教授
合作导师：
专业学位类别：
工程硕士
专业学位领域：
软件工程
所在学院：
软件学院
论文提交日期2013年04月10日
基
于
云
环
境
的
DMOC
技
术
应
用
实
践
申
婷
婷
浙
江
大
学
基于云环境的DMOC技术应用实践
论文作者签名:
指导教师签名:
论文评阅人1：
评阅人2：
评阅人3：
评阅人4：
评阅人5：
答辩委员会主席：
委员1：
委员2：
委员3：
委员4：
委员5：
答辩日期：
PracticeofCloud-basedDMOCTechnology
Author’ssignature:
Supervisor’ssignature:
Thesisreviewer1：
Thesisreviewer2：
Thesisreviewer3：
Thesisreviewer4：
Thesisreviewer5：
Chair：
（Committeeoforaldefence）
Committeeman1：
Committeeman2：
Committeeman3：
Committeeman4：
Committeeman5：
Dateoforaldefence：
浙江大学研究生学位论文独创性声明
本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。
除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得浙江大学或其他教育机构的学位或证书而使用过的材料。
与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。
学位论文作者签名：
签字日期：
年月日
学位论文版权使用授权书
本学位论文作者完全了解浙江大学有权保留并向国家有关部门或机构送交本论文的复印件和磁盘，允许论文被查阅和借阅。
本人授权浙江大学可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。
（保密的学位论文在解密后适用本授权书）
学位论文作者签名：
导师签名：
签字日期：
年月日签字日期：
年月日
摘要
随着云计算产业的不断发展，云计算的概念在不断的被否认与被认可中走向清晰。
由于云计算可以满足现有企业对大数据处理的需求，各大企业在现有认识的基础上，竞相加大对云计算的投入，由云计算衍生出的云计算平台的构建、云计算应用的开发、云服务模式的实现发展势头迅猛。
另外，随着本地化客户端走向衰退，人们希望能够随时随地获取数据。
作为计算应用的新模式，为IT行业的发展带来重大变革从始至终一直是人们对云计算持有的梦想。
云计算以其高效性、可靠性、可扩展性和高负载能力也越来越多的被企业和个人采纳利用。
基于云计算的应用已经通过多种云服务模式的实现为行业发展带来了重大改变。
本文主要通过对SAP的云计算应用DMOC产品的介绍，首先针对当下流行的云计算服务模式进行探讨，通过分析不同服务模式的利弊，引出本文DMOC产品采用的云服务模式；其次，通过对云计算平台技术的研究，以及对DMOC产品开发所需应用技术的详细探讨，推导出实现产品开发的整体框架并付诸于实践；再次，云计算的安全性问题一直是云计算发展过程中最为引人注目的问题，本文使用大量笔墨对云计算的安全性实现进行了详细研究，从集群、单点登录、授权机制以及安全监察等方面全面阐述了云计算的安全性在DMOC产品中的实现，为今后云应用的安全性开发提供参考；最后，通过安全性测试结果进一步证实了产品能够实现对业务处理的安全保障。
关键词：
云计算，云服务，SAML,安全性，集群，PaaS
Abstract
Withthecontinuousdevelopmentofthecloudcomputingindustry,theconceptofcloudcomputingisbecomingclearbycontinuousdenyingandrecognizing.Cloudcomputingcanmeetthecurrentbigdataprocessingneeds,soavarietyofmajorcompaniesarecompetingtoincreaseinvestmentincloudcomputingonthebasisofexistingknowledge.Thedeploymentofcloudcomputingplatform,thedevelopmentofcloudcomputingtechnologyandtheimplementationofcloudservicesallderivedfromcloudcomputingareachievingrapiddevelopment.Inaddition,withlocalizedclienttowardrecession,peoplewanttobeabletogetdataanytime,anywheretheywant.Cloudcomputingisregardedasanewmodelofcomputingapplication,wishingitbringbigchangestoITindustryhasbeenalong-helddream.Cloudcomputingwithitsefficiency,reliability,scalabilityandhighloadcapacity,hasbeenmoreandmorewidelyaccepted.Thecloud-basedapplicationshavebroughtasignificantchangetothedevelopmentoftheindustrythroughavarietyofcloudservicemodels.
Inthispaper,bytheintroductionoftheSAPcloudcomputingapplicationsDMOCproducts,firstly,weexplorethecurrentpopularcloudservicemodel,leadstothereasonwhytheDMOCproductusesthespecifiedcloudservicemodelbyanalyzingtheadvantagesanddisadvantagesofthedifferentservicemodels;Secondly,throughthestudyofthecloudcomputingtechnologyandthedetailedexplorationofapplicationtechnologyontheDMOCproductdevelopmentrequired,derivetheproductframeworkandputthemintopractice;Thirdly,thesecurityofcloudcomputingisthemoststrikingproblemofthedevelopmentprocess,weusealotofinktoshowadetailedstudyonthesecurityimplementation,throughacomprehensiveexpositionofthesecurityintermsofcluster,singlesign-on,authorizationmechanisms,aswellassecuritymonitoring,thepapergivesthemethodstorealizecloudapplicationsecuritydevelopment;Finally,thesafetytestingresultsfurtherconfirmthattheproductcanachievethesafetyandsecurityofthebusinessprocess.
KeyWords：
cloudcomputing,cloudservices,SAML,security,cluster,PaaS
图目录
表目录
第1章绪论
1.1研究背景
所谓“天下事，合久必分，分久必合”，当前时代，IT企业与计算机之间的关系发生着类似的变迁。
由原来的大型机，分化到小型机这是计算机演变的“分”，到如今云计算的提出，是“合”，将资源整合共享，已经是行业发展的大势所趋。
当今世界，正在以前所未有的速度由传统IT基础架构向云计算解决方案迁移。
使人们“像用电一样使用计算资源”的梦想成为现实，这不仅标志着IT技术的重大革新，还引发了商业模式的巨大变革。
近年，各企业在云计算的研发和推广上不断加大投入。
数据表明，企业应用云计算的领域已经不只是测试、培训和展示，而是将其应用到生产系统，实现效益最大化[1]。
SAP公司基于这一现状，在云计算发展迅速的当下，以已有产品为基础，结合云计算技术，研发并推出了云计算解决方案DMOC（DataManagementonCloud）。
该产品是基于DM（DataManagement）进行的重构和二次研发。
旨在抽取部分已有本地化产品的功能，将其实现于云端。
产品分为服务器端和客户端两部分。
研发过程中，本人主要负责产品服务器端的研发和部署工作。
本文就结合这一研发过程，由“云”在企业软件架构中的应用引入，深入研究基于Linux集群的云服务技术的研发与实现，着重对分布式系统部署，以及云计算安全等方面进行探索研究。
1.1.1云计算的产生
根据IBM云计算白皮书里关于云计算一词的定义，可以了解到云计算可以是一种用来描述一个系统的平台或者可以是一种类型的应用程序。
云计算的平台通常是按需对其进行动态地部署（provision）、配置（configuration）、重新配置（reconfigure）以及取消服务（deprovision）[24]。
云计算平台中的服务器既可以是由专业人员部署的物理服务器，也可以是虚拟服务器。
高级的云计算可以包括一个完整的云平台以及部署于这个云平台上的各种云计算的应用以及类似共享文件系统、防火墙和一些其他保证云计算安全的设备等计算机资源。
在高级云计算里，云计算应用占据重要地位，它可以按需扩展，用户只需要通过互联网就可以对其进行访问。
这些“云应用”被部署在通过大规模的数据中心以及由专业人士根据最优性能的目标部署而来的服务器上，为用户提供相应的云计算服务。
基于此定义，可以将云计算的优势概括为两个方面:
一方面针对基础设施的选择,既可以选用昂贵高效的大型机，又使虚拟服务器或者廉价服务器的使用成为可能；另一方面针对构建于基础设施之上的云计算应用，其支持范围更加广泛，可以实现按需开发，随需而变。
同时，应用程序可以与底层服务协作，最大限度的利用资源。
以上定义也使得云计算具有可扩展性[14]以及高可用性[15]的特征。
由于廉价集群式服务器的使用，云计算可以由小型集群扩展到大型集群模式。
同时，通过集群技术，云计算能够容忍节点的错误,通过节点间的冗余，即使有很大一部分节点发生失效也不会影响程序的正确运行。
这些特征的具备将云计算之于企业和个人用户的价值大大提高，进而造就了云计算现今势如破竹的发展态势。
当然，在云计算产生之前，业界一直倡导传统数据中心。
传统数据中心的设计目标是能够持续工作，希望设备能够一直不损坏、保持正常工作。
但随着时间的推移，其劣势也逐渐显现。
简单而言，传统数据中心就是一大堆物理设备孤立的堆砌，想要建立好数据中心，必须管理好日益增多的物理设备，保持良好的环境，不要损坏和丢失，出了故障要有人维修。
但是，资源孤立不能共享、工作负载静态管理，不能在整个数据中心实时、动态调度等造成了传统数据中心资源利用效率低下。
不仅服务器工作负载是静态的，而且网络和存储系统的工作负载也是如此，造成各种资源利用效率的全面低下。
总之，对于传统数据中心[22]，由于缺乏对资源部署的统一规划，导致异构的计算资源和存储资源难以进行有效整合与扩展，从而会给企业和用户带来资源浪费、管理困难以及维护成本高昂等弊端。
云计算的产生就是在探索规避传统数据中心弊端的道路上逐渐被提出的。
它是随着计算、存储以及通信技术的快速发展而出现的一种崭新的共享基础资源的商业计算模型，被誉为“革命性的计算模型”；它可以为用户提供可配置的、可共享基础资源的计算模型，通过云计算的使用，用户能够在云服务提供商很少参与的情况下，方便、实时地访问网络、存储、数据等自身持有的资源。
之后，随着云计算与IT业务的相结合，其优势就尤其明显。
第一是降低运营成本，提升业务管理效果；第二点就是提高可靠性和承载能力，采用云计算之后，单点故障被消除，可靠性得到提升，我们可以把多台计算机连接在一起，实现网络资源、计算资源、存储资源的共享；第三就是集群应用，实现规模效应、弹性扩展，能够提供更灵活便捷的服务。
云计算的这些特点让传统的数据中心焕发崭新活力。
高效的资源利用率、高可用性，可扩展性，高可靠性、支持虚拟技术、廉价以及服务多样性的特点降低了数据中心的运营成本，也为新兴的互联网企业带来了更加弹性、灵活的服务模式。
1.1.2云计算的现状
由于云计算的优势日益显现，各大IT巨头相继投入其中。
云计算起源于亚马逊和Google两个公司，它们最早使用了“CloudComputing”[23]的表述方式。
目前为止，公开宣布进入或支持云计算技术开发的业界巨头包括微软谷歌、IBM、亚马逊、Adobe等。
作为云计算的提出者。
2006年，Google启动了“Googlel01”计划，引导大学生们进行“云”系统的编程开发。
由于Google在搜索引擎技术上的积累是其他IT企业无可匹敌的，Google凭此优势，在云计算技术上一直处于领先的地位。
不仅提供在线应用，还通过自身的数据库系统优势的发挥，成立了在线应用的统一平台。
Google已经具有一套专属的云计算平台,这个平台是由GFS（GoogleFileSystem）、MapReduc分布式编程以及分布式的大规模数据库管理系统BigTable三部分组成。
专门为最重要的搜索应用提供服务，现在已经扩展到其他的应用程序。
IBM公司于2007年底宣布了云计算计划，云计算的概念出现在大众面前。
“蓝云”计划[18]的提出推出了共有云和私有云的概念。
“蓝云”计算平台的主要组成部分包括数据中心、IBMTivoli部署管理软件、IBMTivoli监控软件、IBMWebSphere应用服务器以及IBMDB2数据库等[24]。
同时，它还使用一些开源的信息化处理或是虚拟化软件来实现消息处理或者流量控制等功能。
其特点主要体现在虚拟机以及对于大规模数据处理软件ApacheHadoop的使用。
目前，IBM是唯一提供硬件、软件到服务全部自主生产的厂商。
作为互联网中占有市场份额最大的在线零售商,Amazon每天负担着大量的网络交易。
基于对大数据处理的要求，Amazon也是云计算的开辟者。
Amazon的云计算平台—弹性计算云（elasticcomputecloud，简称EC2）[20]，是一个可以提供给软件开发人员或者其他应用开发商远程服务的云计算服务平台。
EC2是一个建立在大规模集群计算上的云平台，符合当前对云计算平台搭建的现有标准，当然，也可以说，是Amazon通过自己独辟蹊径的部署模式，为云计算平台的部署提供了新的模式和标准。
EC2可以开放给注册并得到应用使用的用户，同时也可以开放给其他地应用开发商，用户只需要在获取相应登录信息之后，通过互联网来操作自己持有或者所需的云计算应用实例。
在这样一个过程建立中，用户不需要任何本地客户端，只需要将自己的服务需求与相应可以满足该需求的云计算应用匹配，然后根据自己的需要付费，通过这种方式，用户不仅可以在最小代价的完成所需服务，同时，也为网络资源的整合和节约成本提供了新方式。
本文研究的云计算产品也将在后续的发展中借助Amazon弹性云平台，为用户提供更多商业用途。
总之，通过对几大云计算业界巨头的云计算平台分析，可以看出，云计算的研究现状如火如荼，并已经取得了一定成效。
对其的研究也大致根据服务分为不同类别。
但是，归根结底，云计算的研究依然处于上升阶段，对其的认识和探索会不断深入，而更加符合市场需要的产品必将不断产生。
1.1.3云计算的机遇
云计算发展至今，对它的认识和定义一直存在激烈地争辩和分歧，但是不可否认，云计算给整个IT行业带了了新的机遇。
首先，我们看到，在云计算领域，私有云和共有云之间的界限越来越模糊，各企业争先选择进入云计算领域，希望分一杯羹。
可喜的是，云计算也在这样的态势下不断发展，企业通过云计算开始重构或者是改进自己的应用软件，通过各种设备终端接入SaaS服务。
与此同时，PaaS服务的开放性也越来越大，给企业发展云计算带来了更多的契机。
其次，云计算的目标是使得用户可以随时随地获取自己的数据，不管数据量有多大。
那么，这一需求就催生了大数据处理的浪潮。
而这些大数据的处理一般都要基于大型的系统架构实现，这也就使得云计算的发展更加合理和迫切。
最后，云计算的发展带来了一个产业型的变革，通过与计算的使用，人们对于传统产业的概念将发生完全扭转。
只保留终端就可以对持有数据进行访问操作。
服务的平台化日趋明显，用户只需要关注服务本省，选定平台即可实现所需的服务。
云产业的产生将催生更多的服务模式以及发展途径[21]。
云计算可以为图1.1中云产业链参加者带来空前的机遇，将推动其获得空前发展，有利于产业布局优化专业分工和资源的高效整合利用。
新增的角色，比如硬件提供商、云服务提供商、基础软件提供商、运维商、云提供商等或新增，或给予之前存在的角色进行新的变革，他们都将借助云计算的发展得到更加长足的进步[2]。
图1.1云产业链
1.1.4云计算的挑战
所谓机遇与挑战并存，存在机遇，也就存在挑战。
云计算在不断发展的过程中也接连遇到了各种挑战。
云计算安全性问题就是从云计算的诞生之日起一直被关注的问题。
直至今日，对于云计算安全的担忧依然是云计算面临的最大问题。
如何保证对用户的安全保证和控制，如何保证用户大数据的安全，如何对商业机密或者用户隐私进行有效保护，都是云计算现在以及将来需要面对的挑战。
虽然云计算使客户端的成本非常低廉，甚至一个浏览器就可以完成所有之前需要一个完整环境和诸多应用软件实现的服务。
但是相对的，这一技术对云端的处理能力要求就提升了许多。
云端要保证准确无误，并且及时迅速地对海量数据进行有效处理。
1.1.5云计算的未来
综上所述，对于云计算的未来将是一个机遇与挑战并存的时代。
云计算的发展，是历史进步的表现，推广云计算可以更好地服务社会，实现社会的进步。
云计算使得即连即用得到实现，强大的信息处理能力也将随着它的不断发展而得到进一步提高。
虽然云计算发展中，安全等会成为其制约因素，但是这些必将会被克服和不断完善。
相信不远的将来，云计算将改变整个行业体系，云计算也会在混沌中产生一个公认的云标准[20]，为其发展提供有力助力。
1.2研究内容
本课题的研究内容是通过对企业级项目DMOC的研究，针对目前流行于IT行业的云服务模式进行探讨，着重研究在云计算中关于集群和负载均衡的技术实现，尤其是针对安全问题做出的努力和实现。
通过在云应用部署过程中的Linux集群搭建以及单点登录技术从一个侧面来阐述保障云计算安全的解决方式。
1.3研究目标
通过对云计算服务模式的研究，比较不同云服务模式的优劣，得出DMOC使用PaaS结合SaaS的理由；
通过对集群技术的研究，设计并实现云应用部署中负载均衡和消息转发；
通过对单点登录技术的研究，有效实现云计算安全性中对用户隐私的保护；
通过对云部署项目的架构研究，展现云应用部署的整体框架和规模。
最后，希望通过对以上技术的研究，进一步加深对云计算的认识和了解，清晰云计算的模糊面纱；通过对DMOC云计算应用的研究，推导出云计算一般开发模式，进而对云计算安全技术的发展产生有力推动。
1.4本章小结
本章节主要阐述了课题的研究背景、研究内容和目标。
研究了云计算的产生，发展，现状以及未来。
通过对几大典型云计算平台的分析，引出当前云计算发展的几大方式，进而引出本文所研究的DataManagementonCloud产品。
通过对云计算的未来进行展望，表明云计算产品的发展充满机遇，但是挑战依然并存。
云计算的发展需要各方坚定信心，继续努力，开创更加辉煌的云计算愿景。
第2章DMOC产品介绍
2.1DataManagement产品介绍
数据管理项目（DataManagement）是一个解决数据集成、数据质量管理、文本分析、数据分析以及元数据管理的企业级解决方案。
该方案提供了一个完整独立的数据处理平台，可以在一系列涉及SAP或者非SAP的应用中充当标准的数据集成和数据质量管理工具。
这一产品由图形化界面、元数据仓库、数据连接层、运行时环境、以及管理平台组成。
通过数据管理项目，可以实现数据由不同数据源进行抽取，转换，以及加载，换言之，数据管理项目属于实现ETL应用的一部分。
作为面向企业的应用，最为关键的是尽可能多的实现对不同数据源形式的支持。
数据管理项目几乎支持所有商业版本数据库。
数据管理项目在加载数据前，需要建立表格，索引，通过密集型工作来实现数据流创建，以及一对一关系下的表格拖放。
数据管理项目的一大特色就是能够通过图形化界面完成数据之间的分析，转换，换言之，通过简单的拖拽，DM就可以实现对单一表格读取，以及数据读取转换流的设计。
同时，在软件应用中还封装不同函数，实现特定的特殊功能。
其次，通过用户或者软件提供方，对作业的不同设计，相应的能够实现不同的数据处理功能。
针对不同需求，可以提供统一但又不是灵活的设计方案，使该产品具有很强的灵活性和适用性。
这样，对于需要进行数据分析的企业，数据管理就基本可以满足其所有的需求。
优秀的大数据处理能力，灵活的实现方式，以及出色的信息治理和分析能力，都使得数据管理软件的推广和使用得到普遍欢迎。
2.1.1DM产品局限性
虽然，作为一个实现ETL功能的数据处理工具，DM已经具备相对出色齐全的各种功能，但是，随着企业和IT技术的发展，企业对
升级会员 