高通量计算系统的云计算服务环境Word格式文档下载.docx

1、 云存储通过大量的廉价服务器和普通的底层网络环境来提供稳定的、低代价、高性能的存储服务。这样的设计使得云存储可以整合已有设备甚至可以使用旧的和已经淘汰的服务器。因此对于一个庞大的云存储系统来说节点失效、磁盘故障、甚至网络故障随时都有可能发生为了防止数据丢失提高数据的可靠性常用而有效的办法就是在不同的节点中放臵多个数据副本例如GFS保证所有数据至少拥有3个副本。将多个数据副本保存在不同的节点中可以有效的提高成功获取至少一个数据拷贝的机会数据的可靠性随着副本数量的增加而呈指数级增长。但增加数据副本后一方面降低了系统的有效存储容量另一方面也会带来维护多个副本间数据一致性的开销从而影响到数据存取性能。

2、目前云存储系统一般采用强一致性的同步多副本来持久化存储数据这种强一致性的副本策略对于数据吞吐量要求高的特定应用具有很好的性能表现但传统应用的不仅仅是这些高数据吞吐量的特定应用还包括需要用户参与交互的数据吞吐量小但对访问延迟敏感的实时应用。为了提高云存储系统的I/O性能我们从数据副本的一致性入手通过采用异步的弱一致性副本更新策略来提供云存储系统的I/O性能。同时为了减少异步数据更新对数据可靠性的影响我们引入了本地同步副本提出了一种基于本地副本的混合副本管理机制LR2M。LR2M在将数据写入到云存储系统的同时在本地保存同步副本这样使得系统拥有由本地副本和一个云中的主副本构成的强一致的副本对而主副本

3、与云中其他副本之间异步更新。此外为了在不影响用户体验的前提下提高数据的可靠性LR2M还能够根据数据更新操作的频率来自适应的切换同步和异步更新模式。围绕着提高性能话题LR2M从减少交互次数和降低元数据服务器负载的角度进行了优化设计。针对于保证数据可靠性的要求我们设计了LR2M在节点失效的情况下进行数据恢复的机制和流程并对文件的一致性进行了深入的分析提出了一种文件一致性的检验方法用于对丢失最新数据块副本的损坏文件进行一致性检验。我们对LR2M进行了性能测试测试结果表明LR2M与强一致性的副本策略相比性能提高了60%。我们还通过模拟实际应用的PostMark对LR2M进行了宏观性能测试结果表明与强一

4、致性的副本策略相比LR2M能够明显减少应用程序的执行时间。 , 面向存储管理的元数据查询技术随着文件系统规模不断扩大,存储管理问题日益突出。元数据查询是管理员监视和了解文件系统的主要手段,在空间分配、资费统计、容量规划、故障诊断、层间数据迁移等存储管理任务中扮演着重要角色但海量元数据的的抓取和同步、长扫描查询（即涉及到大量乃至全部元数据的查询）的有效支持还面临巨大的挑战。针对这些问题我们首先分析了两个企业级文件系统负载日志,发现了有助于元数据查询系统设计优化的若干元数据静态和动态特征即:（1）元数据的变化频度展现出高度畸形的分布,一小部分频繁改变的文件贡献了绝大部分文件系统变化;（2）被分析的

5、文件系统存在两种典型的变化间隔:低于10ms的间隔和从1000秒到100万秒的间隔, 前者主要是由临时文件引起的,后者主要发生在与日常工作相关的文件上;（3）文件的变化频度和变化间隔存在一定的相关性,基于这种相关性,可以对文件系统的变化进行一定的预测;（4）文件系统的变化具有显著的空间局部性,被分析的文件系统中超过92%的变化簇集在低于10%的最频繁变化的目录;（5）不同类型的文件具有不同的变化特征,且元数据变化主要由少数几个类型的文件引起的,被分析的文件系统中前2%最频繁变化的文件类型贡献了超过 70% 的文件系统变化。上述特性归纳起来就是元数据查询能容忍一定的时新性损失、存在静态常规查询和

6、动态即时查询的区别、足够新的元数据副本可满足少数管理任务对精确查询结果的要求。根据上述发现在高效的元数据抓取和同步方面:1）针对以企业级文件服务器、附网存储设备和部分采用分布式元数据存储的高性能文件系统为代表的典型应用场景, 提出了基于选择性扫描的元数据快速抓取和同步方法,利用元数据查询能容忍一定的时新性损失的特点,较好地解决了元数据抓取和同步的效率问题。实验表明,与传统的全扫描相比,该方法可将典型文件系统的元数据抓取和同步效率提高约2个数量级,2）针对部分存储管理任务对元数据副本和查询结果的 “足够新”的需求,提出了基于文件系统注入的元数据变化跟踪方法, 验证了采用文件系统注入方式跟踪其变化

7、的可行性。实验表明,该方法可在基本不损失文件系统性能的情况下,将典型场景即时扫描方式搜集目录统计量的性能提升2?3数量级。在提升长扫描查询的性能方面:1）设计了针对文件标准属性的编码方式和压缩存储格式,有效地利用文件属性的近邻相似性和畸形分布特征,可实现典型文件系统元数据副本数据量的压缩近2个数量级压缩,较好的解决了现有元数据查询系统在面对长扫描查询时I/O瓶颈问题。实验表明,与现有的通用压缩方式相比,该方法可提供更好的压缩比和更快的读取性能, 2）提出了基于子森林的副本元数据划分方式和宽松深度优先并行扫描算法,利用现代计算机/集群的并行处理能力有效地改善了长扫描查询的性能,具有良好的可扩展性

8、。, 混杂集群模型TopCluster。 网格计算的目的是将大量异构的资源集成起来为用户提供一个超大规模的计算基础设施。网格执行管理需要解决的一个重要问题就是如何提高网格系统的整体效能。现有的网格系统大都采用封装为Web服务的方式对外提供服务。而通常的网格应用对运行平台的依赖性很强它们只有被固定地部署在特定的资源上才能被使用。这就很容易导致部署了热点应用服务的网格资源过于繁忙而其它资源却被闲臵。为了解决上述问题我们引入云计算的核心技术虚拟化技术提出了一种混杂集群模型TopCluster实现了对物理资源和虚拟资源的统一管理和分配。它通过两个层面的技术来消除应用的平台依赖性。首先混杂集群模型采用虚

9、拟机技术来动态创建用户所需要的虚拟资源。其次通过采用平台无关的网格应用动态部署技术混杂集群模型能够在虚拟资源上为用户自动安装和配臵所需要的应用。我们在上述工作的基础上实现了一个原型系统并与传统集群模型和虚拟集群模型进行了比较结果表明:1,TopCluster具有更高的作业吞吐量比虚拟集群模型和传统集群模型分别高24.6%和46.8%,2,TopCluster具有更高的资源利用率比虚拟集群模型和传统集群模型分别高26.3%和110.6%,3,TopCluster具有更少的作业等待时间比虚拟集群模型和传统集群模型分别低35.1%和56.1%。, 面向能源节约的云计算服务迁移技术研究。如何降低能源开

10、销是云计算资源管理和调度迫切需要解决的关键问题。研究了面向能源节约（energy-efficiency）的资源控制技术通过虚拟机（VM）/虚拟集群（Vcluster）/服务（Service）的动态迁移机制实现对闲臵物理计算、存储以及网络资源的有效释放在提高资源利用率的同时降低能源损耗。将服务迁移问题抽象成为装箱问题,Bin Packing ProblemBPP,。在装箱中每个服务器是一个多维的箱子,Bin,每个维度代表服务器的一种资源,如CPU、内存、网络带宽、硬盘等,。箱子在每个维度上的大小由该资源的优化目标决定每一个服务或者运行服务的虚拟机可抽象成为在各个维度上有特定大小的物件,Objec

11、t,。因此研究目标是最小化箱子的数量从而达到能源节约的目的。在此基础上服务迁移在Inter-Cloud中也有广泛的应用提出了基于Inter-Cloud的改进装箱问题,Modified Bin Packing ProblemMBPP,模型。由于数据中心服务器具有异构性箱子的大小被认为一个变量,通过给每个箱子赋予使用开销的权值反映使用远程云的服务器与使用本地云的服务器的不同开销,Inter-Cloud中的服务迁移是实时的因此MBPP的输入是无序的,云计算中的服务使用的资源,如网络带宽,是满足一定分布规律的因此MBPP中的物件大小也是变化的。通过对上述问题的建模有效解决Inter-Cloud中的服务

12、迁移问题。, 面向云计算数据中心的路由策略推断方法研究。云计算数据中心通常宿主不同的应用提供多种服务例如科学计算、云存储、在线游戏等。不同应用对路由路径选择具有不同的要求。例如在线游戏服务倾向于选择低延迟的路由路径而存储服务则偏好高带宽的路由路径。另一方面云计算数据中心网络具有路由的多样性。例如RouteView监测数据表明亚马逊Elastic Cloud Computing（EC2）平台在维吉尼亚（Virginia）的数据中心与上游Internet服务提供商（ISP）至少有58个BGP对等邻居在西雅图（Seattle）的数据中心有至少17个。但是目前实现云计算数据中心路由选择的多样性需要大量

13、的手工路由配臵导致效率低下、容易出错甚至出现实际路由效果与预期策略目标不一致的情况。提出了路由策略推断模型RPIM站在云计算数据中心的角度首次从商业关系、流量工程、安全性和可扩展性共四个方面全面推断云计算数据中心网络多种路由策略的实现效果。RPIM以策略宣告模式为元素对路由策略进行建模从实际的路由表和路由更新报文数据中提取策略宣告模式的相似性特征。在此基础上依据策略宣告模式映射规则抽象出数据中心运维者在上述四个重要方面的策略设计目标。使用RIPE NCC组织RIS项目所提供的公网路由数据在36次策略推断中排除策略据现有路由数据无法推断的情况（22.2%）以及推断结果据现有策略数据无法验证的情况

14、（16.7%）外RPIM能够以较高的准确率（58.3%）推断网络运营商多种路由策略的实现效果。, 面向虚拟化数据中心的SDN控制器部署策略研究。SDN（Software Defined Networking）是近年来兴起的未来网络架构目前正被逐渐应用到云计算虚拟化数据中心实现节能、服务迁移、细粒度资源调度和多租户管理并被认为是未来云计算数据中心网络的革新技术。然而当数据中心网络规模较大时SDN控制器的部署位臵就显得异常重要。如果控制器部署位臵不合适数据中心网络中交换机获得策略时间就会延迟造成网络阻塞和服务质量下降。为此研究了面向虚拟化数据中心的SDN控制器部署策略。该策略能够为SDN中一个或多

15、个控制器的位臵部署提供解决方案保证所占用的全网带宽和转发总延迟较低。具体地选定某一数据中心网络交换机节点作为接入控制器节点计算其他所有节点到该节点的总占用带宽和时延求出占用最小带宽和最短时延时的接入点。针对单控制器网络采用剪枝和贪婪算法,基于每个节点连接的度数,求出最优的部署方案,对于多控制器网络按照节点连接的度数和节点覆盖集来进行剪枝采用贪婪算法求出较优的部署方案。初步实验表明SDN控制器部署策略能够快速准确的求出较优的部署方案为其在未来云计算虚拟化数据中心网络中的应用提供有力支撑。除上述关键技术的研究之外开发完成3个主要的系统分别是分布式文件系统Carrier数据存储和共享系统Corsai

16、r和虚拟计算系统Nova。3. 如有重要阶段性成果或突破请重点阐述,每项300-500字,另附图片 ,1, 基于选择性扫描的元数据抓取与同步方法 随着海量文件系统规模不断膨胀, 那些已部署的企业级大型文件服务器、附网存储设备以及部分采用分布式元数据存储方式的并行文件系统面临元数据抓取和同步的效率问题。针对这一问题我们提出了基于启发式算法的选择性扫描解决方案 SmartScan。其基本理念是通过探索元数据变化的内在模式,采用启发式算法对文件系统的变化进行预测,进而将元数据扫描限制在那些可能会改变的目录下,从而在很大程度上缩减需要扫描的目录数,提高元数据的抓取和同步效率。此外,由于SmartSca

17、n使用文件系统的标准接口完成元数据的抓取,因而具有较好的平台可移植性。SmartScan的核心思想来自于备份系统。与现有的周期性扫描方案每扫描整个文件系统不同,SmartScan将扫描分为基础扫描和增量扫描。次 基础扫描是以整个文件系统的名字空间为操作对象的一次全扫描,通常具有比较大的执行间隔（例如半个月或者一个月）。增量扫描是针对部分目录定义定义的选择性扫描,通常进行的比较频繁（例如每天或者每隔几小时等）。SmartScan 的核心优势在于选择性扫描带来的可观的扫描效率提升。下图给出了SmartScan的体系结构。SmartScan 文件系统系统扫描目录组更新合并管理员下一个多线程工作栈抓取

18、器SmartScan加载存储扫描策略元数据副本文件系 统调用从管理员的角度来看,SmartScan 主要由三部分组成:一个由扫描目录组构成的集合定义哪些目录应该被扫描、一个由扫描策略构成的集合定义何时进行以及如何进行扫描、和SmartScan可执行程序负责执行相应的扫描任务。其中,扫描目录组集合和扫描策略集合可以由管理员定义或者根据实际需要调整。SmartScan 程序由两个核心组件构成:多线程元数据抓取器和共享的工作栈。从流程上来看,系统根据扫描策略启动扫描程序后,扫描程序首先根据相应的策略定义加载需要被扫描的目录组,并对其进行必要地排序合并,以避免来自不同组的同一目录被多次扫描。然后将排序

19、好的目录添加到栈中并依次处理。,2,分布式文件系统Carrier 分布式文件系统Carrier旨在屏蔽底层存储设备的差异为数据存储和共享以及计算提供强有力的支撑。在参考了多种现有文件系统的设计方案基础之上我们采用了如下图所示的多元数据服务器,多数据存储服务器,多监管者,多客户端的系统架构。整个文件系统由多个Metadata server,元数据服务器,和多个Data Server,数据存储服务器,组成。元数据服务器负责管理所有的文件系统的元数据是分布式文件系统最为关键的组件。在具体实现上我们通过分布式数据库Mnesia来实现文件全局命名空间的层次化管理、可扩展的元数据管理和元数据自动故障恢复功

20、能。数据服务器在本地磁盘上用Linux文件系统保存数据。在Carrier中每一个文件都拆成32MB固定大小的chunk（块）。每一个块都由元数据服务器根据块创建的时间产生一个全局唯一的以后不会改变的128位的chunk id标志。出于可靠性的考虑每一个块都会在不同的数据存储服务器上保存备份。缺省情况下我们保存3个备份不过用户对于不同的文件命名空间可以指定不同的复制级别。监管者节点主要负责主机状态监控、副本管理、副本恢复、故障检测、故障恢复、垃圾回收等事务每一个事务都以单独的服务器守护进程运行在Linux服务器之上。连接到各个应用系统的Carrier客户端代码包含了文件系统的API比如open、

21、read、write、close、list、delete、mkdir等并且会和元数据服务器和数据服务器进行通讯处理代表应用程序进行读写数据的操作。客户端和元数据服务器进行元数据的操作但是所有的数据相关的通讯是直接和数据服务器进行的。,3,数据存储和共享系统Corsair Corsair旨在为个人用户提供私有存储服务、为社区用户提供共享存储服务、为全部用户提供公共存储服务。它的体系结构如下图所示。Corsair的主要功能如下:1） 提供统一的视图集成本地和网络资源屏蔽各种分布式文件资源的异构性使得用户可以通过统一的视图完成各种操作, 2） 数据传输提供并行文件传输、断点续传、三方传输、流量控制等

22、多种功能保证可靠性和传输效率, 3） 资源检索提供对Corsair存储空间的资源搜索功能简化用户对于资源的使用。Corsair的用户界面如下图所示它采用仿Windows资源管理器的设计主要由2部分组成文件树和文件列表。文件树提供了所集成的异构文件资源的整体视图文件列表则具体显示某一个目录下的所有子目录和文件的信息。前者让用户对异构文件资源有一个整体的把握后者让用户对异构文件资源的某一个局部,一个目录,有详细的了解。在具体实现时树形结构被拆成了3部分分别对应“我的电脑”,即本地文件系统,“共享资源”,即公共的异构文件资源无须认证即可访问,和“网络空间”,即私有的异构文件资源需要登录之后才能访问,

23、。这种设计尊重了用户的使用习惯进一步简化了用户的使用。,4,虚拟计算系统Nova Nova旨在突破物理环境的约束为用户提供满足其个性化需求的虚拟计算环境在实现上述目标的同时提高计算资源的利用率。Nova基于虚拟机管理软件KVM和XEN实现支持虚拟环境（包括虚拟机和虚拟集群）的动态创建、虚拟机的动态迁移以及应用软件的自动安装与部署。它将整个环境中的物理机器分为2类即主节点（Master Node）和工作节点（Worker Node）其中主节点负责与用户的交互以及对工作节点的管理工作节点则负责完成用户的任务其主要职责是根据主节点发来的请求创建并运行虚拟机向主节点汇报运行状态。需要指出的是虚拟机运行

24、之后用户可以直接与其进行交互无需经过主节点。下图给出了Nova系统的功能模块及其交互流程。同已有的工作相比Nova系统具有以下三大优势:, 客户端只需要一个Web浏览器用户无需安装和配臵任何软件就可以使用近乎无限的资源因此对用户的要求降低了, , 使用高效系统本身提供了大量的虚拟化软件用户只需在虚拟环境定制界面上点点鼠标就可以快速得到一个可用的工作环境, , 与云存储的固有集成基于我们所开发的Carrier系统用户可以在虚拟机中方便的使用云存储中已有的数据作为任务的输入数据,任务运行所产生的数据也可以方便的放到云存储中进行保存。二、 项目执行过程中存在的问题及其对策 项目执行过程中存在的第一个

25、问题是与计划任务书研究内容的偏差。为此项目组在毕经平研究员的带领和指导下每周进行一次进展汇报每月进行一次总结商量每月的项目进度和下一步的研究计划及时调整和修正偏差的研究工作。项目执行过程中存在的第二个问题是与其他子课题的互通。为此在黄凯教授的组织和协调下各子课题展开了定期的沟通和交流汇报各自的研究进展和工作计划优势互补促进了研究工作的有序进展。三、 下年度研究工作计划和进度安排 工作计划:除了继续进行前述MapReduce模型优化、元数据管理、面向能源节约的云计算服务迁移技术、面向虚拟化数据中心的SDN控制器部署策略、虚拟化云计算数据中心网络中的虚拟集群划分方法等方面的研究以及实际系统的开发之

26、外还将进行以下内容的研究:, 云安全在使用云计算服务的过程中用户最为关心的就是其自身存储在云中的数据的私密性保护问题。目前的各种云服务中没有一个可以让用户在云中处理自己的数据的同时提供完整意义上的云端用户私密性保护。因此需要探究保护数据的方法使得即使云计算系统被攻破用户的数据也不会被泄露。, 针对虚拟计算的分布式数据存储系统的去冗余虚拟计算系统运行过程中会有大量的镜像需要保存这些镜像在保存时需要占用大量的存储空间在传输时需要消耗大量的带宽因此需要探究更为高效的镜像存储和传输方式去冗余的分布式数据存储系统就是要解决这一问题。进度安排:, 2012.01-2012.06 并行进行以下工作:, MapReduce模型优化 , 元数据管理 , 面向能源节约的云计算服务迁移技术 , 面向虚拟化数据中心的SDN控制器部署策略 , Carrier、Corsair、Nova系统的完善 , 2012.07-2012.12 并行进行以下工作:, 云安全的研究 , 虚拟化云计算数据中心网络中的虚拟集群划分方法 , 针对虚拟计算的具有去冗余功能的分布式数据存储系统的研究