云计算相关及计划清单书.docx

云计算相关及计划清单书.docx

《云计算相关及计划清单书.docx》由会员分享，可在线阅读，更多相关《云计算相关及计划清单书.docx（25页珍藏版）》请在冰点文库上搜索。

云计算相关及计划清单书

项目的背景，相当于前言，你们为什么对项目感兴趣

当今世界，在经济全球化不断开展的同时，气候变化、能源安全、粮食安全等全球性问题更加突出，以知识技术密集、绿色低碳增长为主要特征的新兴产业蓬勃兴起，日益成为引领新一轮产业革命的主导力量。

为应对新挑战、构建新优势，世界主要国家紧紧抓住新兴产业开展机遇，竞相出台开展战略，加大政府扶持力度，抢占经济科技开展制高点。

从2009年起，各国都在加快部署、纷纷出台战略规划和相关政策措施、积极推动云计算产业开展和应用，以期在全球经济与竞争格局深刻变革之中占据最大优势。

21世纪10年代云计算作为一个新的技术趋势已经得到了快速的开展。

云计算已经彻底改变了一个前所未有的工作方式，也改变了传统软件工程企业。

2014中国国际云计算技术和应用展览会3月4日在开幕，工信部软件服务业司司长伟在会上透露，云计算综合标准化技术体系已形成草案。

近期18大会议在未来的十三五计划中明确提出重点开展云存储和云计算，物联网等新兴技术。

互联网的飞速开展，网络信息的爆炸式增长，现实世界中企业对数据的处理，人们对数据的需求发生了巨大的变化。

随着互联网信息量以几何倍增长的今天，普通的计算机信息处理和计算方式已经越来越不能满足现代企业与机构对信息的处理和分析要求，同时人门的生活方式也发生了很大的变化，云计算云存储等能满足未来需求的新技术必然成为应用和探索的热点。

因此我们组决定以云计算等作为本学期学习的重点，完成云计算云存储等实践项目。

相关技术与原理或技术的特点

云计算是一种将可伸缩、弹性、共享的物理和虚拟资源池以按需自服务的方式供给和管理，并提供网络访问的模式。

云计算模式由关键特征、云计算角色和活动、云能力类型和云服务分类、云部署模型、云计算共同关注点组成。

云计算是一种以数据和处理能力为中心的密集型计算模式，它融合了多项ICT技术，是传统技术“平滑演进〞的产物。

其中以虚拟化技术、分布式数据存储技术、编程模型、大规模数据管理技术、分布式资源管理、信息安全、云计算平台管理技术、绿色节能技术最为关键。

1、虚拟化技术

虚拟化是云计算最重要的核心技术之一，它为云计算服务提供根底架构层面的支撑，是ICT服务快速走向云计算的最主要驱动力。

可以说，没有虚拟化技术也就没有云计算服务的落地与成功。

随着云计算应用的持续升温，业对虚拟化技术的重视也提到了一个新的高度。

与此同时，我们的调查发现，很多人对云计算和虚拟化的认识都存在误区，认为云计算就是虚拟化。

事实上并非如此，虚拟化是云计算的重要组成局部但不是全部。

从技术上讲，虚拟化是一种在软件中仿真计算机硬件，以虚拟资源为用户提供服务的计算形式。

旨在合理调配计算机资源，使其更高效地提供服务。

它把应用系统各硬件间的物理划分打破，从而实现架构的动态化，实现物理资源的集中管理和使用。

虚拟化的最大好处是增强系统的弹性和灵活性，降低本钱、改良服务、提高资源利用效率。

从表现形式上看，虚拟化又分两种应用模式。

一是将一台性能强大的服务器虚拟成多个独立的小服务器，服务不同的用户。

二是将多个服务器虚拟成一个强大的服务器，完成特定的功能。

这两种模式的核心都是统一管理，动态分配资源，提高资源利用率。

在云计算中，这两种模式都有比拟多的应用。

2、分布式数据存储技术

云计算的另一大优势就是能够快速、高效地处理海量数据。

在数据爆炸的今天，这一点至关重要。

为了保证数据的高可靠性，云计算通常会采用分布式存储技术，将数据存储在不同的物理设备中。

这种模式不仅摆脱了硬件设备的限制，同时扩展性更好，能够快速响应用户需求的变化。

分布式存储与传统的网络存储并不完全一样，传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，不能满足大规模存储应用的需要。

分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

在当前的云计算领域，Google的GFS和Hadoop开发的开源系统HDFS是比拟流行的两种云计算分布式存储系统。

GFS〔GoogleFileSystem〕技术：

谷歌的非开源的GFS〔GoogleFileSystem〕云计算平台满足大量用户的需求，并行地为大量用户提供服务。

使得云计算的数据存储技术具有了高吞吐率和高传输率的特点。

HDFS〔HadoopDistributedFileSystem〕技术：

大局部ICT厂商，包括、Intel的“云〞计划采用的都是HDFS的数据存储技术。

未来的开展将集中在超大规模的数据存储、数据加密和安全性保证、以与继续提高I/O速率等方面。

3、编程模式

从本质上讲，云计算是一个多用户、多任务、支持并发处理的系统。

高效、简捷、快速是其核心理念，它旨在通过网络把强大的服务器计算资源方便地分发到终端用户手中，同时保证低本钱和良好的用户体验。

在这个过程中，编程模式的选择至关重要。

云计算项目中分布式并行编程模式将被广泛采用。

分布式并行编程模式创立的初衷是更高效地利用软、硬件资源，让用户更快速、更简单地使用应用或服务。

在分布式并行编程模式中，后台复杂的任务处理和资源调度对于用户来说是透明的，这样用户体验能够大大提升。

MapReduce是当前云计算主流并行编程模式之一。

MapReduce模式将任务自动分成多个子任务，通过Map和Reduce两步实现任务在大规模计算节点中的高度与分配。

MapReduce是Google开发的java、Python、C++编程模型，主要用于大规模数据集〔大于1TB〕的并行运算。

MapReduce模式的思想是将要执行的问题分解成Map〔映射〕和Reduce〔化简〕的方式，先通过Map程序将数据切割成不相关的区块，分配〔调度〕给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整

输出。

4、大规模数据管理

处理海量数据是云计算的一大优势。

那么如何处理如此涉与到很多层面的东西，因此高效的数据处理技术也是云计算不可或缺的核心技术之一。

对于云计算来说，数据管理面临巨大的挑战。

云计算不仅要保证数据的存储和访问，还要能够对海量数据进展特定的检索和分析。

由于云计算需要对海量的分布式数据进展处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。

Google的BT〔BigTable〕数据管理技术和Hadoop团队开发的开源数据管理模块HBase是业界比拟典型的大规模数据管理技术。

BT〔BigTable〕数据管理技术：

BigTable是非关系的数据库，是一个分布式的、持久化存储的多维度排序Map.BigTable建立在GFS,Scheduler,LockService和MapReduce之上，与传统的关系数据库不同，它把所有数据都作为对象来处理，形成一个巨大的表格，用来分布存储大规模结构化数据。

Bigtable的设计目的是可靠的处理PB级别的数据，并且能够部署到上千台机器上。

开源数据管理模块HBase:

HBase是Apache的Hadoop项目的子项目，定位于分布式、面向列的开源数据库。

HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。

另一个不同的是HBase基于列的而不是基于行的模式。

作为高可靠性分布式存储系统，HBase在性能和可伸缩方面都有比拟好的表现。

利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。

5、分布式资源管理

云计算采用了分布式存储技术存储数据，那么自然要引入分布式资源管理技术。

在多节点的并发执行环境中，各个节点的状态需要同步，并且在单个节点出现故障时，系统需要有效的机制保证其它节点不受影响。

而分布式资源管理系统恰是这样的技术，它是保证系统状态的关键。

另外，云计算系统所处理的资源往往非常庞大，少如此几百台服务器，多如此上万台，同时可能跨跃多个地域。

且云平台中运行的应用也是数以千计，如何有效地管理这批资源，保证它们正常提供服务，需要强大的技术支撑。

因此，分布式资源管理技术的重要性可想而知。

全球各大云计算方案/服务提供商们都在积极开展相关技术的研发工作。

其中Google部使用的Borg技术很受业称道。

另外，微软、IBM、Oracle/Sun等云计算巨头都有相应解决方案提出。

6、信息安全

调查数据明确，安全已经成为阻碍云计算开展的最主要原因之一。

数据显示，32%已经使用云计算的组织和45%尚未使用云计算的组织的ICT管理将云安全作为进一步部署云的最大障碍。

因此，要想保证云计算能够长期稳定、快速开展，安全是首要需要解决的问题。

事实上，云计算安全也不是新问题，传统互联网存在同样的问题。

只是云计算出现以后，安全问题变得更加突出。

在云计算体系中，安全涉与到很多层面，包括网络安全、服务器安全、软件安全、系统安全等等。

因此，有分析师认为，云安全产业的开展，将把传统安全技术提到一个新的阶段。

现在，不管是软件安全厂商还是硬件安全厂商都在积极研发云计算安全产品和方案。

包括传统杀毒软件厂商、软硬防火墙厂商、IDS/IPS厂商在的各个层面的安全供给商都已参加到云安全领域。

相信在不久的将来，云安全问题将得到很好的解决。

7、云计算平台管理

云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效地管理这些服务器，保证整个系统提供不连续的服务是巨大的挑战。

云计算系统的平台管理技术，需要具有高效调配大量服务器资源，使其更好协同工作的能力。

其中，方便地部署和开通新业务、快速发现并且恢复系统故障、通过自动化、智能化手段实现大规模系统可靠的运营是云计算平台管理技术的关键。

对于提供者而言，云计算可以有三种部署模式，即公共云、私有云和混合云。

三种模式对平台管理的要求大不一样。

对于用户而言，由于企业对于ICT资源共享的控制、对系统效率的要求以与ICT本钱投入预算不尽一样，企业所需要的云计算系统规模与可管理性能也大不一样。

因此，云计算平台管理方案要更多地考虑到定制化需求，能够满足不同场景的应用需求。

包括Google、IBM、微软、Oracle/Sun等在的许多厂商都有云计算平台管理方案推出。

这些方案能够帮助企业实现根底架构整合、实现企业硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控和统一备份，打破应用对资源的独占，让企业云计算平台价值得以充分发挥。

8、绿色节能技术

节能环保是全球整个时代的大主题。

云计算也以低本钱、高效率着称。

云计算具有巨大的规模经济效益，在提高资源利用效率的同时，节省了大量能源。

绿色节能技术已经成为云计算必不可少的技术，未来越来越多的节能技术还会被引入云计算中来。

CarbonDisclosureProject〔碳排放披露项目，简称CDP〕近日发布了一项有关云计算有助于减少碳排放的研究报告。

报告指出，迁移至云的美国公司每年就可以减少碳排放8570万吨，这相当于2亿桶石油所排放出的碳总量。

标准相关信息

A 

ARTS:

 Association for Retail Technology Standards〔零售行业技术标准协会〕 

C 

CCIF:

 Cloud puting Interoperability Forum〔云计算互操作论坛〕 CESI:

 China Electronics Standardization Institute〔中国电子技术标准化研究院〕 CSA :

 Cloud Security Alliance〔云安全联盟〕 

CSRT:

   Cloud Strategy Research Team〔云计算战略研究小组〕 

D 

DMTF:

 Distributed Management Task Force 〔分布式管理任务组〕 

E 

ETSI :

The European Telemunications Standards Institute〔欧洲电信标准研究所〕 EuroCloud:

   EuroCloud〔欧洲云行业联盟〕 

G 

GICTF：

 Global Inter‐Cloud Technology Forum〔全球跨云技术论坛〕 

I 

IEEE:

 Institute of Electrical and Electronics Engineers〔电气电子工程师学会〕 ISO/IEC JTC1 SC7:

 International Organization for Standardization/International Electrotechnical mission Joint Technical mittee Sub‐technical mittee 7〔国际标准化组织/国际电工委员会第一联合技术委员会7分技术委员会〕 

ISO/IEC JTC1 SC38:

 International Organization for Standardization/International Electrotechnical mission Joint Technical mittee Sub‐technical mittee 38〔国际标准化组织/国际电工委员会第一联合技术委员会38分技术委员会〕 

ITU-T:

 International Telemunication Union – Telemunication StandardizatioSector 〔国际电信联盟电信标准化部〕 

K 

KCSA：

  Korea Cloud Service Association〔韩国云服务联盟〕 

N 

NIST:

 National Institute of Standards and Technology〔美国国家标准与技术研究院〕 

O 

OASIS:

 Organization for the Advancement of Structured Information Standards〔结构化信息标准促进组织〕 

OCC:

 The Open Cloud Consortium〔开放云计算联盟〕 

OCM：

 Open Cloud Manifesto〔开放云计算宣言〕 OGF:

 Open Grid Forum〔开放式网格论坛〕 

OMG:

 Object Management Group〔对象管理组〕 

S 

SNIA:

 Storage Networking Industry Association〔全球网络存储工业协会〕 T 

TOG:

 The Open Group〔开放群组〕

随着云计算的不断开展，业界对云计算的定义认识已趋于统一，目前云计算的定义以ISO/IEC JTC1 和ITU-T组成的联合工作组制定的国际标准ISO/IEC 17788《云计算词汇与概述》

下面介绍7个局部的概况以与所包含的在研标准情况：

1、根底标准 

用于统一云计算与相关概念，为其他各局部标准的制定提供支撑。

主要包括云计算术语、参考架构、指南、能效管理等方面的标准。

〔1〕《云计算术语》和《云计算参考架构》 

国际上ISO/IEC JTC1 SC38启动《云计算术语》和《云计算参考架构》国际标准的制定，开展云服务交付模式的研究。

ITU-T SG 13在原有云计算焦点组（FGCC）的根底上建立，开展《云计算术语》、《云计算参考架构》的研究。

目前这两大国际云计算组织通过成立联合工作组的方式，共同推出这两个国际标准的制定，已经进入DIS阶段，参与根底标准的国际标准组织还有ETSI、NIST、TOG等。

国上，我国在开展国际标准化工作的同时，同步开展《云计算术语》、《云计算参考架构》等根底标准的研制，中国和美国的贡献物成为《云计算参考架构》的根底文档，中国成功争取到《云计算参考架构》联合编辑职位 。

云计算根本参考架构主要规定了云计算根本参考模型和根本的技术要求，以与根底设施即服务、平台即服务、软件即服务等服务模式的要求。

云计算根本参考模型涵盖云服务客户、云服务提供者和云服务协作者三类角色。

不同角色之间通过统一规接口进展交互。

云计算根本参考模型不仅为云计算提供者和开发者搭建了一个根本的技术参考实现模型，也为云计算服务的评价和审计人员提供相关指南。

〔2〕云计算数据中心参考架构 

定义了云计算数据中心根本参考架构，包括必备根本特征、推荐性建议，以与云计算数据中心参考架构中各组成局部与功能。

并对云计算的根底设施，资源池，能效管理，安全，服务与运维管理提出了要求。

2、网络标准 

用于规网络连接、网络管理和网络服务。

主要包括云、云间、用户到云等方面的标准。

3、整机装备标准 

用于规适用于云计算的计算设备、存储设备、终端设备的生产和使用管理。

主要包括整机装备的功能、性能、设备互联和管理等方面的标准。

包括《基于通用互联的存储区域网络〔IP-SAN〕应用规》、《备份存储 备份技术应用规》、《附网存储设备通用规》、《分布式异构存储管理规》、《模块化存储系统通用规》、《集装箱式数据中心通用规》等标准。

〔1〕基于通用互联的存储区域网络〔IP-SAN〕应用规 

本标准对IP-SAN存储设备和系统架构参考模型、IP-SAN的统一描述方法与通信方式的规、以与IP SAN数据安全规和评估进展标准化。

本标准可广泛适用于数据中心、存储局域网等环境下的IP-SAN存储设备和系统。

〔2〕备份存储 备份技术应用规 

本标准建立云存储数据备份应用的备份系统架构参考模型，对文件系统、数据库与虚拟机的具体应用进展备份流程、备份方式、备份策略方面进展标准化。

〔3〕附网存储设备通用规 

本标准规定了附网存储的术语、技术要求、测试方法、检验规如此。

本标准适用于服务网存储设备的生产厂商、以与使用附网存储设备的客户。

〔4〕分布式异构存储管理规 

本标准规了存储管理信息的统一描述方法与通信方式，提出了符合国家需要的规化存储管理安全保护机制，构建了分布式异构存储设备和系统的管理信息模型和实例，用于构建大规模、可扩展存储系统，满足当前日益增长的信息存储需求，有力地支撑国存储产业的开展。

〔5〕模块化存储通用规 

本标准给出了模块化存储系统的界定说明与分类、模块化存储系统技术要求和设计规，以与与技术要求相对应的检测方法，以此保障产品质量和使用安全。

〔6〕集装箱式数据中心通用规 

集装箱式数据中心是一个可作为数据中心构建的标准模块，为企业在短时间完成数据中心容量的扩展；同时，也可作为单独使用的模块，在企业主数据中心之外建立独立的灾备站点，或用于军事项目、政府工程、能源勘察、大型活动的户外作业，是应对于企业级数据中心快速、灵活需求的最优解决方案。

本标准给出了集装箱式数据中心的设计规和评价标准，为集装箱式数据中心的规格、架构、技术参数提供统一规。

4、软件标准 

用于规云计算相关软件的研发和应用，指导实现不同云计算系统间的互联、互通和互操作。

主要包括虚拟化、计算资源管理、数据存储和管理、平台软件等方面的标准。

软件标准中，“开放虚拟化格式〞和“弹性计算应用接口〞主要从虚拟资源管理的角度出发，实现虚拟资源的互操作。

“云数据存储和管理接口总如此〞、“基于对象的云存储应用接口〞、“分布式文件系统应用接口〞、“基于Key-Value的云数据管理应用接口〞主要从海量分布式数据存储和数据管理的角度出发，实现数据级的互操作。

从国际标准组织和协会对云计算标准的关注程度来看，对虚拟资源管理、数据存储和管理的关注度比拟高。

其中，“开放虚拟化格式规〞和“云数据管理接口〞已经成为ISO/IEC国际标准。

〔1〕 弹性计算应用接口 

弹性计算服务是基于虚拟化资源的云计算服务，是云服务的核心，是目前部署和应用较广泛的云服务。

许多大型公司纷纷推出了弹性计算服务，包括Amazon EC2，RackSpace Cloud Servers等。

但是这些弹性计算服务在接口功能、接口协议等方面存在诸多不一致、这些不一致带来了以下问题：

Ø 弹性计算服务间互联互通困难。

由于不同的弹性计算服务提供不同接口

功能与接口协议，因此用户在使用不同提供商提供的弹性计算服务时，无法实现上层应用的统一部署，这样容易导致用户被绑定至同一弹性计算服务提供商，为用户带来较大风险。

Ø 弹性计算服务接口的不统一阻碍弹性计算服务开展。

用户假如使用不同的

弹性计算服务，必须进展相应的适配接口开发，阻碍用户选择弹性计算服务。

同时，围绕不同服务接口的特定语言编程包和第三方管理软件的开发需要做多种适配，造成行业开展力量分散，阻碍了弹性计算服务的开展。

“弹性计算应用接口〞制定的目标是为用户和弹性计算服务的交互提供一套标准接口，支持用户在多个服务提供商中进展选择，支持用户上层应用的跨弹性计算服务部署。

本规的制定将有助于提高用户对弹性计算服务的体验，促进弹性计算产业的开放性和标准化，促进弹性计算产业的整体良性开展。

该接口规主要关注弹性计算服务接口问题，包括基于虚拟化资源的弹性计算体系框架，服务模型、接口功能、接口协议、标准操作集合、对安全的要求等。

〔2〕云数据存储和管理 第1局部 总如此 

云计算环境下数据量大且分布在网络上的不同结点、不同设备和系统上。

从数据的结构化程度看，包含了结构化数据、半结构化数据和非结构化数据，且非结构化数据所占的比重日益增大。

数据存储和管理应用接口旨在对存储在不同系统、结构化程度不同的数据提供统一的存储和管理接口。

目前的云数据存储系统主要包括块文件存储系统和基于对象的云存储系统。

数据存储管理接口必须兼顾这两类不同的存储系统。

云数据管理系统包括基于Key-Value的数据管理、分布式关系数据管理和分布式数据仓库管理。

从管理容上看，数据存储和管理接口包括对各种类型存储设备、数据和元数据的增加、删除、修改和查询接口。

这里的数据包括结构化数据、半结构化数据和非结构化数据。

“云数据存储和管理应用接口总如此〞 规定了云存储和数据管理体系框架、云数据存储类规、云数据管理类规、根本原如此、质量和安全性要求等，供系列标准参考。

〔3〕云数据存储和管理 第2局部 基于对象的云存储应用接口 

目前国外已有多家云存储服务提供商提供相关对象云存储服务，包括Amazon的S3、谷歌的“Google Storage 〔GS〕〞云计算存储服务、AT&T推出的基于EMC Atmos数据存储根底架构的AT&T Synaptic Storage as a Service。

一些国际标准协会也发布了云数据存储规，如SNIA的CDMI。

总体情况上，各家云存储服务接口不一，且为各互联网公司私有方案，给用户数据迁移和共享带来很大的障碍；而CDMI由于考虑到与传统存储体系的融合，体系架构较为复杂，与各互联网公司提供的对象云存储服务理念存在差异，且目前尚没有实际的商业服务实现。

因此，对于中国的运营商和互联网公司来说，针对对象云存储提供服务的接口，目前尚无较好的标准可以参考。

本规将面向中国公众云存储服务开展的业务需求，定义适合中国运营商和互联网公司提供公众对象云存储服务的统一接口规。

在定义中将充分参考现有商业接口规、CDMI规和S3等互联网公司私有方案的经验和优点。

本标准规定了基于对象的云存储应用接口的体系框架，数据接口模型，接口协议，根本元数据，根本功能元素，标准操作集合，安全要求等。

本标准适用于对象云存储应用接口的设计、开发和服务提供。

本标准是制定具体对象云存储的技术标准、质量测评标准的依据。

〔4〕云数据存储和管理 第5局部 基于Key-Value的云数据管理应用接口 Key-Value数据库作为一种新兴的云数据库，是传统关系数据库的良好补充，在管理结构化数据和非结构化数据方面发挥着重要作用。

目前，各类Key-Value数据库和数据管理应用层出不穷，包括各种商业和开源系统。

这些Key-Value云数据管