存储虚拟化技术的发展.docx

1、存储虚拟化技术的发展第1章 引 言随着信息化进程的不断深入，企业业务流程的运转越来越高度依赖于数据，使得数据成为了支撑企业运作的重要基石。而在另一方面，IT领域应用的飞速发展，也对存储提出了新的要求。1.1 容量需求增加企业存储需求的激增现实超出了存储厂商的想象，一天对企业意味着什么？答案不言而喻。让我们来看这样一组数据：财富500强企业从1996年起存储空间急剧增长，基于服务器的硬盘存储空间从1996年的5TB，2002年增长到50TB,预计到2007年将达到230TB。企业中与存储相关的IT预算从1996年的11%增长到2002年的17%，预计到2007年将超过20%。目前很多企业的存储数

2、据量每年增长50%，有的企业甚至达到了300%，这么巨大的数据增长涉及电力、存储空间、管理等一系列复杂问题，给企业带来巨额的管理成本和设备成本。1.2 集中管理在迎合业务需求的过程中，IT经理们往往要面对巨大的挑战，因为他们管理的环境中包含来自多个厂商的多种操作系统和存储技术，还有许多不尽相同的应用。正是由于这种复杂的存储，存储通常是被当作孤岛来管理的，在需要扩展的时候只是简单地添加新的存储子系统，而不是充分发挥现有资源的潜在能力。这种方式导致存储资源的利用率通常只有35%至50%。为了真正创建一个高效率的环境，管理员必须使用各种工具，利用娴熟的技巧对大型、复杂和异构的环境实施有效的管理。另外

3、，许多商业机构都在面临长期的预算压力和前所未有的数量增长势头，它们必须找到一些新的方法来提高运营的效率，从而有效地控制成本。由于管理存储资源所需要的成本是购买这些资源的三到五倍，所以要想真正提高存储的效率，企业就需要采用合适的架构并对其存储架构进行有效的管理。1.3 充分利用日益增长但却长期闲置的数据是各种类型的企业都非常关注的。一些独立的研究报告披露，磁盘存储系统的平均利用率仅有35%到50%，某些情况下，磁带系统的利用率就更低。甚至，许多分析家和行业出版物表示有80%的存储的数据都是闲置的。由于很多存储设备是被固定连接在某个主机服务器上，它的多余空间无法被其它主机利用，并且，也会形成很多存

4、储系统的孤岛。1.4 业务连续在电子商务盛行的今天，对业务的持续性有着更高的要求。由于存储扩容或者改变配置而造成的计划内或计划外的停机，将越来越令人无法接受。此外，灾难所带来的业务中断也会带来巨大的经济损失、声誉损失、以及客户忠诚度下降等各种损失。如何保证247小时的数据可用性、业务连续性就成为了一个现实的问题。第2章 虚拟化概述2.1 定义虚拟存储技术将底层存储设备进行抽象化统一管理，向服务器层屏蔽存储设备硬件的特殊性，而只保留其统一的逻辑特性，从而实现了存储系统集中、统一而又方便的管理。对比一个计算机系统来说，整个存储系统中的虚拟存储部分就像计算机系统中的操作系统，对下层管理着各种特殊而具

5、体的设备，而对上层则提供相对统一的运行环境和资源使用方式。SNIA（Storage Networking Industry Association，存储网络工业协会）对存储虚拟化是这样定义的：通过将一个或多个目标（Target）服务或功能与其它附加的功能集成，统一提供有用的全面功能服务。典型的存储虚拟化包括如下一些情况：屏蔽系统的复杂性，增加或集成新的功能，仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上的，而这些实体则是用来提供存储资源或服务的。2.2 虚拟化的方法存储的虚拟化可以在三个不同的层面上实现，包括了基于专用卷管理软件在主机服务器上实现，或者利用阵列控制器的固件（

6、Firmware）在磁盘阵列上实现；再或者是利用专用的虚拟化引擎在存储网络上实现。具体使用哪种方法来做，应根据实际需求来决定。2.2.1 基于主机的虚拟化如果仅仅需要单个主机服务器（或单个集群）访问多个磁盘阵列，就可以使用基于主机的存储虚拟化技术。此时，虚拟化的工作通过特定的软件在主机服务器上完成，而经过虚拟化的存储空间可以跨越多个异构的磁盘阵列。这种类型的虚拟化通常由主机操作系统下的逻辑卷管理软件（logical volume manager）来实现。它们在主机系统和Unix服务器上已经有多年的广泛应用，目前在Windows操作系统上也提供类似的卷管理器。2.2.2 基于存储设备的虚拟化当有

7、多个主机服务器需要访问同一个磁盘阵列的时候，可以采用基于阵列控制器的虚拟化技术。此时虚拟化的工作是在阵列控制器上完成， 将一个阵列上的存储容量划分为多个存储空间（LUN），供不同的主机系统访问。智能的阵列控制器提供数据块级别的整合，同时还提供一些附加的功能，例如：LUN Masking、缓存、即时快照、数据复制等。配合使用不同的存储系统，这种基于存储设备的虚拟化模式可以实现性能的优化。2.2.3 基于存储网络的虚拟化以上都是一对多的访问模式，而在现实的应用环境中，很多情况下是需要多对多的访问模式的，也就是说，多个主机服务器需要访问多个异构存储设备，目的是为了优化资源利用率多个用户使用相同的资源

8、，或者多个资源对多个进程提供服务，等等。在这种情形下，存储虚拟化的工作就一定要在存储网络上完成了。这也是构造公共存储服务设施的前提条件。2.3 网络虚拟化技术在存储网络层面进行虚拟化的方法已经成为虚拟化的明确方向，这种虚拟化工作需要使用相应的专用虚拟化引擎来实现。目前市场上的SAN Appliances专用存储服务器，或是建立在某种专用的平台上，或是在标准的Windows、Unix和Linux服务器上配合相应的虚拟化软件而构成。在这种模式下，因为所有的数据访问操作都与SAN Appliances相关，所以必须避免它的单点故障。在实际应用中，SAN Appliance 通常都是冗余配置的。SAN

9、 Appliances 可以两种形式来控制存储的虚拟化：直接位于主机服务器和存储设备的数据通道中间（In-Band）；或者位于数据通道之外（Out-of-Band），仅仅向主机服务器传送一些控制信息（Metadata），来完成物理设备和逻辑卷之间的地址映射。2.3.1 In-Band虚拟化引擎如图2-1所示，In-Band虚拟化引擎位于主机和存储系统的数据通道中间，控制信息和用户数据都会通过它，而它会将逻辑卷分配给主机，就像一个标准的存储子系统一样。因为所有的数据访问都会通过这个引擎，它就可以实现很高的安全性。就像一个存储系统的防火墙，只有它允许的访问才能够通行，否则就会被拒绝。这种方式的虚拟

10、化，不需要在主机上安装特别的虚拟化驱动程序，比Out-of-Band的方式易于实施，并且支持广泛的异构存储系统，具有很好的互连性。图2-1 In-Band虚拟化引擎2.3.2 Out-of-Band虚拟化 In-Band 虚拟化引擎是一个数据访问必须经过的设备，通常利用Caching技术来优化性能。如图2-2所示，Out-of-Band 虚拟化引擎物理上不位于主机和存储系统的数据通道中间，而是通过其它的网络连接方式与主机系统通讯。于是，在每个主机服务器上，都需要安装客户端软件，或者特殊的主机适配卡驱动，这些客户端软件接收从虚拟化引擎 传来的逻辑卷结构和属性信息，以及逻辑卷和物理块之间的映射信息

11、，在SAN上实现地址寻址。存储的配置和控制信息有虚拟化引擎负责提供。这种方式的实施难度大于In-Band模式，因为每个主机都必须有一个客户端程序。也许就是这个原因，目前大多数的SAN Appliances都是采用In-Band的方式。图2-1 Out-of-Band 虚拟化引擎2.4 虚拟存储的意义总体来说，存储虚拟化可以表现出三个优势。2.4.1 存储管理的自动化与智能化在虚拟存储环境下，所有的存储资源在逻辑上被映射为一个整体，对用户来说是单一视图的透明存储，而单个存储设备的容量、速度等物理特性却被屏蔽掉了。无论后台的物理存储是什么设备，服务器及其应用系统看到的都是客户非常熟悉的存储设备的逻

12、辑映像。系统管理员不必关心自己的后台存储，只要专注于管理存储空间本身，所有的存储管理操作，如系统升级、改变RAID级别、初始化逻辑卷、建立和分配虚拟磁盘、存储空间扩容等比从前的任何存储技术都更容易，存储管理变得轻松无比。与普通的SAN相比，存储管理的复杂性大大降低了。2.4.2 提高存储效率提高存储效率主要表现在消除被束缚的容量、整体使用率达到更高的水平。虚拟化存储技术解决了这种存储空间使用上的浪费问题，它把系统中各个分散的存储空间整合起来，形成一个连续编址的逻辑存储空间，突破了单个物理磁盘的容量限制，客户几乎可以100%地使用磁盘容量，而且由于存储池扩展时能自动重新分配数据和利用高效的快照技

13、术降低容量需求，从而极大地提高了存储资源的利用率。2.4.3 减少成本，增加投资回报由于历史的原因，许多企业不得不面对各种各样的异构环境，包括不同操作平台的服务器和不同厂商不同型号的存储设备。采用存储虚拟化技术，可以支持物理磁盘空间动态扩展，这样用户现有的设备不必抛弃，可以融入系统，保障了用户的已有投资，从而降低了用户TCO（Total Cost of Ownership，总拥有成本），实现了存储容量的动态扩展，增加了用户的ROI（Return on Investment，投资回报）。第3章 H3C虚拟化技术介绍3.1 概述华为3Com公司方案推出的Neocean IV5000，通过内置的Ne

14、oStor虚拟化数据管理引擎，能够整合异构存储环境，由统一界面进行集中存储管理，使得存储空间利用率最大化，同时整合应用服务器，跨越SAN的孤岛联接，或者进行数据迁移-所有这些都只需要极少的宕机时间，甚至无需宕机。利用IV5000先进的数据迁移能力，能够真正实现无缝的整合过程。Neocean IV5000通过存储虚拟化和SSE（Storage Service Enabler，存储服务使能）选项，将关联的存储设备整合起来，在此基础上，还可以提供与之相关的存储服务，如快照、镜像、复制等，满足用户复杂的存储服务需求。3.2 虚拟化技术详解3.2.1 整体架构IV5000的虚拟化技术为带内虚拟化。IV5

15、000支持标准开放的协议（包括SCSI、iSCSI、FC以及NFS/CIFS），集成统一的管理平台将所有底层的存储和网络资源作为一个一体化的存储资源提供给上层的应用服务器。因此IV5000能够统一管理FC SAN、IP SAN、DAS等存储设备和资源，整合到统一的逻辑存储池中，并使用存储池的资源为应用服务器创SAN或者NAS资源，满足客户全方位的需求。图3-1为IV5000虚拟化整体架构图。图3-1 IV5000虚拟化整体架构IV5000在设计过程中为用户保留了充分的自主空间，用户可以通过以下方式进行存储集中管理，并添加存储服务到新的或现有的存储设备上：(2)利用IV5000内置的虚拟化功能，

16、将存储设备进行虚拟化管理；(3)利用IV5000的存储服务使能选项(Storage Service Enabler Option)，则无需对现有数据的存储设备进行虚拟化和大量的数据拷贝。3.2.2 普通虚拟化如上所述，IV5000可以将不同接口协议的多种物理存储设备整合到统一的逻辑存储池中，并使用存储池的资源为应用服务器创建虚拟设备。应用服务器不必关心具体的物理存储设备。因此，可以将较大的物理设备分割为多个虚拟设备，或者使用多个物理设备创建一个虚拟设备，同时虚拟设备支持实时的扩展存储空间，即新的存储空间可以附加到现有虚拟设备的末尾，而无需清除现有虚拟设备上的数据。图3-2及图3-3为普通虚拟化

17、技术的两个例子。图3-2显示了将比较小的物理设备整合为一个大的物理设备；图3-3则为将一个大的物理设备分割为两个小的物理设备。当然，直接将一个物理设备虚拟化为一个设备也是可以的。图3-1 两个小的物理设备虚拟化为一个大的设备图3-2 一个大的物理设备虚拟化为两个小的设备3.2.3 存储服务使能IV5000的SSE选项支持设置物理设备的类别为SED（Service Enabled Device）设备，通过独特的方式实现物理设备的虚拟化，即把物理设备的虚拟化信息写入到逻辑存储池中某个空闲的存储空间，因此虚拟化的过程不会破坏磁盘已有的数据，也不需要大量的数据拷贝。其虚拟化原理如图3-4所示。图3-1

18、 SED虚拟化原理SED设备支持IV5000的各种存储服务（比如镜像、复制、TimeMark等），并且支持剥离SED作为一个普通的磁盘挂接到PC上直接使用。但是SED设备不支持容量的扩展，也不能把一个SED设备划分为更小的逻辑磁盘。因此SED设备的物理磁盘和逻辑磁盘是一一对应的关系。3.3 存储虚拟技术应用在用户长期的IT建设过程中，由于种种原因引入不同厂商、不同品牌的存储系统。这些型号各异的存储系统给IT管理人员带来挑战，存储系统的管理维护成本日渐增加。IV5000采用带内虚拟化技术，可整合异构的存储环境形成一个虚拟的存储资源池。异构存储设备可以是DAS、FC SAN和iSCSI SAN。IV5000支持与应用服务器的多协议连接，可通过iSCSI、FC、CIFS/NFS为应用服务器分配存储资源。IV5000还提供人性化设计的GUI管理软件，可对整个系统进行集中管理。IV5000提供独特的SSE虚拟化技术，该技术可保证虚拟化存储资源时，不破坏存储资源中原有数据，这大大降低了系统的实施难度。IV5000的存储系统整合解决方案，可以使存储空间利用率最大化，降低系统管理难度。同时，在整合的基础上，用户还可以充分利用IV5000丰富的数据管理功能，进一步提高数据的可用性。