存储基本知识.docx

1、存储基本知识专业人士谈：存储和相关基础知识有些新手总是在各式各样的概念里绕来绕去，弄的不亦乐乎。所以我就把我的一些理解写了下来,供您参考.我说的不局限于任何一种具体产品和厂家,也可能有些说法和某些厂家的说法不一样,但是我觉得应该算的上是本原的东西，有以不变应万变之功效，呵呵，见笑 一、关于HBA HBA的全称为Host Bus Adapter，即主机总线适配器。 1、总线适配器是个什么东西呢？ 我们首先要了解一下主机的结构，一台计算机内部多半由两条总线串在起来(当然实际情况会有不同，这里只讨论常见的，简单的情况)，一条总线叫系统总 线，一条叫I/O总线。系统总线上接了CPU，MEmory，ca

2、che什么的，I/O总线上接的就是外围设备，现如今最常见的就是PCI总线了。这两条 总线之间用桥接的芯片或者说电路连接起来。举个形象的例子，就好比一个城市里，有两条主干道，一条属于行政区，一条属于商业区，中间有个环岛，将两条主干 道连接到了一起，系统总线就好比行政区里的主干道，而I/O总线就好比商业区的主干道。系统总线和I/O总线的带宽的单位都是以Gbyte来记，但是显而 易见的是，行政区的主干道和商业区的主干道相比的话，前者肯定更“核心”，更宽，更顺畅，设计的要求也高。 我们知道，在向公仆部门要求服务的时候，是要有一些接口的部门和程序的，而桥接芯片的作用就是连接和协调两条总线的工作的。 虽然

3、I/O总线的速度和系统总线的带宽相比要低很多，但是好歹也是以G来计量的，而我们知道外围设备的速度，往往只有几百兆，甚至几十k而已，怎么协调工 作呢？好比卖煎饼果子摊子不能直接戳到城市主干道上，怎么办？好办，在主干道边上开个2000平米的小吃城，把摊子都收进去好了。那么主机总线适配器的作 用也就是这个，我们就是要把外设组织起来，连接到I/O总线上去！HBA就是指Host和I/O BUS直接的一个适配器，也好比一个水管工常说的“双通”。 2、常见的HBA有哪些呢？ 比如显卡，网卡，scsi卡，1394卡等等。我要拿出来说的就是FCHBA和ATA&IDE。我们通常说的什么Emulex的LP9002，

4、什 么Qlogic的QLA2340都是FCHBA卡，就是将Fibre Channel的设备和IO总线连接起来的适配器。ATA也是一种适配器技术，我们PC主板上的ATA接口，就是一个磁盘适配器的对外接口，要强调的就是，ATA说的是适配器技术，IDE是说得存储外设技术，比如我们可以说IDE硬盘，IDE光驱，说ATA接口，但是说IDE接口，ATA硬盘就不时那么合适了，虽然很多情况下，大家都习惯把他们混在一起说。 描述HBA的时候，有几个主要的规范要说一下 一个承上，就是说，HBA和IOBUS怎么连，我们经常说的PCI接口卡，就是指这个HBA卡是要插在PCI BUS上的PCI slot上的，但是现在的

5、计算机上，不仅仅只有PCI总线而已，大家碰到的时候留意。 一个启下，就是说HBA要和外设怎么连，这样的规范就很多了。 再说HBA本身，比如带宽，比如运行机制(protocol等)，独立处理能力等等 Tips：有时候我们看到的一块卡，看到的实际是一个物理的卡，有的时候实际上是多个Adapter，好比一家机构，挂多个牌子，有的时候，一块卡有两条通道，好比一家公司，有两套人马。 二、关于lun 的几个问题1、lun的概念 lun的全称是logical unit number，也就是逻辑单元号。我们知道scsi总线上可挂接的设备数量是有限的，一般为6个或者15个，我们可以用target ID(也有称为

6、scsi id的)来描述这些设备，设备只要一加入系统，就有一个代号，我们在区别设备的时候,只要说几号几号就ok了。 而实际上我们需要用来描述的对象，是远远超过该数字的，于是我们引进了lun的概念，也就是说lun id的作用就是扩充了target id。每个target下都可以有多个lun device，我们通常简称lun device为lun，这样就可以说每个设备的描述就有原来的target x变成target x lun y了,那么显而易见的,我们描述设备的能力增强了.就好比,以前你给别人邮寄东西,写地址的时候,可以写: xx市人民大街54号 xxx(收) 但是自从高楼大厦越来越多,你不得不

7、这么写: xx市人民大街54号xx大厦518室 xxx (收) 所以我们可以总结一下,lun就是我们为了使用和描述更多设备及对象而引进的一个方法而已,一点也没什么特别的地方. 2、lun是什么东西？ lun id不等于某个设备,只是个号码而已,不代表任何实体属性,在我们的实际环境里,我们碰到的lun可能是磁盘空间,可能是磁带机,或者是media changer等等. lun的神秘之处(相对于一些新手来说)在于，它很多时候不是什么可见的实体，而是一些虚拟的对象。比如一个阵列柜，主机那边看作是一个target device，那为了某些特殊需要，我们要将磁盘阵列柜的磁盘空间划分成若干个小的单元给主机

8、来用，于是就产生了一些什么逻辑驱动器的说法，也就是比 target device级别更低的逻辑对象，我们习惯于把这些更小的磁盘资源称之为lun0,lun1,lun2.什么的。而操作系统的机制使然，操作系统识 别的最小存储对象级别就是lun device，这是一个逻辑对象，所以很多时候被称之为logical device。 有人说，我的windows里，就认到一个磁盘呀，没看到什么lun的说法，是不是lun=physical disk呢？回答是否定的，只要你注意，磁盘的属性里就可以看到有一个lun的值，只是因为你的disk没有被划分为多个存储资源对象，而将整个磁盘当作 一个lun来用，lun i

9、d默认为零，如此而已。 我们曾经碰到过这样的问题，比如有人问，我们有一个磁盘阵列，连到了两个主机上，我们划分了一个lun给两个主机认到，然后我们想，先在操作系统将磁盘分为两个区，让两个主机分别使用两个分区，然后再出现某一台主机宕机之后，使用集群软件将 该分区切换到另外一个主机上去，这样可行吗？答案也是否定的，集群软件操作的磁盘单元是lun，而不是分区，所以该操作是不可行的。当然，在一些环境，一 般也是一些要求比较低的环境，可以在多个主机上挂载不同的磁盘分区，但是这种情况下，实际上是没有涉及到磁盘的切换的，所以在一些高要求的环境里，这种情 况根本就不允许存在。 还要说明的地方是，在有些厂商和有些

10、产品的概念里，lun id被绑定到了具体的device上，比如ibm的一些带库，整个带库只有一个target id，然后changer,tape drive被分别分配为lun0,lun1,lun2.，但是我们要注意到，这只是产品做了特别设计，也是少数情况。 3、存储和主机的电气独立时代的lun的概念 还有很多新手总是把阵列里面的磁盘和主机的内部磁盘的一些概念搞混淆了。 在磁盘阵列和磁带库大行其道的时代，存储越来越智能化，越来越像一个独立的机器，实际上存储和主机的电气独立本来就是一个必然趋势，俗话说得好，儿大要分家嘛。在存储越来越重要的时代，存储要自立门户是必然的事。 如果我们把存储当作一个独立

11、的主机来看，理解起来就很简单了。我们说到lun的概念的时候，我们就要将分为两个层面。一个层面就是在阵列这个机器的os识别到的范围，一个层面就是服务器的 os识别到的范围。这两个层面是相对独立的，因为如果我们把存储当作一个主机来看，那么它自然有自己的device，target，lun之说，而服务器 也有自己的device,target,lun之说；另外一方面，这两个层面又是相互关联的，一个阵列的控制系统，大多都有虚拟化的 功能，阵列想让主机看到什么样的东西，主机才能看到相应的东西。当然，服务器识别到的最小的存储资源，就是lun级别的。那么主机的HBA卡看到的存储上 的存储资源就靠主要两个东西来定

12、位，一个就是存储系统的控制器(target)，一个就是lun id，这个lun是由存储的控制系统给定的，是存储系统的某部分存储资源。 4、lun masking，lun mapping 我们有了独立的磁盘阵列用了之后，服务器只要看到存储的控制系统，就有可能使用磁盘阵列的磁盘资源，但是磁盘阵列不可能只为某一个服务器来使用，所以他必 须管制主机使用某部分磁盘资源。这个管制分为两个部分：一部分就是lun mapping,类似于绿色通道，就是保证服务器能看到某部分存储资源,一部分就是lun masking，类似于警戒线，就是保证服务器只可访问给它分配的存储资源，而没分配给服务器的资源，就不要染指了。

13、实现lun masking和lun mapping有三种方法：一个是基于存储控制系统来设置，一个是基于存储交换系统来设置，一个是基于服务器os来设置。 基于存储控制系统得设置，是比较常见的设置，比如很多磁盘阵列的控制系统，本身就能设置lun被某服务器看到。比如FastT的partition功能。 基于存储交换系统的设置，也是一种常用的方法，比如常说的zoning。 基于服务器os的设置，比较少采用，一般采用安装某些操作系统上安装某些软件来实现，因为这个方法全靠服务器自觉，所以比较少用，呵呵。 5、lun的multi-path 现在，存储网络越来越发达了，一个lun有多条通路可以访问也不是新鲜事

14、了。 服务器使用多个HBA连接到存储网络，存储网络又可能是由多个交换设备组成，而存储系统又可能有多个控制器和链路，lun到服务器的存储网络链路又可能存 在着多条不同的逻辑链路。那么，必然的，同一个physical lun在服务器上必然被识别为多个设备。因为os区别设备无非用的是总线，target id，lun id来，只要号码不同，就认为是不同的设备。 由于上面的情况，多路径管理软件应运而生了，比如emc的powerpath，这个软件的作用就是让操作系统知道那些操作系统识别到lun实际上是一个真正的physical lun，具体的做法，就是生成一个特别的设备文件，操作系统操作这个特殊的设备文件

15、。而我们知道，设备文件+driver+firmware的一个作用，就是告诉操作系统该怎么使用这个设备。那么就是说，多路径管理软件从driver和设备文件着手，告诉了操作系统怎么来处理这些身份复杂的lun。 存储基础知识（一）：主要技术DAS、SAN、NAS一、直接附加存储（DAS）DAS（Direct Attached Storage直接附加存储）是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上。一个SCSI环路或称为SCSI通道可以挂载最多16台设备，FC可以在仲裁环的方式下支持126个设备。DAS方式实现了机内存储到存储子系统的跨越，但是缺点依然有很多：1、扩展性差，服务器与存储

16、设备直接连接的方式导致出现新的应用需求时，只能为新增的服务器单独配置存储设备，造成重复投资。2、资源利用率低，DAS方式的存储长期来看存储空间无法充分利用，存在浪费。不同的应用服务器面对的存储数据量是不一致的，同时业务发展的状况也决定这存储数据量的变化。因此，出现了部分应用对应的存储空间不够用，另一些却有大量的存储空间闲置。3、可管理性差，DAS方式数据依然是分散的，不同的应用各有一套存储设备。管理分散，无法集中。4、异构化严重，DAS方式使得企业在不同阶段采购了不同型号不同厂商的存储设备，设备之间异构化现象严重，导致维护成本据高不下。二、存储区域网络（SAN）SAN（Storage Aera

17、 Network ）存储区域网络，是一种通过网络方式连接存储设备和应用服务器的存储构架，这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时，数据可以通过存储区域网络在服务器和后台存储设备之间高速传输。SAN的发展历程较短，从90年代后期兴起，由于当时以太网的带宽有限，而FC协议在当时就可以支持1Gb的带宽，因此早期的SAN存储系统多数由FC存储设备构成，导致很多用户误以为SAN就是光纤通道设备，其实SAN代表的是一种专用于存储的网络架构，与协议和设备类型无关，随着千兆以太网的普及和万兆以太网的实现，人们对于SAN的理解将更为全面。SAN的组成：SAN由服务器、后端存储系统、SAN连接

18、设备。后端存储系统由SAN控制器和磁盘系统构成，控制器是后端存储系统的关键，它提供存储接入，数据操作及备份，数据共享、数据快照等数据安全管理，及系统管理等一系列功能。后端存储系统为SAN解决方案提供了存储空间。使用磁盘阵列和RAID策略为数据提供存储空间和安全保护措施。连接设备包括交换机，HBA卡和各种介质的连接线。SAN的优点：1、设备整合，多台服务器可以通过存储网络同时访问后端存储系统，不必为每台服务器单独购买存储设备，降低存储设备异构化程度，减轻维护工作量，降低维护费用；2、数据集中，不同应用和服务器的数据实现了物理上的集中，空间调整和数据复制等工作可以在一台设备上完成，大大提高了存储资

19、源利用率；3、高扩展性，存储网络架构使得服务器可以方便的接入现有SAN环境，较好的适应应用变化的需求；4、总体拥有成本低，存储设备的整合和数据集中管理，大大降低了重复投资率和长期管理维护成本。三、网络附加存储（NAS）NAS（Network Attached Storage网络附加存储），是一种文件共享服务。拥有自己的文件系统，通过NFS或CIFS对外提供文件访问服务。NAS包括存储器件（例如硬盘驱动器阵列、CD或DVD驱动器、磁带驱动器或可移动的存储介质）和专用服务器。专用服务器上装有专门的操作系统，通常是简化的unix/linux操作系统，或者是一个特殊的win2000内核。它为文件系统管

20、理和访问做了专门的优化。专用服务器利用NFS或CIFS，充当远程文件服务器，对外提供文件级的访问。NAS的优点：1、NAS可以即插即用。2、NAS通过TCP/IP网络连接到应用服务器，因此可以基于已有的企业网络方便连接。3、专用的操作系统支持不同的文件系统，提供不同操作系统的文件共享。经过优化的文件系统提高了文件的访问效率，也支持相应的网络协议。即使应用服务器不再工作了，仍然可以读出数据。 NAS的缺点：1、NAS设备与客户机通过企业网进行连接，因此数据备份或存储过程中会占用网络的带宽。这必然会影响企业内部网络上的其他网络应用；共用网络带宽成为限制NAS性能的主要问题。2、NAS的可扩展性受到

21、设备大小的限制。增加另一台NAS设备非常容易，但是要想将两个NAS设备的存储空间无缝合并并不容易，因为NAS设备通常具有独特的网络标识符，存储空间的扩大上有限。3、NAS访问需要经过文件系统格式转换，所以是以文件一级来访问。不适和Block级的应用，尤其是要求使用裸设备的数据库系统。四、SAN和NASSAN和NAS经常被视为两种竞争技术，实际上，二者能够很好地相互补充，以提供对不同类型数据的访问。SAN针对海量、面向数据块的数据传输，而NAS 则提供文件级的数据访问和共享服务。尽管这两种技术类似，但严格意义上讲NAS其实只是一种文件服务。NAS和SAN不仅各有应用场合，也相互结合，许多 SAN

22、部署于NAS后台，为NAS设备提供高性能海量存储空间。NAS和SAN结合中出现了NAS网关这个部件。NAS网关主要由专为提供文件服务而优化的操作系统和相关硬件组成，可以看作是一个专门的文件管理器。 NAS网关连接到后端上的SAN上，使的SAN的大容量存储空间可以为NAS所用。因此，NAS网关后面的存储空间可以根据环境的需求扩展到非常大的容 量。 “NAS网关”方案主要是在NAS一端增加了可与SAN相连的“接口”，系统对外只有一个用户接口。NAS网关系统虽然在一定程度上解决了NAS与SAN 系统的存储设备级的共享问题，但在文件级的共享问题上却与传统的NAS系统遇到了同样的可扩展性问题。当一个文件

23、系统负载很大时，NAS网关很可能成为系 统的瓶颈。存储基础知识（二）：主要协议SCSI、FC、iSCSI一、SCSISCSI是小型计算机系统接口（Small Computer System Interface）的简称，于1979首次提出，是为小型机研制的一种接口技术，现在已完全普及到了小型机，高低端服务器以及普通PC上。SCSI可以划分为SCSI-1、SCSI-2、SCSI-3，最新的为SCSI-3，也是目前应用最广泛的SCSI版本。1、SCSI-1：1979年提出，支持同步和异步SCSI外围设备；支持7台8位的外围设备，最大数据传输速度为5MB/s。2、SCSI-2：1992年提出，也称为F

24、ast SCSI，数据传输率提高到20MB/s。3、SCSI-3：1995年提出，Ultra SCSI（Fast-20）。Ultra 2 SCSI（Fast-40）出现于1997年，最高传输速率可达80MB/s。1998年9月，Ultra 3 SCSI（Utra 160 SCSI）正式发布，最高数据传输率为160MB/s。Ultra 320 SCSI的最高数据传输率已经达到了320MB/s。二、FC（光纤通道）FC光纤通道：用于计算机设备之间数据传输，传输率达到2G（将来会达到4G）。光纤通道用于服务器共享存储设备的连接，存储控制器和驱动器之间的内部连接。协议基本架构： FC-4 Upper

25、Layer Protocol:SCSI,HIPPI,SBCCS,802.2,ATM,VI,IP FC-3 common service FC-2 Framing Protocol /Flow Control FC-1 Encode/Decode FC-0 Media:Optical or copper,100MB/sec to 1.062GB/sec 协议层说明： FC-0：物理层，定制了不同介质，传输距离，信号机制标准，也定义了光纤和铜线接口以及电缆指标 FC-1：定义编码和解码的标准 FC-2：定义了帧、流控制、和服务质量等 FC-3：定义了常用服务，如数据加密和压缩 FC-4：协议映射层

26、，定义了光纤通道和上层应用之间的接口，上层应用比如：串行SCSI 协 议，HBA 的驱动提供了FC-4 的接口函数，FC-4 支持多协议，如：FCP-SCSI,FC-IP,FC-VI协议简介：FCP-SCSI：是将SCSI并行接口转化为串行接口方式的协议，应用于存储系统和服务器之间的数据传输。新的ANSI T10 标准，支持SAN 上存储系统之间通过数据迁移应用来直接移动数据。 FCP-SCSI 提供200MB/s（全双工独占带宽）的传输速率，每连接最远达10 公里，最大16000000 个节点。FCP-SCSI 使用帧传输取代块传输。帧传输以大数据流传输方式传输短的小的事务数据。三、iSCS

27、IiSCSI（互联网小型计算机系统接口）是一种在TCP/IP上进行数据块传输的标准。它是由Cisco和IBM两家发起的，并且得到了各大存储厂商的大 力支持。iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。iSCSI标准在2003年 2月11日由IETF（互联网工程任务组）认证通过。iSCSI继承了两大最传统技术：SCSI和TCP/IP协议。这为iSCSI的发展奠定了坚实的基 础。基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能，甚至直接利用现有的TCP/IP网络。相对于以往的网络存储技术，它解决了开放 性、容量、传输速度、

28、兼容性、安全性等问题，其优越的性能使其备受始关注与青睐。工作流程：iSCSI系统由SCSI适配器发送一个SCSI命令。命令封装到TCP/IP包中并送入到以太网络。接收方从TCP/IP包中抽取SCSI命令并执行相关操作。把返回的SCSI命令和数据封装到TCP/IP包中，将它们发回到发送方。系统提取出数据或命令，并把它们传回SCSI子系统。安全性描述： iSCSI协议本身提供了QoS及安全特性。可以限制initiator仅向target列表中的目标发登录请求，再由target确认并返回响应，之后才允许通信。通过IPSec将数据包加密之后传输，包括数据完整性、确定性及机密性检测等。iSCSI的优势：

29、（1）广泛分布的以太网为iSCSI的部署提供了基础。（2）千兆/万兆以太网的普及为iSCSI提供了更大的运行带宽。 （3）以太网知识的普及为基于iSCSI技术的存储技术提供了大量的管理人才。（4）由于基于TCP/IP网络，完全解决数据远程复制（Data Replication）及灾难恢复（Disaster Recover）等传输距离上的难题。（5）得益于以太网设备的价格优势和TCP/IP网络的开放性和便利的管理性，设备扩充和应用调整的成本付出小。四、iSCSI和FC的比较从传输层看，光纤通道的传输采用其FC协议，iSCSI采用TCP/IP协议。FC协议与现有的以太网是完全异构的，两者不能相互接

30、驳。因此光纤通道是具有封闭性的，而且不仅与现有的企业内部网络（以太网）接入，也与其他不同厂商的 光纤通道网络接入（由于厂家对FC标准的理解的异样，FC设备的兼容性是一个巨大的难题）。因此，对于以后存储网络的扩展由于兼容性的问题而成为了难题。 而且，FC协议由于其协议特性，网络建完后，加入新的存储子网时，必须要重新配置整个网络，这也是FC网络扩展的障碍。iSCSI基于的TCP/IP协议，它本身就运行于以太网之上，因此可以和现有的企业内部以太网无缝结合。TCP/IP网络设备之间的兼容性已经无需讨论，迅猛发展的internent网上运行着全球无数家网络设备厂商提供的网络设备，这是一个最好的佐证。从网

31、络管理的角度看，运行FC协议的光网络，其技术难度相当之大。其管理采用了专有的软件，因此需要专门的管理人员，且其培训费用高昂。TCP/IP网络的知识通过这些年的普及，已有大量的网络管理人才，并且，由于支持TCP/IP的设备对协议的支持一致性好，即使是不同厂家的设备，其网络管理方法也是基本一致的。FC运行于光网络之上，其速度是非常快的，现在已经达到了2G的带宽，这也是它的主要优势所在。下一代的FC标准正在制定当中，其速度可以达到4G，今天 的千兆以太网已经在普及当中，这也是基于TCP/IP的iSCSI协议进入实用的保证。得益于优秀的设计，以太网从诞生到现在，遍及了所有有网络的地方， 到现在依然表现

32、出非凡的生命力，在全球无数网络厂商的共同努力下，以太网的速度稳步提升，千兆网络已经实际应用，万兆网络呼之欲出，以太网的主要部件交换 机路由器均已有万兆级别的产品。随着产品的不断丰富，以及设备厂商间的剧烈竞争，其建设成本在不断下降，万兆网络的普及已日益临近。当iSCSI以 10Gb的高速传输数据时，基于iSCSI协议的存储技术将无可争议的成为网络存储的王者。存储基础知识（三）：文件系统一、概述文件系统定义了把文件存储于磁盘时所必须的数据结构及磁盘数据的管理方式。我们知道，磁盘是由很多个扇区（Sector）组成的，如果扇区之间不建立任何 的关系，写入其中的文件就无法访问，因为无法知道文件从哪个扇区开始，文件占多少个扇区，文件有什么