学院存储架构技术建议书.docx

学院存储架构技术建议书.docx

《学院存储架构技术建议书.docx》由会员分享，可在线阅读，更多相关《学院存储架构技术建议书.docx（32页珍藏版）》请在冰点文库上搜索。

学院存储架构技术建议书

**存储系统技术建议书

华为3Com技术有限公司

2006年7月

目录

第1章华为3com公司简介3

第2章存储方案的比较4

2.1存储系统演进4

2.2FC-SAN和IP-SAN存储方案的比较8

2.3存储设备的选型13

第3章需求分析14

3.1防化指挥工程学院存储系统现状和需求14

第4章存储架构设计方案15

4.1总体设计目标及设计思路15

4.2总体方案设计16

4.2.1存储系统总体架构图16

4.2.2配置列表17

4.3存储系统方案特点17

第5章服务介绍19

5.1华为3Com存储产品售后服务模式图19

5.2华为3Com公司全球技术服务部19

5.3华为3Com公司渠道合作伙伴21

第6章产品简介22

6.1NeoceanIX1000网络存储系统22

第7章成功案例27

7.1国家科技部信息中心信息共享平台27

7.2某省电力公司数据容灾系统28

7.3西安理工大学数字图书馆29

7.4“平安福州”监控视频数据集中存储系统30

7.5福田区教育局数据集中存储系统31

第1章

华为3com公司简介

华为3Com公司致力于基于IP技术的设备与应用的研究、开发、生产、销售及服务，为企业、公共事业和家庭用户提供全系列IP网络产品和全业务解决方案。

华为3Com是目前全球唯一拥有路由器、以太网交换机、WLAN、IP存储、安全、VoIP、视频、SOHO产品及软件管理系统等在内的多层次、全系列基于IP网络产品的全业务解决方案提供商，也是全球排名第三位的IP网络系统供应商。

华为3Com洞悉世界范围内兴起的IT新时代技术整合浪潮。

SOA、网格技术、效用计算、OnDemand等新兴技术和观念，正在深刻地改变着今日IT世界的格局。

对于用户的业务系统，基于IP的技术融合和架构开发正在成为IT技术发展的大趋势，现有的用户通信系统、存储系统都开始逐步IP化。

华为3Com公司根植于对IP技术的深刻理解和长期技术积累，构建了新一代Neocean自适应网络存储系列产品。

以IP存储、WSAN（广域SAN）、网格存储、虚拟存储、数据应用服务技术五大技术群，构建了新一代自适应网络存储体系。

Neocean自适应网络存储，将成熟的IP技术融入存储，加入了新兴的CDP、数据复制、VTL、网格等先进技术，以面向应用、面向服务的IT新时代基础设施建设要求为目标建构新一代存储体系，充分体现了基础架构围绕IP融合，通过中间件为应用提供硬件资源服务的行业发展方向。

自Neocean自适应网络存储推出以来，在科技部、北京卫生局、天津海事局、成都西南财大、西安理工、上海市教委、福建省公安厅、深圳福田教育局等行业和单位的业务系统中获得大量应用，其技术的先进性、IP技术的开放性和系统的成熟稳定性获得了用户的高度认可。

第2章

存储方案的比较

2.1存储系统演进

这是个信息日益膨胀的时代，全球数据量每4～6个月就翻一番，近三年产生的数据量，已经超过人类自结绳记事以来数千年的总和。

数据量的大幅增长推动了存储技术的不断发展，存储系统已成为整个IT系统的基石，是IT技术赖以存在和发挥效能的基础平台。

信息或数据在IT系统中，总是必然处于“计算”、“存储”、“传输”三个状态之一。

这三个方面也正好对应于整个IT技术的三个基础架构单元——计算、存储和网络。

传统上，主机系统既负责数据的计算，也在通过文件系统、数据库系统等手段对数据进行逻辑和物理层面的管理，而存储设备，则是以直连存储（DAS）方式连接在主机系统中。

然而，由于历史发展的原因，各种标准和各种版本的操作系统、文件系统拥挤在用户的系统环境中，使数据被分割成杂乱分散的“数据孤岛”（dataisland）。

有鉴于此，人们开始寻找存储网络化和智能化的方法，希望通过提高存储自身的数据管理能力，独立于主机系统之外，以网络方式连接主机和存储系统，以设备资源透明的方式为计算提供数据服务。

从而将数据管理的职能，从标准混乱、应用负荷沉重的主机中分离出来。

在网络存储的发展过程中，SAN（存储区域网络）和NAS（网络附加存储）得到了迅速的发展。

2.1.1DAS存储架构

DAS（DirectAttachedStorage直接附加存储）存储架构是比较早的存储形式。

其将存储设备通过SCSI接口或光纤通道直接连接到一台计算机上。

通过这个架构，实现了用户对存储设备与服务器独立出来的要求，磁盘的容量也有了扩展。

但是随着信息化建设的飞速发展，DAS采用的分布式计算、分布式存储的缺点也日益暴露出来：

1、扩展性差。

服务器与存储设备直接连接的方式导致出现新的应用需求时，只能为新增的服务器单独配置存储设备，造成重复投资。

2、资源利用率低。

DAS方式的存储使得存储空间无法充分利用，存在浪费。

不同的应用服务器面对的存储数据量是不一致的，同时业务发展的状况也决定着存储数据量的不断变化。

因此，出现了部分应用的存储空间不够用，另一些却有大量的存储空间闲置的不均衡情况。

3、可管理性差。

DAS方式下数据的存储依然是分散的，不同的应用各有一套存储设备。

管理分散繁琐，无法集中。

4、异构化严重。

DAS方式使得企业在不同阶段采购了不同型号不同厂商的存储设备，设备之间异构化现象严重，维护成本居高不下。

2.1.2NAS存储系统

NAS（NetworkAttachedStorage—网络附加存储），是一种文件共享服务。

拥有自己的文件系统，通过NFS或CIFS对外提供文件访问服务。

NAS包括存储器件（例如硬盘驱动器阵列、CD或DVD驱动器、磁带驱动器或可移动的存储介质）和专用服务器。

专用服务器上装有专门的操作系统，通常是简化的unix/linux操作系统，或者是一个特殊的win2000内核。

它为文件系统管理和访问做了专门的优化。

专用服务器利用NFS或CIFS，充当远程文件服务器，对外提供文件级的访问。

NAS的优点：

●NAS可以即插即用。

●NAS通过TCP/IP网络连接到应用服务器，因此可以基于已有的企业网络方便连接。

●专用的操作系统支持不同的文件系统，提供不同操作系统的文件共享。

●经过优化的文件系统提高了文件的访问效率，也支持相应的网络协议。

即使应用服务器不再工作了，仍然可以读出数据。

NAS的缺点：

●NAS设备与客户机通过企业网进行连接，因此数据备份或存储过程中会占用网络的带宽。

这必然会影响企业内部网络上的其他网络应用。

共用网络带宽成为限制NAS性能的主要问题。

●NAS的可扩展性受到设备大小的限制。

增加另一台NAS设备非常容易，但是要想将两个NAS设备的存储空间无缝合并并不容易，因为NAS设备通常具有独特的网络标识符，存储空间的扩大上有限。

●NAS访问需要经过文件系统格式转换，所以是以文件一级来访问。

不适和Block级的应用，尤其是要求使用裸设备的数据库系统。

2.1.3SAN存储架构

SAN（StorageAreaNetwork,存储区域网）的出现很好的解决了这些问题。

它是一种通过网络方式连接存储设备和应用服务器的存储构架，这个网络专用于主机和存储设备之间的访问，当有数据的存取需求时，数据可以通过存储区域网络在服务器和后台存储设备之间高速传输。

SAN的发展历程较短，从90年代后期兴起，由于当时以太网的带宽有限（10Mb），而光纤（FC）协议在当时就可以支持1Gb的带宽，因此早期的SAN存储系统多数由FC存储设备构成，导致很多用户误以为SAN就是光纤通道设备，其实SAN代表的是一种专用于存储的网络架构,与协议和设备类型无关，随着千兆以太网的普及和万兆以太网的实现，人们对于SAN的理解将更为全面，FC-SAN和IP-SAN都是SAN架构的重要组成部分，只不过是采用不同的传输协议而已（FC-SAN基于FC协议IP-SAN基于iSCSI协议）。

SAN采用分布式计算，集中式存储的方式拥有了很多的优点。

1、设备整合。

多台服务器可以通过存储网络同时访问后端存储系统，不必为每台服务器单独购买存储设备，降低存储设备异构化程度，减轻维护工作量，降低了长期管理维护成本；

2、数据集中存储，统一管理。

不同应用和服务器的数据实现了物理上的集中，空间调整和数据复制等工作可以在一台设备上完成，大大提高了存储资源利用率，降低了重复投资。

3、易于扩展。

存储网络架构使得服务器可以方便的接入现有SAN环境。

2.1.4IP-SAN存储架构

将数据块和SCSI指令通过TCP/IP协议承载，通过千兆/万兆专用的以太网络连接应用服务器和存储设备，这样的解决方案称为IPSAN。

众所周知，经过多年发展，IP技术已经非常成熟，IP网络实现了最高的可管理性和互操作性。

IP-SAN作为一种崭新的存储架构和新的技术发展趋势，拥有SAN的一切优势，相比FC-SAN，其是一个开放、高性能、高可靠、高可扩展性的存储资源平台。

它通过高速以太网络连接服务器和后端存储系统，继承了FC-SAN作为SAN的优点，弥补了FC的不同厂商之间兼容性差、维护和扩容成本高昂等方面的不足。

1、突破了距离的限制。

相比FC的10公里传输距离的限制，IP跨长距离的扩展能力，轻松实现了远程数据共享、复制和恢复。

2、较低的系统成本。

充分利用现有的TCP/IP网络资源，人才易于获得，管理简单，减少了培训和人力成本。

3、开放的IP标准。

性能和容量的弹性扩展灵活方便，能自适应应用的改变。

4、已经验证的传输设备保证运行的可靠性。

以太网从1G向10G及更高速过渡，只需通过简单的升级便可得到极大的性能提升，充分保护了用户投资。

在存储以SAN的名义独立走上IT舞台的同时，IP和以太网技术在网络领域突飞猛进，在同样1997-2005的8年中，以太网接口从10M发展到了10G，速率提升了1000倍（FC技术在此期间仅仅增长了2倍）。

IP技术已经成为整个IT行业中最成熟、最开放、发展最迅速、成本最低、管理最方便的数据通讯方式。

在经历了FCSAN发展的过渡性尝试后，整个行业开始考虑将FC传输技术替代为更加成熟可靠、成本更低的IP技术。

2003年，以IBM等公司共同发起的iSCSI（InternetSCSI）协议，通过IETF组织的审议，公布为RFC标准。

iSCSI协议实际就是将标准的SCSI存储访问指令，打包到TCP/IP中进行传输。

由于iSCSI协议将SCSI数据传输的基础从封闭昂贵的FC协议转移到IP之上，使存储系统突破了长期困扰着存储系统的兼容性、成本和管理性桎梏，使存储网格、广域数据传输、大规模服务器数据集中、远程容灾、高性能交换式存储架构等存储技术脱下昂贵的外衣，成为广大行业客户均能轻松获得的最新存储技术。

随着iSCSI技术的完善，数据块级的存储应用将变得更为普遍，存储资源的通用性、数据共享能力都将大大增强，并且更加易于管理。

随着千兆以太网的普及以及万兆以太网络的成熟，IP存储必然会以其性价比、通用性、无地理限制等优势飞速发展，iSCSI技术将联合SCSI、TCP/IP，共同开创网络存储的新局面！

2.2FC-SAN和IP-SAN存储方案的比较

防化指挥工程学院对存储系统的诸多需求，只有建立存储区域网络（SAN）才能得到满足。

那么，现在业界两种SAN的组建方式中，那一种才是防化指挥工程学院的最佳选择呢？

我们将通过协议、实施成本、管理等方面逐一对两种解决方案进行综合比较。

2.2.1协议比较

FC-SAN使用的是FC协议（光纤通道协议）是将SCSI并行接口转化为串行接口方式的协议，应用于存储系统和服务器之间的数据传输。

新的ANSI T10 标准，支持SAN 上存储系统之间通过数据迁移应用来直接移动数据。

FC协议目前提供典型速率有1Gbps、2Gbps，最高为4Gbps，每个连接最远距离不超过10 公里，最大支持16000000 个节点。

FC协议 使用帧传输取代块传输。

IP-SAN使用的是iSCSI协议（互联网小型计算机系统接口）是一种在TCP/IP上进行数据块传输的标准。

它是由Cisco和IBM两家发起的，并且得到了各大存储厂商的大力支持。

iSCSI可以实现在IP网络上运行SCSI协议，将并行的SCSI接口转换为串行接口的方式，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。

iSCSI标准在2003年2月11日由IETF（互联网工程任务组）认证通过。

iSCSI继承了两大传统技术：

SCSI和TCP/IP协议。

这为iSCSI的发展奠定了坚实的基础。

IP-SAN的速率取决于以太网的速率，目前千兆以太网（1Gbps）已经普及，万兆以太网（10Gbps）也将投入商用。

FC协议是在10M以太网的时代提出的，专门用于SAN的组建。

经过多年的发展，存储设备厂商围绕着FC协议开发了大量的交换机、导向器、HBA、存储设备等。

一度成为SAN的唯一选择。

FC协议的最大不足是：

这是一种专用协议，FC协议与现有的以太网是完全异构的，两者不能相互接驳。

因此光纤通道是具有封闭性的，而且不仅与现有的企业内部网络（以太网）接入，也与其他不同厂商的光纤通道网络接入（由于厂家对FC标准的理解的异样，FC设备的兼容性是一个巨大的难题）。

因此，对于以后存储网络的扩展由于兼容性的问题而成为了难题。

而且，FC协议由于其协议特性，网络建完后，加入新的存储子网时，必须要重新配置整个网络，这也是FC网络扩展的障碍。

iSCSI基于的TCP/IP协议，它本身就运行于以太网之上，因此可以和现有的企业内部以太网无缝结合。

TCP/IP网络设备之间的兼容性已经无需讨论，迅猛发展的internent网上运行着全球无数家网络设备厂商提供的网络设备，这是一个最好的佐证。

FC运行于光网络之上，其速度是非常快的，现在已经达到了2G的带宽，这也是它的主要优势所在。

下一代的FC标准正在制定当中，其速度可以达到4G，

今天的千兆以太网已经在普及当中，这也是基于TCP/IP的iSCSI协议进入实用的保证。

得益于优秀的设计，以太网从诞生到现在，遍及了所有有网络的地方，到现在依然表现出非凡的生命力，在全球无数网络厂商的共同努力下，以太网的速度稳步提升，千兆网络已经实际应用，万兆网络呼之欲出，以太网的主要部件交换机路由器均已有万兆级别的产品。

随着产品的不断丰富，以及设备厂商间的剧烈竞争，其建设成本在不断下降，万兆网络的普及已日益临近。

当iSCSI以10Gb的高速传输数据时，基于iSCSI协议的存储技术将无可争议的成为网络存储的王者。

2.2.2存储整合成本比较

按照SNIA（存储网络工业联合会）的观点，存储整合分为网络整合、服务器整合和存储设备整合三个步骤。

整合的成本主要体现在前两个方面。

网络整合的成本主要在于交换机的成本，FC交换机和以太网交换机按照每个端口的费用比较如图所示：

服务器端的成本主要在于HBA卡的费用。

由于IP-SAN支持服务器端采用网卡加软件的iSCSI的Initiator的方式，所以成本优势更为明显。

服务器端和网络段整合的费用对比如下所示：

当然，交换机和HBA卡的价格会随着时间而变化，但是我们可以从中看到IP-SAN和FC-SAN在整合时候成本的比例关系，由下图所示：

IP-SAN在硬件上的投入大致是FC-SAN的三分之一。

由于IP-SAN在存储整合方面的成本小于FC-SAN，将会极大的影响存储区域网络实际应用的范围。

一般而言，客户会愿意为价值50万元的服务器购买2万元的FC-HBA卡，但是却不愿意为5万元的服务器购买1万元的FC-HBA卡。

所以，FC-SAN只能为那些运行关键业务的服务器所使用。

而IP-SAN支持使用网卡配合软件的iSCSI的Initiator的连接方式，再结合企业中业已广泛使用的以太网交换机，几乎可以无成本的连接到IP-SAN，从而客户可以轻松的把所有有存储需求的服务器连接到IP-SAN，将IP-SAN易于管理、方便扩充的特性延伸到整个信息系统中去。

2.2.3性能比较

单从传输速率上来看，目前，FC要优于以太网。

在千兆以太网的环境下，单一端口IP-SAN标称的传输速率100MB/s，和1Gbps的FC-SAN持平，低于2Gbps的FC-SAN标称传输速率200MB/s。

但是，随之万兆以太网（10Gbps）的商用，IP-SAN的传输速率将达到1GB/s，从而超越FC-SAN。

IP-SAN在体系架构上相对于市场上用途最广泛的中端FC-SAN的优势十分明显。

出于成本的考虑，市场上的中端FC-SAN并没有向高端的FC-SAN一样，采用全交换体系架构（如直联矩阵体系结构），而是采用光纤仲裁环路的体系结构（类似于令牌环）。

这种仲裁环路的体系架构存在着一定不足，由于每条环路同一时间只能支持2个设备一起工作，随着环路中挂接磁盘数量的增加，将出现多块磁盘争夺环路带宽的现象，整个系统的响应时间和性能就会受到影响。

业界通用的解决办法是在控制器内采用集中的写回缓存（将每个硬盘的缓存关闭）来平衡环路结构的问题，当整个系统硬盘数量比较少的时候，这是一个好的解决办法，可以提高系统性能。

但是一旦硬盘增加到一定数量的时候，存储系统的响应时间和性能就会出现大幅度降低。

从近期在军方进行的很多实际项目测试中，两个控制器一般仅能达到总共50-60MB/s的写入能力。

要从根本上解决这样的问题，必须采用更先进的体系结构。

而IP-SAN的设备采用基于IP的全交换技术（星型架构），完全避免仲裁环路所导致的性能随硬盘数增加而出现下降的现象。

IP-SAN的设备可以通过扩充存储控制模块和硬盘的方式实现容量和性能的线性增长。

这一点是采用仲裁环的FC-SAN所不能比拟的。

另外，有一种意见认为如果IP-SAN采用网卡加软件的iSCSI的Initiator的方式时，由于和TCP/IP有关的协议处理需要服务器CPU完成，会极大的影响服务器的性能。

关于这点有两个解决有两个解决因素：

高速计算机与应用TOEs（TCP/IPOffloadEnginer）技术。

只要有一个2GHz的CPU，具有一定超高速缓冲存储器的机器可以足够快速的处理TCP/IP框架，实现40-50MB/s的传输速率，满足大多数存储需求，同时还有足够的处理能力解决大部分应用，如果主机要求有更高的性能，可以买一个集成TOE技术的iSCSI适配卡。

这会释放由于处理TCP/IP协议对运行的CPU所造成的资源开销。

从而进一步提高IP-SAN的性能。

所以，综合考虑以上传输速率、体系结构等方面，我们认为目前IP-SAN的性能和FC-SAN基本持平，在扩展性上要好于FC-SAN，随着万兆以太网的商用，IP-SAN的性能将全面超与FC-SAN。

2.2.4管理比较

FC协议作为一个强调效率但缺乏管理功能的协议，其兼容性、可管理性都远远低于IP。

从网络管理的角度看，运行FC协议的SAN的技术难度相当之大。

SAN的管理也采用了专有的软件，因此需要专门的管理人员。

这些人员必须要经过由厂家组织的专业的、培训费用高昂FC的培训。

更重要的是，由于各个厂家的FC设备并不能保证完全兼容，所以需要针对各个厂家的产品分别进行培训，一方面延长了管理人员就绪的准备时间，一方面要花费大量的培训费用。

而IP-SAN运行在以太网上，TCP/IP网络的知识通过这些年的普及，已有大量的网络管理人才。

由于支持TCP/IP的设备对协议的支持一致性好，即使是不同厂家的设备，其网络管理方法也是基本一致的。

而且，IP-SAN的产品不仅支持SNMP协议，还支持端口汇聚、IP绑定、VLAN等管理手段，管理起来十分便捷。

最重要的一点是。

IP-SAN的管理人员完全可以由网络管理员兼任。

所以。

综合考虑管理人员培训的难易程度、培训费用的多少，管理工具的多少和兼容性，我们认为IP-SAN要比FC-SAN更加容易管理，而且管理人员就绪的时间短、成本低，更适宜学校使用。

2.3存储设备的选型

存储设备的选型不能仅仅比较设备的性能指标参数，还要从具体项目需求、成本、扩展性等方面综合考虑。

防化指挥工程学院并不是仅仅需要为一两台服务器的业务购置存储设备，而是要着眼于整个校园网存储建设的全局需求，提供高性能、易扩展的存储系统，所以，在选型时需要考虑存储设备的适用性、服务器等设备接入的成本、管理的难易程度。

从上节上面的比较中，我们可以看到IP-SAN在性能上和FC-SAN基本持平，在扩展性、通用性、整合成本、易管理等方面要优于FC-SAN。

所以，我们认为在防化指挥工程学院的项目中，IP-SAN是很好的选择。

另外，防化指挥工程学院校园网建设卓有成效，可以说已经具备了实施IP-SAN的优越的基础条件，能够依托先进的IP网络，最大的发挥IP-SAN在高性能、易扩展、统一管理等方面的优势，方便的实现应用系统备份、容灾等存储应用。

而且随着日后万兆以太网投入使用以后，存储系统也可以平滑的升级，提供更高性能的存储系统。

综上所述，我们认为防化指挥工程学院在网络存储系统的选型上应该选择IP技术构建先进的存储区域网络（IP-SAN）。

第3章

需求分析

3.1防化指挥工程学院存储系统现状和需求

防化指挥工程学院有图书馆和教育中心应用两部分，初期的数据量分别有6T和4T。

针对学院现状，存储系统有如下的需求：

1、集中存储

为了满足应用系统对于存储的需求，并考虑到性能、扩展性、可靠性等因素。

防化指挥工程学院计划建设校园存储区域网络（SAN），来统一为图书馆和教育中心提供存储服务。

这样既可以有效的提高整套系统的存储利用率，简化管理和维护的工作量，并且有利于实现数据的集中备份；同时利用SAN－存储局域网的融合性和可扩展性，实现“服务器群－SAN网络－存储池”新一代IT架构，保护用户投资，降低用户的总拥有成本（TCO，TotalCostofOwnership）。

防化指挥工程学院的服务器的操作系统包括Windows等主流的操作系统，SAN需要能够支持这些异构的环境。

并且在整合的时候要充分考虑到成本的因素，如交换机、主机适配器（HBA）等。

2、简化管理

存储设备在一个企业中的异构化现象十分普遍，为保证存储空间的可管理性和减少SAN结构的复杂性，方案应采用先进、简便的IP-SAN技术和相应的管理软件，保证大数据量简便管理并能够充分发挥系统性能。

3、存储容量的需求

综合考虑到各类存储需求后，防化指挥工程学院校园网存储预计第一期整体需要存储空间为10TB。

其中数字图书馆应用6T，教育中心数据库等应用为4T。

4、存储容量扩展

随着业务的发展，数据库和各种应用系统也需要越来越多的存储空间。

这就要求存储系统能够方便的扩充存储空间。

5、完善数据管理

防化指挥工程学院承担着繁重的科研工作，为了保障科研工作的顺利进行，有必要完善数据管理工作，实现更好的数据存储和保护。

第4章存储架构设计方案

4.1总体设计目标及设计思路

本次存储系统建设的总体目标是：

根据现有的业务需求，结合先进的网络存储技术，充分考虑单位业务的发展，建设一个稳定可靠、系统先进、技术开发、易于扩展、易于管理维护的综合投入成本合理的系统。

本次存储系统的选择原则为：

1）高可靠性、高稳定性。

整体系统要具有极强的稳定性，使系统能够长时间安全可靠地正常运转。

因此数据系统的设计首先要建立一套高效的存储系统机制，包括：

采用先进的存储技术、高可靠性的系统设计、高可靠性的方案设计。

2）高可扩展性。

系统需要具备强大的扩展能力，采用开放技术和接口，支持后继的持续业务扩容。

3）高性能。

集中存储，系统更应该具备良好的性能，满足业务全负荷情况下对系统的数据处理和传送的要求。

4）易管理维护。

为保证数据存储的可管理性，系统需要容易管理维护，