云存储解决方案建议书.docx
《云存储解决方案建议书.docx》由会员分享，可在线阅读，更多相关《云存储解决方案建议书.docx（40页珍藏版）》请在冰点文库上搜索。
云存储解决方案建议书
动态架构之监控“云存储”解决方案
块存储云解决方案建议书
一.携手动态架构，共同步入监控“云”端
1.1认识“云”
关于云存储
对于“云”的概念，可以说是既熟悉又陌生。
说熟悉是因为大多数人早就对“云”有所耳闻，说陌生是因为对“云”有深刻认识的人还不多。
实际上，我们这里所说的云是一种“资源池”，由一些可以自我维护和管理的虚拟计算资源构成，通常是一些大型服务器集群，包括计算服务器、存储服务器、宽带资源、软件和应用等等。
云计算将所有的计算资源集中起来，并由软件实现自动管理，动态创建高度虚拟化的资源提供给用户使用。
您可以简单地把它理解成一个数据中心，这个数据中心的计算资源可以自动地管理和动态地分配、部署、配置、重新配置以及回收，也可以动态安装软件和应用。
我们可以说，云计算是一种基础架构管理的方法论。
同时，云计算是也一种计算模式，在这种模式中，计算资源、软件、数据、应用以服务的方式通过网络提供给用户使用。
在云计算模式下，用户只需要连入互联网，借助轻量级客户端，例如手机、浏览器，就可以完成各种计算任务，包括程序开发、科学计算、软件使用乃至应用的托管。
提供这些计算能力的资源对用户是不可见的，用户无需关心如何部署或维护这些资源，在用户看来，“云”中的资源是可以无限扩展的，可以随时获取、按需使用并按使用付费。
“云”就像是一个发电厂，只是它提供的不是电力，而是虚拟计算资源，包括计算服务器、存储服务器、宽带资源，以及软件、数据和应用。
云计算按照运营模式可以分为三种，即公共云、私有云和混合云。
公共云：
直接向最终用户提供服务，用户通过互联网访问获得云资源服务，但并不拥有云资源。
目前Google、Amazon、xx公司都搭建有公共云，通过自己的基础架构直接向用户提供服务。
私有云：
自己搭建的基于“云”的数据中心基础架构，面向内部用户或外部客户提供云计算服务。
拥有基础架构的自主权，并且可以基于自己的需求改进服务，进行自主创新。
混合云：
同时具备公共云和私有云特征，既有自已的云计算基础架构，也使用外部公共云提供的服务。
通常，“云”的资源可从三个层面以服务的方式提供给使用者。
首先是基础架构服务（Infrastructureasaservice），提供的是虚拟化服务器、存储服务器及网络资源；其次是平台服务（Platformsasaservice），提供的是优化的中间件，包括应用服务器、数据库服务器、服务器等；最后是软件服务（Softwareasaservice），包括应用、流程和信息服务。
云环境的建设可以根据实际情况，从基础架构开始逐步实现或一步到位。
在基础架构层面，按照云资源类型划分，我们又可以把云分成计算云和存储云。
计算云的云资源以服务器为主，旨在为Unix/Linux/Windows应用提供计算资源的服务；存储云的云资源则以存储设备为主，为云用户提供块存储及文件存储服务。
当然，也有很多云同时提供存储资源和计算资源服务。
云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
云存储系统的结构模型由4层组成。
存储层、基础管理层、应用接口层、访问层。
存储层是云存储最基础的部分。
存储设备以NAS和iSCSI等IP存储设备为主，也可以是SCSI或SAS等DAS存储设备。
基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。
应用接口层是云存储最灵活多变的部分。
不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。
1.2部署“云”环境，构建动态架构
改进服务、降低成本和管理风险是战略的三大用户价值，同时也是云计算带给用户的实际利益，抛开各自的具体架构，从最终的实现效果来看，云计算和动态架构可以说不谋而合。
xx公司动态架构作为视频监控业务架构的基石，它超越了传统的监控业务，将视野延展到基于智慧城市的各种监控解决方案。
其最大独特性在于能够灵活、快速地提供最佳的IT和业务服务。
形成一个动态的基础架构，能及时响应变化的业务需求，灵活支持业务的扩展。
让视频监控业务更实时，更迅速的进行业务决策。
云计算会产生一些动态部署的功能，一些高资源利用率，一些标准的服务交付方式，所有的这些云计算带来的优势，动态架构一样可以带来。
动态架构如果在一个监控业务的环境里面，可以让监控业务内部运转得更加灵活、更加安全，同时更低成本。
放到一个开放的公共数据中心，动态架构也同样重要，比如一个公共娱乐提供商，怎样把公共娱乐环境的数据中心做得相当灵活、相当动态，这也是云计算和动态架构所交汇的部分。
云计算是动态基础架构的一种资源配置方式的体现，部署一个“云”环境，也就构建了一个动态架构。
在私有云当中，主要包含以下几个组件：
物理基础架构、虚拟化层、服务自动化层、服务门户、安全体系、云API和可集成的其它功能。
（如图私有云参考架构）
图3.4私有云参考架构
1.2.1物理基础架构
物理架构的定义是组成私有云的各种计算资源，包括存储、计算服务器、网络，无论是云还是传统的数据中心，都必须基于一定的物理架构才能运行。
在私有云参考架构中的物理基础架构其表现形式应当是以资源池模式出现，也就是说，所有的物理基础架构应当是统一被管，且任一设备可以看成是无状态，或者说并不与其它的资源，或者是上层应用存在紧耦合关系，可以被私有云根据最终用户的需求，和预先定制好的策略，对其进行改变。
1.2.2虚拟化层
虚拟化是实现私有云的前提条件，通过虚拟化的方式，可以让计算资源运行超过以前更多的负载，提升资源利用率。
虚拟化让应用和物理设备之间采用松耦合部署，物理资源状态的变更不影响到虚拟化的逻辑计算资源。
且可以根据物力基础资源变化而动态调整，提升整体的灵活性。
1.2.3服务自动化层
服务自动化层实现了对计算资源操作的自动化处理。
它可以监控集中存储的模式而言，针对整体解决方案设备的状态，比如性能、可用性、故障、事件汇总等等，并通过预先定义的自动化工作流进行相关的处理。
服务自动化层是计算资源与云计算服务门户相关联的重要部件，服务自动化层拥有自动化配置和部署功能，可以进行服务模板的制定，并将服务内容和选择方式在云计算服务门户上注册，用户可以通过服务门户上的服务目录来选择相应的计算资源请求，由服务自动化层实现服务交付。
1.2.4云视频接入
监控云存储解决方案，视频接入使用私有云计算资源的接口，在视频前端和云存储进行交换的流程中可以执行申请、变更、退回等计算资源使用服务。
云存储收到最终用户的请求时，将根据预先定义好的策略对该请求进行立刻存储空间的分配、预留或者排队。
不同的前端视频接入通过同一个云服务到同一台云存储节点上，将会看到只属于自己的应用、计算资源和服务目录，这是利用的云计算当中的多租户技术，用户使用的资源在后台集中，但是在前端是完全的逻辑分离，有众多的安全保护措施来确保隔离。
1.2.4安全体系
在私有云当中，具有完整的安全体系，包括物理资源、虚拟化平台、系统安全、应用安全和用户访问安全，每个层次都有相关的安全监控和控制，确保最终用户的应用运行稳定可靠。
1.2.6集成
私有云当中可以集成其它更多的功能，以达到更好的服务效果。
如服务级别管理，提供更好的服务质量。
容量管理，为私有云的服务能力和扩展趋势作出建议。
计量和收费，真正实现按使用付费。
二．xx公司云存储解决方案
2.1私有“块存储云”需求概述
私有云可能是目前能得到较快接受的监控业务云应用，因为在私有云中，所有云服务所带来的风险都会降低很多。
私有云更适用于关键业务应用、在线事务处理，满足用户对数据安全性、系统可用性的要求，私有云是建设数据中心，特备是视频监控中心的首选方案。
私有“块存储云”需求分析
什么是块存储？
其实，块存储是相对于文件存储的一个概念，块存储和文件存储的本质差异在于数据传输方式不同。
块存储设备也被称为裸设备，通过SCSI/SAS或FCSAN与服务器连接，服务器直接通过SCSI/SAS或FC协议控制和访问数据；而文件存储设备是通过以太网与服务器连接，服务器通过NFS、CIFS、HTTP、FTP等标准协议进行数据访问，数据通过以太网传输，数据有打包/解包的过程。
反之，块传输方式则不存在数据打包/解包的过程，因此可提供更高的性能，绝大多数的数据库都只能使用块存储设备，如FC磁盘存储系统。
文件存储设备以NAS（网络附加存储）产品为主，主要用于文件共享。
今天，特别是监控行业的数据量都在以惊人的加速态势增长，同时业务需求快速变化，信息化建设与业务发展之间存在着较大差距。
现有存储设施对业务支撑缺乏灵活度、存储资源利用率低、管理复杂、不能满足关键业务的对数据库的快速访问要求。
因此，平安城市所需要的存储基础架构必须具备如下几个关键特征：
首先，它必须自治的，也就是说，它必须内嵌有自动化技术，消除人工部署和管理任务，允许平台自己智能地响应应用的要求。
其次，它必须是弹性的，能够对动态变化的工作负载作出迅速响应。
换句话说，要具备虚拟化技术和集群化技术，能灵活扩展和应对服务请求的快速变化。
最后，它还要稳定、简单易操作、易于维护和管理。
“块存储云”作为“云”的一种类型，同时具备“云”的优势和块存储设备的特性，可以满足以上需求。
2.2针对平安城市的云存储解决方案
云存储平台采用世界先进的分布式集群存储技术为框架，以全局冗余技术为核心，架构一个支持各种不同应用接口需求的云服务平台，并且支持多数据中心之间异地迁移数据，提高数据安全等级和异地访问效率，提供一个安全稳定、高效快捷、易扩容、易管理的云服务平台。
2.2.1整体框架
整体业务设计如上图。
云存储系统，为个人/部门提供素材共享空间，实现多类型设备/多网络渠道的随时访问；为应用系统提高NFS/CIFS接口的数据存储服务，并能够与Symantec/CommVault等主流备份软件协同实现数据备份；建设总社中心和分中心的分布式部署，并能够实现统一管理和数据迁移。
云存储系统采用了分布式存储技术，通过分布式存储软件的数据冗余存储、自动恢复机制，有效的保证了构建在云存储预集成架构上的数据可靠性，同时通过横向扩展机制保证了系统的可扩展性和性能，通过统一存储名字空间保证了对上层业务的统一支持。
本次云存储项目首先应用于基础的视频录像。
2.3xx公司监控云存储及其特点
xx公司监控云存储系统是一款针对海量数据存储应用而设计的大规模通用集群存储系统，采用通用硬件设备作为基本的构建单元，为应用提供全局统一的系统映像和完全POSIX兼容的API接口，可与应用平台无缝兼容。
云存储系统系统由服务器客户端、元数据服务器集群、智能存储集群三大部分组成：
⏹元数据集群由2台以上专用服务器组成，管理数据中心云存储的文件系统的元数据（包括文件目录树组织、属性维护、文件操作日志记录、授权访问等），管理整个存储系统的命名空间，对服务器客户端提供单一的系统映像。
⏹智能存储集群由3台以上专用存储服务器组成，是实际存储数据的单元，是云存储系统的存储资源提供者。
⏹服务器客户端安装于用户需要使用存储资源的应用服务器，对云存储提供的存储资源进行读写访问。
⏹如前所述，xx公司块存储云解决方案可以为内部的数据库用户提供受管理的块存储服务，方案由两部分组件构成：
⏹需要纳入块存储云的管理资源——DM8500-E云存储管理系统
⏹存储模块——VX1600系列存储模块
⏹如下图所示，左侧部分是块存储云解决方案的主体，由DM8500-E云存储管理系统和VX系列的存储设备模块组成，向云的用户提供块存储服务。
右侧部分是最终用户看到的云资源——虚拟或网络驱动器，存储基础设施在云内是不可见的，前端IPC或编解码器像使用本地硬盘一样使用存储资源。
⏹xx公司块存储云解决方案具备弹性、可扩展的特点，帮您快速部署存储应用，动态适应业务变化，并保证业务的连续性。
⏹xx公司云存储管理系统突破性的网格架构提供杰出的性能、可扩展性、可靠性和方便的管理。
xx公司VX1600系列存储模块基于SATA磁盘，运用独特的并行架构及缓存算法，不但消除了热点，其性能水平也远超出基于FC的磁盘系统，容量可以从几十TB扩展到PB级。
⏹而DM8500-E基于网格的全虚拟化设计的自管理结构，大大简化了海量存储环境下的管理。
通过创新的冗余配置，能够以超快的重建时间实现自动化自修复，从而提供卓越的可用性与可靠性。
利用内置动态分配功能实现按需分配存储空间，降低无效浪费，节省20％～50％空间，极大提高空间利用率。
⏹此外，VX1600系列还包括备份、复制功能与远程镜像在内的软件功能帮助进一步简化配置，保护业务核心录像数据，以防意外中断。
⏹xx公司iMP是一套针对监控存储基础架构进行管理的工具软件。
针对监控网络中的服务器、SAN网络和磁盘阵列、摄像机等，提供单一、集成的视图来管理存储平台，能够对生产环境中的存储系统做出全面细致的自动化监控、预警、管理和评估，从而减少管理复杂存储基础结构的工作量，让您的存储基础架构变得更为灵活。
xx公司监控云存储特点
2.3.1海量计算数据统一高效管理
随着计算数据量的增加，存储系统中需要存储大量的用户数据，存储系统里面的文件数量也会快速增长。
当存储系统内的文件数量增长到数千万以上时，文件的检索查找等操作将会给文件系统带来巨大的压力，特别是一个目录下面存放的文件超过一定数量甚至会造成文件查找效率急剧下降。
⏹采用带外架构，降低元数据与数据信息相互干扰
云存储系统采用带外架构，降低元数据与数据信息相互干扰，单卷可支持PB级的存储空间，高效的管理海量文件，使得存储环境在文件规模较大的情况下，也能高效检索访问，提高计算系统整体访问效率。
⏹元数据集群化技术，提高海量文件的访问效率和文件上限
云存储系统通过世界领先的元数据集群化技术，所有元数据集群服务器统一参与数据检索及分配操作，大大提高了海量文件的访问效率，并且提高单套文件系统下能支撑的文件数量上限，可以达到单套文件系统下，支撑上千亿个文件高效存储及访问，单目录可以高效支持万级的文件数量。
这些特性对于数据量较大又需要统一管理的应用非常重要。
2.3.2无缝在线扩展，单卷支持256PB以上
传统存储方案使用SAN或NAS架构，单卷大小受文件系统限制，使得传统存储方案扩容复杂，需要停机维护，单卷大小有扩容瓶颈等问题。
而云存储系统，支持无缝在线扩展存储容量，单卷容量支持超过256PB，无需停机维护，对业务端完全透明。
用户可以通过云存储的配置工具动态添加存储服务器以扩大系统的容量和规模，而且随着工业标准的通用硬件良好的兼容性和可获得性方便了整套存储系统将来的使用和扩展，云存储支持在1小时内部署上百TB的存储系统，无缝的在线增加存储容量，对音视频海量文件的存储非常有利。
2.3.3分布式存储提供高效读写聚合带宽
数据读写模式
⏹带外架构提高数据读写效率
多个计算节点同时进行数据读写的过程中，由于频繁需要对数据进行读写操作，所以需要不停的对数据的元数据信息进行访问，而云存储系统的元数据与数据分离技术，大大提高的数据访问效率，提高整体读写性能。
⏹分布式存储提供高效读写聚合带宽
云存储系统通过分布式架构，把数据分散在所有的存储服务器上，并且由云存储服务器直接与存储服务器进行数据读写通道的链接，使云存储服务器在数据存储与读取的过程中，同时会有多台存储服务器对云存储服务器的需求进行响应，形成一个多对多数据访问通道，大大提升数据读写带宽，提高计算工作效率。
比如在计算应用服务器端，当计算程序往存储系统上存储文件时，文件将会被根据一定大小进行分片存放到多台存储服务器上；在计算程序读文件时，则并发的从多个服务器上读取数据。
由于大量的数据IO请求都被分散到多台存储服务器上，使得所有的存储服务器上的磁盘性能和网络带宽都可以同时得到充分的利用，这样云存储系统的聚合带宽由多台的存储服务器上的IO带宽相加而成，可以满足多台计算应用节点并发访问的带宽需求。
2.3.4高可靠的跨节点冗余，防止单点故障
⏹跨节点数据冗余，消除单点故障
传统存储在数据保护方面普遍使用单机RAID的形式，保证单一节点内部，有硬盘损坏不会丢失数据。
但是如果节点损坏，则无法保证数据安全；并且数据损坏以后，如果RAID组中硬盘过多，或者硬盘为2TB或更大硬盘，数据恢复较为困难，并且恢复速度较慢，在数据恢复期间会极大的影响硬盘读写效率，而且由于数据恢复期间硬盘读写压力大，极易在此期间内，RAID组再次损坏硬盘，造成整个RAID组数据丢失。
云存储系统提供高效跨节点冗余技术，将数据的冗余数据与数据根据算法分别存储在不同的节点上，提供高安全等级的数据保护模式。
例如，在运行中存储服务器由于磁盘损坏而丢失了该磁盘上的部分数据，云存储系统将会立刻发现该异常并自发的启动数据恢复流程，利用存放于其它存储服务器中该部分数据的校验数据重新生成一份以保证数据仍有一定的冗余度。
在此过程中，业务不会中断，也不会影响业务访问。
跨节点冗余及恢复模式
⏹元数据服务器交叉冗余，预防元数据单点故障
部分带外架构存储系统，由于只有单个元数据服务器，或者一主一备的模式提供访问，在元数据服务器宕机时，要么无法访问存储环境，或者在主备元数据服务器切换时容易出现问题。
云存储系统的所有元数据服务器同时在线提供服务，并且每两台元数据服务器为一组，每组元数据服务器内部相互之间会进行交叉备份，保证一组内，任何一个元数据出现问题，另一台元数据也拥有这组元数据服务器的完整数据，并且接管服务，不中断业务。
元数据冗余流程
⏹双交换机冗余环境，防止网络单点故障
云存储系统，通过双网卡、双交换机网络链路，提供冗余网络，防止集群存储系统的任何节点，在网卡损坏、网线损坏、交换机故障的情况下，存储系统能正常访问，不影响监控存储业务的使用，防止因为网络原因而影响监控存储业务的工作效率。
⏹视频录像的秒级恢复，并且不中断业务访问
传统存储数据冗余使用RAID模式，在有硬盘损坏的情况下，RAID组进行数据重建的过程中，需要对RAID组内所有硬盘上的所有数据进行操作，比如6块3TB的硬盘做一个RAID，有一块硬盘损坏时，RAID控制器需要把剩下的5块3TB的硬盘共15TB的数据都操作一遍，来重建出丢失的硬盘上的数据，普遍需要2天以上，而且RAID组重建期间，对业务的访问影响极大，很容易相互影响，导致业务中断或者重建失败。
xx公司云存储系统的数据恢复是基于真实丢失的数据，直接查找相对应的校验数据，对数据进行恢复；并且数据恢复是通过整个存储集群同时并发进行，相当于多个服务器同时对多个服务器进行读写数据，能实现秒级的数据恢复，相较于传统RAID技术的几块磁盘往一块硬盘上写数据，xx公司云存储系统具备更快的数据重建速度，有效降低恢复时间也能大幅提升数据的安全性。
通过将数据和校验数据存放在不同存储服务器的方法可以对一系列的软硬件故障（网络、主机、磁盘等）进行自动的隔离，消除了存储系统的任何单点故障，而且也无需配置任何复杂的配置。
可访问时长/全年时长≥99.999％；
2.3.5数据安全保密
xx公司云存储系统，在数据存储时，采用对象存储模式，分离元数据与数据信息，同时由元数据统一管理；当需要获取数据信息时，须通过自主开发的云存储软件，沟通元数据集群与存储集群，获取所有相关元数据信息与数据信息，经过云存储软件整合，才能获得有效数据，即使任何一个磁盘、一个云存储节点被盗或被入侵，都无法得知具体的数据内容。
入侵者无法将零散的数据恢复成完整的数据内容。
从而保证数据在存储过程中的安全。
保证数据在存储过程中不被窃取。
同时，对象在写入和读出时，系统通过元数据集群校验的机制保证数据的安全和一致性；
2.3.6在线扩容与负载均衡技术保障存储空间高效利用
传统存储通过增加设备数量来增加整体容量，但新增加的阵列或卷都没有数据，需要人工进行数据迁移，以保证新环境与老环境能同时对外提供读写空间。
云存储系统，通过内置的自动负载均衡机制，在老环境空间利用率较高时，增加新的存储空间后，可以根据业务的繁忙程度，比如业务较空闲的时候，打开自动负载均衡开关，存储系统会自动对老环境内的部分数据进行数据迁移，以保证集群环境下，数据利用空间基本相同，以提高整体存储空间利用率，快速融合新加存储节点，整体提升存储读写效率。
⏹开放性平台
云存储平台提供标准的POSIX接口，与标准操作系统接口无缝兼容，满足大部分应用软件的接口调用，降低二次开放成本；云存储平台支持所有X86架构服务器进行搭建，降低总体成本的同时，也极大提升云存储平台对于选择硬件的灵活性，充分利用所有空闲硬件，提高硬件利用率。
⏹数据快速恢复
传统存储数据冗余使用RAID模式，在有硬盘损坏的情况下，RAID组进行数据重建的过程中，需要对RAID组内所有硬盘上的所有数据进行操作，比如6块3TB的硬盘做一个RAID5，有一块硬盘损坏时，RAID控制器需要把剩下的5块3TB的硬盘共15TB的数据都读一遍，来重建出丢失的硬盘上的数据，一般需要1天以上，而且RAID组重建期间，对业务的访问影响极大，很容易相互影响，导致业务中断或者重建失败。
云存储的数据恢复是基于真实丢失的数据，并且数据恢复是通过整个存储集群同时并发进行，所以相对于传统的RAID技术具备更快的数据重建速度，这也能够有效提升数据的安全性。
而且通过将数据和校验数据存放在不同存储服务器的方法可以对一系列的软硬件故障（网络、主机、磁盘等）进行自动的隔离，消除了存储系统的任何单点故障，而且也无需配置任何复杂的配置。
⏹在线更换失效硬件
所有硬件均有使用寿命，一旦机器使用时间过长，机器很容易出现问题，为了确保业务的连续性，所以需要在线更换老旧硬件或有问题的硬件，以保证业务的健康运行。
云存储系统，通过内置的数据迁移机制，可以针对设备进行数据迁移，把老旧设备上的数据迁移到新设备上，并且业务不中断访问，极大的提高了存储系统的生命力和工作效率；
⏹系统可维护性
云存储系统配有简单易用的图形化管理界面，支持通过专用的安全通道进行远程配置，能够智能的发现各类软硬件故障并进行处理，减少了管理员的工作量。
在监控管理界面中，支持简洁易用的事件配置和报警功能，可量化的性能指标如CPU利用率、内存利用率、磁盘使用量等应该都可以定义为报警事件。
报警事件的管理和配置应同时支持全局层面和指定设备层面，实现从宏观到精细的事件管理和报警。
⏹在线限制权限，监控重命名、删除操作及安全管理
为确保数据的安全性，云存储系统提供针对数据重命名权限、删除权限的限制功能，确保数据在特殊情况下，也不会丢失。
同时提供监控功能，可以监控所有危险操作并记录，以确保数据的安全可靠。
云存储系统也可以根据存储系统中各服务器的硬件状态，对硬件老旧、硬件健康状态不太好的服务器进行数据预保护机制，限制健康状态不好的服务器写入数据，防止新数据写入到高危服务器上，并且可以根据需要迁移高危服务器上的数据。
⏹云存储平台支持多监控中心数据推送
云存储平台支持多数据中心架构，多数据中心之间可以通过同步服务器进行数据推送服务，以保证多个数据中心之间，数据一致，并且数据推送时不会与业务相互影响，导致推送失败或业务效率下降。
视频监控云存储建设目标图
xx公司提供的块存储云解决方案由xx公司最新的VX系列磁盘存储系统和DM8500-E云存储管理服务器组合而成。
该方案可为监控的录像业务的提供块存储服务，并能够快速部署存储应用，动态适应业务变化，并保持业务的持续运行。
升级会员 