XXX客户集中交易存储方案.docx
《XXX客户集中交易存储方案.docx》由会员分享，可在线阅读，更多相关《XXX客户集中交易存储方案.docx（21页珍藏版）》请在冰点文库上搜索。
XXX客户集中交易存储方案
XXX
存储集中解决方案
Whereinformationlives
2012年3月
目录
第一章前言
第二章存储系统规划
第三章数据复制/容灾系统
附录A：
MIRRORVIEW软件介绍
第一章.前言
目前证券市场的快速发展，交易量急剧上升，对证券交易平台提出了更高得要求，如何提高系统的运行效率，保障数据的安全，交易系统的不中断性，显得尤其重要，目前各个券商都纷纷上马集中存储，在数据存储和数据保护方面投入大量资金，打造一个高可用性的平台。
第二章.存储系统规划
XXX业务需求：
核心交易平台总计服务器数量：
7台，小型机或者PCserver（linux）
数据库:
oracle
容量：
1TB左右
数据仓库：
1TB
外围系统：
PCserver若干台。
需要考虑将核心交易平台的数据1TB通过同步的方式将数据同步到另外一台阵列。
因此需要再配置档次稍微低点的阵列。
根据XXX业务系统的可用性及可靠性要求极高，它是一个集中交易系统，它每分每秒都在进行交易，它不允许停机，一旦停机，将造成收入的减少。
最短的停机时间，是系统建设的目标。
根据这一要求，我们建议做双阵列冗余系统，在同一机房用两台阵列，复制业务数据在两台阵列上。
当有任何故障发生时，业务可以切换到另一台阵列继续运行，保证业务持续运行，可保证最少的停机时间。
双阵列配置如下：
主存储阵列配置容量1TB，做为主要的生产系统运行；
灾备储阵列配置容量4TB，做为其它系统及备用系统的运行；
1:
存储系统拓补
拓扑图介绍：
推荐使用EMCCX3-40C阵列作为主存储设备，EMCCX3-40C既可支持光纤协议，支持ISCSI协议的，它是EMC第八代光纤存储。
我们建议核心交易系统和数据仓库系统采用SAN模式连接。
核心系统大约有7台服务器，因此选择两台光纤交换机,一台24口交换机，每台主机采用两个光纤卡，通过Powerpath软件，进行数据负载均衡。
通过EMC基于阵列的MirrorView软件，进行核心数据1TB的数据同步。
其它的外围系统，有若干台服务器，如果采用SAN模式连接，成本比较高，在同一机房内，建立灾备存储，选用CX3-20C带ISCSI接口，可以接上千兆网络交换机，通过网络,采用ISCSI协议来访问和使用EMCCX3-20C的磁盘空间。
这样总体节省了投资，而且满足将来的扩展需求。
EMCCX3-20C作为核心交易平台的备份存储，通过EMC基于阵列的MirrorView软件，进行核心数据1TB的数据同步。
保证交易系统阵列出现问题后，能够及时切换到备用存储上来，保证数据有两份相同的实时拷贝。
我此次选择了EMCCLARiiON系列中的CX3-40C做为整个存储系统的关键存储设备，配置7块高速FC146GB硬盘，CX3-20C作为同步容灾数据存储，两台EMC交换机将所有的主机接入到存储系统中，构成一个完整的SAN。
应用系统的服务器采用双光纤卡（EMC的主机光纤通道支持软件是业界唯一支持2到32路光纤连接的，多路光纤连接可以提高主机业务性能。
性能要求高的主机可以考虑3块光纤HBA卡）通过光纤线缆分别连接到两台光纤交换机上，支持数据存储服务功能，配合EMCPowerPath软件可以实现冗余及负载均衡，未来需要连入SAN的服务器也可以只配备一块光纤通道适配器构成基本的SAN连接。
阵列管理软件Navisphere及Accesslogix可以根据具体应用的需求，将磁盘阵列的卷组访问/使用权限进行划分，每一台主机使用各自的磁盘卷组，具备访问安全性的管理能力，同时支持Cluster集群的卷组共享访问支持，并且可以动态地调整卷组的访问权以适应业务变化的需要。
2:
方案技术优势
EMC在所提供的软、硬件解决方案中是有独特的技术优势的，下面我们分别对相关的特点作一较详细的论述。
2.1高可用性
主机层
链接EMC存储的每台主机至少安装两块HBA卡，分别连接两台存储交换机，无任何单路径故障。
每台主机安装EMCPowerPath数据访问高可用软件，实现主机到存储路径的互相保护和工作量负载均衡。
EMCPowerPath软件功能在处理故障时，能保证对整体系统影响最。
EMCPowerPath可针对不同的数据访问类型选择操作模式，操作模式主要有如下表中四种：
操作模式
描述
SYMM_OPT
用户根据读写，动态优化或用户自定义优先级策略
Round_Robin
I/O请求路径分配无选择，随机方式，其他厂家只能实现这种策略
Least_I/Os
I/O请求被分配给I/O最少的路径
Least_Blocks
I/O请求被分配给Block最少的路径
存储层
EMC本次技术建议将采用的是EMCCX系列企业级存储系统，该存储系统平均无故障时间：
99.999%，<<财富>>杂志评价EMC产品质量全球第一。
系统内部高度冗余，无任何单点故障，控制器、电源、风扇等硬件均为冗余，并有软件RAID、热备盘、不间断电源保护，可保证整个存储系统的高可用性。
2.2高性能
众所周知，SAN的建设是为了整合多种应用系统的资源，形成网络化的存储资源共享和使用，是结合了多重技术的实体，因此会有多种因素影响整体性能：
EMC企业级存储系统CX3-40C提供端到端的4Gb光纤通道；8GB可划分读写的高速Cache；
EMCNavisphere管理软件可以静态和动态调整存储系统中Cache资源,提高CACHEHIT的命中率，减少读写的响应时间；
相关主机PowerPath的操作模式设置可以为本次存储系统不同的数据访问类型提供不同的优化策略，实现主机到存储系统数据通路的负载分担；
CX3-40C内部磁盘采用条带化技术来划分LUN，结合相关子系统框架使关键应用I/O尽可能多的分散到不同物理磁盘上，保证存储系统后端磁盘的负载均衡；
2.3可扩展性
EMC提供存储系统完全支持在线扩容，实现最高可用性。
同时SAN的建立完全能够满足将来业务发展变化的需要，包括增加主机、存储交换机、存储系统等，在性能、容量和高可用等多方面具有良好的扩展性，在存储资源管理方面保持着一贯性。
具体设计如下：
将来当主机处理能力不能满足的要求时，可以新增主机连接到现有的SAN环境中，在EMC存储资源管理平台上分配存储资源，使其分担现有主机的工作量。
可以通过新增存储交换扩展存储交换层的连接，EMC支持众多厂家存储交换的设备，并有很好互操作测试，其中包括Brocade、Mcdata、Qlogic等厂家。
一台CX3-40C存储系统的容量可以在线扩充到240块146GB、300GBFC硬盘或500GB的低成本光纤硬盘（最大光纤硬盘容量为144TB、SATA硬盘容量为240TB），同时可以通过在现有SAN的基础上新增存储系统进行扩容。
另外CX3-40C还可向EMC的高端产品CX3-40C系列升级，升级到更高性能，更安全的CX3-40C。
2.4高性能的SAN解决方案
构建有高性能、高伸缩性的SAN-存储区域网光纤交换机---为使XXX数据中心各个系统能够顺利地连接、共享，我们拟对该项目推荐光纤交换机二台，这样能保证XXX整个业务系统都能从储存区域网络（SAN）中受益，比如：
像在目前我们所提供的方案中，光纤交换机将承担重要的角色，一方面，它提供了系统服务器存取、访问高端存储的有效路径，另一方面，能够为该交换机提供了LANFree的磁带备份。
同时能够同步方式
阵列间连接。
EMC所有的光纤交换机为各端口提供了4Gb/s非阻塞带宽的优良性能，同时一些小规模的光纤交换设备均具备了以前只有数据中心级产品才具备的重要特征。
其中包括：
✓4Gb/s无阻塞连接性
✓连接速度的智能自感应能力
✓热插拔冗余电源与制冷
✓在线且不中断应用的固件装载和激活
✓网络活动的在线诊断和故障隔离工具
除以上所具备的业界同类最佳特征之外，EMC光纤交换机提供了最高的可用端口密度，仅需占用立式机柜空间的1U，在机柜空间甚为宝贵的条件下，为扩容提供足够的空间。
存储网络管理软件---XXX信息中心的SAN结构中主机类型较多，而且每台主机对磁盘空间的需求还不一样，同时由于所有的数据都集中在一起的，所以关键业务的数据保护至关重要。
这些数据只允许授权的主机访问，而且访问的通道带宽也同时要得到充分的保证。
针对以上情形，我们采用了EMCNavishpere软件配全EMC交换机管理软件来完成以上的任务。
这些软件可以实现SAN端口之间（包括交换机端口、存储系统端口以及服务器连接卡的端口）虚拟网络的设置——即可以将交换机的若干端口与其它端口隔离开，并形成逻辑上独立的网络以保障可区间的独立性和安全性。
Navisphere套件中的AccessLogix软件还可实现存储空间划分及权限管理，存储空间划分和权限管理在多主机连接存储的SAN环境中是必不可少的，它可以充分保护关键存储资源不被其他主机访问，真正保障数据的安全性。
3:
存储系统方案小结
CX3-40C是EMCClARiion系列第八代的全光纤通道体系架构产品。
产品技术成熟，性能可靠。
构建的基于SAN存储解决方案完全满足用户对SAN存储设备的要求。
采用EMCCLARiionCX3-40C构建的SAN存储解决方案具有以下特点：
∙硬件系统采用业界领先的内外4Gb全光纤通道技术设计。
EMCCX3-40C存储系统对外的4个主机接口都是支持4Gb的光纤通道接口（同时支持FC_SW和FC_AL光纤连接）。
能为与磁盘阵列连接的主机提供32Gb/s的数据带宽。
保证每台主机有充足的带宽完成与磁盘阵列的IO操作。
保证了XXX的主机在基于SAN的数据集中方式中都能获得高性能,同时也保证了当连接的主机数目扩展以及，磁盘阵列容量扩展时，主机的应用都能获得足够的IO带宽。
∙EMCCX3-40C的硬盘可选择配置先进的双4Gb光纤通道接口的硬盘，也就是说磁盘阵列内部与硬盘连接同样采用的是4Gb光纤通道。
磁盘阵列内外都是4Gb的光纤通道体系结构，性能出众，消除了由于磁盘阵列内外采用光纤速率不同造成的性能瓶颈。
∙技术成熟，安全可靠，CLARiiONCX3-40C是EMC2ClARIION系列的第八代光纤通道产品。
EMC基于CLARiiON存储产品已有12年的设计经验，经过不断的研发投入与完善，是领先其他存储厂家两年以上的时间的业界第一套的全光纤存储结构地磁盘阵列，具有全球第一的先进性，并且已经是最为成熟的第八代产品。
CX3-40C独有的冗余结构及先进成熟的核心微码计算控制技术确保数据最高级别的安全性，在任何意想不到的故障发生时保证数据安全并且保证数据的完整性（不发生错误）。
提供业界最完善的RAID保护技术，可以支持RAID0，1，0＋1，3，5保护磁盘的数据。
同时，配合阵列先进的软件功能，在阵列和主机连接通道某些部件故障时确保不停机，支持应用的连续运行。
对于磁盘阵列最核心的部分CACHE缓存，EMC2独有的先进的CACHE算法研发设计，使CLARiiON能达到70%~90%的CACHE读命中率和100%的CACHE写命中率，同时提供顺序文件读应用的高效RAID3的CACHE技术。
每个存储处理器的高速缓存均彼此构成镜像。
换言之，每个存储处理器中的高速缓存既包含它所拥有的磁盘组的基本高速缓存数据，也包含其他存储处理器的基本数据的副本。
如果发生存储处理器失效，则仍正常工作的存储处理器的高速缓存—包括其基本高速缓存和与其并列的存储处理器的镜像—将立即被写入磁盘存储。
因此，EMCCLARiiON磁盘阵列能永远确保写操作被安全地逐级传递给磁盘，即使在存储处理器失效的情况下亦如此。
如果发生电源失效的情况，则备用电池装置可提供需要的电力，从而确保在电源关闭前将全局高速缓存安全地写入磁盘。
镜像高速缓存的数目可极大地缩短响应时间，并使客户动态扩大特定性能所要求的内存大小。
CLARiiON系列存储处理器的内存是完全受ECC保护的；硬件可在所有总线上提供奇偶校验保护。
阵列软件可在用户数据的每个部分提供CRC保护。
请参见附录中白皮书一节的数据完整性白皮书。
双-工作存储处理器的体系结构可为单服务器或多服务器配置提供更高的性能和可用性。
CLARiiON存储产品全球销售超过200，000套，应用在各行各业的各种应用，成熟性得到了很好的验证。
∙强大的软件功能，CX3-40C的磁盘阵列管理，配置软件完全是基于磁盘阵列的，并且能支持WEB的远程管理。
其它功能包括“快照”及远程容灾。
快照功能的实现也完全基于存储，无需主机的任何资源。
在实现逻辑指针映像快照功能的同时，还可以做到实际的物理卷拷贝的功能，在为提高业务效率提供基础的同时增加了数据第二份拷贝保护的能力。
同样，远程容灾地功能也是完全是现在磁盘阵列之上，无需主机的干预，而且是双向同步的镜像，远程容灾中心的存储设备也可以加以利用，分担业务负载或配合快照软件功能提高业务效率。
∙开放性与可扩充性，基于EMC2强大研发和测试实力及庞大的投入，EMC2产品的开放性都是经过EMC互操作性实验室严格验证的，不会存在任何实施方面的问题。
并且CLARiiON模块化的结构在SAN的存储架构下无论是在容量和存储性能扩展方面还是在应用服务器扩展方面，配合EMC功能强大，用户界面最为友好的集中管理工具都可以做到平滑、在线完成。
∙EMCCLARiiON存储阵列专门针对开放系统设计，适用于中到大规模的数据集中需求，价格适中，规模可扩充性强。
可以从较小规模起步，按需购买，根据需求逐步扩充，很好的保护用户的投资。
第三章.数据复制/容灾系统
1.容灾系统类别
按照连续复制过程中生产数据和复制结果之间的时间关系，可以分为同步复制和异步复制，以及介于这二者之间的半同步复制。
按照数据复制的执行方，可以分为如下几种方式：
应用嵌入方式－采用应用层技术实现
执行方为应用程序的内嵌代码，复制的粒度是应用级交易，复制涉及的范围为单个应用。
复制的原理是应用程序负责将同一笔交易在本地中心（或称生产中心）和备份中心（或称备份中心）都得到执行。
其同步方式为“两阶段提交（two-phasecommit）”方式，同一笔交易同时向两个中心提交，获得两个中心的交易完成应答后，该交易作为一个整体完成。
其异步方式为“交易日志重放”方式，生产中心定期将已完成的交易所需要的输入（或直接将输出结果）发往备份中心，在备份中心重新执行（或直接记录结果）。
数据库方式－采用（依靠）主机层技术实现
执行方为数据库管理系统的辅助程序，复制的粒度是数据库内数据操纵动作（DataManipulationOperation），复制涉及的范围为单个数据库。
数据库管理系统在执行数据操纵动作过程中，将需要整体完成的动作集合作为交易来管理；利用联机日志（OnlineLogs）记录交易的执行情况，利用归档日志（ArchiveLogs）定期将联机日志进行一定期限的保留。
其同步方式为同时传输归档日志和联机日志，保持备份中心和生产中心的数据库中已提交的交易的执行的一致性；其异步方式为只传输归档日志。
文件系统方式－采用主机层技术
执行方为系统中特定的文件系统复制引擎，复制的粒度为文件系统中的文件，复制涉及的范围为单个服务器中的文件系统。
文件是粗粒度的数据对象，复制多发生在文件被关闭时。
其复制方式多为异步的数据迁移方式，复制引擎在文件一级比较生产中心和备份中心的差异，定期将生产中心被修改过的文件传输到备份中心。
服务器卷管理软件方式－采用主机层技术
执行方为服务器中的卷管理系统或操作系统的特定复制辅助部件，复制的粒度为卷管理系统接受到的来自文件系统、数据库管理系统、服务器内存管理系统的IO更新操作，复制涉及的范围为单个服务器管理的逻辑卷。
一般利用服务器的CPU、Memory、磁盘更新日志、以及服务器之间的TCP/IP网络资源完成复制。
运行方式可以为同步、异步方式。
智能存储系统方式－采用存储层技术
执行方为智能存储系统，复制的粒度为存储系统接受到来自服务器的IO更新操作，复制涉及的范围为企业中存放在智能存储系统中的所有信息，包括应用程序、数据库、文件系统、数据卷等等。
运行方式可以为同步、异步、半同步方式。
同步方式可分为两种：
同步拷贝和完全镜像。
异步方式下，在生产中心可以按照两种方式缓存需延时复制的数据：
复制队列技术和定点拷贝－复制技术。
（延迟同步和缓冲区技术）
这里我们主要介绍的是基于存储层的技术。
2.智能存储系统方式－采用存储层技术
磁盘系统利用自身的处理能力，通过磁盘系统之间的通道连接复制磁盘系统内的数据更新，从而在备份中心保存生产数据的记录。
磁盘系统是信息的真正物理所在地，利用磁盘复制可以独立于服务器、操作系统、卷管理系统、数据库、文件系统、中间件、应用程序。
磁盘系统数据的物理构成单位为扇区（Sector）、簇（Cluster）、磁道（Track）、柱面（Cylinder）、卷（Volume）。
一般基于卷建立磁盘复制的复制对应关系，复制过程中的数据传输单位可能为簇、磁道或柱面。
从生产中心和备份中心中心之间数据是否保持完全一致看，传输模式可分为如下三种：
同步：
从服务器来看，一个完整的磁盘IO更新同时包含对两个数据中心的磁盘IO更新。
异步：
服务器照常执行对生产中心的磁盘IO更新，复制程序将IO更新异步地从生产中心传输到备份中心。
备份中心的IO更新将落后于生产中心。
半同步：
备份中心的IO更新将落后于生产中心指定的数量。
当复制过程因为网络原因中断后，恢复时是否只追补自中断后新增的更新来分，复制可分为两类：
增量复制：
只复制中断期间新产生的IO更新。
全复制：
全部复制生产卷中的所有数据。
当进行系统切换时，需要进行反向复制时，根据反向复制使用的技术，可分为三类：
增量：
只复制切换后在新生产中心新产生的IO更新。
完全：
将新生产中心修改过的卷完全复制到老生产中心。
角色转换：
在切换后转换复制关系，将新生产中心设置为复制源（Source），将原生产中心设置为复制目的地（Target）。
从监控数据复制过程的方式看，分为两类：
命令行：
通过基本命令行监控。
图形：
通过图形化的界面监控。
从监控程序使用的通信介质看，分为两类：
带内监控：
通过数据复制网络（即磁盘之间的通道连接）进行监控。
带外监控：
通过和存储设备相连接的服务器之间的TCP/IP网络进行监控。
从监控者所在位置看，分为两类：
生产中心：
在数据复制远端监控数据复制。
备份中心：
在数据复制目的端监控数据复制。
从监控数据复制过程的范围看，分为三类：
性能：
监控数据复制过程是否达到业务的复制要求。
流量：
监控数据复制系统各部件具体的IO流量。
故障：
监控数据复制系统各部件的完好状态。
从数据复制在备份中心被存取的方式看，分为两类：
只读：
备份中心对数据复制只能进行读操作。
可读可写：
备份中心对数据复制可进行读写操作。
上层数据应用实体（如服务器卷、数据库、文件系统、裸设备）与磁盘系统中的物理设备存在映射关系，从磁盘数据复制保障上层数据应用实体的一致性的层次和范围看，分为三类：
数据库：
将数据库对应的所有磁盘卷纳入到可统一进行复制操作的磁盘数据设备组中。
应用：
将某一应用对应的所有磁盘设备卷纳入到可统一进行复制操作的磁盘数据设备组中。
跨应用：
将多个应用对应的所有磁盘设备卷纳入到可统一进行复制操作的磁盘数据设备组中。
这些磁盘卷可以位于多个磁盘服务器中。
通过对多个磁盘服务器复制的集中管理实现跨磁盘服务器复制的数据一致性。
从数据复制过程在复制过程故障中断情况下对数据一致性的保障看，分为两类：
冻结停顿（freezeandstop）：
一旦检测到复制机制任一故障，立即停止复制操作并关闭应用。
应用于需保证两个数据中心数据完全一致的环境。
冻结继续（freezeandgo）：
一旦检测到复制机制任一故障，立即停止复制操作，生产中心业务继续。
应用于需保证生产中心业务运行的环境。
从数据复制过程对两端磁盘系统的硬件和软件要求看，分为：
硬件前后代兼容：
不同硬件版本的磁盘服务器之间可以进行磁盘数据复制。
软件前后代兼容：
不同软件版本的磁盘服务器之间可以进行磁盘数据复制。
在同步状态下，从生产系统是否可联机存取数据目的端的能力看，分为：
数据同步拷贝：
同步拷贝只能被备份服务器使用，当生产数据发生损坏时，生产服务器不能在不中断业务的前提下透明联机访问拷贝中的数据，而只能通过启动备份服务器来恢复业务。
数据同步镜像：
除实现同步拷贝的功能外，生产服务器采用同一地址访问镜像和数据源；当生产数据发生损坏时，生产服务器可在不中断业务的前提下透明联机访问拷贝中的数据。
异步方式下，可以按照两种方式缓存需延时复制的数据：
复制队列技术和定点拷贝－复制技术。
复制队列技术将所有生产数据的更新直接保存到缓冲区，复制进程连续不断地读取缓冲区中的数据，传输到备份中心的存储系统定点拷贝－复制技术下的复制过程根据复制要求和复制网络带宽的状况，按合适的时间间隔记录生产数据的更新，然后按照将该更新完整的复制到备份中心。
在磁盘复制中，所复制的是物理设备中的业务信息；对于磁盘结构的变化，如增加参与复制的硬盘数量，磁盘复制机制本身无法实现。
功能完好的磁盘智能系统支持联机修改磁盘配置，复制管理系统通过修改配置信息来保证磁盘复制机制可适应业务的变化，并且在修改配置时，不必中断当前的数据复制过程。
在这点上，应用嵌入式复制、数据库级复制、文件系统级、卷管理级复制均不能良好处理相应的应用结构、数据库结构、文件系统结构、卷管理结构的变化，管理员需终止复制、修改配置后、重新初始化复制，从而对复制机制的连续性和可操作性带来的威胁。
因此，基于智能存储的磁盘复制技术是XXX图书馆新馆数据容灾建设的首选。
3.本次设计容灾实现
建设好本地的存储系统后，在XXX信息中心，再放置一台容灾用EMCCX3-20C磁盘阵列，通过现有的光纤线，连接到现有存储系统的交换机上，利用上面介绍的容灾技术，利用EMCMirrorView软件，将现有存储系统中的CX3-40C上需要保护的数据，同步到CX3-20C上，以达到数据容灾的目的。
当本地CX3-40C阵列由于不可抗力可意外原因造成不可用，我们直接利用CX3-20C上的数据，在很短的时间内即可恢复应用。
需要指出，对于某些引起宕机的因素，如误操作、病毒对数据的破坏，磁盘复制技术都会将故障因素复制到备份中心；此时备份中心拥有的复制数据失去了恢复业务的作用。
利用“定点拷贝”频繁生成的磁盘备份或磁盘快照，可以弥补单纯磁盘复制技术的不足，预防此类灾难。
附录A：
MIRRORVIEW软件介绍
通过先进的同步与异步远程灾难恢复功能，
在使数据可用性达到最高的同时提高生产效率
1.概要信息
✧为在两个或更多CLARiiON系统之间镜像，重要信息提供同步或异步选项
✧可以从EMCNavisphere软件中方便地管理
✧在阵列上操作并且对所有服务器和应用程序是透明的
✧与SnapView集成以实现高级保护和实用功能
✧通过启用到目标站点的故障切换允许更快的灾难重启
✧任何时候都有一致而且可还原的远程副本
EMCMirrorView可以在企业环境、国家范围内或在全球范围内提供高度可用的数据存储。
通过在EMCCLARiiON系统之间保持同步或异步数据镜像，MirrorView可为重要的业务功能确保数据可用性。
MirrorView基于阵列，因而对服务器或应用程序没有任何影响，并且可轻松地在EMCNavisphere管理软件内进行管理。
MirrorView还集成有EMCSnapView
升级会员 