同城容灾规划方案模板.docx
《同城容灾规划方案模板.docx》由会员分享，可在线阅读，更多相关《同城容灾规划方案模板.docx（27页珍藏版）》请在冰点文库上搜索。
同城容灾规划方案模板
XXXXX
容灾中心规划方案
1总体规划
1.1设计依据
XXXXX容灾中心建设设计，将遵循以下设计依据：
✓《2006-2020年国家信息化发展战略》（中办发【2006】11号）
✓《信息安全等级保护管理办法》（公通字【2007】43号）
✓《重要信息系统灾难恢复规划指南》国信办
✓《信息系统灾难恢复规范》（GB/T20988-2007）。
1.2设计原则
从硬件平台的目标来看，首要需要实现的是第一阶段目标，在第一阶段目标实现的基础上实现第二阶段的目标。
因此，硬件平台设计中应遵循以下原则：
安全性：
XXXXX重要系统24小时运行，安全是非常重要，服务器、存储系统和数据传输等方面都需要考虑安全性，在此基础上，才能考虑下一步的稳定性设计。
稳定性：
网络、服务器、存储等建设主要目标之一是就是稳定，应该保证业务的连续性，服务器和存储系统都需要保证应用的稳定运行，在遇到突发情况时备机和备份系统发挥作用，确保业务能够持续。
可靠性：
网络、服务器和存储的建设不可忽视的是可靠性的提升，比如通过网络、服务器之间的双机、存储级别的同步来实现高可用，网络有足够的带宽适应突增的数据流量、保证应用系统的可靠性。
兼容性：
硬件和软件设施都应该有很好的兼容性，需要合理的利用资源，利用虚拟化等技术，保证能和其他的产品很稳定的兼容在一起。
1
2
1.3建设内容
XXXXX现有业务系统分为数据库服务器、应用服务器两个类别。
建成后的容灾中心将实现如下目标：
容灾级别
容灾目标
同城应用级容灾
要求生产中心故障后，允许人工干预切换到备份中心，做到数据接近零丢失，应用恢复时间小于2小时。
针对XXXXX应用系统的情况，将XXXXX容灾中心建设划分为二个阶段，具体如下：
1.3.1第一阶段建设内容
Ø第一阶段建设内容：
✧容灾基础设施建设：
完成容灾中心机房、SAN网络、链路等基础设施建设；
✧数据级容灾建设：
各应用系统的数据级容灾建设，实现跨中心的数据镜像，零数据丢失；
✧实现各应用系统数据集中备份、异地存放；
✧建立容灾应急预案和演练流程。
1.3.2第二阶段建设内容
Ø第二阶段建设内容：
✧应用级容灾建设：
完成各应用系统的应用级容灾建设，通过跨中心的应用系统集群、双活中心建设，实现零数据丢失，2小时内完成业务接管；
✧完善容灾应急预案和演练流程。
1.4总体设计
1.4.1容灾技术选择
1.4.1.1容灾技术选择原则
容灾技术选择依据以下这些原则：
1.满足不同应用需求的容灾数据损失（RPO）、及应恢复时间（RTO），数据一致性等具体要求。
2.支持本地的系统加固以及本地系统的弹性构架。
而弹性构架是对IT系统的长期发展直观重要，主要是指IT系统横向、纵向的扩展性。
比如异构环境的支持、扩展。
而系统本地加固与远程容灾的技术必须是互不冲突的。
3.在能够满足以上两项要求的同时，最经济。
4.支持容灾各层的总体切换。
1.4.1.2技术选择
前面对各种数据复制技术进行了深入分析，根据XXXXX各应用系统容灾建设需求，选择如下技术实现容灾：
应用系统
容灾需求
容灾技术
数据级容灾
RPO=0，RTO<2小时
异构盘阵间镜像
应用级容灾
RPO=0，RTO<2小时
集群
1.4.2容灾架构设计
1.4.2.1镜像实现数据级容灾
此次XXXXX容灾系统建设，建议采用异构盘阵间镜像，逐步实现从数据级容灾到应用级容灾的建设。
利用镜像技术，实现异构盘阵间的数据同步，来构建容灾方案。
就是将生产中心和灾备中心之间的SAN存储区域网络通过光纤连接起来，建立城域SAN存储网络。
然后，通过跨阵列磁盘镜像技术来实现同城容灾。
从原理上讲，在城域SAN存储网络上的两套磁盘系统之间的镜像，和在一个机房内的SAN上的两个磁盘系统之间镜像并没有任何区别。
利用光纤将生产中心和灾备中心的SAN网络连接起来，构成城域SAN网络以后，我们就可以非常方便的使用镜像技术实现生产中心磁盘系统和灾备中心磁盘系统之间的数据同步了。
如下图所示：
利用容灾软件，我们可以创建任意一个逻辑卷（Volume）供业务主机使用，实际上是由个完全对等的，容量相同的磁盘片构成，两的个磁盘片上的数据完全一样，业务主机对该Volume的任意修改，都将同时被写到位于生产中心和灾备中心的两个磁盘系统上。
采用这种方式，生产中心的磁盘阵列与同城容灾中心的磁盘阵列对于两地的主机而言是完全同等的。
利用城域SAN存储网络和镜像功能，我们可以非常轻松的实现数据系统的异地容灾。
并且消除了复制技术（无论是同步还是异步）的切换的动作，从而保证零停机时间，零数据损失的实现。
1.4.2.2容灾方案优势
∙零停机时间，业务不中断。
无论是生产中心还是容灾中心的磁盘阵列发生问题，都不会导致应用停顿，从而导致业务中断。
∙发生灾难时，无需手工活自动切换来恢复应用，应用会无缝的继续进行。
从而也不会造成人为的错误发生。
∙由于应用不会中断，数据的一致性也没有任何风险，不会像其他的容灾方案，在容灾切换后，数据库仍然有启动不成功的可能性。
∙跨磁盘阵列镜像一旦发生灾难，修复后，跨阵列的可以实现增量的数据同步，而不需要重新同步所有数据，对系统的影响极小。
∙跨整列的镜像，支持在不同品牌，不同型号的磁盘阵列之间进行。
可以最大限度的保护用户以前的投资。
∙跨磁盘阵列镜像还可以通过调整读写机制，提高系统的读写性能。
∙基于SAN的容灾技术，其容灾距离可以在100公里的范围内，得到很好的想能保障。
∙可扩充性好，不局限于某一品牌磁盘产品
∙可控的切换时间
RTO表示所能接受的业务中断时间，从某种程度上讲，也就取决于在生产中心宕机时，将业务切换到容灾中心的时间长度。
系统的切换时间：
数据库启动、状态检查——5分钟
数据库切换——10分钟
中间件启动——1分钟
网络切换——1分钟
应用级的容灾
容灾分为数据级容灾和应用级容灾。
本次XXXXX的容灾系统设计，将提供应用级别的容灾方案。
所谓应用级的容灾，是指在数据容灾的基础上，在异地建立一套完整的与本地生产系统相当的备用应用系统（可以是互为备份）。
1.4.2.3本地Cluster、同城异地Cluster
备份、Cluster、复制等技术都是为防止系统或数据故障时业务仍然可用。
其中，Cluster技术可以处理以下原因造成的故障：
系统硬件故障
如数据/系统磁盘的损坏将导致数据不能访问，并进而可能导致应用进程终止或系统停机，甚至系统不能重启动；网卡的损坏可使终端用户无法访问系统服务；CPU或内存的失效则会导致系统的死机；
应用程序或操作系统出错
由于操作系统或应用程序中可能存在不完善的地方，当碰到某种激发事件时，应用程序非正常终止或系统崩溃（只能通过改善程序或系统来解决）；
人为错误
一些人工的误操作，如删除系统或应用文件，终止系统或应用服务进程，也会导致系统服务的无法访问；
自然灾害
由于一些意外的不可抗拒的因素，如雷击、火灾、洪灾等导致的计算机系统破坏，将会使一般系统的恢复非常困难和耗时，导致业务系统长时间的中断（通过容灾系统来解决）。
正常的停机
主要指计划内的系统升级、安装软件、系统备份等过程。
为保证整个容灾系统的高可用，本方案将采用本地Cluster和同城异地Cluster相结合的方式实现应用级容灾。
1.4.2.3.1本地Cluster
本地Cluster系统应用非常广泛，大部分关键的业务系统都采用Cluster技术来防止单机故障。
一般来说，Cluster主要由硬件和软件两部分组成。
硬件部分有：
多台服务器设备，共享磁盘，心跳线；软件部分有：
对资源的监控和切换，心跳协议，日志管理。
Cluster会在两条心跳链路上传输侦测包，实时监测其他主机系统和各种软硬件资源的运行情况，如应用进程、网卡、IP、磁盘、文件系统等，当任何一种资源失效时，CLUSTER即会按照预先定义的规则快速实行相应的硬件或应用切换。
例如：
▪当一台机器上的工作网卡发生故障时，CLUSTER会自动地切换到另一块网卡；
▪当一台主机发生故障或关机时，CLUSTER会自动地将其上的应用切换到另一台机器；
▪当应用服务进程非正常终止时，CLUSTER会自动重起相关进程，或将服务进程切换到其他机器上
▪当系统需要进行维护时，可手工将应用从一台机器切换到其他机器。
1.4.2.3.2同城Cluster
同城Cluster一般也称为园区网Cluster（CampusCluster）或中距离Cluster（Middle-Area-NetworkCluster），以区别于本地Cluster。
同城Cluster的实现，得益于光纤技术的发展。
因为以前采用SCSI线缆共享磁盘的方法，由于SCSI线缆的长度限制，无法将两台组成Cluster的服务器隔离很远。
但采用光纤连接主机和存储设备，可以将主机与磁盘的距离延伸很远。
因此，同城Cluster都采用光纤连接存储设备。
另外，同城Cluster还依赖于跨磁盘阵列的镜像技术（一般由VolumeManager软件实现）。
这样每台服务器本地连接一份磁盘阵列，两个阵列通过VolumeManager进行镜像，就可以将两个物理上完全独立的系统组成一个Cluster系统，从而可以防止小范围灾难事件的发生（例如机房失火）。
结构如下所示：
因此，在许多实际应用中，都把同城Cluster做为同城容灾的解决方案。
Cluster方案在成本、切换速度、对系统的性能影响等方面都有很大优势。
例如，当生产中心磁盘故障时，对整个系统没有任何影响，无需进行应用切换，从而不对业务造成的影响。
1.5分阶段建设
容灾系统建设是一个复杂的系统工程，建议XXXXX分阶段进行建设，这样对业务系统的影响最小、可以在建设中逐步积累经验。
1.5.1第一阶段建设
1.5.1.1基础设施建设
基础设施建设包含容灾机房的建设（包括场地租用、SAN网络建设）、裸光纤租用和生产中心调整。
1.5.1.1.1容灾机房建设
容灾机房需要考虑如下各子系统：
∙电力系统
∙空调系统
∙消防系统
∙安全系统
∙标准机架
∙综合布线系统
∙防震系统
1.5.1.1.2裸光纤链路
租用或单独部署裸光纤。
1.5.1.1.3连接设备
建议采用CWMD设备用于连接两地SAN网络，实现波分复用。
1.5.1.1.4SAN交换机
使用适当端口的SAN交换机。
1.5.1.2数据级容灾建设
针对系统：
数据库服务器、应用服务器
方案效果：
双中心数据完全一致，零数据丢失；
单一存储设备故障，零切换；
容灾效果：
容灾等级达到国信办容灾最高等级5级
1.5.1.2.1数据容灾架构
1.5.1.2.2容灾资源要求
⏹容灾中心SAN网络：
本方案中数据容灾是基于裸光纤链路实现的远程镜像，因此在生产中心及容灾中心必须首先构建好本地的SAN网络；当前的生产中心已经具备了基本SAN架构，容灾中心新购两台SAN交换机，实现物理设备冗余。
⏹容灾链路：
在两个中心之间的SAN链路，可以通过租用裸光纤来实现生产中心和容灾中心的SAN链路直联。
建议采作用两条不同的电信运营商的裸光纤链路，以实现冗余。
⏹容灾中心存储：
容灾中心需要采购一台或两台存储设备，用于应用服务器和数据库服务器的数据容灾，采用软件实现跨中心镜像容灾，磁盘阵列的品牌可以与现有磁盘阵列不同。
1.5.1.3各应用系统数据异地备份容灾建设
在XXXXX容灾系统第一阶段建设中，针对除第一级应用系统外的其他系统，通过数据备份的方式实现数据异地备份与存放，增强数据异地容灾的保护作用。
数据中心和容灾中心之间采用的是裸光纤链路，同时采用了CWMD设备实现波分复用，带宽资源丰富，因此，在数据中心和容灾中心构建统一的备份域，通过一套备份软件实现数据本地和异地备份，实现数据容灾备份。
1.5.2第二阶段建设
1.5.2.1应用级容灾建设
针对系统：
数据库服务器、应用服务器
方案效果：
双中心数据完全一致，零数据丢失；
单一设备故障，零切换；
数据中心站点故障，零数据丢失、2小时内恢复业务：
容灾效果：
容灾等级达到国信办容灾最高等级6级
1.5.2.1.1设计描述
●应用容灾：
⏹两地数据已通过镜像技术实现同步，零数据丢失；
⏹通过Cluster技术，在本地和远端构建独立的集群组，通过站点切换技术实现两个中心之间的集群组切换，实现零数据丢失、单个业务10分钟内实现业务切换。
⏹通过应用负载均衡设备，实现双中心应用服务器的自动负载，零切换。
●网络容灾：
当生产中心发生灾难，应用程序切换并正常接管工作后，还必须完成容灾中的网络设备切换及应用服务器的网络解析，从而使客户端自动地联系到容灾中心的应用服务器上，正常开展工作。
这样，就真正意义上的实现了整个生产中心到容灾中心的切换。
1.5.2.1.2容灾资源要求
●本地及容灾中心SAN网络：
第一阶段已经建设完成。
●容灾链路：
⏹TCP/IP链路。
应用服务器切换所有需要的TCP/IP网络链路，可以在租用裸光纤的链路上进行加载，对于生产中心和容灾中心的TCP/IP网络链路的要求是，只需连个中心之间的IP地址能够Ping通即可。
●容灾中心主机：
⏹为了实现应用的接管，针对各应用系统容灾中心各添加一台相应的服务器，作为数据库及应用的接管服务器。
考虑到投资和灾难发生的概率，建议各采用一台与生产中心能力相同或者略高的服务即可。
●容灾中心存储：
第一阶段已经建设完成。
2详细设计
2.1基础设施建设
基础设施建设是其他系统容灾建设的基础，其包括托管机房租用、链路租用、波分复用设备、SAN交换机、网络负载均衡器、网络安全设备、网络设备和管理服务器等建设。
1）建设建议：
a）沿用和传承：
网络设备、网络安全设备、SAN交换机、PC服务器等设备，在价格同等的情况下，尽量采用现在正在使用品牌的同等设备，方便管理与维护；
b）采用知名品牌、占有率高的设备：
对于没有采用过的设备，尽量采用市场占有率比较高的知名品牌的设备。
2）各部分建设说明：
a）容灾机房建设：
容灾机房可以采用自建或租用的方式；
b）链路租用：
分别租用电信和网通的两条裸光纤链路，用于双中心的SAN和网络互联，租用电信和网通广域网链路，形成广域网连接，下面将与波分复用设备一同设计；
c）波分复用设备：
建议采用支持8个波长或者16个波长的设备；
d）SAN交换机：
采用4GB设备,SAN网络设计将在存储系统设计中详细阐述；
2.1.1网络系统设计
2.1.1.1设计原则
高网络服务质量
保证网络提供最优服务品质，满足客户各种业务需求。
最大端到端延迟时间＜100ms
网络丢包率＜1%
高可用性
可提供的网络利用率＞99.99%，每年网络不可用时间小于53秒。
核心采用双机备份，保证在一台设备或一个断口中断时，客户业务也能够畅通无阻。
网络设备及线路全部采用冗余配置，保证网络持续联通。
高扩展性
无限的扩展空间--满足客户扩展与互联互通需要
高安全性
完善的安全机制--避免网站遭受攻击
逐步完善防病毒、入侵检测、安全漏洞扫描等安全防护措施，帮助客户免遭病毒和黑客袭击。
可管理性
通过专业的管理工具，为客户提供网络性能监控，按提供性能分析报告。
2.1.1.2网络系统设计
总体说来，XXXXX在网络相关的配套设施建设方面还是比较完善的，包括机房的建设上，基本上能够满足日常运行的需要。
本次网络系统总体设计，我们将对XXXXX的网络系统进行总体规划，包括数据中心和广域网。
架构要点：
1）两路、两中心：
XXXXX同容灾中心之间通过两条链路实现互联，即，租用两条ISP的链路，实现每各容灾中心通过两条链路同数据中心、容灾中心的分别连接，保障两个数据中心之间的数据负载均衡；
2）CWDM应用：
通过CWDM技术，实现一对光纤资源复用成8个波长，实现网络、SAN环境的双波长高速互联；
3）路由自动切换：
采用原有的路由协议，实现广域网链路的自动切换。
2.1.2双中心互联设计
数据中心、容灾中心之间搭建的网络平台，不单要实现两个网络系统之间的信息交互，还需要为数据中心、容灾中心之间的数据传输提供通道，包括基于SAN架构的同城容灾，基于IP网络的统一集群，以及备份系统等都需要提供链路和传输平台；因此，双中心之间的网络设计十分重要。
2.1.2.1双中心之间链路选择
双中心之间传输的数据，既有通过IP网络传输的数据，也有通过SAN传输的数据；因此，如果租用链路的话，需要租用多条通讯链路。
为了保护用户投资，合理充分利用链路资源，建议租用两条裸光纤，通过CWDM技术，对光纤链路进行复用。
2.1.2.2双中心之间网络设计
在数据中心、容灾中心租用不同运行商的两条裸光纤，通过CWDM技术，对光纤链路进行复用。
数据中心、容灾中心的互联可以采用CWDM技术，通过OADM和对应的CWDM收发器实现8路1000Mbps信号以不同波长复用在单一光纤上，实现新老数据中心备份。
通过点到点配置波分复用设备，最多允许客户在一对单模光纤束中增减八个通道（千兆位以太网和/或光纤通道）。
因此，客户几乎不需要增加光纤。
如果将冗余通道增减到第二对单模光纤束中，还可以建立冗余点到点链路。
2.2数据级容灾设计
2.2.1系统设计
2.2.1.1方案的结构原理
设计解决方案将采用基于软件的镜像技术，来构建高可用方案。
利用软件镜像技术构建高可用系统，需要在生产中心和灾备中心之间建立城域SAN存储区域网络，通过裸光纤连接起来；这样就可以通过跨阵列磁盘镜像技术来实现同城容灾，高可用方案的结构如下图所示：
从原理上讲，在城域SAN存储网络上的两套磁盘系统之间的镜像，和在一个机房内的SAN上的两个磁盘系统之间的镜像并没有任何区别。
利用光纤将生产中心和灾备中心的SAN网络连接起来，构成城域SAN网络以后，我们就可以非常方便的实现生产中心磁盘系统和灾备中心磁盘系统之间的镜像了。
如下图所示。
这里，逻辑卷“VolumeA”是业务系统访问磁盘的逻辑设备名，所有业务系统对磁盘系统的访问，都将通过Volume实现。
我们可以看到，利用VolumeManager，我们可以创建任意一个逻辑卷（Volume）供业务主机使用，比如“VolumeA”，这个“VolumeA”实际上是由两个完全对等的，容量和“VolumeA”相同的磁盘片构成的，我们这里可以称在生产中心磁盘系统上的磁盘片为“VolumeA:
Plex1”，而称在灾备中心磁盘系统上的磁盘片为“VolumeA:
Plex2”，这两个磁盘片上的数据完全一样，业务主机对该Volume的任意修改，都将同时被写到位于生产中心和灾备中心的两个磁盘系统上。
采用这种方式，生产中心的磁盘阵列与同城容灾中心的磁盘阵列对于两地的主机而言是完全同等的。
利用城域SAN存储网络和镜像功能，我们可以非常轻松的实现数据系统的异地容灾。
2.2.1.2系统架构
系统拓扑图如下：
通过两对裸光纤，让两个机房的SAN交换机组成一个相当于本地的完整SAN网络，两地机房的服务器既可以通过本地SAN交换机访问本地的SAN存储，也可以通过复用的裸光纤来访问远端机房的SAN存储；都可以对放置在两地机房中的存储进行读写操作；
2.2.2系统故障响应
高可用系统建设完成后，故障和灾难主要有以下几情况：
1.生产中心存储系统不可用
2.容灾中心存储系统不可用
3.生产中心和容灾中心SAN链路故障
2.2.2.1生产中心存储系统故障
生产中心存储系统故障意味着灾难，来看一下拟建后的高可用系统是如何响应的，见下图：
当生产中心的存储系统发生故障（灾难）时，由于同城容灾中心的存储是它的镜像，所以操作系统会自动隔离生产中心的存储，转而对容灾中心的存储进行访问。
从上图我们看到，业务系统可以通过城域SAN网络直接访问灾备中心的磁盘系统的数据，而不需要有任何针对业务系统的动作。
也就是说，生产中心磁盘系统的灾难，对业务系统是透明的，应用和数据库不会因为生产中心磁盘系统的故障而停止；更重要的是，因为应用和数据库不会因为灾难而异常中止，从而避免了发生数据库损坏的可能。
生产中心磁盘系统故障之后，只需要更换损坏的磁盘系统，然后利用VolumeManager重新生成镜像即可，重新生成镜像的过程，实际上就是将数据从灾备中心磁盘系统复制到生产中心磁盘系统的过程。
值得注意的是：
整个过程对应用完全透明，不需要也不会中断业务系统的正常运行。
2.2.2.2灾备中心存储系统故障
灾备中心数据系统故障，这种故障就同上一种故障类似，但对业务系统的影响更小。
2.2.2.3生产中心和灾备中心SAN链路故障
相对于以上两种灾难，这种故障在高可用系统建立以后，出现的概率会更大一些，导致链路故障的原因很多，包括光纤断裂，光端设备故障等，都会导致链路中断。
针对链路故障问题，响应步骤如下：
1.SAN链路发生故障
2.生产中心的VolumeManager利用DCO日志记录Volume:
Plex1因业务数据的变化而变化的数据块，灾备端Volume:
Plex2的数据不会作废
3.一旦SAN链路恢复正常，VolumeManager的FMR功能模块，会根据DCO日志记录的情况，将Volume:
Plex1中链路中断后更新的业务数据拷贝到灾备端Volume:
Plex2，实现增量更新。
2.3应用级容灾设计
2.3.1系统构架
2.3.2系统部署
XXXXX应用级容灾建设分为7个内容，分别是容灾机房、网络层建设、主机层建设、存储层建设、数据库层建设、应用层建设和容灾集中管理平台建设。
1.容灾机房
机房建设这里不做深入阐述。
2.网络层建设：
配置CWDM设备，租用两条裸光纤，通过链路复用技术实现生产中心和容灾中心之间IP网络和SAN网络数据的传输。
配置SAN交换机，用于容灾中心SAN网络建设，实现与生产中心SAN网络的高速互联。
配置路由器，用于容灾中心网络搭建。
配置防火墙，用于对服务器访问的安全控制。
3.主机层建设
容灾中心配置与应用系统相对应的、高性能主机与生产中心主机通过CLUSTER远程集群功能实现主机的高可用性。
生产中心、容灾中心任意一台或两台主机出现故障，业务都不会中断。
4.存储层建设
容灾中心配置高性能存储，与生产中心存储通过卷镜像技术实现数据跨阵列远程镜像，生产中心、容灾中心任意一台存储出现故障，业务都不会中断。
系统数据通过备份软件，集中备份到生产中心VTL上，定时将备份数据复制到容灾中心VTL上，实现数据的异地备份。
2.3.3容灾软件部署
此次容灾项目建设的核心就是容灾软件的部署，容灾软件的部署涉及到主机、存储和数据库层面。
采用跨阵列磁盘镜像技术来实现同城应用级容灾，实现生产中心与容灾中心在线数据完全同步，保证了数据零丢失，应用零切换。
在各层次部署相应的组件来实现主机、存储和数据库层面容灾，具体部署如下：
a）RemoteMirror：
利用RemoteMirror功能，在生产中心和容灾中心的两台存储之间形成跨阵列镜像；生产中心、容灾中心任意一台存储出现故障，业务都不会中断。
镜像进程高度可控，可以随时暂停、继续、终止，并能指定控制在一定的性能范围内实施数据镜像。
故障修复时通过增量数据同步功能，对系统的影响极小。
b）采用动态多路径组件实现主机对存储的多路径读写；在I/O路径出现故障时，确保
升级会员 