DSG某商场容灾系统方案与对策.docx
《DSG某商场容灾系统方案与对策.docx》由会员分享，可在线阅读，更多相关《DSG某商场容灾系统方案与对策.docx（23页珍藏版）》请在冰点文库上搜索。
DSG某商场容灾系统方案与对策
某商场容灾系统
建议案
迪思杰（北京）数码技术有限公司
2009年9月
目录
1.项目背景
百货大楼集团是商贸龙头型企业，始建于1984年，集团下设10个分公司，8个子公司，2个专业总公司，1个物流公司。
经营面积30万平米，经营25万种商品，企业总资产12亿元。
2009年实现销售40亿元。
本项目中realsync同步的是百货最核心的卡库数据库。
2.用户环境
卡库数据库：
aix5.2oracle10g数据量30G左右
灾备端数据库：
linuxoracle10g
运行结果
全同步（存量数据数据同步）时间：
数据同步20分钟左右，含多千万级的表。
实时增量延迟：
3秒以
运行一个月，每日清算表，生产库和灾备库数据完全一致。
灾难演练测试（模拟灾难发生），DSG同步数据库可成功接管业务。
3.案设计
网络拓扑图如下：
✧POS机通过POS终端连接POS库，POS库从卡库中提取卡的信息;
✧灾难发生时，可以把POS库直接连接到DSG灾备库，查询卡的信息，同时POS机和终端也可以通过POS库访问卡库.
4.原理概述
DSG是全球领先的数据与存储管理软件提供商，提供优秀的数据管理软件和数据备份、灾难恢复、数据抽取共享、数据归档检索和一体化管理平台在的解决案。
DSG公司拥有对Oracle数据库复制的核心技术掌握，其推出的复制产品家族RealSync是通过对OracleLog日志进行分析获取跟踪源系统的交易指令。
该软件在生产系统上的每个oracle系统和dc系统上安装一个agent，该agent通过对oraclelog的分析抽取实时增量数据，并将这些增量数据传送到灾备中心上。
灾备中心的每个服务器上也需要安装agent，用于接收从生产中心传输来的交易指令，并将这些交易指令装载到灾备中心的数据库上
复制系统包括两个部分组成：
－DS:
DataSource端，即源系统端；
－DT：
DataTarget端，即目标系统端。
（1）源端和目标端各安装一套DSG的realsync软件，只要进行一些简单的配置就可以完成从首次初始化到实时增量同步的整个过程，并且实现无需停掉生产系统业务而完成整个实时数据复制容灾功能。
（2）DSGReal实时分析oracle的OnlineRedoLog生成压缩的xf1文件自动发送到目标端等待装载。
（3）通过的定制filter功能，来根据用户需要不复制一些危险的DDL操作比如droptabletruncatetable。
（4）目标系统收到xf1指令后保存到目标系统的缓存队列，由于RealSync只分析onlineredolog中的有用信息，所以一般需要传输的xf1文件只是oracleredolog的1/5，这样大大降低了网络的负载，从而更好的减少了数据延迟。
（5）目标系统的loader进程从本地队列中读取数据装载到目标端oracle系统上，装载过程过DSG独有Rowmapping技术进行数据一致性的检测，从而部分保证生产端和容灾端数据的一致性。
（6）整个延迟在OracleRAC模式下正常情况下为3－5秒中，最长延迟不超过10秒，即RPO<10。
（7）目标端数据库处于实时打开状态，如果源端出现灾难，整个RTO时间只是应用准备的时间。
而且在没有接管生产系统业务的情况下容灾端数据库不仅可以用来容灾还可以用来将OLTP应用、报表和查询应用分离；提高每个系统效率，降低资源争用和消耗，从而更有效的利用现有设备。
（8）整个分析、传输、装载过程全程监控，如果出现错误及时提示用户，便用户及时发现问题解决问题。
5.技术标准
目前此类软件没有相应的技术标准，因此特将RealSync软件的原理展示给大家，作为评判的标准。
示意图：
如上图所示，RealSync在DataSource端和DataTarget端分别安装Agent进程，Source端的Agent进程对ORACLE日志进行监控，发现改变及时对目标数据库进行更新。
当应用系统在DataSource端向数据库进行任操作时时，这些信息都将在RedoLog中保存，RealSyncAgent通过对实时获取的Log日志进行分析，获得本次操作的交易指令和交易数据，然后将这些交易指令和交易数据经过格式转化生成DXF数据格式，并实时通过网络传送到DataTarget系统。
DataTarget系统的RealSyncAgent接收数据库包，经过校验码检查，确认正确的数据库包后，调用Oracle函数按照交易的先后顺序在DataTarget系统中执行该交易。
5.1日志抓取（DataCapture）
RealSync对数据的抓取是通过安装在DataSource端的Agent模块定时分析OracleRedoLog来获取DataSource端的交易类型及数据的。
RealSyncAgent在判断DataSource端的Oracle系统是否有新的交易产生时是通过定期检查OracleControlefile中记录的当前SCN号来判断的，这样避免每次检都通过读取log文件来判断否有新的交易产生时造成的系统影响。
在Controlefile中确认有新的交易产生时，可以同时获得当前的RedoLog组，以及最新日志在日志文件的最新位置。
RealSyncAgent模块根据这些信息将上次抓取时记录的日志位置与本次读取的最新位置之间的Log读取并加以分析。
然后将这些数据保存在OnlineLogCache文件中，等待下一步作交易合成处理。
RealSync的优势：
与其他类似日志复制产品相比，RealSync对日志进行分析，得到交易信息再进行传送；而其他类似产品不对日志作分析，传送全部日志，然后在目标端通过日志作Recover，这样一来，不仅传送数据量大，而且目标端数据库不能打开。
5.2日志分析（Analyze）
Oracle数据库的所有更改都记录在日志中，其中记录了对数据库中的每一个变化。
当我们候需要需要了解数据库中所作的交易时，一个最有效实用而又低成本的法就是分析Oracle数据库的日志文件。
RealSyncAgent中集成了DSG的优秀日志分析功能，该功能完全不同于oracle提供的Logminer日志分析工具，在性能和功能上都大大提高，主要体现在系统性能的优化上，大幅度提高日志分析的速度，使得对于高并发业务系统的复制成为可能。
按照RealSync的日志分析设计目标，每秒能够分析的日志量达到10M/s。
RealSync通过对日志的分析，得到该数据库中的每个SQL指令，并将这些SQL指令生成DXF（DSGExtendFormat）格式的表达式。
DXF格式是DSG公司的专有技术，该技术是DSG公司用来表达SQL指令的式，该数据格式能够通过DSG的专有转换算法能够直接转换为ORACL的部数据表达格式，从而在分析和时需要最小的转化，提高分析和装载速度，减少资源占用、丰富能够表达的各种数据类型。
5.2交易合成（Synthesize）
通过ORACLEREDOLOG分析的交易指令存在如下的几个特点：
（1）这些指令是交叉出现的，属于一个交易（Transaction）的多条SQL指令是非连续存储的，多个交易的SQL之间是相互穿插的；
（2）Redolog中记录了所有的commit的交易以及没有commit的交易；
所以，为了提高系统的可控制性、保证逻辑完整性、避免数据丢失，最好将复制的最小单位为一个交易（Transaction），而不是以单个SQL指令为复制单位，这样在DataTarget端的交易装载更加容易控制。
同时，对于复制的数据而言，只有那些Commit的数据对于DataTarget端系统是有意义的，而对于那些Rollback的数据无需复制到Datatarget系统上。
所以RealSync在复制过程中不是复制每个SQL语句，而是对抓取的数据进行交易整合后以交易（Transaction）为单位进行复制，同时只复制COMMIT的交易。
如上图所示，在OnlineLogCache文件中，包括Commit的交易，没有Commit的交易和Rollback的交易。
交易合成模块首先按照交易序号对SOL语句进行划分，每个交易包含多条SOL语句。
然后，以交易为单位进行处理，将已经Commit的交易，传至传输处理模块；将未提交的交易保存在本地，一旦通过日志得知保存的未提交交易已提交，立即将该交易发送到传输处理模块；对Rollback的交易作丢弃处理。
RealSync的优势：
RealSync是以交易为单位进行传输的，而不是以SOL语句为单位进行传输的，更容易保证数据的一致性和完整性。
5.3交易传输
RealSync技术为了保证数据传输的安全、可靠，在传输处理上作了特殊的处理与支持:
（1）数据在传输之前首先存入DataSource端的Cache，传输进程（ExportProcess）从Cache中读取交易数据封装为TCP/IP数据包传送给Datatarget端的Import进程。
（2）在datatarget端，Import进程在收到传输的交易数据包后，首先存入Queue，然后由Load进程从Queue中格按照交易的顺序装载交易信息。
如上图所示，负责传输的进程（ExportProcess）从本地队列中按照先进先出的原则抓取需要传输的交易，将交易数据封装成一个数据包后通过TCP/IP协议传递给对端系统。
在封装的数据包的部分描述了包的大小。
对端系统在接受到传来的数据包后，首先根据描述的包大小进行传输的合法性检查，判断是否传输完整。
5.4数据装载
在传统的复制技术中，常用的数据装载式是采用Oracle的SQL接口，通过Insert、Update、Delete等SQL语句实现数据的装载。
这种式在通用性上很好，但关键在于性能问题非常突出。
SQL语句的执行需要经过parse、plan、格式转换等过程，造成大量的系统开销。
尤其是update和Delte操作的大量Where子句操作需要进行复杂的查询定位任务，从而导致装载性能低下，对处理能力的要求比生产系统的还高。
DSGRealSync在设计之初就定位于电信级大数据量系统的应用，因此在装载性能上进行了大幅度的改善，使得装载端的性能和处理能力需求降至最低。
在其中DSGRealSync采用了两个关键的技术提高了装载速度：
（1）采用DXF数据格式的装载；
（2）采用Rowidmapping的式实现快速定位；
（一）用DXF数据格式的装载：
DXF（DSGExtendFormat）格式是DSG公司的专有技术，该技术是DSG公司用来表达SQL指令的式，该数据格式能够通过DSG的专有转换算法能够直接转换为ORACL的部数据表达格式，从而在分析和时需要最小的转化，提高分析和装载速度，减少资源占用、丰富sql语句的表达式。
Oracle数据库系统在设计上提供了4个层次的接口，其中包括User层，SQL层，Transformation层和I/O层。
其结构为：
在这四层当中，当采用SQL接口进行数据装载时，调用的是User层，
而DSGRealSync通过DXF数据格式装载时，调用I/O层直接将数据通过Oracle的最底层函数写入系统中，所以DSGRealSync在装载层上有一定优势；
（二）Rowmapping实现快速定位
对于交易中的操作，存在着大量的Where子句操作，在采用标准SQL语句执行这些操作时，系统需要首先定位目标记录所在的数据文件的位置信息，这将带来大量的索引查询开销，当并发执行数千条指令时，系统的开销将变得非常庞大。
DSGRealSync工具不采用该式实现装载数据的定位，而是通过ROWMapping的式实现记录的快速定位：
当RealSync从源端Log文件中读取交易数据时，将获得该交易对应记录的所在位置，用rowid表示为rowid_ds；
当该交易在目标端装载时，系统不翻译为Where子句，而是去通过保存在目标端的rowmapping表获得对应目标端该记录的所在位置rowid，记录为rowid_dt。
从而在目标端装载时通过rowid能够直接定位于该数据需要写入的位置。
避免了大量的索引查找时间。
每条记录的rowmapping信息是在该记录执行insert操作、sqlloader或首次批量同步时建立起来的。
RealSync的优势：
DSG扩展格式DXF（DSGExtendFormat）是RealSync产品的一个核心技术，是一种最高效率表示ORACLE记录的数据格式，该格式只需要经过最小的转换过程就能够装载到ORACLE数据库中，并且装载效率非常高。
⏹无需标准SQL语句执行的复杂过程
⏹加快装载速度
⏹对于Update，Delete等带Where子句的交易，可以大幅度提高装载速度
6.技术指标
序号
项目
技术规格要求
1
基本功能要求
1、支持对文件数据的同步，包括应用程序、图像数据、音视频数据、文件等；
2、支持Oracle、Sybase、SQL等数据库的交易复制，且灾备数据库始终处于Open状态；
3、软件License需满足10个物理CPU的可，无需绑定主机；
2
兼容性要求
1、数据复制软件应支持主流操作系统：
Linux、HP-UNIX、SunSolaris、IBMAIX、Windows；
2、支持HA和RAC模式；
3
技术指标要求
系统资源占用少，保证主机的正常运行；
1、源端CPU占用小于5％；存占用小于800M；
2、目标端CPU占用小于5％；存占用小于200M；
3、复制数据延迟平均值10s以；
4
初始化要求
★在初始化同步过程中，业务不能停止；初始化过程中不需要人工干预；
★支持BCV，SRDF，RMAN，DBP等全同步式
★支持200-800GB数据的全同步时间1小时左右完成；
★支持异构平台下的首次数据初始化同步；
★支持跨数据库版本之间数据库的初始化同步操作；
5
选择性复制
1、可以支持用户级别，表级别复制
2、指定条件进行数据复制
3、指定列进行数据复制
4、指定分区进行数据复制
5、指定表空间进行数据同步复制
6
数据库的容灾功能要求
1、支持一对一，双向，一对多，多对一，和级联复制；
2、支持数据转换、数据拆分及分发；
3、支持从多个数据库中同一类型表的记录整合到一个表中去；
4、支持对列的数据进行转换，包括列映射、增/删除列、列转换
5、支持DML操作复制、支持SEQUENCE、函数、存储过程、视图、同义词、索引、应用包、用户等数据库对象进行复制；
6、支持没有PK/UK字段的表的复制、并无需打开或修改数据库参数，可定义并过滤不需要复制的事务；
7、支持按照schema式设置复制关系，无需单表设置复制关系，支持不同源和目标端在不同的schema名情况下的复制；
8、支持中文汉字码，符合双字节编码；支持DXF数据格式的装载；支持Rowidmapping的式实现数据快速定位；
7
故障应对能力
1、在遇到系统错误引起的复制中断时，例如硬件故障、数据库故障、网络中断或延迟，分级存储机制能完好的保存已经合成的交易信息，避免数据丢失，直到系统故障解决，恢复从队列传输的中断点开始；
2、系统需提供数据比对功能，如果发现不一致情况后能够提供便利的单表以及单用户的数据修复工作，要求操作简单，修复速度快，且修复过程中不影响业务正常运行；
3、生产灾备切换后，支持快速的增量回切、全量回切功能；
8
管理监控功能
★要求提供中文操作界面；
★复制软件需提供统一的管理监控功能，能实现对复制软件的运行状态、运行日志、系统配置等面进行统一的管理及监控；
★系统软件应具有故障的监视和诊断能力，出现不正常情况时，应能及时识别并发出告警信息；
9
审计功能
（可选功能）
审计功能：
通过分析Oracle数据库的日志对数据库操作进行监控，主要功能：
1）根据审计策略记录数据库操作；
2）对违规操作进行报警和留痕；
3）展示审计报表和数据库操作全貌；
4）跟踪并回溯数据库操作历史；
5）提供用户操作分析功能和对象操作分析功能；
6）提供对错误数据的在线修复建议；
7）提供按各种条件和粒度查询数据库操作的功能；
8）提供用户权限管理功能。
9）提供报表和统计数据的转储和打印功能
审计效率：
不低于5万笔操作/秒（但依环境而异）
支持操作系统：
AIX、HP-UX、Solaris、Linux、Tru64等
审计存储空间：
数据库日志量/3*保留天数
资源占用：
CPU<3%，存<400MB，对网络基本无影响。
10
归档功能
（可选功能）
归档功能：
按照客户要求将使用频度低的数据一次性（从数据库文件读取）或者连续归档（分析数据库日志）到目标数据库中，并在源端进行数据清理，从而减少源库数据量，提升系统效率，分担系统压力。
产品特点：
1）快速、高效一次性归档历史数据；
2）目标数据库完全可用，可读可写；
3）可以跨操作系统平台和数据库版本复制；
4）可实时归档数据，秒级延迟；
5）实时归档与增量实时同步一体化实现；
6）归档数据压缩，压缩率3-5:
1;
7）支持全库或者部分数据复制；
8）支持断点续传；
9）提供数据核对/修补置功能。
归档模式：
1对1、多对1
复制对象类型：
表数据
复制可选围：
单表、多表、用户
11
数据回切功能
支持复制软件双中心切换时间较短，操作简单
12
服务要求
★1、原厂负责首次安装调试、现场培训及售后服务，并出具一年现场7X24响应、4小时到现场、软件免费升级的服务承诺；
★2、服务报价需包含原厂20个现场人天，无节假日限制，并由原厂出具证明；
★3、如有不符，可拒绝投标产品，做废标处理。
7.推荐采用“RealSync产品”
要建立查询数据库的关键技术，就是数据库的实时复制。
在本案里，dsg推荐采用realsyc产品，该产品目前在业应用围广泛，主要实现如下功能：
（一）业务负载分担
由于复制的第二数据中心的数据处于实时可读取状态，数据库处于OPEN状态，从而实现系统业务模块的重新部署。
通过第二数据中心实现对核心系统的业务模块进行负载分担，将那些只对数据进行读取操作的模块都迁移到第二数据中心上来，主要包括：
✓提供业务查询；
✓提供统计报表运行；
✓提供数据抽取；
✓提供其他系统的数据访问接口；
这样作将达到两个好处：
✓提高数据访问的效率，提高外围系统部署的灵活性；
✓提高核心系统的运行效率，提高核心系统运行的稳定和可靠性；
（二）核心业务的灾备平台
通过数据同步建立灾备中心可以实现对业务关键数据的容灾及保护，在不影响生产数据库性能的同时为生产数据库在本地或异地建立一份准实时镜像，以保证在生产数据库发生灾难时可使用容灾数据库进行业务接管和数据恢复。
7.1为什么推荐RealSync产品
我们建议采用DSGRealSync软件的原因在于：
1.复制目标数据库处于OPEN状态、数据是实时的、可以支持实时数据库访问
RealSync维护的容灾数据库在数据复制过程中始终处于打开状态，客户可通过打开的Oracle数据库提供数据查询、报表和ETL抽取等功能，实现业务分担；满足此次本商场提供的业务需求。
2.支持不同硬件平台之间的复制
RealSync技术是逻辑级的数据复制技术，因此对于生产系统和目标系统来说，其硬件平台可以属于不同的厂商、不同的型号，亦可采用不同的操作系统等等。
它的优点在于：
一面，在系统建设时，为用户提供硬件平台的灵活选择空间；同时，提供了在同一解决案架构下，实现企业不同平台上的多个信息系统的统一复制的支持。
如此次营销系统的数据复制是从hpunix到ibmaix的异构复制，dsg能够很好的满足这类需求。
3.按需复制，满足业务需求，降低存储成本和网络成本
根据本商场建设查询平台的业务需求，很多情况下，仅仅对需要的数据表信息进行复制，realsync软件完全可以支持这类需求，这样也可以减轻复制的压力、减少存储和网络带宽的成本。
4.对生产系统的低干扰性
DSG实时数据复制技术不需要通过任数据库的引擎来获取变更数据，而是通过数据库自身的信息获取源系统上的改变并传送给目的系统，这不会对生产系统造成性能影响。
5.提供不停业务的首次全同步功能和单表修复功能
RealSync还提供目标端系统数据初始装载功能支持，将主系统上的已有存量数据，在不中断业务的情况下平滑的装载到目标数据库上。
这是realsync软件独有的功能。
6.支持长距离复制、更低的网络带宽要求和运行成本
目前Realsync是全球同类案中要求最低的，交易级复制软件仅需要在网络上传输的量为oracleredolog的1/3，一面比oracleDG的带宽要求低，当然更远远低于磁盘阵列、卷文件、虚拟存储复制所需要的带宽。
7.作为容灾系统的补充，提供可靠的应急切换，避免物理错误的复制
打开的Oracle数据库确保在业务切换时数据库一定可以打开接管业务，避免了数据库可能无法启动的风险；
DSGRealsync是基于交易指令的复制，因此对于那些产生坏块，或者是文件被破坏等操作将不会在目标系统重现。
7.2RealSync容灾系统架构
在灾备系统中安装oracle数据库引擎，在业务数据库上安装RealsyncServer端程序，在灾备系统上安装RealsyncAgent端程序，可以在线实时的将主业务数据库上的数据复制到异地灾备系统中。
灾备系统不仅提供数据库容灾备份需求，而且能够分担主业务数据的查询报表等工作，大大减轻主业务数据库系统压力。
8.实施运维式说明
该产品案的实施运营式，以及实施运营需要注意问题的说明。
9.售后服务式说明
9.1DSG售后服务宗旨与策略
v树立以客户为中心的工作作风、以客户需求为导向、以客户满意为衡量一切工作的准绳；
v迪思杰公司不断的扩大自己的服务网络，增加市场和服务人员，使得各地的资源配置满足快速响应的需要，构建优质服务品牌，向客户提供第一时间的优质服务；
v服务标准化的策略，致力于为整个系统运行期的维护和应用提供到服务，最大限度地提升系统运行效益；
9.2DSG售后服务容
v软件安装调试
v现场试运行、维护
v软件升级
v运行监控
v顾客回顾
v远程技术支持、咨询
v新技术推荐
vDSG的认证培训
9.3DSG售后服务流程
10.DSGRealsync部分国用户
DSGRealsync软件从推出到现在已经在包括中国电信、中国联通、中国移动、证券期货行业、政府机构以及企业广泛使用，到目前为止，该产品在ORACLE系统的容灾应用上已经超过了二百套，包括：
●电信行业：
北京移动、广西移动、移动、移动、广西电信、电信、电信、电信、电信、电信、电信、电信、电信、电信、网通、联通、联通、联通、广西联通、联通、联通、联通、联通、联通、蒙联通…
●金融行业：
上海期货交易所、中国金融期货交易所、华夏基金、证期货、东期货、银河证券、长江证券、华泰证券、证券、信泰证券、东证券、国联证券、东海证券、民族证券、西南证券、证券、金通证券、中原证券、财达证券
升级会员 