iStream容灾备份解决方案Word格式.doc

1、3.1 iStream软件原理介绍193.2 iStream软件安装培训内容193.2.1安装前的准备193.2.1.1操作系统相关准备193.2.1.2 数据库的相关准备工作203.2.2安装与配置203.2.2.1源端软件安装与配置203.3 iStream软件维护介绍233.3.1调整map233.2.2调整目标端243.2.3同步的性能调整273.2.4数据比对283.2.5增量同步的性能调整283.2.6高可用性的配置30A）源端高可用性的配置30B）目的端高可用性的配置30C）出现不能继续装载的处理313.2.7装载DML错误的处理方式313.3 系统应急培训323.3.1应急切换

2、操作323.3.2日志维护指南333.4 iStream 软件培训安排334售后服务及相应承诺344.1九桥软件服务体系简介344.2 九桥技术服务内容344.3 技术服务期内服务响应承诺344.4 支持方式344.5 九桥服务联系方式345ISTREAM软件应用案例列表及介绍345.1 iStream软件案例列表345.2 证券行业典型案例介绍341 iStream数据库复制系统技术实现方案1.1 项目概述在企业信息化进程不断加快的今天，保持业务的持续性是企业用户进行数据存储时必须考虑的重要方面。灾难的出现，可能导致生产停顿、客户满意度降低，企业的竞争力会因此大打折扣。震惊世界的“9.11”

3、 事件发生后，全世界都看到了金融、电信等行业用户在灾难中的巨大损失。在灾难后如何快速、正确地恢复业务系统就成为摆在企业面前的一个难题。金融证券是我国国计民生的最重要环节之一，同样面临着如何应对灾难，以求防患于未然。在业务日新月异的今天，信息技术部门格外看重证券实时交易软件系统的数据保护。试想一下，如果证券系统的数据遭遇灾难而不能恢复的话，业务将无法正常运行，那么将造成重大的无法弥补的损失。因此，信息系统的安全性和抗灾难能力直接关系到证券公司，乃至国家的切身利益，尽可能地保证系统的安全性是必须重点考虑的。一个先进的、完善的灾备系统将全力的保护证券业务系统的稳定运行，让证券公司在业务飞速发展的同时

4、没有后顾之忧。现在，我们很欣喜的看到，XX在整合业务系统的同时就考虑了灾备平台的建设，并对灾备系统高度重视。iStream 是新一代数据库逻辑复制软件。利用数据库日志在线跟踪、分析技术，将生产数据库的交易信息以事务为单位，通过异步的方式，实时的传递、装载到目标数据库中，以达到源端、目标端复制数据保持同步的目的。软件不依赖硬件的复制能力，支持多种系统平台，具有部署简单、复制速度快、交易延迟时间短的特点；能够支持所有系统平台，跨多种Windows/Linux操作系统和大型机平台、不同Oracle版本之间的交易复制。并且复制的目标数据库为在线打开状态，可以随时复用。因此，非常适合于异构热容灾、 数据

5、迁移、数据实时复制等领域。 本方案根据XX系统数据库灾备方面的规划需要，着重考虑合理地设计和建设基于Oracle数据库的数据灾备需求的解决方案，满足证券系统业务的连续性和高可用性的要求。此外，随着业务的不断深入以及市场竞争的需要，数据应用成为另一个业内的热点。在本方案中将向用户介绍，以iStream 数据复制系统（下简称iStream）为核心的企业第二数据中心和查询应用平台，将如何高效的利用交易数据，快速的查询、分析数据。1.2 iStream产品简介 1.2.1 iStream软件的设计原则和基本架构iStream使用经典计算机编程语言C语言来编写，整个软件架构软件采用模块化设计，与Orac

6、le数据库的设计原则相似，采用多进程模式进行抓取和装载，每个进程负负责特定任务。1.2.1.1 iStream软件的整体架构主要工作流程：1. iStream首先完成历史数据复制，历史数据即使首次同步时数据库原有的数据，历史数据同步完成之后开始增量同步。2. 源端软件相应的ptrack进程跟踪抓取数据库中的在线日志（redolog），对实时变化的交易数据日志进行快速抓取3. 在share memory中使用pmerg进程过滤分析，并合成传输文件，三分之一的日志将被抓去放到缓存队列中，然后将文件压缩，压缩比例为大于9：1，使用pcomm进程将文件通过网络传输到目标端4. 目标端将接受传输文件，按

7、照相应的交易顺序装载入库。在此期间，目标端数据库始终处于open状态，可以进行准实时的数据查询工作。1.2.1.2 iStream软件源端体系架构图源端进程介绍：DDS_PMONS负责建立共享内存、信号灯、消息队列，监控系统其它进程的状态，重起异常退出进程并报告状态DDS_PMSGS负责收集其它所有进程报告的各种错误信息，将错误信息存放到文件 msg.log中。DDS_PRECVS负责接收界面发送来的管理命令并执行,同时也负责全同步时历史数据的复制。DDS_PTRACK负责跟踪数据库redo log动态增量信息，并抓取变化的redo log块。DDS_PMERGE负责将DDS_PTRACK 抓

8、取量信息进行分析、过滤、合成交易文件。DDS_PCOMM负责将DDS_PMERGE 合成的交易文件发送到目标端DDS_PCLEAN负责将 DDS_PMERGE和DDS_PCOMM没有成功处理的数据包提交进行处理1.2.1.3 iStream软件目标端架构目标端进程介绍：DDS_PMONT负责建立共享内存、信号灯、消息队列，监控系统其它进程的状态，重起异常退出进程并报告状态DDS_PMSGT负责收集其它所有进程报告的各种错误信息，将错误信息存放到文件 $DDS_DATA/msg.log中DDS_PRECVT负责接收界面发送来的管理命令并执行，并接收交易文件到指定的目录中；DDS_PPUT负责将装

9、载历史、增量信息到数据库中，并记录相关信息。也负责数据的比对。1.2.2 iSteam软件使用的关键技术1.2.2.1 日志分析技术简介iStream软件是直接通过读取Oracle日志来分析出交易内容，而不是通过数据库表来得到，这样将不依赖数据库本身的数据内容而直接得到交易信息。从而大大加快了合成交易文件的速度。日志分析技术流程如下图：1.2.3 iStream软件的运行环境1.2.3.1 操作系统和数据库版本支持iStream软件支持所有主流操作系统以及Oracle数据库版本之间的跨平台跨数据版本复制，内容详见下表：操作系统平台Oracle版本9i 10g11gRACASMAIX 5LAIX

10、 6L HP-UX 11i（PA-RISC） HP-UX 11i（IA-64） Solaris8/9/1（SPARC）RHEL4/5（x86）SLES9（x86） SLES10（x86） WINDOWS2003/2008/xp 1.2.3.2 iStream支持的数据类型列表支持总项目支持项目支持内容备注数据准确（DML部分）tableInsert/update/deletePartition tables数据准确（DDL部分）TableCreate/truncate/dropcolumnsAdd/modify/dropconstraintsindexesCreate/alter/dropvi

11、ewssequencesfunctionsPackage（ body）proceduresTriggerSynonymCreate/dropRoleGrant/revoke数据类型Oracle自带类型Blob/clob/long/bfileISTREAM支持所有Oracle自带数据类型Number/ TIMEChar/varchar2/nvarchar2用户定义类型USER DEFINED TYPE平台方面Hp/ibm/solaris/linux/windowsOracleOracle9i/10G/11G归档/非归档File/lv/ocfs/asm特性同步模式一对一or一对多or多对一or组合

12、双向同步同步方式只全同步or增量or组合交易回退表的dml/truncate/drop单表同步增量过程中，单表全同步支持在线初始化首次同步允许有交易。同步对象用户、表、组健壮性网络中断断点续传，无人工干预目标端停止复制软件断点续传1.2.4 iStream软件为用户提供的解决方案1.2.4.1 提高系统可用性iStream 软件可以帮助用户提高交易系统Oracle数据库的可用性，无论是执行计划内停机（如系统升级、备份）还是遇到非计划故障引起的宕机（例如硬件故障、灾难、人为错误等），iStream 都能尽量减少业务切换的时间，提高可用性。能够最大限度地减少数据丢失、经济损失以及生产力的降低。下图

13、表示交易系统切换后，业务交易在容灾系统上继续执行的示例。1.2.4.2 灾难恢复对于大部分公司而言，容灾是一项巨大的工程，意味着高额的资金投入和人力成本。受到传统复制技术的限制，容灾必须拥有专用的硬件支持、专用的传输链路、容灾距离以及系统平台等诸多的限制。此外由于传统容灾系统的不能时时使用的特性，导致不但风险不能评估，而且巨大的投入也可能得不到任何回报。iStream 使用逻辑数据容灾技术，传递的是交易信息，因此传输数据量很小，保证了在低带宽环境下实现低延迟的Oracle交易异步复制，是一种高效且低成本的数据库容灾方式。iStream 使用标准的IP网络进行通讯，容灾端的Oracle数据库可以

14、部署在本地或远程容灾中心，距离没有限制。此外，由于复制的目的端数据库始终处于打开状态，因此，当生产数据库遇到计划内或非计划停机时，iStream 能够支持前端应用程序快速、无缝的切换到容灾数据库。与其它基于磁盘或文件系统的物理复制技术相比，不但省略了漫长的数据库recovery和启动时间，而且能够保证100%的切换成功率。当源端应用系统数据库在恢复正常使用后，可以通过iStream 将容灾端数据再次复制到源端数据库中，从而达到互为容灾的目的。下图表示，交易系统恢复正常后，容灾系统数据复制到原交易系统上的示例。1.2.4.3 分担交易业务iStream 逻辑交易复制技术保证了目的端数据库始终处于

15、可用状态，因此对于iStream 所复制的schema只能做只读应用之外，新创建的shema不会对复制本身产生任何影响，对于即席查询、报表处理、数据备份、统计分析等业务或应用都可以放在复制的目标数据库上进行处理。多种应用也不必在同一个交易数据库上争夺处理资源和时间窗口。生产系统运行和维护的压力得以释放，提高了稳定性，而不同的应用在分布的数据库上也可以进行有针对性的优化。下图表示在容灾系统做业务查询、报表处理、数据备份、统计分析等应用的示1.2.3.4 业务数据分发iStream 能够完成企业范围内的数据分发，从交易数据生产库实时复制到一个或多个本地或异地的数据库中。iStream 支持多种数据

16、分发拓扑结构，一对一、一对多、多对一、级联复制以及组合的数据分发模式。数据分发是一种典型的通过部署多服务器、多数据库来分担负载，提高响应速度的企业应用模式。下图表示交易系统的业务数据同时分发到不同目标端的示例。1.2.4.5 配合业务交易，容灾系统完全恢复交易iStream 在每提交一个合成的交易文件后，都会在目的端共享内存中记录最后一个完成装载的交易的源端提交时间。并且通过iStream提供的工具可以将共享内存显示出来，以方便不同需求。对于交易系统有严格交易记录的系统，配合iStream目标端提供的源端记录交易提交时间可以达到完全恢复全部交易的目的。这种情况，只有在特殊情况下，才会使用。 下

17、图表示iStream如何配合做全部交易恢复的示例1.2.4.6 交易数据库移植在交易系统数据库移植过程中，经常会面临两个问题： 即新系统和源系统os平台或数据库平台不同系统切换一段时间过程中，某种原因导致新交易系统部分交易无法正常运行，这个时候就需要将交易系统切换到原来的交易系统上，而如何将切换后的交易及时同步到原来的交易系统上，是用户在做交易数据库系统移植时所面临的一个难题。针对这两种情况，iStream针对这种进行了合理的解决方式，如下图所示：iStream本身支持异构跨平台方式，对于源端和目标端os和db版本不同的情况均能够支持。iStream将新交易系统同步的切换后，变化的数据及时的同

18、步到旧交易系统上，这样就可以保持两边数据的一致性。从而在交易切换时能够满足后台交易数据一致性的需求。1.3 XX数据实时复制方案1.3.1 系统方案设计原则与目标目前在主机房服务器处理周边业务系统，备机房服务器除用于备份之外，还可以作为业务查询，报表查询分析等功能，以满足用户的多种需要。通过iStream数据复制软件，建立了一个独立的查询数据库，在不影响生产系统性能的同时，为查询及报表业务提供了一个与生产系统同步的数据源。可根据查询业务的特点，对数据库的业务特点配置进行选择，最大程度的优化了查询业务的性能，起到了很好的负载均衡作用。完成生产服务器到查询服务器的数据同步工作.1.3.2 系统方案

19、逻辑架构图灾备数据库生产数据库主应用业务系统2iStream实时复制XX数据实时同步项目部署图中间件14业务查询356具体逻辑步骤如下：1. 交易流水正常入库。箭头1所示：2. 数据多点实时复制，箭头2，6所示。至此形成整体综合的单向，反向，双向复制模式：一对一（1:1）,将通过网络实时的将数据备份到目标端。以满足用户的灾备，实线3所示可以实现分担交易，进行业务查询，报表查询，分析等功能。3. 当红线4生产库出现故障宕机时，此时主应用业务系统切换到灾备系统，虚线5所示，进行主应用业务系统的操作。4. 当生产库修复正常之后，灾备数据库系统通过虚线6所示实时反向复制到生产库系统，达到数据恢复到主生

20、产库中。此时：复制模式为一对一（1:1），但数据源端暂时为灾备库（虚线箭头1,5,6工作），箭头5所示，等灾备数据库同步到主生产库完成后，业务切换到主生产库，恢复到最初状态。5. 此主备的切换过程速度相当快，而对交易流水录入系统影响为秒级。1.3.3 系统方案拓扑图备份数据库Linux Oracle 10g远程实时复制业务生产系统备份系统1.3.4系统方案iStream技术与功能iStream使用逻辑数据容灾技术，传递的是交易信息，因此传输数据量很小，保证了在低带宽环境下实现低延迟的Oracle交易异步同步，是一种高效且低成本的数据库容灾方式。iStream使用标准的TCP/IP协议进行通讯，

21、容灾端的Oracle数据库可以部署在本地或远程容灾中心，距离没有限制。iStream功能方面，由于同步的目标端数据库始终处于打开状态，因此，当生产数据库遇到计划内或非计划停机时，iStream能够支持前端应用程序快速的切换到容灾数据库。与其它基于磁盘或文件系统的物理同步技术相比，不但省略了漫长的数据库recovery和启动时间，而且能够保证100%的切换成功率，在支持生产系统的热容灾方面的基础上还支持业务分担，数据分发与集中，数据迁移，支持双向同步.2 项目实施计划2.1 项目实施前的准备实时iStream数据库复制系统之前，需要用户配合一些准备工作，具体内容如下：2.1.1操作系统准备工作1

22、 源端、目标端rac 模式iStream软件只需安装在rac其中的一个节点上，可在共享存储上划分出文件系统作为iStream软件的安装目录，大小在50G至几百G，可根据日常业务量调整， 文件系统可建成ocfs类型、也可建成普通类型，区别如下：Ocfs文件系统：当出现主机单点故障时可以在rac其他节点直接启动软件。2普通文件系统：当出现主机单点故障时需要手工将iStream所在的文件系统手动mount 到rac的其他节点上，然后在启动软件。3 源端、目标端非rac模式从vg或分区磁盘中划分文件系统作为iStream软件的安装目录，大小在50G至几百G，可根据日常业务量调整空间大小注：源端、目标端

23、软件介质大小10M左右，由源端传输到目标端的dtf文件的缓存大小应根据日常业务量大小和DRS数据回滚功能时间长短而定，具体可与九桥软件工程实施人员沟通协调。总原则为尽量为iStream单独划分文件系统，不要和oracle数据库数据文件、oracle安装目录、根目录等共存在同一个文件系统上。2.1.2数据库准备工作1 源端在线日志组设定a）数据库为非asm实例数据库在线日志组个数至少在3组以上，如果数据库为rac模式，则每个rac实例在线日志组个数都不少于3组。b）数据库为asm 实例Asm 实例模式下，源端在线日志组需满足每个在线日志组必须有一个成员在非asm磁盘组中（raw 设备或共享文件系

24、统中）c）当数据库为归档模式时：在rac模式下，需要将rac上的每个节点能够访问其他节点归档文件（可采用ocfs共享文件系统或nfs文件系统方式实现）d）当数据库为非归档模式：此时需要将数据库的在线日志组个数尽量增加至6-8组。2.1.3 源端数据库参数log_buffer相关参数的修改在源端，Oracle9i、 10g、11G的logfile并行动态参数进行的调整。Oracle10G、11G（一般需要修改）的调整方式如下：以“SYS”用户身份查询隐藏参数_log_parallelism_max是否为1，是则不需要修改，反之要修改SQL col ksppinm for a20 col kspp

25、stvl for a10 col ksppdesc for a40 SELECT ksppinm, ksppstvl, ksppdescFROM x$ksppi x, x$ksppcv yWHERE x.indx = y.indxAND ksppinm like _log_para%; alter system set _log_parallelism_max=1 scope=spfile;修改后要重启所有节点实例Oracle9i（一般不需要修改）的调整方式如下：以“SYS”用户身份查询log_parallelism是否为1，是则不需要修改，反之要修改show parameter log_pa

26、rallelismalter system set log_parallelism=1 scope=spfile;2.1.4 目标端灾备数据库环境准备iStream软件实施复制灵活，一般多以表或用户为单位进行实时复制，目标端数据库安装完毕后，需要创建相应的用户及表空间（尽量保持与源端一致）。2.1.5 源端表空间扩充当源端数据量较大时（单表体积较大时），可能在全同步时会由于undo表空间不足产生全产生快照太老的错误，导致全同步操作失败，因此要酌情扩充undo表空间。具体情况可与iStream工程人员协商。2.1.6网络准备工作确保网络由TCP/IP协议联通（可传传送接受文件为标准），可通过SSH等手段，也可源端到目标端单向连接。iStream所使用的网络端口也要开放。具体实现可与iStream工程人员协商。2.2 iStream软件实施计划表项目步骤所需时间售前测试2天因合同签订时间无法确定，故只提供每项进度所需时间正式环境下安装灾备演练软件培训3天上线验收后期监控1天3 用户及管理员培训方案3.1 iStream软件原理介绍主要讲述iStream数据库复制系统的工作原理。3.2 iStream软