iStream容灾备份解决方案Word格式.doc
《iStream容灾备份解决方案Word格式.doc》由会员分享，可在线阅读，更多相关《iStream容灾备份解决方案Word格式.doc（41页珍藏版）》请在冰点文库上搜索。
3.1iStream软件原理介绍 19
3.2iStream软件安装培训内容 19
3.2.1安装前的准备 19
3.2.1.1操作系统相关准备 19
3.2.1.2数据库的相关准备工作 20
3.2.2安装与配置 20
3.2.2.1源端软件安装与配置 20
3.3iStream软件维护介绍 23
3.3.1调整map 23
3.2.2调整目标端 24
3.2.3同步的性能调整 27
3.2.4数据比对 28
3.2.5增量同步的性能调整 28
3.2.6高可用性的配置 30
A）源端高可用性的配置 30
B）目的端高可用性的配置 30
C）出现不能继续装载的处理 31
3.2.7装载DML错误的处理方式 31
3.3系统应急培训 32
3.3.1应急切换操作 32
3.3.2日志维护指南 33
3.4iStream软件培训安排 33
4 售后服务及相应承诺 34
4.1九桥软件服务体系简介 34
4.2九桥技术服务内容 34
4.3技术服务期内服务响应承诺 34
4.4支持方式 34
4.5九桥服务联系方式 34
5 ISTREAM软件应用案例列表及介绍 34
5.1iStream软件案例列表 34
5.2证券行业典型案例介绍 34
1iStream数据库复制系统技术实现方案
1.1项目概述
在企业信息化进程不断加快的今天，保持业务的持续性是企业用户进行数据存储时必须考虑的重要方面。
灾难的出现，可能导致生产停顿、客户满意度降低，企业的竞争力会因此大打折扣。
震惊世界的“9.11”事件发生后，全世界都看到了金融、电信等行业用户在灾难中的巨大损失。
在灾难后如何快速、正确地恢复业务系统就成为摆在企业面前的一个难题。
金融证券是我国国计民生的最重要环节之一，同样面临着如何应对灾难，以求防患于未然。
在业务日新月异的今天，信息技术部门格外看重证券实时交易软件系统的数据保护。
试想一下，如果证券系统的数据遭遇灾难而不能恢复的话，业务将无法正常运行，那么将造成重大的无法弥补的损失。
因此，信息系统的安全性和抗灾难能力直接关系到证券公司，乃至国家的切身利益，尽可能地保证系统的安全性是必须重点考虑的。
一个先进的、完善的灾备系统将全力的保护证券业务系统的稳定运行，让证券公司在业务飞速发展的同时没有后顾之忧。
现在，我们很欣喜的看到，XX在整合业务系统的同时就考虑了灾备平台的建设，并对灾备系统高度重视。
iStream是新一代数据库逻辑复制软件。
利用数据库日志在线跟踪、分析技术，将生产数据库的交易信息以事务为单位，通过异步的方式，实时的传递、装载到目标数据库中，以达到源端、目标端复制数据保持同步的目的。
软件不依赖硬件的复制能力，支持多种系统平台，具有部署简单、复制速度快、交易延迟时间短的特点；
能够支持所有系统平台，跨多种Windows/Linux操作系统和大型机平台、不同Oracle版本之间的交易复制。
并且复制的目标数据库为在线打开状态，可以随时复用。
因此，非常适合于异构热容灾、数据迁移、数据实时复制等领域。
本方案根据XX系统数据库灾备方面的规划需要，着重考虑合理地设计和建设基于Oracle数据库的数据灾备需求的解决方案，满足证券系统业务的连续性和高可用性的要求。
此外，随着业务的不断深入以及市场竞争的需要，数据应用成为另一个业内的热点。
在本方案中将向用户介绍，以iStream数据复制系统（下简称iStream）为核心的企业第二数据中心和查询应用平台，将如何高效的利用交易数据，快速的查询、分析数据。
1.2iStream产品简介
1.2.1iStream软件的设计原则和基本架构
iStream使用经典计算机编程语言C语言来编写，整个软件架构软件采用模块化设计，与Oracle数据库的设计原则相似，采用多进程模式进行抓取和装载，每个进程负负责特定任务。
1.2.1.1iStream软件的整体架构
主要工作流程：
1.iStream首先完成历史数据复制，历史数据即使首次同步时数据库原有的数据，历史数据同步完成之后开始增量同步。
2.源端软件相应的ptrack进程跟踪抓取数据库中的在线日志（redolog），对实时变化的交易数据日志进行快速抓取
3.在sharememory中使用pmerg进程过滤分析，并合成传输文件，三分之一的日志将被抓去放到缓存队列中，然后将文件压缩，压缩比例为大于9：
1，使用pcomm进程将文件通过网络传输到目标端
4.目标端将接受传输文件，按照相应的交易顺序装载入库。
在此期间，目标端数据库始终处于open状态，可以进行准实时的数据查询工作。
1.2.1.2iStream软件源端体系架构图
源端进程介绍：
DDS_PMONS负责建立共享内存、信号灯、消息队列，监控系统其它进程的状态，重起异常退出进程并报告状态
DDS_PMSGS负责收集其它所有进程报告的各种错误信息，将错误信息存放到文件msg.log中。
DDS_PRECVS负责接收界面发送来的管理命令并执行,同时也负责全同步时历史数据的复制。
DDS_PTRACK负责跟踪数据库redolog动态增量信息，并抓取变化的redolog块。
DDS_PMERGE负责将DDS_PTRACK抓取量信息进行分析、过滤、合成交易文件。
DDS_PCOMM负责将DDS_PMERGE合成的交易文件发送到目标端
DDS_PCLEAN负责将DDS_PMERGE和DDS_PCOMM没有成功处理的数据包提交进行处理
1.2.1.3iStream软件目标端架构
目标端进程介绍：
DDS_PMONT负责建立共享内存、信号灯、消息队列，监控系统其它进程的状态，重起异常退出进程并报告状态
DDS_PMSGT负责收集其它所有进程报告的各种错误信息，将错误信息存放到文件$DDS_DATA/msg.log中DDS_PRECVT负责接收界面发送来的管理命令并执行，并接收交易文件到指定的目录中；
DDS_PPUT负责将装载历史、增量信息到数据库中，并记录相关信息。
也负责数据的比对。
1.2.2iSteam软件使用的关键技术
1.2.2.1日志分析技术简介
iStream软件是直接通过读取Oracle日志来分析出交易内容，而不是通过数据库表来得到，这样将不依赖数据库本身的数据内容而直接得到交易信息。
从而大大加快了合成交易文件的速度。
日志分析技术流程如下图：
1.2.3iStream软件的运行环境
1.2.3.1操作系统和数据库版本支持
iStream软件支持所有主流操作系统以及Oracle数据库版本之间的跨平台跨数据版本复制，内容详见下表：
操作系统平台
Oracle版本
9i
10g
11g
RAC
ASM
AIX5L
√
AIX6L
HP-UX11i（PA-RISC）
HP-UX11i（IA-64）
Solaris8/9/1（SPARC）
RHEL4/5（x86）
SLES9（x86）
SLES10（x86）
WINDOWS2003/2008/xp
√
1.2.3.2iStream支持的数据类型列表
支持总项目
支持项目
支持内容
备注
数据准确（DML部分）
table
Insert/update/delete
Partitiontables
数据准确（DDL部分）
Table
Create/truncate/drop
columns
Add/modify/drop
constraints
indexes
Create/alter/drop
views
sequences
functions
Package（body）
procedures
Trigger
Synonym
Create/drop
Role
Grant/revoke
数据类型
Oracle自带类型
Blob/clob/long/bfile
ISTREAM支持所有Oracle自带数据类型
Number/TIME
Char/varchar2/nvarchar2
用户定义类型
USERDEFINEDTYPE
平台方面
Hp/ibm/solaris/linux
/windows
Oracle
Oracle9i/10G/11G
归档/非归档
File/lv/ocfs/asm
特性
同步模式
一对一or一对多or多对一or组合
双向同步
同步方式
只全同步or增量or组合
交易回退
表的dml/truncate/drop
单表同步
增量过程中，单表全同步
支持在线初始化
首次同步允许有交易。
同步对象
用户、表、组
健壮性
网络中断
断点续传，无人工干预
目标端停止复制软件
断点续传
1.2.4iStream软件为用户提供的解决方案
1.2.4.1提高系统可用性
iStream软件可以帮助用户提高交易系统Oracle数据库的可用性，无论是执行计划内停机（如系统升级、备份）还是遇到非计划故障引起的宕机（例如硬件故障、灾难、人为错误等），iStream都能尽量减少业务切换的时间，提高可用性。
能够最大限度地减少数据丢失、经济损失以及生产力的降低。
下图表示交易系统切换后，业务交易在容灾系统上继续执行的示例。
1.2.4.2灾难恢复
对于大部分公司而言，容灾是一项巨大的工程，意味着高额的资金投入和人力成本。
受到传统复制技术的限制，容灾必须拥有专用的硬件支持、专用的传输链路、容灾距离以及系统平台等诸多的限制。
此外由于传统容灾系统的不能时时使用的特性，导致不但风险不能评估，而且巨大的投入也可能得不到任何回报。
iStream使用逻辑数据容灾技术，传递的是交易信息，因此传输数据量很小，保证了在低带宽环境下实现低延迟的Oracle交易异步复制，是一种高效且低成本的数据库容灾方式。
iStream使用标准的IP网络进行通讯，容灾端的Oracle数据库可以部署在本地或远程容灾中心，距离没有限制。
此外，由于复制的目的端数据库始终处于打开状态，因此，当生产数据库遇到计划内或非计划停机时，iStream能够支持前端应用程序快速、无缝的切换到容灾数据库。
与其它基于磁盘或文件系统的物理复制技术相比，不但省略了漫长的数据库recovery和启动时间，而且能够保证100%的切换成功率。
当源端应用系统数据库在恢复正常使用后，可以通过iStream将容灾端数据再次复制到源端数据库中，从而达到互为容灾的目的。
下图表示，交易系统恢复正常后，容灾系统数据复制到原交易系统上的示例。
1.2.4.3分担交易业务
iStream逻辑交易复制技术保证了目的端数据库始终处于可用状态，因此对于iStream所复制的schema只能做只读应用之外，新创建的shema不会对复制本身产生任何影响，对于即席查询、报表处理、数据备份、统计分析等业务或应用都可以放在复制的目标数据库上进行处理。
多种应用也不必在同一个交易数据库上争夺处理资源和时间窗口。
生产系统运行和维护的压力得以释放，提高了稳定性，而不同的应用在分布的数据库上也可以进行有针对性的优化。
下图表示在容灾系统做业务查询、报表处理、数据备份、统计分析等应用的示
1.2.3.4业务数据分发
iStream能够完成企业范围内的数据分发，从交易数据生产库实时复制到一个或多个本地或异地的数据库中。
iStream支持多种数据分发拓扑结构，一对一、一对多、多对一、级联复制以及组合的数据分发模式。
数据分发是一种典型的通过部署多服务器、多数据库来分担负载，提高响应速度的企业应用模式。
下图表示交易系统的业务数据同时分发到不同目标端的示例。
1.2.4.5配合业务交易，容灾系统完全恢复交易
iStream在每提交一个合成的交易文件后，都会在目的端共享内存中记录最后一个完成装载的交易的源端提交时间。
并且通过iStream提供的工具可以将共享内存显示出来，以方便不同需求。
对于交易系统有严格交易记录的系统，配合iStream目标端提供的源端记录交易提交时间可以达到完全恢复全部交易的目的。
这种情况，只有在特殊情况下，才会使用。
下图表示iStream如何配合做全部交易恢复的示例
1.2.4.6交易数据库移植
在交易系统数据库移植过程中，经常会面临两个问题：
即新系统和源系统os平台或数据库平台不同
系统切换一段时间过程中，某种原因导致新交易系统部分交易无法正常运行，这个时候就需要将交易系统切换到原来的交易系统上，而如何将切换后的交易及时同步到原来的交易系统上，是用户在做交易数据库系统移植时所面临的一个难题。
针对这两种情况，iStream针对这种进行了合理的解决方式，如下图所示：
iStream本身支持异构跨平台方式，对于源端和目标端os和db版本不同的情况均能够支持。
iStream将新交易系统同步的切换后，变化的数据及时的同步到旧交易系统上，这样就可以保持两边数据的一致性。
从而在交易切换时能够满足后台交易数据一致性的需求。
1.3XX数据实时复制方案
1.3.1系统方案设计原则与目标
目前在主机房服务器处理周边业务系统，备机房服务器除用于备份之外，还可以作为业务查询，报表查询分析等功能，以满足用户的多种需要。
通过iStream数据复制软件，建立了一个独立的查询数据库，在不影响生产系统性能的同时，为查询及报表业务提供了一个与生产系统同步的数据源。
可根据查询业务的特点，对数据库的业务特点配置进行选择，最大程度的优化了查询业务的性能，起到了很好的负载均衡作用。
完成生产服务器到查询服务器的数据同步工作.
1.3.2系统方案逻辑架构图
灾备数据库
生产数据库
主应用业务系统
2
iStream实时复制
XX数据实时同步项目部署图
中间件
1
4
业务查询
3
5
6
具体逻辑步骤如下：
1.交易流水正常入库。
箭头1所示：
2.数据多点实时复制，箭头2，6所示。
至此形成整体综合的单向，反向，双向复制模式：
一对一（1:
1）,将通过网络实时的将数据备份到目标端。
以满足用户的灾备，实线3所示可以实现分担交易，进行业务查询，报表查询，分析等功能。
3.当红线4生产库出现故障宕机时，此时主应用业务系统切换到灾备系统，虚线5所示，进行主应用业务系统的操作。
4.当生产库修复正常之后，灾备数据库系统通过虚线6所示实时反向复制到生产库系统，达到数据恢复到主生产库中。
此时：
复制模式为一对一（1:
1），但数据源端暂时为灾备库（虚线箭头1,5,6工作），箭头5所示，等灾备数据库同步到主生产库完成后，业务切换到主生产库，恢复到最初状态。
5.此主备的切换过程速度相当快，而对交易流水录入系统影响为秒级。
1.3.3系统方案拓扑图
备份数据库
LinuxOracle10g
远程实时复制
－业务生产系统－
－备份系统－
1.3.4系统方案iStream技术与功能
iStream使用逻辑数据容灾技术，传递的是交易信息，因此传输数据量很小，保证了在低带宽环境下实现低延迟的Oracle交易异步同步，是一种高效且低成本的数据库容灾方式。
iStream使用标准的TCP/IP协议进行通讯，容灾端的Oracle数据库可以部署在本地或远程容灾中心，距离没有限制。
iStream功能方面，由于同步的目标端数据库始终处于打开状态，因此，当生产数据库遇到计划内或非计划停机时，iStream能够支持前端应用程序快速的切换到容灾数据库。
与其它基于磁盘或文件系统的物理同步技术相比，不但省略了漫长的数据库recovery和启动时间，而且能够保证100%的切换成功率，在支持生产系统的热容灾方面的基础上还支持业务分担，数据分发与集中，数据迁移，支持双向同步.
2项目实施计划
2.1项目实施前的准备
实时iStream数据库复制系统之前，需要用户配合一些准备工作，具体内容如下：
2.1.1操作系统准备工作
1源端、目标端rac模式
iStream软件只需安装在rac其中的一个节点上，可在共享存储上划分出文件系统作为iStream软件的安装目录，大小在50G至几百G，可根据日常业务量调整，文件系统可建成ocfs类型、也可建成普通类型，区别如下：
Ocfs文件系统：
当出现主机单点故障时可以在rac其他节点直接启动软件。
2普通文件系统：
当出现主机单点故障时需要手工将iStream所在的文件系统手动mount到rac的其他节点上，然后在启动软件。
3源端、目标端非rac模式
从vg或分区磁盘中划分文件系统作为iStream软件的安装目录，大小在50G至几百G，可根据日常业务量调整空间大小
注：
源端、目标端软件介质大小10M左右，由源端传输到目标端的dtf文件的缓存大小应根据日常业务量大小和DRS数据回滚功能时间长短而定，具体可与九桥软件工程实施人员沟通协调。
总原则为尽量为iStream单独划分文件系统，不要和oracle数据库数据文件、oracle安装目录、根目录等共存在同一个文件系统上。
2.1.2数据库准备工作
1源端在线日志组设定
a）数据库为非asm实例
数据库在线日志组个数至少在3组以上，如果数据库为rac模式，则每个rac实例在线日志组个数都不少于3组。
b）数据库为asm实例
Asm实例模式下，源端在线日志组需满足每个在线日志组必须有一个成员在非asm磁盘组中（raw设备或共享文件系统中）
c）当数据库为归档模式时：
在rac模式下，需要将rac上的每个节点能够访问其他节点归档文件（可采用ocfs共享文件系统或nfs文件系统方式实现）
d）当数据库为非归档模式：
此时需要将数据库的在线日志组个数尽量增加至6-8组。
2.1.3源端数据库参数log_buffer相关参数的修改
在源端，Oracle9i、10g、11G的logfile并行动态参数进行的调整。
Oracle10G、11G（一般需要修改）的调整方式如下：
以“SYS”用户身份查询隐藏参数_log_parallelism_max是否为1，是则不需要修改，反之要修改
SQL>
colksppinmfora20
colksppstvlfora10
colksppdescfora40
SELECTksppinm,ksppstvl,ksppdesc
FROMx$ksppix,x$ksppcvy
WHEREx.indx=y.indx
ANDksppinmlike'
_log_para%'
;
altersystemset"
_log_parallelism_max"
=1scope=spfile;
修改后要重启所有节点实例
Oracle9i（一般不需要修改）的调整方式如下：
以“SYS”用户身份查询log_parallelism是否为1，是则不需要修改，反之要修改
showparameterlog_parallelism
altersystemsetlog_parallelism=1scope=spfile;
2.1.4目标端灾备数据库环境准备
iStream软件实施复制灵活，一般多以表或用户为单位进行实时复制，目标端数据库安装完毕后，需要创建相应的用户及表空间（尽量保持与源端一致）。
2.1.5源端表空间扩充
当源端数据量较大时（单表体积较大时），可能在全同步时会由于undo表空间不足产生全产生快照太老的错误，导致全同步操作失败，因此要酌情扩充undo表空间。
具体情况可与iStream工程人员协商。
2.1.6网络准备工作
确保网络由TCP/IP协议联通（可传传送接受文件为标准），可通过SSH等手段，也可源端到目标端单向连接。
iStream所使用的网络端口也要开放。
具体实现可与iStream工程人员协商。
2.2iStream软件实施计划表
项目步骤
所需时间
售前测试
2天
因合同签订时间无法确定，故只提供每项进度所需时间
正式环境下安装
灾备演练
软件培训
3天
上线验收
后期监控
1天
3用户及管理员培训方案
3.1iStream软件原理介绍
主要讲述iStream数据库复制系统的工作原理。
3.2iStream软
升级会员 