银行业集中备份平台方案建议书.docx

1、银行业集中备份平台方案建议书银行业集中备份平台方案建议书一、集中备份平台建设背景随着我行信息系统的不断发展，IT 架构日趋复杂，全面提升系统灾难抵御能力和数据保护水平，是保障众多业务系统运行连续性的基础，也是满足监管部门数据备份要求。特别是大数据时代的到来，我行数据呈几何式增长，数据占用空间越来越大，且分布在众多系统中，人工误操作风险也随之增大，对我行数据备份与管理提出了更高的运维要求，任何数据风险都将可能给我行带来重大经济损失。因此如何有效管理金融核心数据日益成为保障我行业务安全平稳运行的关键环节，也是每个银行业重中之重工作。据国外不完全统计，造成数据丢失的主要原因中，操作失误占 80%，软

2、硬件故障占 5%，应用及其他原因占 15%，可见人工操作失误对数据影响最大，是不能通过存储高可用基于块级别复制去消除，急需通过数据备份集中平台化策略去消除逻辑错误。二、需求难点综合考虑我行数据备份现状及监管要求，启动集中备份平台建设迫在眉睫。主要体现在以下几方面：1、部分重要的交易类和管理类系统现在尚未建立备份系统问题我社目前现有外围交易类系统 86 个，外围管理类系统45 个，外围交易类系统现有备份分为两部分，一部分通过TSM 备份至 DCS3700，另一部分通过 TSM 备份至 NAS 存储， 备份数据通过 NAS 存储的复制技术实现容灾。管理类仅部分数据通过 TSM 备份至 NAS 存储

3、上，部分重要的交易类和管理类系统现在尚未建立备份系统。其中，用于数据备份的重要存储 NAS 已不支持容量扩展，NAS 存储的备份也不易做备份数据的容灾。随着我社业务量的急剧增加，对数据备份的容量需求必然与日俱增，因此，对现有外围交易类与管理类备份系统进行改造迫在眉睫。2、解决交易类数据缺少异地容灾备份、管理类数据缺少同城容灾备份的安全隐患，提升数据保障安全级别近几年来，经过同城灾备建设、存储整合/升级/扩容等项目实施，我社已建立较完备的核心系统同城容灾与异地容灾架构，搭建 3 主机 3 存储的 POWERHA 高可用性核心系统平台，核心业务数据高度冗余保护（3 份存储数据+2 份备份数据）。但

4、部分重要的交易类和管理类系统现在尚未建立备份系统，已备份的数据也缺少同城和异地容灾备份，一旦生产中心所在城市出现重大灾难，部分交易类与管理类系统数据将丢失且很可能无法恢复，势必造成无可估量的经济损失和社会影响。3、落实银监会的监管要求根据商业银行数据中心监管指引文件要求，落实 2015年江西省银监局会议精神，省级农村信用联合社必须设立全 面同城与异地模式灾备中心。4、应对逻辑错误导致的数据及文件异常，提高数据保护级别现有外围系统均采用基于 SVC 的存储级别镜像方式，后台数据存放于两台存储设备内，实现数据实时保护，但对于逻辑操作错误所造成的数据损坏情况无法应对。进行数据定期备份保护，可解决系统

5、运维中的逻辑错误，保障业务系统的数据安全。三、备份平台选型为做好平台选型工作，我行对企业级备份软件应用场景与效果进行了深入调研，初步确定三家主流商用备份软件TSM、NBU、NetWorker，对其进行了详细对比，见表 1。序号功能/需求实现方式/满足情况潜在影响IBM TSMSymantec NetBackupEMC Legato NetWorker主机厂商备第 三 方 备 份 软第三方备份软份 软 件 公件厂商，其备份件 厂 商 ， 2003司， 同自己产 品 包 括 低 端年被 EMC 收购厂家的主机Backup Exec后，运作没有起和磁带库兼和 企 业 级 的到大公司的效容性很好，Ne

6、tBackup ， 但果，反而因为软技 术 投 入 势 必1公司状况能提供一体化 解 决 方专 注 数 据 备 份的 NetBackup 只硬件共同由销售负责，销售会 影 响 着 其 产品 扩 展 性 与 后案。随着主是 其 中 一 小 部有重视硬件销期维护机投入， 其分，投入力量远售忽略软件销产品研发投不 及 市 场 形 象售的趋势，导致入也必然增那么大支持力度不够。长。远不及EMC 公司在存储行业名气。2体系架构自问世以来自 NBU6.0 版模采用扁平文件体 系 架 构 直 接即采用关系仿 TSM 采 用系统这一早已决 定 了 备 份 软型数据记录Sybase 数据库落后的索引记件的稳定性

7、、扩索引， 经过作 为 索 引 数 据录方式，在性能展性和性能长时间众多库，但由于之前和管理粒度上用 户 的 检产 品 架 构 的 原都存在缺陷验。单一的因 存 在 索 引 文索引数据库件 和 数 据 库 之模式保障索间 维 护 元 数 据引信息的一一 致 性 的 新 问致性题3备份方式支持永久增不 支 持 永 久 增不支持永久增永 久 增 量 备 份量备份量备份，采用了量备份方式，采最 大 限 度 降 低折 衷 的 合 成 备用传统的全备+了备份数据量、份方式，需要定增量循环方式带 宽 占 有 和 磁期全备份备份带使用量，极其适 用 于 银 行 类似 影 像 系 统 这样的大文件，大数据量备

8、份4用户权限管理非常完善的不支持不支持适用于大型 IT用户权限管组 织 的 运 维 管理， 支持各理，在分工明确种权限的用的情况下，保证户 设 定 分系 统 和 数 据 安配。备份数全据访问控制功能。不同应用和不同客户端的备份数据应具备独立的访问 权 限 控制。5存储容量管理可灵活的在不支持不支持灵 活 的 迁 移 可不同类型的以 帮 助 客 户 有或新旧的设效 利 用 存 储 设备介质间根备 特 性 提 高 备据策略迁移份 和 恢 复 的 效数据率6介质管理可实现基于不支持不支持可 节 省 存 储 成策略的磁带自动回收， 和同一应用磁带的自动并置， 并实现离线磁带的跟踪本，加快恢复速度7安全

9、管理免费提供加密功能需 购 买 额 外 的加密模块有限的机密功能最 大 程 度 保 证数据安全8策略管理业界最为强大， 灵活的策略管理功能， 能满足客户所有备份策略的定制， 可以定义基于文件级别的备份策略策 略 管 理 很 难做到文件级别以调度任务为级别设定备份策略对 于 复 杂 的 数据 中 心 的 备 份系统，越细致的备 份 策 略 管 理越 能 满 足 管 理的需求9容灾管理提供免费的DRM 模块实现数据容灾管理， 自动化地定制容灾计划需 额 外 的 付 费模块需集成其他产品以 较 低 成 本 实现 数 据 的 容 灾可 以 帮 助 客 户更 好 地 保 护 宝贵的数据10便利性许可按照

10、备份主要功能收费， 提供跨平台的使用许可， 与存储设备无关使 用 许 可 分 平台，须对存储设备 收 取 许 可 费用，需要多个不同 模 块 一 起 实现 TSM 的基本功能，软件许可有技术上的限制使用许可分平台，须对存储设备收取许可费用，需要多个不同模块一起实现TSM 的基本功能方 便 的 使 用 许可 模 式 可 使 客户 方 便 地 进 行扩容和变更，对于较大规模 IT 系 统 的 客 户 来说 可 以 减 少 频繁 的 变 更 带 来的使用限制。同时 跨 平 台 的 使用 许 可 也 最 大限 度 地 降 低 了客 户 的 成 本 保护了投资表 1综合表 1 对比分析，并结合我行主机、

11、数据库分布现状及将来的横向扩展与维护，我行采用 IBM TSM 集中备份一体化解决方案。四、TSM 架构Tivoli Storage Manager(简称 TSM)是 IBM 公司旗下的一款企业备份软件，支持 lan、wan、lan-free 等备份方式， 也是业界主流数据备份产品之一，主要为大型企事业单位提供可靠的集中数据备份方案，在金融行业应用极为广泛。同时作为数据资产的最后一道防线，我们更需要理解其逻辑架构，以更好的充分利用其数据备份平台保障数据安全。TSM 逻辑架构如图 1、图 2 所示：图 2在 TSM 的架构中，可分为三层：策略层、存储层、调度层。1.策略层策略层主要包含策略域、策

12、略集、管理类。策略域是相 同或相似节点数据保留需求的一个集合体，其下包含策略集。其关系如图 3：9策略集由一组管理类组成。策略集被策略域包含。只有当策略集被激活时，策略集包含的管理类才能起作用。 每个策略域中只能有一个策略集被激活。每个策略集包含多个管理类，但只有一个作为默认管理类。策略域包含多个策略集，但同时只有一个被激活。策略集应用-首先需要校验（validation），然后激活（activation）。图 4图 4 所示，管理类包含至少一个拷贝组，数据与管理类绑定。除非显式指定数据与管理类的关系，否则数据将 与默认管理类绑定。可以通过将不同类型的数据与不同的管理类绑定来实现数据的分类备份

13、。图 5图 5 所示，每个管理类主要有两个拷贝组：backup copy group、archive copy group。拷贝组定义了数据存取的规则。拷贝组的目标是存储池，真正存放数据的目的地。多个拷贝组可共用一个存储池。2.存储层存储层定义了存储池和存储卷与物理带库及磁带、磁 盘之间的对应关系，如图 6 所示：图 6存储池由一组存储卷组成，每个存储池代表着一种类行的介质存储池有两种主要类别的设备：随机访问、顺序1011访问存储池是基于某个设备类，设备类定义了存放于存储池中的存储硬件类型库通常是磁带库在系统的映射，库包括驱动器、机械手和磁带驱动器包含在库中，负责磁带的读写。驱动器的 格式通常

14、与设备类相关联路径定义了如何访问驱动器与库的访问方式，把物理连接映射到逻辑连接上来3.调度层调度层在策略域中定义，主要包含定执行时间、执行命令以及执行频率等，分两种调度方式：客户端调度（client polling）、服务端调度（server-promted），如图 7 所示：图 7客户端调度如图 8 所示，客户端与服务器端通信，察看是否有为本地节点定义的调度及调度执行的时间。如果发现有需要执行的调度，客户端则开始计时，进入执行调度倒计时。如果没有调度需要执行，客户端则进入休眠状态，直到下次轮询时间。 如果发现有需要执行的调度，客户端则开始计时，进入执行调度倒计时。服务端调度如图 9 所示，客

15、户端与服务器端联系，通知服务器，本地节点正在运行并可接受新的调度通知。当服务器端检测到一个调度要准备运行，将通知客户端开始执行调度。图 9这两种调度方式，TSM 都支持，它们各有特色，客户端调度支持随机化，即对调度的开始时间的随机分布，造成TSM 执行调度的开始时间常晚于定义时间。由于 TSM 自动将任务做了随机化，对任务很多的客户机是有益的，有助于减少客户机的压力。当然管理员也可以控制随机化，通过随机化时间，TSM 避免了所有客户机同时尝试启动调度的概率， 否则会耗尽服务器的资源。服务端调度不支持调度的随机化，需要人工对负载进行判断，指定均衡的调度表，但如果经常更改调度的开始时间，服务端调度

16、无需对客户机节点进行任何操作，只需更新服务端调度表，新的开始时间即可生效。五、关键设计结合前面章节的需求难点与 TSM 备份架构特点，本章主要讨论如何利用 TSM 进行集中备份方案设计，解决我行数据备份需求难点。1. 总体架构设计新购一套中端存储 V7000，作为备份存储，纳入到现有生产存储资源池（SVC）进行统一管理，将原备份至 NAS 的数据重新备份到 V7000，同时新增备份需求部分也备份至V7000。为了实现备份数据的同城灾备，在同城灾备机房同步新购一套 V7000，作为同城灾备的目标端，通过 SVC 的Global Mirror with Change Volume 将生产备份数据通

17、过裸光纤异步传输到同城的 V7000 存储。2. 备份策略设计通过上述章节 TSM 逻辑架构图简述，我们对策略层与存储层有个初步了解，备份策略可结合这两个层面，进行详细设计，一是基于业务需求、备份窗口进行设计，例交易类系统白天业务繁忙，为减少生产影响，可放入晚上凌晨进行增量备份，周末进行全备；管理类系统或者非核心 24 小时业 务系统，可权衡放在晚上下班时间点，以错开备份过于集中。 二是基于备份数据容量进行设计，对那些海量数据，通过lanfree 备份的系统，需要考虑物理磁带库，驱动器的个数， 以免发生驱动器抢占造成数据备份失败。三是基于特殊节点特殊需求进行设计，比如信贷系统每天备份保留一周，

18、月初、 季度末、年初备份需永久保留，这就需要设置不同的节点， 节点分属不同的策略域，或者使用同一个节点，构建多个管理类，通过 dsm.sys 文件中管理类映射来实现。根据我行实践，考虑到备份数据存放时间和版本控制。备份数据存放时间上，采用了永久备份、年备份、半年备份、一周备份、三份备份、八份备份等相结合的方式。版本控制上，通常数据库备份保存 2 份全备、7 份增备，操作系统备份保存三份备份和重大变更前的一次备份，应用日志备份通常保留两个版本，大型管理类系统备份上保留 2 个版本等。3. 文件系统备份设计通过 TSM BA 接口进行文件系统备份，主要实现了操作系统、数据库日志、应用日志和数据库表

19、数据的备份。操作系统备份：对于 AIX 系统，由于 TSM 就是主机厂商生产的，兼容结合性已经很好，可通过 TSM 的 Sysback 进行在线备份，不需要停机或者停止应用程序，保证应用的高可用性，通过 NIM 环境实现在线恢复。对于 linux、windows 物理机，可采用系统工具生成类似 windows 的 ghost 文件， 然后基于 TSM BA 接口进行文件备份。我行由于 x86 平台基本完成了虚拟化，因此 linux、windows 系统都是基于虚机备份，详见下述章节。数据库日志、应用日志备份：编写 shell 脚本定时对日志进行归档，然后通过 tsm ba 对归档的文件系统进行

20、增量备份，保留两个版本。数据库表备份：由于 TSM 基于库级进行备份，因此对表的备份需要编写 shell 脚本，将数据库表导出成文件，然后通过 TSM BA 进行文件增量备份，根据应用需要，制定备份策略时间。4. 数据库备份设计根据数据库容量与性能，我行采用了多种备份方式。一是对于数据量小于 2T 的数据库，利用 TSM API 接口调用数据库接口实现数据库的全量与增量定时备份，例如 DB2 数据库备份，需要开启归档日志，第一次开启需进行离线全备， 然后调用 DB2 备份接口进行备份；oracle 数据库，也要开启归档，调用 oracle rman 接口进行备份。二是对于管理类大型分析型数据库

21、，调用 SVC 接口实现块级数据 flash 快照。三是对于交易类中型在线联机型数据库的批前和批后备份， 采用了存储快照与数据库 API 接口相结合的方式进行备份， 通过瞬时的存储快照，并挂载至专用的备份客户端，通过 TSM 调用数据库 API 进行备份，以充分降低数据性能影响。如信贷系统。5. 虚拟机备份设计由于 power 平台的虚拟化都是 AIX 系统，TSM 已经和 AIX在线备份无缝衔接，因此我行对 power 平台虚机未采用Hyper-V 接口进行备份，对于 VMware 虚机备份，通过 Tsm for ve 实现，支持 esx 下虚拟机的备份。Tsm for ve 是基于 VAD

22、P 技术实现，执行文件级别备份。如图 10 所示：6. lan-free 备份设计图 10由于大数据平台 Netezza 数据库，数据量近 180T,压缩后近 45T，可通过 TSM 实现在线备份，每两周一个全备，每天增备，全备保留 1 个版本，增备保留 15 个版本。lan-free设计如图 11 所示：图 11Lan-free 一般需经过以下 6 个步骤：1.Backup-Archive Client 开始一个备份操作. Tivoli Storage Manager server 报告策略信息给 client。2.Storage Agent 接收由 client 传送的要备份的文件数据，根

23、据策略设置作相应分配， 然后，Storage Agent 发送一个 volume mount 请求给 Library Manager server.3.从 Library Manager 发送 一个请求到 storage device ，要求 mount 相应的 media.4.Library Manager 通知 Storage Agent ，mounted media 所在的具体位置。5.client 通过 Storage Agent, 把备份数据直接通过SAN 方式写到目标设备上。6.Storage Agent 发送元数据（ metadata ） 信息给Tivoli Storage Ma

24、nager server 通过六、备份实践经验分享1.如何配置一个新节点在 TSM 使用过程中，随着新系统陆续上线，使用最多的功能，是配置一个新节点，如图 12 所示：图 12配置一个新节点需要经过以下流程：定义策略域定义管理类副本组校验策略域激活策略配置 dsm.opt 节点文件注册节点-关联策略域定义调度关联调度1. 定义策略域，也可 copy 现有的策略域：define domain tmppd backretention=30 archretention=3652.定义策略集：define policyset tmppd tmpply3.定义管理类： define mgmtclass

25、tmppd tmpply tmpmgt spacemgtechnique=none automignonuse=0 migrequiresbkup=yes4.定 义 管 理 类 拷 贝 组 ： define tmppd tmpply tmpmgt destination=diskpool frequency=0 verexists=2 verdeleted=1 retextra=30retonly=60define copygroup tmppd tmpply tmpmgt type=archive destination=diskpool retver=365 retinit=creatio

26、n serialization=shrstatic5.设置默认管理类：assign defmgmtclass tmppd tmpply tmpmgt6.验证策略有效性：validate policyset tmppd tmpply7.激活策略：active policyset tmppd tmpply8.删除默认管理类：delete domain standard9.关联策略域：register node db2db1 tsm domain=tmppd compression=client backdelete=yes10.定义调度，也可拷贝现有的调度：copy sche tmppdtmpsc

27、he tmppd tmp2sche11.关联调度：def assoc tmppd db2db1 tmp2sche2.如何诊断故障要使用好 TSM，就必须知道如何诊断故障及快速解决。根据我个人使用建议，排查故障一般可分三步曲，第一步分析备份错误日志，第二步根据日志的错误代码查看故障代码含义，然后找出故障原因。第三步根据日志表述无法定位故障，查看数据库日志以确定故障症结。一般可通过 q event * * 查看备份情况，对备份失败的节点，登录客户端进行日志查看，以准确排错。客户端 TSM 备份日志一般存放在 dsm.sys 对应的调度内容上指定的目录中，名称一般是 dsmerror.log,调度错

28、误的日志一般是 dsmsched.log。根据错误日志的返回代码，可查看 TSM 的故障代码表，一般存放在安装目录下（/usr/tivoli/tsm/client/api/bin64/sample）的dsmrc.h 文件中。格式如下：#define DSM_RC_USER_ABORT101 /* processing aborted by user*/#define DSM_RC_NO_MEMORY102 /* no RAM left to complete request*/#define DSM_RC_TA_COMM_DOWN2021 /* no longer used*/#define

29、DSM_RC_FILE_NOT_FOUND104 /* specified file not found对那些日志日志表述无法直接定位问题，首先确定是否是网络故障、调度冲突或者系统进行了切换，然后判断备份目录权限是否修改过，最后查看数据库备份日志，例如 DB2 可通过命令 db2diag 查看具体时间点数据库是否有报错等等。3.如何通过数据库表生成统计报表TSM 所有备份信息都记录在 DB2 数据库中，在字符界面通过 q 形式的查询，在数据库中都有对应的表，因此要掌握TSM，TSM 数据库必须熟悉。这样可以方便生成一些备份统计报表，便于领导决策及数据存储扩容。比如需要统计每个备份节点数据备份容量、备份脚本、备份时间、策略域等，如 图 13 所示：可通过以下 sql 语句实现：图 134.代理节点的妙用TSM 中有两种节点类型，普通节点 node 与代理节点 proxynode,他们之间关系是怎样的呢？下面通过一个例子来讲述： 例如网银数据库有两台服务器通过