生产原型交易回放测试设计及实践.docx
《生产原型交易回放测试设计及实践.docx》由会员分享，可在线阅读，更多相关《生产原型交易回放测试设计及实践.docx（23页珍藏版）》请在冰点文库上搜索。
生产原型交易回放测试设计及实践
生产原型交易回放测试设计及实践
作者：
曾立环
来源：
《中国金融电脑》2016年第5期
广发银行信息技术部副总经理曾立环
随着业务的发展和银行业科技应用水平的不断提
高，在互联网+、大数据等新技术的推动下，银行科技
已逐步向云化、大数据化、移动化、敏捷化方向发展。
同时科技和业务间的关系也逐步由技术支持发展到技术
引领，银行IT部门不再是单一的技术支持部门，而是
一个面向整个银行业务提供业务管理解决方案的平台，
在这一平台上可实现业务运行、资源调配和业务变革。
为了适应新的技术发展方向和业务合作模式，近年
来各银行也开始重新规划技术支持体系，重新建设新的
核心系统，并以核心系统为基础，全面提升服务、发展、
创新的能力。
同时在客户需求多元化、监管要求精细化、
经营管理科学化的趋势下，项目规模越来越大，项目复
杂度和管理难度也随之提高。
如何保障核心系统建设整
体测试质量，实现核心系统的快速、安全、稳定迁移，
成为人们日益关注的问题。
下文重点介绍某商业银行信
用卡核心系统升级项目中的生产原型交易回放测试（以
下简称“交易回放测试”）方法，通过该方法可以快速
地发现系统功能缺陷、数据迁移问题、业务参数问题和
新旧系统未发现差异等。
一、对系统迁移项目测试的思考
系统迁移测试通常会涉及功能测试、数据迁移测试、
性能测试、投产演练等类型的测试，每个测试的内容和
方法有所差异。
测试用例设计使用了包括等价类划分法、
边界值分析法、错误推测法、因果图法、判定表驱动法、
正交试验设计法、功能图法、场景法等测试方法，先根
据需求书设计基本的功能测试用例，用边界值设计边界
测试用例，用错误推测法设计异常测试用例。
整个设计
过程需反复利用八种测试用例设计方法对测试用例进行
分解与合并，利用发散思维追加测试用例。
测试方法论从不同维度对测试案例进行完善，而实
际工作受限于业务复杂度和时间限制，往往无法对所有
场景进行完整枚举，从而让人产生这样的疑惑：
测试方
案是否完全覆盖生产情况？
是否存在场景缺失？
异常处理能力是否充分？
未来生产运行能否稳定？
软件项目的质量目标就是投产后生产的安全稳定，
基于生产稳定运行的目标可进行反向思维：
在进行系统
替换升级时，能否利用旧系统的交易信息完成对新系统
的测试验证？
以往利用生产进行系统验证，大部分是通
过白名单机制在生产进行试运行或生产并行试运行进行
验证，这两种方法都能有一定的验证效果，但也存在诸
多不足，白名单试运行交易量小，只能作一定范围的功
能验证，无法作大量的交易验证，特别是在多交易并发
的验证和生产负载验证的场景很难实现。
生产并行录入
的验证基本局限于人工操作的功能验证，客户自动发起
功能很难得到验证。
能否在测试环境，把生产发生的交
易作为案例，完成相应的验证测试呢？
二、交易回放测试方法介绍
1.方法定义
交易回放测试通过收集生产交易信息，在测试环境
搭建模拟新旧两套生产环境，采用工具回放生产交易，
结合需求差异分析结果，以生产处理结果为核对标准，
并通过分类汇总、明细核对等方式与生产处理结果进行
比对分析，验证测试环境交易测试结果的正确性，从而
达到用生产原型对新系统进行验证的目的。
交易回放测试的主要特点有以下两方面。
（1）测试案例设计
回放测试的案例直接来源于生产，以生产发生交易
原型为测试案例，把生产发生的交易作为回放测试输入，
进行测试验证。
在回放测试案例设计时，需要确定回放
的系统范围和生产时间范围，范围确定，也就确定了具
体的回放案例内容，无须进行明细案例设计。
（2）测试结果分析
不用提前做好每个执行案例的预估结果。
测试结果
检查的重点在于发现新旧系统的差异点，以生产交易结
果作为测试案例的结果目标，以需求变更和环境变化作
为结果偏移可能进行分析，找出异常的偏离案例。
2.使用方式
回放测试根据测试目的不同，可以分为功能回放测
试和性能回放测试。
（1）功能回放测试
功能回放测试的重点是验证生产原型各场景交易功
能的正确性，规避测试场景缺失造成的漏测，或由于生
产异常数据引发的异常情况。
功能回放测试可覆盖联机
交易场景，也可以用于批量场景的验证。
在通常情况下会有多个系统需要进行回放测试，在
执行回放时，可以先逐个系统进行交易回放，最后各系
统同步进行交易回放。
逐个系统交易回放，可减少系统
间交叉影响，重点分析单一的系统功能正确性，快速地
发现单一系统问题。
各系统同步进行交易回放，可验证
整个系统架构体系的支持能力和运维情况。
进行功能验
证时，为避免系统超负载影响功能回放的结果，交易回
放的峰值需保持在测试环境支持交易峰值70%以下。
回放测试使用报文回放工具对生产报文进行回放测
试，收集生产和测试环境处理结果进行比对。
由于新旧
系统存在需求差异和一定程度的环境差异，部分新旧系
统差异是可接受的，回放测试功能验证时，需对差异原
因进行分析，区别可接受差异和缺陷引起差异，具体对
比分析可从以下几个方面进行。
①新旧系统回应码统计分析。
以旧系统业务逻辑处
理结果作为标准，对交易处理结果分类统计，核对新
旧系统的处理结果差异，找出差异较大的部分进行原
因分析。
②新旧系统抽样勾兑分析。
在分类对比统计的基础
上，对每笔交易回应情况进行笔笔勾兑，分析每笔回应
差异的原因。
由于交易量较大，可以选取一段时间周期
内的交易进行分析，提升分析效率。
重点关注新旧系统
一边成功、一边失败的交易分析。
③新系统渠道和核心交易对比分析。
根据系统间交易回应代码对照表，对比回放测试环境中，核心系统与
渠道交易回应情况，找出交易数量的差异，分析原因，
重点是发现接口理解差异和异常处理不足。
④新旧系统回应报文对比。
抽取部分回应报文进行
报文对比，检查回应报文各域的处理结果是否正常。
⑤批量入账异常对比。
批次回放时，对批量入账结
果进行比对，比对交易是否完成对账入账处理，重点核
对新旧系统处理结果不同的交易，并对原因进行分析。
⑥批次入账后产生本利费、账户状态抽查。
对于发
生交易的账户，抽取部分数据对入账后本利费的差异进
行比对分析，同时核对账户状态差异。
（2）性能回放测试
交易回放在验证功能的同时，也可以用于性能的验
证，该方法与压力测试的主要区别是，压力测试的交易
场景基于评估模型构造，回放基于生产交易的收集，包
含所收集范围的全交易量，包括生产交易配比和交易顺
序。
性能回放测试能整体验证新系统的性能情况，也能
验证评估模型中交易量占比小的交易是否存在大性能消
耗的情况；同时回放报文中包含了生产环境可能存在的
异常报文，通过回放能验证在压力情况下，异常报文对
性能的影响；可通过调整回放的交易峰值和回放时间长
度，对系统的性能和稳定性进行验证。
性能回放测试重
点分析系统性能的表现，同时关注交易整体成功率与生
产环境的差异。
3.测试方案
（1）实施范围
在重大工程项目中，通常除了核心的几个系统改造
外，还有几十上百个系统同步配合改造，由于交易渠道
多，接口多，所有系统渠道都进行回放测试不是最有效
的方式。
在选定回放测试的范围时，除了重大改造系统
外，还需遵循业务量集中、应用架构聚合、关联影响巨
大等原则进行范围选定。
①业务量集中。
为保障测试覆盖大部分交易，结合
整体系统交易量，可对所有交易渠道交易量占比进行统
计，按照交易量顺序，选取渠道系统进行交易回放，为
保障测试效果，建议选择参与渠道交易量在总交易量中
占比超过80%以上。
②系统架构聚合。
根据历史经验，系统架构上的交
汇点，往往也是风险集中点，建议对系统架构和流程进
行分析，对架构流程的汇聚点系统安排参与回放测试。
③关联影响巨大。
还存在一部分业务量可能不大，
但一旦出现异常会对银行声誉或客户服务水平有着重大
影响的业务系统，在选择回放测试范围时，建议将这部
分系统纳入测试范围。
（2）交易回放节点
回放测试是用工具对生产报文录播的过程，录播选
择在什么流程节点非常关键，该节点既是测试发起节点，
也是生产流水的收集点，选择时需考虑以下几方面因素。
①节点后续流程能覆盖主要的交易流程和变更要
点，保障回放测试对变更范围的有效覆盖。
②选择新旧系统架构和接口变化较小的节点作为回
放点，尽可能保障回放信息与生产环境的一致性，减少
交易报文的转换工作量，同时保障案例报文与生产的一
致性。
③节点是交易的汇聚点，可以减少收集、回放的工
作量，同时还能有效控制交易顺序，有效模拟生产交易
情况。
④节点收集流水时可能对生产产生一定性能影响，
必须避免对原生产系统的冲击从而引发不必要的问题。
对于交易比较集中的节点，可以考虑增加收集服务器，
节点做旁路，增加一个交易报文转发机制，把交易流水
分发到收集的服务器，收集服务器负责信息收集处理，
隔离信息收集对生产的影响。
（3）回放时间
回放测试是将生产某个时段的交易在测试环境进行
录播测试，时间范围的选择就是案例的选择，选取有代表性的时间周期才能有效地验证生产交易场景。
考虑到
联机回放测试可以与批次结合进行测试，回放时间可以
收集一天的数据进行分阶段回放，每天联机交易回放与
批次回放结合进行验证。
为了覆盖更多的交易类型，建
议选取交易量较大且包含更多特殊交易的时间进行录播
回放。
首先，分析生产业务量分布和业务类型的分别情况，
分析一段时期内每天生产交易量变化情况，对于交易量
突增的分析增长点是否有特殊业务场景；其次，抽取生
产每天交易类型分布，看特殊时点的交易类型分布是否
具备一定的特殊性；再次，对生产上定时发生的批量交
易进行特殊性分析。
根据以上三个方面的分析，尽量选
取包含生产特殊场景的时间段进行交易回放，对于个别
无法在回放中包含的特殊场景，需评估其在其他测试中
是否被有效覆盖。
（4）回放分析
对于功能回放测试，由于整体回放测试系统和分析
方式比较多，每个系统间的每种方式都进行比对，工作
量非常大，且核心账务配合工作将成为瓶颈。
确定分析
内容时，重点落实新旧系统回应码统计分析、新旧系统
抽样勾兑分析，同时落实重点改造系统的渠道和核心的
交易对比分析，其他对比方式可根据时间计划和资源情
况安排。
性能回放测试的重点是系统和应用的性能指标表
现，在功能指标上，关注整体成功率是否与生产环境持
平即可。
一般建议先进行功能回放分析，在保障功能正
确性后，再进行性能回放测试，可有效提高整体测试效
率和效果。
（5）交易唯一性
在整个回放测试中，多个地方涉及新旧系统交易处
理结果的对比分析，怎么在新旧系统中简单、快速地识
别出来同一笔交易，以避免由于类同交易错配，影响分
析效率和效果？
确定一笔交易唯一性的主要域有交易日
期、账号、金额、商户、交易流水号，在不同环境下基
本上都是以上要素的抽样组合，其中最有效的方式是交
易日期、账号、金额和交易流水号。
通常在回放中维持
不变的内容有账号、金额和商户号，回放测试过程交易
日期由于环境变更会有变化，但基本可转换比较，个别
系统流水号会改变交易流水号。
建议在测试中以日期、
账号、金额、流水号来确定交易唯一性，如果个别系统
无法保障交易流水的唯一性，可增加商户做识别，同时
在比较过程中注意剔除错配的情形。
4.回放条件
（1）报文接收回放和分析工具及脚本开发
①报文接收方案。
根据交易回放点方案，确定报文
接收方案，并提前做好开发测试，并在生产环境投产。
在不影响生产稳定运行的前提下，结合脱敏要求在收集
报文时进行脱敏处理，避免单独进行脱敏的时间消耗。
②报文发送工具开发。
做好交易回放点新旧系统差
异分析，实现差异报文的转换。
同时实现报文发送效率
的控制，做到发送原交易时间周期可控，发送峰值可控，
并提前完成程序的测试验证。
③报文分析脚本。
由于对比分析内容比较多，为提
高效率，建议提前做好对比分析脚本的开发测试工作，
以提高测试效率。
④特殊程序修改。
由于生产和测试密钥体系差异和
信息安全要求，无法模拟生产密码的相关验证，因此应
屏蔽加密接口反馈结果的检查动作，以默认密钥验证成
功反馈结果；做好密码屏蔽程序修改和测试。
⑤其他特殊修改。
为保障交易在新旧系统中的唯一
性识别，可临时修改新系统流水分配逻辑，提前做好
测试，同时注意做好生产版本和特殊测试版本间的版
本管理。
（2）回放测试数据和环境准备
回放测试基于测试执行结果与生产的比对，交易处
理的一致性除要求交易请求报文一致外，还需保障环境基础数据的一致性。
由于回放的数据跨度比较长，且每
个账户在备份时点附近不可能都有交易发生，系统备份
时间存在细微差距对测试影响不大。
根据回放时间选择，假设选择T日数据进行回放，
则必须对T日开始时点相应系统的基础数据进行备份，
利用备份的数据，通过恢复数据或数据迁移方式搭建相
应的回放测试环境。
也可以利用生产系统日常的备份，
以减少整体备份工作量。
提前开启回放日志录制，在回放周期时间段后，关
闭录制功能，并把数据恢复到回放测试环境，供交易回
放工具使用。
部分系统流水包含请求报文内容，可利用
生产流水进行回放。
在回放时间周期后，备份生产相应
系统的交易流水，恢复到回放测试环境，供回放测试分
析使用。
由于整个回放测试相关系统有一定关联关系，在进
行数据脱敏时必须制定统一的脱敏要求，保障上下游数
据的匹配。
同时也可以搭建特殊网络段，配合数据工作
间的方式制定整体的信息安全保障方案。
（3）完成回放环境性能差异分析
由于采用工具对交易进行回放，回放时交易量比较
大，为了避免系统交易瓶颈影响功能回放测试的效果，
需提前评估各系统在测试环境可支持的最大交易峰值。
结合生成交易量分布比例和测试环境支持能力的评估，
预估混合测试最大支持交易量及交易配比。
5.回放安排
在系统项目中同时还存在SIT、UAT、移植测试、
性能测试、投产演练等测试工作，这些测试与回放测
试之间有什么关系？
这些关系对工作计划安排有什么
影响？
总体上讲，回放测试与其他测试的关系是密不可分
的。
在测试目标上，回放测试与其他测试工作一样，都
是为保障系统在生产环境的稳定运行；在测试案例构建
方法上，回放测试完全独立于其他测试；在效果上，回
放测试是功能测试和性能测试的进一步提升；同时，在
工作安排上，回放测试又依赖于其他测试的结果。
与SIT/UAT相比，回放测试在功能验证上，案例
完全依赖于生产模型，采用批量发报文方式进行交易发
起，且由于回放结果与生产比较，如果功能程序没有一
定的质量保障，回放结果差异很大，无法进行有效分析，
甚至批量回放过程将出现大量中断，回放效率无法保障；
同时回放测试发现的缺陷，也需要在功能测试中进行必
要的验证。
因此，只有在完成SIT和第一轮UAT测试后，
才开始回放测试，在正确性上有一定保障，才能真正有
效地提高测试效率，进行深层次的生产模型验证；同时，
回放测试发现的缺陷也能在后几轮UAT功能测试中得
到验证。
回放测试与性能测试的关系是：
性能测试根据评估
模型进行性能验证，回放测试根据生产模型进行性能验
证，回放在与生产环境一致的环境下进行，对环境要求
比较高，回放性能测试也需要有一定的性能测试基础，
避免回放错误引起测试环境的重新搭建，同时，性能测
试结果也是回放性能测试的参照，只有完成性能测试验
证后，才能有效地提高回放效果。
由于回放测试基于生产数据，而迁移系统生产环境
必须经过移植才能完成搭建，所以，移植测试的结果决
定了回放基础数据环境的正确性，也就是说，只有移植
测试确定结果正确才能开展回放测试，同时移植测试的
结果数据也可以直接作为回放的基础数据，减少数据准
备的工作量。
投产演练和回放测试基本都在完成SIT/UAT和移
植后开始进行，投产演练重点是检查投产步骤，对投产
时序和时间进行验证和测算。
回放测试重点在于深层次
验证功能和性能的正确性。
投产演练和回放测试工作处
于同一项目周期内，可以有效地结合两部分工作内容，
利用投产演练中的数据移植结果，作为回放环境的基础
数据，减少环境准备的时间；也可以结合两部分工作内容穿插进行。
三、测试实践
下文以某核心系统建设为例说明回放测试的过程。
该项目的主要范围和内容是完成账务系统的升级，同时
统一外联接口，以交换为枢纽，建立核心接口的统一服
务机制，关联涉及60多个外围系统（如图1所示）。
1.测试方案
（1）测试范围
由于交易渠道比较多，接口也比较多，测试很难覆
盖所有渠道和交易代码，现对现有各系统交易量进行分
析（见表1）。
其中银联、网上渠道、中间业务、自助设备四个渠
道占总交易量95%以上，同时核对四个系统的交易类型，
占核心授权交易类型的98%以上。
从项目范围和改造
要点看，重点改造内容和架构的汇聚点是账务系统和交
换系统，银联、网上渠道、中间业务、自助设备是主要
的交易渠道，同时考虑国际组织支持海外交易的特殊性，
最后确定测试范围为账务系统、交换系统、银联、网上
支付、中间业务、自助设备、国际组织。
（2）交易回放节点
上文提到选择回放点需保障对变更内容的覆盖，并
考虑新旧接口变化小、对原系统影响小等因素；下面以
银联系统为例介绍回放节点的选择（如图2所示）。
在改造方案中，内部系统与中国银联间接口不变，
后续内部流程和接口都有调整。
银联通信前置机只负责
通信交互，不负责业务逻辑处理。
为保障回放报文与生
产的一致，在银联前置系统的业务逻辑模块增加报文转
发机制，在接收到报文的第一时间，复制报文转发；由
于银联前置系统交易量较大，为减少对生产系统的影响，
增加一台流水录制服务器，负责对报文进行脱敏以及流
水录制。
交易回放时，直接模拟银联通信前置机，与业务处
理模块进行通信，从录制流水信息中读取报文，并按照
银联格式进行报文发送，同时还需负责回应报文的接收，
避免报文堆积影响测试效果。
其他参与回放的系统也参照类似的方法，确定报文
录制的节点。
部分系统改造量不大，且原系统流水与报
文要素类似，可以直接使用原系统流水。
（3）回放分析内容
在改造方案中，重点改造内容是核心的升级、接口重新规划和统一服务机制，信息架构变化比较大的是账
务系统和交换系统，各外围根据交换接口变化和核心业
务逻辑调整，做相应的调整。
根据改造内容，重点比对内容为账务系统和交换系
统，其他系统根据时间周期和资源，进行适当调整，确
定对比分析内容有以下几方面。
①各系统生产与回放测试回应码比例分析比对。
②各系统生产与回放测试抽样笔笔勾兑分析。
③核心与交换间回应码对账关系统计比对分析。
④核心与交换间抽样时间段交易笔笔勾兑分析。
⑤根据时间和资源考虑是否能对其他渠道回应码与
核心进行统计分析。
（4）交易唯一性
经过分析，卡号和金额无须特殊处理就能保持一致，
日期虽然有差异，但基本可以通过映射关系做对应，以
上信息基本能区分大部分交易，但可能存在部分账号一
天发生多笔同金额交易，为进一步保障交易唯一性，原
则上以交易流水号为交易唯一性的要求，这样可以通过
日期、账户、金额、流水号确定交易唯一性，经逐个系
统分析，个别系统临时调整流水分配方式后保持流水号
一致性，一个系统由于改造较多，采用商户号作为补充，
分析时对于同账号多笔相同金额交易，需手工单笔确认
是否错配。
（5）回放时间
回放时间的选择也应根据具体的回放案例选择，除
了周期内交易量的大小，还要看业务类型的覆盖度。
根
据回放时间选择的思路，对现有系统进行交易情况分析
和业务类型分布分析。
①半年每天业务量分布图。
如图3所示，每周交易
量呈一定范围波动，每天交易量基本稳定，变化幅度在
10%以下，节假日或个别促销活动会对交易量有一定影
响，网上购物节期间业务量明显增大。
②每天业务量分布图。
如图4所示，每天24小时
交易分布也基本稳定，晚上处于交易低谷，交易峰值从
上午10时基本维持到22时左右，分布图中，每天早上
7时30分有交易突增情况，经分析，该交易为定时发起
交易，每天交易类型相同。
如图5所示，“双11”期间，
交易峰值大约出现在凌晨1时，以后交易逐步回落，当
天白天交易量基本与平时业务量持平。
③每天交易类型分布。
随机抽取多天的系统交易量
进行分析，交易类型分布基本稳定，基本以消费交易为
主，还款交易占第二位，其他类型交易占比较小（见表2）。
“双11”期间，消费交易占比加大，同时消费交易中的
网上支付交易占比也大大提升，特别是在凌晨交易峰值
期间，基本为网上支付交易。
④特色业务发生时间周期。
根据需求分析中交易代
码清单，找出特色业务的清单，对其发生时间周期进行
统计。
从上述分析看，生产平时交易峰值和交易类型分布基本稳定，购物节期间交易峰值明显高于平常，同时，
在购物节期间的交易类型中，消费类交易占比稍高于平
时，并且在凌晨时段，几乎所有消费交易都是网上支付
交易。
从分析情况看，可根据特色业务发生的时间，收
集交易数据进行功能回放测试。
同时，根据选择时间周
期流水，可统计所有交易类型清单，与需求分析交易清
单进行对比，分析回放测试可能较少覆盖的交易类型，
根据需求进行必要的补测试。
2.回放准备
（1）回放环境压力评估和回放压力分配
根据性能测试结果，评估回放环境资源配比可支持
的最大交易峰值为100TPS，建议在进行功能回放测试
时，将系统最大交易量控制在70TPS，同时根据生产交
易量比例关系或生产交易时间分布进行交易回放。
（2）完成回放程序开发
做好交易回放点新旧系统差异分析，实现差异报文
的转换，同时必须保留交易唯一性的新旧系统一致性；
开发报文发送工具和回应接收工具；报文发送工具可参
数控制交易回放峰值、回放报文时间段。
考虑生产和测
试加解密差异，修改程序屏蔽加密接口反馈结果的检查
动作，以默认密钥验证成功反馈结果。
（3）回放测试环境和数据准备准备
根据以上方案计划，在同一天的生产日备份基础上，
增加部分特殊数据备份，搭建回放环境中的各关联系统
环境。
在涉及数据迁移系统回放环境搭建时，一轮回放
与移植测试串行，利用移植测试结果数据搭建回放环境，
另外轮次利用投产演练的数据移植数据搭建回放环境。
同时，备份该时间段后收集的生产回放报文和生产
升级会员 