报批稿XX客户网银资金管理系统引入自动化测试的可行性研究报告文档格式.docx

1、Informix 9.0 J2EE应用服务器：Weblogic8.1.4 开发平台：Eclipse（3.1以上版本）2.3. 项目进度项目预定计划如下：序号阶段名称工期开始时间结束日期1需求阶段34工作日2006-5-102006-06-262开发阶段64工作日2006-6-122006-9-73测试执行阶段48工作日2006-7-42.4. 项目特点分析根据业务需求分析，业务量主要集中在银行业务数据操作，包括银行数据查询，银行业务数据变更，因为和银行交互集中在前置机上，且银行数据量大，操作复杂，耗费时间长，所以系统在多用户并发操作时，可能存在性能瓶颈.另外，由于XXXX客户分支机构众多，操作

2、人员多，数据量大，在多用户并发操作时，性能和效率会有较大影响.3. 现有测试流程现有测试流程按照阶段划分为测试设计阶段和测试执行阶段.测试设计阶段主要工作是根据业务需求说明书和系统需求说明书来设计和编写测试用例.根据以往经验，将测试用例划分成三个部分： 测试需求分析； 测试方案； 数据执行步骤.测试执行阶段主要手段是手工测试，如果项目有性能方面需求，再通过Mercury公司性能测试工具LoadRunner来进行性能方面测试.手工测试时，要完成以下工作： 根据测试需求分析了解业务； 根据测试方案来执行测试； 根据数据库和详细设计来验证系统具体实现； 根据测试结果补充、修正测试用例中分析、测试方案

3、部分.系统上线部署之前两到三天，要进行内部验收测试，其目有两个： 确认系统已经准备就绪，预定功能已经实现； 即将上线部署软件是正确版本.主要通过重新搭建系统环境，重建数据库表形式来开始验收测试. 4. 自动化测试简介随着软件开发技术和工具提高，软件工程和软件过程实践推广， 软件测试日益得到重视和专业化.自动化测试更成为热门话题.测试自动化就是充分利用市场已有或自行开发测试工具，全部或部分替代手工测试、完成手工测试无法完成测试任务，以及相关测试数据记录和测试报告生成等.相对于手工测试而言，测试自动化通常具有速度快、执行效率高、执行过程受外界因素干扰小、测试结果准确等优点，缺点是前期投入较大，所以

4、在采用测试自动化之前应当做好相应评估工作.4.1. 自动化测试目自动化测试目是通过自动执行测试脚本，使测试人员在更短时间内能够更快地完成更多软件测试，并提供以更高频率执行测试能力，从而有效降低测试成本、提高测试效率.4.2. 自动化测试前提自动化测试有几个前提： 测试人员编程能力； 重用测试脚本设计； 人机交互界面早期冻结； 测试脚本开发投入； 测试人员对测试工具熟练程度.4.3. 自动化测试优势和局限1.2自动化测试优势： 对新版本执行回归测试对于产品型软件，每发布一个新版本，其中大部分功能和界面都和上一个版本相似或完全相同，这部分功能特别适合于自动化测试， 从而可以让测试达到测试每个特征目

5、. 更多更频繁测试在回归测试阶段，如果是每天 / 每 2 天都要发布一个版本供测试人员测试，一个系统功能点有几千个上万个，手工测试将是非常耗时和繁琐，而且非常枯燥，这样必然会使测试效率低下.完善自动化测试可以替代测试人员手工测试. 一致性和可重复性由于每次自动化测试运行脚本是相同，所以每次执行测试具有一致性，人是很难做到.由于自动化测试一致性，很容易发现被测软件任何改变.自动化测试替代手工测试困难： 自动化测试目在于发现旧有缺陷，而手工测试目在于发现新缺陷.事实证明新缺陷越多，自动化测试失败几率就越大.发现更多新缺陷应该是手工测试主要目.测试专家 James Bach 总结得出， 85% 缺陷

6、靠手工发现，而自动化测试只能发现 15 缺陷. 技术问题、组织问题、脚本维护自动化测试推行，有很多阻力，比如组织是否重视， 是否成立这样测试团队，是否有这样技术水平，对于测试脚本维护工作量也挺大，是否值得维护等等问题都必须考虑.4.4. 自动化测试工具对比3.4目前比较主流自动化功能测试工具主要是Mercury公司QTP、Winrunner，以及IBM公司Rational Function Tester.下面对QTP和Rational Function Tester功能来进行对比：功能指标Rational Function TesterQTP用户界面与Eclipse集成独立GUI脚本语言Jav

7、aVBScript测试Web系统支持数据驱动内建数据池从Excel中获得数据检查点脚本管理工具TestManagerTestDirector其它支持Business Process Testing（BPT） 目前，我们测试人员对QTP比较熟悉，没有使用过Rational Function Tester.就功能上来说，Rational Function Tester 和QTP差别不大.5. 测试工作量估算5.1. 手工测试工作量估算手工测试工作量估算原则：根据业务和功能复杂程度，以及以往项目实际数据做参考，得出测试完成一遍工作量.在整个项目测试周期中，测试小组会对整个系统进行两到三轮测试（一般是

8、必须）.根据以往项目统计数据：每一轮手工测试工作量是上一轮工作量50，直到达到临界值，即完成一轮手工测试最小时间后，工作量不会再减小.项目统计数据还表明：手工测试中，后期测试工作占到全部测试工作4050.业务功能点测试完成工作量（人日）一级功能二级功能第一轮第二轮第三轮系统管理职责管理2.0 1.0 0.5 用户管理3.0 1.5 0.8 基础设置机构类型设置0.3 机构设置币种设置银行类型设置账户用途设置0.4 账户扩展属性设置业务类型设置账户管理开户处理4.0 销户处理变更处理账号升级申请冻结与解冻账户信息查询资金清算支出资金申请5.0 2.5 1.3 归集资金申请资金划拨资金计划行项目设

9、置编制计划审批计划资金监控账户当日余额查询账户历史余额查询账户历史流水查询监控项设置监控报表和提醒银企接口银行指令查询银行指令维护自动归集策略设置交易核对审批流审批设置权限转移每轮合计工作量（人日）：97.5 48.8 24.4 用户手册验收测试12.0 手工测试合计工作量：187.6人日按照4个测试资源计算，手工测试完成共需消耗187.6/446.9个工作日.与预定计划48个工作日测试周期接近.后期测试工作占测试工作45左右.指标数值估算测试工作量测试资源4人估算测试工作日187.6/446.9日计划测试工作日48日后期测试工作量比例（48.8+24.4+12）/187.6=45对手工测试工

10、作量估算没有考虑开发进度delay因素.一旦开发进度delay，则第3轮手工测试将无法完成，只能把优先级别较高功能测试完成.开发进度delay原因很大一部分来自需求变更.5.2. 引入自动化测试后工作量估算引入自动化测试工具后，手工测试主要工作量将主要集中在第一轮测试，而自动化测试脚本也根据被测试功能和业务复杂程度不同而不同.根据下表统计数据，在自动化测试中采用数据驱动方式，投入产出比比较合适.结构成本收益净收益No AutomationRecording and Playback8.3112.7Data-driven structure using data pools8.4189.6Fra

11、mework structure9.8155.2Framework / data-driven （hybrid） structure focusing on views of the application and using data pools11.6197.4 窗体底端根据业内统计数据，手工测试与自动化测试脚本编写工作量比例约为3:7，在不考虑需求变更情况下，测试脚本维护工作量为建立脚本工作量1020，在估算时，取中间值15.引入自动化测试后工作量估算为：手工测试自动化脚本脚本维护4.7 0.7 7.0 1.1 2.3 3.5 9.3 1.4 11.7 1.8 每项合计工作量（人日）：2

12、27.5 34.1 合计工作量：368.1人日在使用了自动化测试工具以后，验收测试只需要搭建环境和数据初始化，效率提高了，测试工作量减小到4人日.计划测试资源为4个，计划测试工作日为48日，故计划工作量为192人日.在未引入自动化测试工具以前，第二轮和第三轮及验收测试工作量合计为（48.8+24.4+12）=85.2人日，引入自动化测试以后，后期测试工作量为（227.5+34.1+4）=256.6人日.公式计划测试资源计划测试工作总量48*4192人日替代手工测试工作量48.8+24.4+1285.2人日估算自动化测试工作量227.5+34.1+4265.6人日估算测试工作总量368.1/49

13、2日估算测试周期2006年7月4日2006年11月8日上表数据表明，实施自动化测试，在最好情况下（不考虑学习曲线和需求变更），估算测试周期为2006年7月4日2006年11月8日，比预定计划项目开发完成时间晚2个月.5.3. 学习曲线、需求变更对工作量影响根据项目管理相关理论，学习曲线和需求变更将分别会增加30工作量，考虑到对测试工具了解程度，QTP学习成本会少一些，估计为10，Function Tester学习成本将为30.估算测试工作量为：没有需求变更有需求变更手工测试估算工作量187.6人日 187.6*（1+30%）243.9人日 使用自动化工具估算测试工作量97.5+265.6*（1

14、+10%）+5394.7人日 97.5*1.3+265.6*1.4+4502.6人日 RFT（1+30%）+5447.8日 *1.6+5556.7人日 384.8/498.7日 490/4125.6日 436.1/4111.9日 542.3/4139.2日 2006年7月4日2006年11月17日2006年12月26日2006年12月6日2007年1月15日上表估算数据表明，实施自动化测试，在最坏情况下（考虑学习曲线和需求变更），估算测试工作日为139.2日，测试周期为2006年7月4日2007年1月15日，比预定计划开发完成时间晚4个月.6. 分析和建议对测试工作量估算表明，在不考虑学习曲线

15、和需求变更情况下，使用自动化测试工具估算工作量为手工测试工作量两倍.如果XXXX客户希望在系统上线后，能够自己维护BBBB公司提供自动化测试脚本，项目组测试人员工作量将为手工测试34倍.另外，行业经验，自动化测试工程师成本约为普通测试工程师两倍.经过项目组讨论，有以下三个建议：建议一：本项目暂只实行手工测试.为保证计划上线时间9月7日，在本项目中不施行自动化测试，仍然使用传统手工测试.建议二：自动化测试分段实施. 7月到9月施行手工测试，保证项目进度和质量.9月到明年1月实施自动化测试，项目上线延迟到明年1月份.建议三：对自动化测试只做试用尝试.如果XXXX客户客户希望最终能够获得一份Robot试用报告，测试人员可以在项目测试中对一到两个功能做自动化尝试，估算比计划项目上线日期推迟10天左右.即项目上线时间为2006年9月16日.7. 参考资料1. 软件工程 王长元 李普惠 等编著.2. 测试员电子期刊 200504 期 软件测试管理 主编：陈绍英3. IBM Rational Functional Tester工具帮助4. Rational 完成自动化功能测试 宁德军（IBM中国有限公司软件部Rational高级技术专员）