测试总结分析报告.docx

测试总结分析报告.docx

《测试总结分析报告.docx》由会员分享，可在线阅读，更多相关《测试总结分析报告.docx（18页珍藏版）》请在冰点文库上搜索。

测试总结分析报告

XXX

测试总结分析报告

XXX软件技术有限公司

2003年06月27日

产品名称

Xxxx

文档编号

版本号

页数

19

文档名称:

测试总结分析报告

作者：

Xxx

日期：

2003-06-27

审核：

日期：

批准：

日期：

客户意见：

客户确认：

日　　期：

公司地址

第一章总论

一.1项目背景

全国计算机信息高新技术考试系统（CITT）是ATA公司为劳动部开发的一套考试系统，是目前ATA实施的考试系统中比较有代表性的一套考试系统。

目前，CITT已经开始使用，在使用之中，发现了系统存在的一些问题，为了更加系统和有效地发现系统中的其它问题，ATA公司和上海文思创意软件技术有限公司合作，启动本项目来对系统进行测试。

本项目由ATA公司提出，希望通过本项目的测试，除了在发现更多的系统缺陷外，同时建立起一套较完整的测试过程规范和一套较完整的测试用例库。

一.2文档目的

前阶段的测试工作已经结束了，测试工作产生了一些成果，同时也存在一些不足的地方，我们通过对项目进行总结，统计分析得出结论，供开发人员改善功能和界面作参考，为项目负责人提供系统评价参考，并对今后的工作提出改进建议和参考。

本文档的的读者为：

◆文思创意本项目的项目经理

◆文思创意相关领导

◆ATA公司本项目的项目经理

◆ATA公司相关领导

◆参与本项目的测试人员

一.3参考资料

《CITT项目进度安排》

《CITT测试计划》

《CITT工作任务安排》

《CITT测试需求》

《CITT测试用例说明书》

《CITT-测试执行记录》

《CITT-性能测试.》

《CITT-系统培训阶段总结》

《CITT-测试需求阶段总结》

《CITT-测试用例设计阶段总结》

邓芸《CITT第一轮测试缺陷小结》

第二章测试总结

二.1总述

本项目从6月2日开始，至6月26日测试执行结束，期间划分了4个阶段：

◆基本培训

◆制订测试需求

◆设计测试用例

◆执行测试

在这4个阶段中，我们的工作取得了一些成果，同时也存在一些不足之处。

二.1.1成果

◆建立了一套较完整的测试过程规范；

该规范以测试计划为主体，配合其它文档和模板，形成一套完整的测试过程规范。

通过这套过程规范，我们可以明确地定义各个阶段及各阶段的任务，制定资源需求，可以比较准确的估计各个阶段所需时间，并控制各阶段的工作不至于陷入某个泥潭之中。

而且随着项目形式、规模的变化，该过程规范只需要根据项目情况做少量变化，主要的思想不需做太大的改变。

◆建立了一套较完整的测试用例库；

这套测试用例库基本上覆盖了各个子系统的所有功能点，并在测试执行过程中进行了补充。

随着今后测试工作的开展，用例库也将不断的得到完善。

由于各考试系统的主要功能是相似的，这套用例库还可以应用到其它考试系统上，只需要根据系统进行部分地修改即可。

◆发现了系统中还存在的一些缺陷，并提出了一些建议；

通过对系统的不断了解和测试，测试人员发现了系统中仍然存在的一些缺陷，并从用户的角度提出了一些功能和界面建议。

◆培养了测试设计人员；

通过项目的四个阶段，我们的测试设计人员对考试系统的了解和熟悉程度不断加深，在测试执行阶段，已经就一些较深程度的内容向开发人员进行了了解。

对她们进行进一步的培训后，就可以从更深入的角度来设计测试用例了。

二.1.2不足

◆设计的测试用例还不够深入。

在较短的时间里，测试人员还不能完全掌握系统的业务逻辑细节，而且无法获得相应的文档资源，导致测试人员只能根据掌握的业务逻辑和程序界面功能设计测试用例，而无法针对业务逻辑的一些细节设计测试用例。

◆文档方式限制了测试用例库的建设和维护。

目前的测试用例都是以Word文档的方式设计、存储和管理。

由于Office软件本身的缺陷，限制了测试用例设计的实现方式，且不利于用例的大规模复用和长久维护。

如能够采用专业的测试管理工具（如TestDirector），测试用例的设计将得到更好的表现，执行更方便，测试用例的复用和管理也将更容易。

◆时间不够充分。

时间还不够充分，是限制本轮测试充分发挥的重要因素。

在近一个月的时间里测试人员要了解、熟悉系统，制订测试需求，设计测试用例，执行完整的一轮测试，时间是相当紧张的。

在每个阶段，我们以前阶段形成的文档和测试计划作为指导，加上适当的调配，都能够在不影响主要工作内容的前提下完成阶段工作。

希望在以后的工作中能够有所改善。

二.1.3未来计划

◆完善目前的过程规范。

我们将根据以后工作的具体特点，在目前的过程规范的基础上做适当的完善和调整，使其能够适应以后各种工作的要求，有效的为各项测试工作提供参考和控制。

◆完善已经建立的测试需求和测试用例库。

在后期的工作中，我们会不断完善已建立的测试需求和测试用例库，并在测试人员不断加深对系统的了解的情况下逐步补充更深入、更细致的测试用例。

◆建议适当的采用测试管理工具。

在不违犯法律法规、不侵犯商家权益的前提下，我们建议ATA公司在今后的项目中适当地采用测试全程管理工具，加强测试全过程管理，增强测试用例的实现方式，提升测试用例的复用和维护能力，有效地安排和控制各种规模的测试执行工作。

二.2缺陷分类分析

CITT第一轮测试结束后，各子系统中已发现的缺陷和建议的汇总数据如下：

缺陷数据汇总表

缺陷类别\模块名称

公共模块

报名系统

考场编排

考场管理

省中心

证书管理

网站

小计

功能缺陷

紧急

0

0

0

0

0

0

0

0

很高

1

1

0

0

0

2

0

3

高

1

3

3

6

13

12

4

41

中等

0

1

2

5

11

2

5

26

低

0

2

1

1

1

2

2

9

小计

2

7

6

12

25

18

11

81

功能建议

5

4

1

2

12

1

7

32

界面建议

0

0

0

1

3

2

2

8

安全问题

0

0

0

0

0

0

2

2

问题总计

7

11

7

15

40

21

22

123

二.2.1子系统-缺陷分布

子系统名称

公共模块

报名系统

考场编排

考场管理

省中心

证书管理

网站

小计

缺陷个数

7

11

7

15

40

21

22

123

图一子系统–缺陷分布-直方图

图二子系统–缺陷分布比例

分析：

从以上两图中我们可以看到，考前和考中部分缺陷相对较少，考后部分和网站的缺陷较多（占到总缺陷数的67％），省中心子系统的缺陷数量尤其突出，这点同项目初期“由于考后部分用户较少而没有经受足够考验，可能存在的问题较多”的说法一致，也说明在以后的测试中，这两块是需要重点关注的内容。

二.2.2缺陷分布柏拉图

子系统名称

省中心

网站

证书管理

考场管理

报名系统

公共模块

考场编排

小计

缺陷个数

40

22

21

15

11

7

7

123

累计个数

40

62

83

98

109

116

123

/

累计百分比

32.5%

50.4%

67.5%

79.7%

88.6%

94.3%

100.0%

/

图三缺陷分布–柏拉图

分析：

柏拉图能够根据80:

20原则分析系统中的问题主要集中在哪些部分。

由该图表得知，CITT所有子系统中，省中心、网站、证书管理和考场管理这4个子系统的问题就覆盖到所有问题总数的80%左右，因此在下一测试周期的执行以及下一版本的开发中，要将问题的重点放在这4个子系统上。

二.2.3缺陷类别分布柱状图

子系统-缺陷类别分布柱状图

缺陷类别\子系统

公共模块

报名系统

考场编排

考场管理

省中心

证书管理

网站

小计

功能缺陷

2

7

6

12

25

18

11

81

功能建议

5

4

1

2

12

1

7

32

界面建议

0

0

0

1

3

2

2

8

安全问题

0

0

0

0

0

0

2

2

图四子系统-缺陷类别分布柱状图

分析：

本图表明所有子系统中，功能缺陷问题多数存在于省中心和证书子系统中；省中心、网站和公共模块中则存在一些功能上的隐患，需要改进；在用户界面方面，省中心、证书管理和网站还有待提高；而在安全性方面，网站系统则存在设计疏忽或安全漏洞。

二.2.4功能缺陷严重级别分布堆积图

严重级别\子系统

公共模块

报名系统

考场编排

考场管理

省中心

证书管理

网站

小计

紧急

0

0

0

0

0

0

0

0

很高

1

1

0

0

0

2

0

3

高

1

3

3

6

13

12

4

41

中等

0

1

2

5

11

2

5

26

低

0

2

1

1

1

2

2

9

图五子系统-功能缺陷严重级别分布堆积图

分析：

本图中包含这样的信息：

公共模块、报名系统和证书管理系统都存在能使应用程序出错或异常退出的严重问题，这些问题亟待下一版本中优先解决；证书管理系统的功能缺陷中，大部分都会导致模块功能无法实现，因而有必要重新审视证书管理系统的开发流程；而其他几个子系统的功能缺陷中，也有大约一半能影响模块功能的运行。

二.3性能测试

我们在两个不同环境对省中心进行了性能测试，测试了省中心在两种情况下的性能情况，获取了一些性能数据。

环境一：

环境二：

CPU：

奔腾4代2.0G

内存：

256M

CPU：

奔腾3代1.0G

内存：

512M

两种情况：

一、数据库中没有考生成绩记录

二、数据库中已有103200条考生成绩记录

分别在这两种情况下记录入库4300条成绩记录（100个ed包）的性能数据。

性能数据如下：

环境一，数据库中没有考生成绩记录：

入库4300条记录（100个ed包）

入库时间（秒）

115

最小

最大

平均

%ProcessTime

0

92

79.745

Page

VirtualBytes

373743616

402251776

388603904

环境二，数据库中已有103200条记录：

入库4300条记录（100个ed包）

入库时间（秒）

155

最小

最大

平均

%ProcessTime

7

78

58.756

Page

VirtualBytes

399106048

428662784

407457300

环境二，数据库中没有考生成绩记录：

入库4300条记录（100个ed包）

入库时间（秒）

187

最大CPU使用率（％）

100

高峰内存使用（Kb）

21,532

高峰虚拟内存使用（Kb）

19,212

环境二，数据库中已有103200条记录：

入库4300条记录（100个ed包）

入库时间（秒）

320

最大CPU使用率（％）

97

高峰内存使用（Kb）

65,320

高峰虚拟内存使用（Kb）

21,648

其它：

在性能测试过程中，我们发现在所有ED包入库完成前，SQLServer使用的物理内存和虚拟内存不断增加，在少量报名数据（ED包）入库的情况下对性能的影响不大，但是在大量报名数据（数万甚至数十万）入库的情况下，极有可能因为内存缺乏造成系统性能在莫一点急剧下降。

这点在以后的测试工作中需要关注。

以下是以一个ED包（43条记录）为单位的入库性能统计数据：

空数据库

已有十万条记录

环境一

1.15

1.55

环境二

1.87

3.20

从以上的性能数据和图中可以看出：

a）数据库中已有数据量对系统性能有一定的影响

b）计算机配置对系统性能有一定的影响

c）计算机配置越低，数据库中已有数据量对系统性能的影响越大

注：

一、由于在环境二的操作系统中，性能监视器没有提供Process计数器（原因不明），无法像环境一那样监测系统性能情况，因此只能计时和通过任务管理器来记录少量性能数据。

二、由于测试条件的限制（暂时不能提供大量不同考生的成绩记录），报表管理系统的性能没有测试。

三、由于没有提供性能需求，也没有可对比的同类系统，因此本性能测试只提供测试出来的性能数据，并做出比较简单的性能比较。

二.4测试资源消耗

本项目所消耗的资源如下：

资源类型

数量

说明

项目经理

2人

各1个月

文思创意和ATA各一

高级测试工程师

1人

1个月

邓芸

测试工程师

1人

1个月

迟莉莉

培训讲师

2人

各1天

周晶

王海涛

PC机

4台

其中3台使用1个月

1台使用2天

第三章测试概要

三.1概要

CITT项目测试工作由2003年6月2日开始，2003年6月26日测试执行工作结束。

按照计划，我们进行了一轮测试，所有测试用例已经全部在测试环境中执行完毕。

本次测试执行工作根据《CITT–测试用例说明书》中的测试用例进行测试，并在测试过程中不断完善《CITT–测试用例说明书》。

本轮测试内容包括以下各子系统：

1、报名子系统

2、考场编排子系统

3、考场管理子系统

4、考试机部分内容（具体内容请参见《CITT-测试需求》）

5、省中心子系统

6、证书管理子系统

7、e-testing网站的省中心和考站节点

三.2测试日程安排和任务分配

关于各阶段的测试工作日程安排和任务分配，请参看附件：

《CITT–项目进度安排.mpp》

《CITT–工作任务安排.mpp》

三.3测试过程

◆测试人员按照《CITT-测试执行记录》中分配的执行顺序执行《CITT–测试用例说明书》中的测试用例

◆测试人员在测试执行阶段每天将当天的执行情况填写到《CITT-测试执行记录》

◆测试人员在测试过程中发现缺陷则填写《缺陷记录单》

第四章阶段总结

阶段总结分为四个阶段小结：

◆系统培训阶段总结

◆测试需求阶段总结

◆测试用例设计阶段总结

◆测试执行阶段总结

四.1培训阶段总结

参见附件《系统培训阶段总结》

四.2测试需求阶段总结

参见附件《测试需求阶段总结》

四.3测试用例设计阶段总结

参见附件《测试用例设计阶段总结》

四.4测试执行阶段总结

综合本文各种统计数据及其图表，CITT第一轮结束后，我们得出如下结论：

◆问题最多的子系统——省中心

◆下一测试周期需要特别关注的子系统——省中心、网站、证书管理和考场管理

◆功能缺陷最多的子系统——省中心

◆存在安全问题的子系统——网站

◆存在严重问题的子系统——公共模块、报名系统和证书管理系统

◆需要审视开发流程的子系统——证书管理系统

第五章附件

《CITT–项目进度安排.mpp》

《CITT–工作任务安排.mpp》

《CITT–系统培训阶段总结》

《CITT–测试需求阶段总结》

《CITT–测试用例设计阶段总结》