软件产品测评作业指导书.doc
《软件产品测评作业指导书.doc》由会员分享，可在线阅读，更多相关《软件产品测评作业指导书.doc（29页珍藏版）》请在冰点文库上搜索。
软件产品测评
作
业
指
导
书
目录
一 适用范围 2
二 引用文件 2
三软件质量特性及有关术语定义 2
3.1功能性functionality 2
3.2可靠性reliability 3
3.3易用性usability 3
3.4易操作性Operability 4
3.5效率efficiency 4
3.6可维护性maintainability 4
3.7可移植性portability 4
3.8用户文档集userdocumentation 5
3.9产品说明productdescription 5
3.10测试用例testcase 5
3.11判定verdict 5
3.12判定准则verdictcriteria 5
四 测试内容 6
4.1用户文档集测试 6
4.2功能性测试 7
4.3可靠性测试 10
4.4易用性测试 11
4.5效率测试 17
4.6可维护性测试 18
4.7可移植性测试 18
4.8产品说明测试 20
五测评工作流程 23
5.1需求调研 24
5.2需求确认 24
5.3测评实施 24
六软件产品测评工作的组织 26
七判定准则 26
7.1判定的准则 26
7.2判定的度量 26
八软件产品测评中产生的相关文档和记录 27
一 适用范围
本细则适用于对软件产品的测试。
规定了在进行软件产品测试时的引用文件（标准）、软件质量特性、测评方式、测评类型、测评内容、判定准则、测评工作流程等方面的要求。
二 引用文件
GB/T25000.51-2010《软件工程软件产品质量要求与评价（SquaRE）商业现货（COTS）软件产品的质量要求和测试细则》。
GB/T25000.1-2010《软件工程软件产品质量要求与评价（SQuaRE）SQuaRE指南》。
GB/T16260-2006《信息技术软件产品评价质量特性及其使用指南》
其它有关技术标准。
有关法律、法规和内部规定。
三软件质量特性及有关术语定义
3.1功能性functionality
与现有的一组功能及其规定的性质有关的一组属性。
这里的功能是指满足明确的或隐含的需求那些功能。
[GB/T16260–2006]
3.1.1适合性suitability
与规定任务能否提供一级功能以及这些功能的适合程度有关的软件属性。
3.1.2准确性accuracy
与能否得到正确或相符的结果或效果有关的软件属性。
3.1.3互操作性；
3.1.4互用性interoperability
与同其他指定系统进行交互的能力有关的软件属性。
3.1.5依从性compliance
使软件遵循有关的标准、约定、法规及类似规定的软件属性。
3.1.6安全性security
与防止对程序及数据的非授权的故意或意外访问的能力有关的软件属性.
3.2可靠性reliability
与在规定的一段时间和条件下，软件维持其性质水平的能力有关的一组属性[GB/T16260–2006]。
3.2.1成熟性maturity
与由软件故障引起失效的频度有关的软件属性。
3.2.2容错性faulttolerance
与在软件故障或违反指定接口的情况下，维持规定的性能水平的能力有关的软件属性。
3.2.3易恢复性recoverability
与在失效发生后，重建其性能水平并恢复直接受影响数据的能力以及达此目的所需的时间和努力有关的软件属性。
3.3易用性usability
与一组规定或潜在的用户为使用软件所需做的努力并且对这样的使用所作的评价有关的一组属性[GB/T16260–2006]。
3.3.1易理解性understandability
与用户为认识逻辑概念及其应用范围所花的努力有关的软件属性。
程序的问题、消息和结果应是易理解的。
3.3.2易学性Learnability
与用户为学习软件应用（例如运行控制、输入、输出）所花的努力有关的软件属性。
3.3.3易浏览性
如果有多种媒体，则每种数据媒体应具有产品标识、可辨别编号或文本。
程序宜易观察易读的形式向用户提供信息。
3.4易操作性Operability
与用户为操作和运行控制所花的努力有关的软件属性。
3.5效率efficiency
与在规定的条件下，软件的性质水平和所使用资源量之间的关系有关的一组属性。
[GB/T16260–2006]
3.5.1时间特性timebehavior
与软件执行其功能时响应和处理时间以及吞吐量有关的软件属性。
3.5.2资源特性resourcebehavior
与软件在执行其功能时所使用的资源数量及其使用时间有关的软件属性。
3.6可维护性maintainability
与进行规定的修改所需的努力有关的一组属性。
[GB/T16260–2006]
3.6.1易分析性analyzability
与为诊断缺陷或失效原因及为判定待修改的部分所需努力有关的软件属性。
3.6.2易改变性changeability
与进行修改、排除错误或适应环境变化所需努力有关的软件属性。
3.6.3稳定性stability
与修改所造成的未预料结果的风险有关的软件属性。
3.6.4易测试性testability
与确认已修改软件所需的努力有关的软件属性。
3.7可移植性portability
与软件可从某一环境到另一环境的能力有关的一组属性。
[GB/T16260–2006]
3.7.1适应性adaptability
与软件无需采用有别于为该软件准备的活动或手段就可能适应不同的规定环境有关的软件属性。
3.7.2易安装性installability
与在指定环境下安装所需努力有关的软件属性。
3.7.3遵循性conformance
使软件遵循与可移植性有关的标准或约定的软件属性。
3.7.4易替换性replaceability
与软件在该软件环境中有来替代指定的其软件的机会和努力有关的软件属性。
3.8用户文档集userdocumentation
以打印的或非打印形式得到的文档的完整集合，用户文档的提供有利于产品的应用并且是产品的必备部分。
3.9产品说明productdescription
陈述软件各种性质的文档，其主要目的是帮助潜在的需方在采购前对该软件进行适用性评价。
（包括全部封面信息、数据表、网站信息等。
）[GB/T25000.51-2010]。
3.10测试用例testcase
测试者使用的文档化细则，其规定如何对某项功能或功能组合进行测试。
包括测试目标、要测试的功能、测试环境和其他条件、测试数据、过程、系统的预期行为。
3.11判定verdict
相对于测评项，对被测实现的结果给出“通过”或“不通过”等结论性陈述的行为。
3.12判定准则verdictcriteria
在测评项中规定的、使测评实验室和测评人员对测评结果做出评定结论的依据。
四 测试内容
4.1用户文档集测试
为了使用户了解软件的使用、操作和对软件进行维护，软件开发者为用户提供的详细资料，称为用户文档，即用户手册、操作手册、维护手册。
用户文档集测试文档的完备性、正确性、一致性、易理解性、易学性和可操作性：
4.1.1完备性
1）用户文档集中是否包含使用该软件的必须信息。
2）用户文档集是否包含在产品说明中陈述的所有功能以及最终用户能使用的功能。
3）用户文档集中是否说明可靠性的特征及其操作。
4）用户文档集中是否列出所处置的和引起应用系统失效或终止的差错和失效，特别是那些导致数据丢失的应用系统终止的结束条件。
5）用户文档集中是否给出必要数据的备份和恢复指南。
6）对于关键软件功能（即失效后会对安全产生影响或会造成重大财产损失或社会损失的软件），用户文档集是否提供详细的说明和参考信息。
7）用户文档集中是否陈述了产品文档中给出的所有限制。
8）用户文档集中是否陈述了安装该软件所要求的最小和最大磁盘空间。
9）对用户要完成的应用管理职能，用户文档集是否包括所有必要的信息。
10）在用户所完成的应用管理职能的信息中，应包括让用户能验证是否成功完成应用管理职能的信息。
11）如果用户文档集分若干部分，检查是否有标识标识出所有部分。
4.1.2正确性
检查用户文档集中的信息是否存在歧义。
4.1.3一致性
用户文档集是否自相矛盾、互相矛盾以及与产品说明矛盾。
4.1.4易理解性
1）用户文档集中的术语和文体是否便于用户理解。
2）是否有编排完整的文档清单。
4.1.5易学行
用户文档集中是否包含便于用户使用该软件的必要信息。
4.1.6可操作性
1）如果用户文档集不是纸质文档，检查文档中是否指明该文档集能否被打印，如果能打印，检查是否指出如何获得打印件。
2）用户文档集是卡片和快速参考指南以外的文档集，检查是否给出目次（或主题词列表）和索引。
3）检查用户文档集中是否对不常用的术语和首字母缩略语加以定义。
4.2功能性测试
4.2.1安装与卸载
1）软件由用户安装，用户手册和软件能提供详细的安装导向和缺省设置，是否提供覆盖、修复和重新安装；
2）安装后，程序能否运行应是可鉴别的；
3）软件是否能够实现完全卸载（自动卸载、手动卸载）；
4）软件完成安装与卸载，是否影响其他的程序。
4.2.2软件各功能模块是否能够全部挂接。
4.2.3用户手册中提到的所有功能应可执行。
4.2.4为完成工作任务，程序功能应正确执行。
4.2.5如果由于产品特定的边界值致使产品使用受限，应提供这些边界值：
1）最小和最大值；
2）键的长度；
3）文卷中的记录的最大数目；
4）检索准则的最大数目；
5）最小样本大小；
4.2.6安全性
在软件的质量特性中，安全性与功能、易用性有较大的关联，安全性是通过某些功能的实现来体现的，易用性与安全性也紧密相连，同时也存在矛盾。
软件产品安全性测试主要测试项：
（一）、用户管理和访问控制
1、用户权限控制
对于应用软件来说，用户权限的控制是比较重要的。
一个用户能够访问一个应用系统的权限主要来源于三个方面：
应用软件本身、操作系统和数据库。
应用软件在在开发过程中，主要采用用户名和密码登录的方式完成。
安全强度高的软件也可采用指纹认证、智能卡认证等方式进行。
⑴用户名称的测试
用户名称应该具有惟一性。
①同时存在的用户名称在不考虑大小写的状态下，不能够同名；
②对于关键领域的软件产品和安全性要求较高发软件，应当同时保证使用过的用户在用户删除或停用后，保留该用户记录，并且新用户不得与该用户同名。
⑵ 用户口令测试
用户口令应该满足当前流行的控制模式，主要测试口令的强度、口令存储的位置和加密强度。
①最大口令时效：
指定用户可以保留当前口令的时间；
②最小口令时效：
指定用户修改口令之前，用户必须保留口令的时间；
③口令历史：
确定系统将要记住的口令数量，如果用户选择的口令存在于口令数据库中，系统将强制用户选择其他口令；
④最小口令长度：
对于用户口令可以包含的最少的可以接受的
⑤口令复杂度：
在口令中要求用户使用非字母数字的字符或大小写字母；
⑥加密选项：
可以加密本地存储的口令；
⑦口令锁定：
在输入非法口令达到规定的次数之后，系统将禁用这个帐户。
⑧ 帐户复位：
帐户锁定后定义是否可以在规定的时间间隔后自动恢复。
2、操作系统安全性测试
⑴是否关闭或卸载了不必要的服务和程序；
⑵是否存在不必要的帐户；
⑶权限设置是否合理；
⑷安装相应的安全补丁程序的情况；
⑸操作系统日志管理。
3、数据库权限测试
⑴数据库管理用户的设置应当注意对帐户的保护，超级用户的口令不得为空或默认口令。
对数据库的帐号和组的权限应作相应设置。
⑵数据库中关于应用软件用户权限和口令存储的相关表格，尽量采用加密算法进行加密；
⑶根据不同的程序访问数据库的功能，使用不同的数据库用户进行连接，并且必须设置密码。
（二）、通信加密
通信加密是保证数据在传输过程中数据的保密性和一致性。
软件产品在技术上通常使用链路加密、数据加密的方式进行。
目前，使用的加密技术包括VPN技术、对称加密算法、非对称加密算法、HASH算法。
本测试细则按照客户设计要求所使用的加密技术，采用验证的方式进行测试。
（三）、安全日志测试
安全日志是软件产品被动防范的措施，但也是重要的防范功能。
⑴日志应当记录所有用户访问系统的操作内容，包括登录用户名称、登录时间、浏览数据动作、修改数据动作、删除数据动作、退出时间等；
⑵日志的完整性、正确性；
⑶大型应用软件，系统是否提供了安全日志的统计分析能力。
程序和数据其本身不能自相矛盾，产品描述和用户文档不能相互矛盾，每个术语应处处具有相同的含义，具有良好的一致性。
⑴测试软件程序和数据其本身是否产生自相矛盾；
⑵测试软件产品描述和用户文档是否相互矛盾；
⑶测试软件的每个术语是否处处具有相同的含义，是否具有良好的一致性。
4.3可靠性测试
软件产品可靠性是指软件在规定的条件下和规定的时间内完成规定的功能的能力。
软件可靠性测试是对软件产品的可靠性进行调查、分析和评价的一个过程。
4.3.1软件产品可靠性测试的主要目的：
⑴发现软件系统在需求、设计、编码、测试、实施等方面存在的缺陷；
⑵为软件的使用和维护提供可靠性数据；
⑶确认软件是否达到可靠性的定量要求。
4.3.2软件产品可靠性测试项：
1、确认可靠性目标。
⑴、检查被测试软件的需求与设计是否一致；
⑵、检查软件设计过程中形成的文档的准确性、完整性与程序的一致性；
⑶、检查所交付的程序和数据是否符合要求；
⑷、检查软件支持环境是否符合要求。
2、测试在规定的时间内，软件能够正常运行的情况。
软件可靠性主要体现在其运行阶段，所以“运行时间”既是“规定的时间”的度量。
“运行时间”包括软件系统运行后工作与挂起（开启但空闲）的累计时间。
因此，在规定的时间内，主要测试软件是否能够正常的运行。
3、测试在规定的条件下，软件能够正常运行。
在软件指定的运行环境中（即软件系统运行时所需的各种支持要素。
如：
硬件平台、操作系统、数据库管理系统、中间件及其它支持软件等），主要测试软件是否能够正常的运行。
4、测试软件所要求的功能。
软件的可靠性与软件规定的任务和功能有着密切的关系。
软件要完成的任务不同，运行的情况也会有所不同，调用的模块、选择的路径也会不同，反映在可靠性方面也就可能不同。
因此，要准确的度量软件的可靠性，重点测试软件所规定的任务和功能是否能够按照要求实现。
5、测试软件的可靠度
软件的可靠性度是指在规定的时间内，规定的条件下，软件不发生失效的概率。
测试软件在系统（包括硬件、要求的软件及属于该产品的程序）运行过程中，不应出现用户无法控制的状态，即不应崩溃也不应丢失数据。
即使出现下列情况也应满足上述要求：
⑴使用的容量达到规定的极限；
⑵企图使用的容量超出规定的极限；
⑶其他程序或用户造成的错误输入；
⑷使用用户手册中明确规定的非法指令。
不能用任何程序捕获的硬中断和操作系统中断（例如，操作系统复为位用的键或组合键）不在此范围内。
6、测试记录
在测试过程中必须真实地进行记录，每个记录应包含的内容：
⑴测试的时间；
⑵含有测试用例的测试说明或标识；
⑶所有与测试有关的测试结果，包括生效数据；
⑷测试人员。
4.4易用性测试
通过选择适当的术语、图形、背景信息、帮助功能，使程序的问题、消息和结果是易理解的。
出错消息应提供解释相应差错产生原因和纠正的详细信息。
如果有多种媒体，则每种数据媒体应具有产品标识、可辨别编号或文本。
屏幕输入格式、报表和输出设计清晰和易浏览。
具严重后果的功能执行应是可逆或应给出明显警告并在执行前要求确认。
4.4.1软件安装的易用性
1）、安装手册评估。
安装前，需要检查安装手册或用户文档中的安装说明。
一般来说，安装手册需要对安装平台、安装过程需要注意的问题以及手动配置的部分进行详细说明。
2）、安装的自动化程度测试。
由于制作安装程序的软件很多，许多软件采用了自动安装方式。
但由于部分软件的特殊性，有时必须采用一定的手动配置来完成安装。
因此，评测软件安装过程的自动化程度，一般来说，软件安装尽可能做到“全自动化”，即使在不得已的情况下需要进行手动配置，也需要采取一些措施，比如选择框方式等，使手动配置变得简单和明确。
3）、安装选项和设置的测试。
在安装的过程中常常需要对安装的项目进行选择，也可能要设置不同的信息，比如：
安装路径、安装向导、缺省设置等，安装测试时需要对不同的选项和设置方案进行测试，论证各种方案是否能够安装成功。
4）、安装过程的中断测试。
一个大型的软件有可能需要很长时间来进行安装，如果因为断电、文件冲突或读写错误导致安装过程的非正常中断，有可能使已进行的安装前功尽弃。
一个好的自动化安装程序应该能够记忆安装的过程，当恢复安装时，安装程序能够自动进行检测，并从“断点”进行安装‘
5）、安装顺序测试。
对于大多数应用系统，特别是分别式系统，常常需要安装软件系统的不同组成部分。
不同的安装顺序会导致安装失败，或引起一些不可预料的错误，例如，先安装客户端后安装服务器，会导致莫些软件的客户端与服务器连接不上。
因此，如果安装手册中未明确指出安装顺序，则需要测试不同顺序的安装过程。
6）、多环境安装测试。
不同的应用环境下安装的情况也是不一样的。
因此，测试时需要在标准配置、最低配置和笔记本电脑三种环境中进行安装测试。
7）、安装的正确性测试。
在上述安装测试后，还需要简单的使用以验证安装的正确性，同时，还要考察对其他应用程序的影响。
8）、恢复安装与卸载测试。
修复安装主要是在软件使用后，根据需要添加或删除软件的一些组件或者修复受损软件。
修复安装和卸载应该是自动化的。
修复、安装、卸载是一个完整安装程序中的不同选项。
进行修复安装时，需要检查修复对软件有无不良影响。
4.4.2软件功能的易用性
⑴、业务符合性：
主要测试软件是否符合其所服务的领域的业务逻辑。
要求软件的界面风格、表格设计、业务流程、数据加密机制等必须符合相关的法律法规、业界标准规范以及使用人员的习惯。
⑵、功能定制性：
为了适应用户需求的不断变化，软件功能应该能够灵活定制。
如电子政务软件的公文流转可节点，应可以灵活定义；工资软件中部门结构和人员归属应可以灵活调整。
⑶、业务模块的集成度：
主要测试软件系统中业务模块之间存在紧密关联的程度。
也就是在用户操作界面下，紧密关联的模块能够快捷的进行转换。
⑷、数据共享能力：
测试软件数据库表的关联和数据重用问题，最大程度地减少用户的重复输入，同时保证数据传递的一致性。
⑸、约束性：
对于流程性比较强的业务操作，上一步操作完成以后，要强制进行下一步操作，这时需要软件以向导或与屏蔽无关操作的方式来限制用户的操作；另外，应以屏蔽或提示的方式阻止用户输入非法字符或进行损害数据和系统的操作，有效的避免用户犯错误，减少系统出现异常的概率，提高系统的安全可靠性。
⑹、交互性：
主要测试用户操作的可见性和系统对用户的反馈。
也就是用户的每一步操作都应有所回应或者提示，使用户清晰地看到系统的运行状态。
⑺、错误提示：
测试软件在关键操作完成后或数据删除等操作前给出明确提示，操作错误或系统出现错误时，给出的出错信息中提供差错产生的原因，并指示如何进入正确的步骤，帮助用户从错误中恢复。
4.4.3用户界面
用户界面测试主要是核实用户与软件之间的交互，验证用户界面中的对象是否按照预期的方式运行，并且符合国家或行业的标准。
用户界面测试分为界面整体测试和界面中的元素测试。
1.界面整体测试。
主要是对界面的规范性、一致性、合理性进行测试。
⑴ 规范性测试：
软件的界面要尽量符合现行的标准和规范，并在应用软件中保持一致。
对于一些特殊行业，由于系统使用环境和用户使用习惯的特殊性，在所以以上标准时，还要对自身特殊的需要加以补充。
⑵ 合理性测试：
测试软件界面是否与软件功能相融合，界面的颜色和布局是否协调。
软件界面测试一般通过观察进行。
比如：
界面中元素的文字、颜色等信息是否与功能不一致；前景与背景色搭配是否合理协调；界面中元素大小和布局是否协调；窗口的比例是否合适。
⑶ 一致性测试：
主要测试软件使用标准的控件、相同的信息表现方法，如在字体、标签风格、颜色、术语、显示错误信息等方面确保一致。
界面一致性测试的要素：
①布局是否一致，如所有窗口按钮的位置和对齐方式要一致；
②标签和讯息的措辞是否一致；
③界面外观是否一致，如控件大小、颜色、背景和显示信息等属性要一致；
④操作方法是否一致，如双击其中的项，使某些事件发生，那么，双击其他任何列表框中的项，都应该有同样的事发生；
⑤颜色的使用是否一致，颜色的前后一致会使整个应用软件有同样的感观；
⑥快捷键在各个配置项上语义是否保持一致。
⑷界面定制性测试。
主要针对适用于多层次用户的软件，测试由于用户熟练程度不同、使用频度不同、角色不同，需要不同的操纵方式或用户界面。
界面定制性测试的要素：
①界面要素的可定制性。
可以允许用户定义工具栏、状态栏是否显示，一些软件可以定义菜单的位置；
②工具栏的可定制性。
工具栏为用户使用常用的功能提供了方便，但不同的用户对常用的理解是不同的，因此，软件应当允许用户自定义工具栏，包括建立新的工具栏，选择要显示的工具栏，定义工具栏上的按钮。
③统计检索的可定制性。
测试检索条件是否灵活、分类统计是否合理、是否允许用户定义检索条件和统计项；
④报表的可定制性。
测试报表表头包括的项目、表格的行高列宽、表中数据的单位和显示格式、分页方式是否允许用户自定义。
2.界面元素测试
⑴ 窗口测试
①窗口控件的大小、对齐方向、颜色、背景等属性的设置值是否和程序设计规约相一致。
②是否显示相关的下拉菜单、工具条、滚动条、对话框、按钮、图标和其他控制。
③若窗口无法显示，所有内容是否能够改变大小、移动和滚动。
④活动窗口是否能够被反显加亮。
⑤窗口是否正确地关闭。
⑥多个窗口叠加时，窗口的名称是否显示正确。
⑦窗口的数据是否能够利用鼠标、功能键、方向箭头和键盘操作。
⑧当窗口被覆盖并重新调用后，窗口是否能够正确再生。
⑨如果所有多任务，是否所有的窗口被适时更新。
⑩窗口是否支持最大化或放大。
⑪窗口上的控件是否随着窗体的缩放而缩放。
⑫父窗体支持缩放时，子窗体缩放也缩放。
子窗口位置是否在父窗口的左上角或正中。
⑬当多个子窗口弹出时是否依次向右下方偏移以显示出窗口标题为宜。
⑭重要的命令按钮与使用频繁的按钮是否放在界面上醒目的位置。
与正在进行的操作无关的按钮应该加以屏蔽。
⑮按钮的大小与界面的大小和空间是否协调。
⑯多窗口的切换响应时间是否过长。
⑵ 菜单测试
①是否符合要求；
②菜单项的措辞是否准确；
③菜单项的顺序是否合理；
④图形的布局是否一致。
⑶ 图标测试
①图标是否符合常规的表达习惯；
②不同的目标是否采用不同的图标；
③图标是否具有清晰的轮廓；
④
升级会员 