GW0014-2017 国家电子政务工程项目 应用软件第三方测试规范.pdf
《GW0014-2017 国家电子政务工程项目 应用软件第三方测试规范.pdf》由会员分享，可在线阅读，更多相关《GW0014-2017 国家电子政务工程项目 应用软件第三方测试规范.pdf（23页珍藏版）》请在冰点文库上搜索。
国国家家电电子子政政务务外外网网标标准准GW00142017国家电子政务工程项目应用软件第三方测试规范SpecificationofThird-partyTestingforApplicationSoftwareinNationalE-GovernmentProjects2017-03-30发布2017-05-01实施国家电子政务外网管理中心国家电子政务外网管理中心发布目次目次.I前言.I引言.II国家电子政务工程项目应用软件第三方测试规范.11范围.12规范性引用文件.13术语和定义.14总则.24.1测试目标.24.2测试类别.24.3测试启动及结束条件.34.4结果判定原则.34.5测试风险管理.45测试流程.55.1测试需求分析.55.2测试策划.55.3测试设计.65.4测试执行.65.5测试报告.76测试方法及技术要求.76.1文档审查.76.2系统测试.76.3验收测试.87测试内容.87.1文档审查.87.2功能测试.97.3效率测试.127.4安全性测试.137.5可靠性测试.137.6易用性测试.147.7维护性测试.147.8可移植性测试.15附录A（规范性附录）国家电子政务工程项目应用软件第三方测试报告大纲.16附录B（参考性附录）国家电子政务工程项目应用软件第三方测试取费参考区间.17I前言本标准按照GB1.1-2009给出的规则及国家电子政务工程项目应用软件第三方测试的实际需求起草。
本标准由国家信息中心软件评测中心提出。
本标准由国家电子政务外网管理中心归口。
本标准主要起草单位：
北京新国信软件评测技术有限公司、国家信息中心软件评测中心、国家电子政务外网管理中心。
本标准主要起草人：
李荔、邵国安、袁艺匀、何伟起、张鑫、苏文铮、张含、焦向宇、陈宇亭、李娜、栗泰之、杨书恒。
II引言依据国家电子政务工程建设项目管理暂行办法（国家发展和改革委员会令第55号）和中华人民共和国政府采购法，为规范国家基础信息资源库、国家重点业务信息系统、电子政务相关支撑体系等政务信息化工程建设项目以及地方电子政务项目中应用软件的第三方测试工作，制定国家电子政务工程项目应用软件第三方测试规范。
通过测试，为判定电子政务工程项目应用软件是否符合其研发合同和软件需求中规定的相关建设内容提供客观依据，供项目建设单位及项目审批部门参考。
本规范主要由国家电子政务工程项目应用软件第三方测试的类别、流程、内容、方法等组成。
本规范中所涉及的软件质量特性主要依据GB/T16260.1的软件质量模型，考虑电子政务工程项目应用软件的特点，特将安全性单独作为一个软件质量特性提出。
1国家电子政务工程项目应用软件第三方测试规范1范围本规范适用于各级政务部门有国家和财政投资的信息化项目中应用软件的第三方测试。
2规范性引用文件下列文件对于本文件的应用是必不可少的。
凡是注明日期的引用文件，仅注明日期的版本适用于本文件。
凡是不注明日期的引用文件，其最新版本适用于本文件。
CNAS-CL01检测和校准实验室认可准则CNAS-CL45检测和校准实验室能力认可准则在软件检测领域的应用说明GB/T8567计算机软件文档编制规范GB/T9386计算机软件测试文档编制规范GB/T11457软件工程术语GB/T15532计算机软件测试规范GB/T16260.1软件工程产品质量第I部分质量模型GB/T25000.51软件工程软件产品质量要求和评价（SQuaRE）_商业现货（COTS）软件产品的质量要求和测试细则3术语和定义3.1电子政务（E-government）借助于电子信息化硬件系统、数字网络技术和相关软件技术，处理与政府有关的公开事务及内部事务的综合系统。
一般包括政府对企业（G2B）、政府对公众（G2C）、政府对公务员（G2E）及政府对政府（G2G）四种模式。
3.2委托方（EntrustingParty）测试合同中委托第三方测试机构实施测试的一方，一般为国家电子政务工程项目应用软件的项目建设单位或项目审批部门。
3.3开发方（Developer）实施国家电子政务工程项目应用软件开发、集成的企事业单位。
3.42软件第三方测试机构（Third-partySoftwareTestingOrganization）独立于委托方及开发方，具有软件检测能力，且具备省级以上质量技术监督部门颁发的检验检测机构资质认定（CMA）资质和中国合格评定国家认可委员会颁发的实验室认可（CNAS）资质的机构。
3.5被测试软件（SoftwareunderTest）被测试的软件或系统，包括程序、技术文档和数据。
3.6测试环境（TestingEnvironment）按照测试要求和设计的测试方法，驱动、控制被测试软件运行或解析被测试软件本体的硬件、软件、数据、场地及其他技术设施的集成。
3.7用户文档集（UserDocumentationSet）随软件提供的、在使用该软件时帮助用户的信息。
4总则4.1测试目标电子政务工程项目应用软件第三方测试的目标是：
a）验证软件是否满足软件研发合同、软件需求规格说明和软件设计文档所规定的软件质量特性要求；b）发现软件缺陷；c）为软件产品质量的评价提供依据。
4.2测试类别4.2.1文档审查a）文档审查目的是：
审查用户文档集所包含的文档是否齐全，用户文档是否完整真实且符合相关国家标准；b）文档审查应分阶段实施，在软件开发过程中，每完成一个阶段即实施该阶段的文档审查，审查通过后再进入下一个阶段。
4.2.2系统测试a）系统测试的对象是已通过单元测试的完整的、集成的计算机系统；b）系统测试的技术依据是软件设计需求规格说明和软件设计文档；c）系统测试的目的是在与真实系统工作环境相同的模拟测试环境下检验完整的软件配置项能否和系统正确连接，并满足系统/子系统软件设计需求规格说明和软件设计文档的要求；d）系统测试的测试内容一般应全部覆盖设计需求，并尽量多地发现软件缺陷；e）系统测试的结果是确定被测软件是否符合设计需求的主要依据。
4.2.3验收测试a）验收测试的对象是已通过系统测试的完整的、集成的计算机系统；3b）验收测试的技术依据是软件研发合同中的软件需求和用户需求；c）验收测试的目的是在与真实用户（或被测软件）工作环境相同的生产环境或其备份环境下检验完整的软件系统，是否满足软件研发合同（或软件需求规格说明）规定的要求；d）验收测试的测试内容一般应覆盖被测软件的关键内容及软件质量特性；e）验收测试的结论是确定被测软件是否符合用户需求的主要依据。
第三方测试机构根据委托方的要求，从如上三种测试类别选择单独或组合方式。
4.3测试启动及结束条件4.3.1测试启动条件第三方测试工作启动需满足以下要求：
4.3.1.1商务准备委托方与第三方测试机构签署测试合同，明确测试范围。
4.3.1.2被测软件准备第三方测试机构接收被测软件及其研发合同或批复文件、系统建设招标文件、软件需求规格说明书、软件开发设计文档、安装维护手册或用户使用手册等测试所需相关文档。
4.3.1.3环境准备系统测试及验收测试的测试环境准备要求如下：
a）被测软件已通过单元测试；b）软件被测版本完成部署，参数配置正确，并在测试过程中保持版本稳定；c）其他相关外围系统和设备完成部署，配置正确；d）测试网络配置正确，连接通畅，可以满足第三方测试的要求；e）测试内容包含效率测试和安全测试时，应根据情况准备备份环境；f）验收测试应在与实际生产环境相同的网络、软硬件环境下进行。
数据准备要求如下：
a）用于测试的基础数据准备完毕；b）有保密要求的系统应使用测试数据，禁止使用系统生产数据。
4.3.2测试结束条件第三方测试工作结束需满足的要求如下：
a）完成测试合同规定的测试任务；b）软件测试文档齐全、符合规范。
4.3.3测试中断条件第三方测试工作可在如下情况发生时中断：
a）入场后发现4.3.1未满足；b）已提交软件缺陷报告，待回归测试；c）委托方提出的变更要求影响到测试实施。
4.3.4测试恢复条件a）满足4.3.1测试启动条件；b）提交的软件缺陷已修复，委托方提出回归测试要求；c）变更申请通过项目建设单位或项目审批部门及第三方测试机构评审。
4.4结果判定原则4.4.1充分性评价4验收测试结论需同时满足以下条件：
a）测试需求覆盖率100%；b）测试用例执行率100%。
4.4.2测试点判定原则测试点可判定为“通过”、“基本通过”或“不通过”。
a）通过：
不存在高级别缺陷、中级别缺陷、低级别缺陷；b）基本通过：
仅存在低级别缺陷；c）不通过：
存在高级别缺陷或中级别缺陷。
4.4.3结论判定原则测试结论可判定为“通过”、“基本通过”或“不通过”。
a）通过：
测试点判定全部为“通过”；b）基本通过：
测试点判定中存在“基本通过”，且不存在“不通过”；c）不通过：
测试点判定中存在“不通过”。
4.4.4缺陷定级4.4.4.1高级别缺陷不能执行正常工作功能或重要功能，使系统崩溃或资源严重不足。
包括：
a）导致软件（或系统）死机或宕机：
由于程序所引起的死机、宕机；b）导致数据库错误：
由于程序错误所引起的数据库损坏或数据库连接异常；c）关键功能未实现：
用户文档集中要求，且直接影响被测软件正常运行的功能未实现；d）抵御错误操作：
由于未对错误的操作进行限制而导致软件（系统）功能无法使用；e）数据通讯错误：
由于程序错误导致数据通讯故障、错误；f）严重的数值计算错误：
由于程序错误造成数据计算严重错误。
4.4.4.2中级别缺陷严重地影响系统要求或基本功能的实现，且没有办法更正（重新安装或重新启动该软件不属于更正办法）。
包括：
a）非关键功能未实现：
用户文档集中要求，但并不直接影响被测软件正常运行的功能未实现。
例如，对不可逆操作未给出提示。
4.4.4.3低级别缺陷一般性错误，影响系统要求或基本功能的实现，但存在合理的更正办法（重新安装或重新启动该软件不属于更正办法）。
包括：
a）界面错误：
界面存在的适配问题，例如：
图片、文字错误等；b）结果/消息错误：
系统的输出结果或消息的内容、格式错误；c）边界未限制：
简单的输入限制未放在前台进行控制；d）关键操作未给出提示：
对关键功能、数据的操作、数据输入的限制条件等给出的提示不准确。
4.5测试风险管理为确保国家电子政务工程项目应用软件第三方测试的公正性、保密性、安全性及工作效率，测试工作相关方应满足以下条件：
4.5.1委托方a）原则上开发方不可作为委托方，项目建设单位或项目审批部门同意开发方作为委托方的情况除外；b）涉及安全测试、性能测试等为达到测试目的所必要的操作，但可能被认为不合法或违反委托方5保密要求的情况，项目建设单位给予第三方测试机构相关授权或说明；c）需在生产环境测试的，测试前通知系统用户给予必要的配合，协调开发方提供系统备份、系统恢复等必要的措施。
4.5.2软件第三方测试机构a）若第三方测试机构为被测试软件的设计、生产、供应、安装、采购、拥有、使用或维护的法律实体，或与其法律实体有共同的所有权，则不能参与该项目第三方测试；b）第三方测试机构不应与开发方在被测试项目软件开发方面构成竞争关系；c）第三方测试机构应保证测试工具不会将病毒或其他非测试需要的损坏因素引入到属于委托方的硬件或软件中。
4.5.3开发方a）提供被测试软件的操作说明、关键技术点相关必要的培训及支持；b）对于可能对被测试系统造成数据破坏的测试，提供系统及数据备份，必要时及时恢复环境；c）按照第三方测试机构提供的缺陷列表及时修复软件缺陷。
5测试流程5.1测试需求分析测试需求分析阶段主要包括如下过程：
a）接收被测软件及用户文档集；b）确定测试的标准依据及需求依据，确定测试的充分性要求；c）综合分析委托方提出的测试要求，形成测试需求。
5.1.1输入项输入项主要包含如下：
a）委托方提出的口头和书面形式的测试要求；b）本规范“4.3.1测试启动条件”要求准备的被测软件及用户文档集。
5.1.2工作内容工作内容包含如下：
a）接收被测样品中的用户文档集。
记录接收的样品内容，检查完整性并查毒；b）确定测试的标准依据以及测试需求依据。
根据委托方提出的口头和书面形式的测试要求，确定测试的标准依据以及测试需求依据；c）确定测试充分性要求。
确定测试应覆盖的范围及每一范围所要求的覆盖程度；d）分析并形成测试需求。
根据本阶段输入项的描述确定系统的功能、效率、状态、接口、数据结构、设计约束等内容和要求。
若需要，将其分类，并从中确定测试的软件质量特性；e）委托方对测试需求进行确认。
5.1.3输出项本阶段输出项为测试需求。
5.2测试策划测试策划阶段主要包括如下过程：
a）下达任务，安排测试计划；b）被测软件查毒，核查并记录测试环境；c）确定测试需要的技术和方法、工具。
65.2.1输入项输入项主要包含如下：
a）上一阶段形成的测试需求；b）本标准“4.3.1测试启动条件”要求准备的用户文档集。
5.2.2工作内容工作内容包含如下：
a）安排测试计划；b）核查测试环境与测试合同及测试要求中的信息一致性并记录；c）根据上一阶段形成的测试需求，分析确定测试需要的技术和方法、工具，如测试数据生成和验证技术、测试数据输入技术、测试结果获取技术、是否使用标准测试集等；d）必要时由委托方与第三方测试机构共同确认测试方案。
5.2.3输出项本阶段输出项为测试方案和测试计划。
5.3测试设计测试设计阶段主要包括如下过程：
a）设计测试用例；b）准备测试数据；c）获取测试工具，确认测试环境。
5.3.1输入项输入项主要包含如下：
a）测试需求、测试方案、测试计划；b）本标准“4.3.1测试启动条件”要求准备的用户文档集。
5.3.2工作内容工作内容包含如下：
a）设计测试用例。
将需测试的软件质量特性分解，针对分解后的每种情况设计测试用例；b）准备测试数据。
包括获取现有的测试数据和生成新的数据，并验证测试数据；c）获取测试工具，确认测试环境。
确认被测环境及测试工具已到位。
5.3.3输出项本阶段输出项为测试说明（包括测试用例）。
5.4测试执行测试执行阶段主要包括如下过程：
a）执行测试用例中的内容；b）填写测试记录，包括软件缺陷报告；c）必要时执行回归测试。
5.4.1输入项输入项主要包含如下：
a）测试需求、测试方案、测试计划、测试说明；b）本标准“4.3.1测试启动条件”要求准备的用户文档集。
5.4.2工作内容工作内容包含如下：
7a）执行测试用例。
按照测试计划要求，执行测试用例中规定的内容和操作步骤；b）填写测试记录。
观察并如实记录测试过程及测试结果，及时填写测试记录；根据每个测试用例的期望测试结果、实际测试结果和评价准则判定该测试用例是否通过，若存在软件缺陷，填写软件缺陷报告；c）回归测试。
根据合同约定，必要时实施回归测试；d）记录复核。
对测试记录、软件缺陷报告及回归测试记录进行复核。
5.4.3输出项本阶段输出项为测试记录、软件缺陷报告、回归测试记录。
5.5测试报告测试报告阶段应整理和分析测试数据，评价测试效果和被测软件项，描述测试状态。
如，实际测试与测试方案的差异、测试充分性分析、未能解决的测试事件等；描述被测软件项的状态，如，被测软件与需求的差异，发现的软件差错等。
5.5.1输入项输入项主要包含如下：
a）测试需求、测试方案、测试计划、测试用例、测试记录、软件缺陷报告、回归测试记录；b）本标准“4.3.1测试启动条件”要求准备的用户文档集。
5.5.2工作内容工作内容主要包含如下：
a）对测试异常终止情况，确定未能被测试活动充分覆盖的范围，分析原因，与委托方书面确定，记录在报告中；b）确定未能解决的软件测试事件以及不能解决的理由，与委托方书面确定，记录在报告中；c）总结测试所反映的被测软件与委托方提出的测试需求之间的差异，记录在报告中；d）将测试结果连同所发现的软件缺陷情况同委托方的测试需求对照，评价系统的实现情况，必要时，提出系统改进建议，记录在报告中；e）按照合同约定归还被测软件；f）结合上述分析情况，依据CNAS-CL01检测和校准实验室认可准则和GB/T25000.51的要求出具测试报告。
5.5.3输出项本阶段输出项为测试报告。
6测试方法及技术要求6.1文档审查a）确定文档审查的对象。
一般包括软件需求规格说明书、软件开发设计文档、软件产品规格说明、安装维护手册、用户使用手册；b）在软件开发的相应阶段及时获取最新有效版本的被审查文档；c）对照文档审查内容逐项检查，审查内容见本规范“7.1文档审查”。
6.2系统测试系统测试一般应由委托方在被测软件所有组件完成开发后组织软件第三方测试机构实施。
a）系统测试一般应全覆盖本规范第7章全部内容，根据测试合同的要求也可进行裁剪。
其中，功8能测试、可靠性测试为系统测试的必测内容；b）系统测试一般应采用黑盒测试方法，包括功能分解、等价类划分、边界值分析、判定表、因果图、随机测试、猜错法、正交实验法；c）系统的每个被测项至少应被一个测试用例所覆盖。
一个被测项可以是用户文档中的一段、一个Shell命令、人机界面的一个按钮或一个语言命令；d）测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值；e）应逐项测试系统/子系统开发设计文档规定的系统功能、可靠性等质量特性；f）应测试软件配置项之间及软件配置项与硬件之间的接口；g）应测试系统的输出及其格式；h）应测试运行条件在边界状态和异常状态下，或在人为设定的状态下，系统的功能和效率；i）应按系统或子系统设计文档的要求，对系统的功能、效率进行强度测试；j）应测试设计中用于提高系统安全性、可靠性的结构、算法、容错、冗余、中断处理等方案；k）对不同的实际问题应外加相应的专门测试。
对具体的系统，可根据软件测试合同或项目计划及系统的重要性、完整性等要求对上述内容进行裁剪。
6.3验收测试验收测试一般应由委托方在被测软件上线前组织第三方测试机构实施。
a）从第7章测试内容中选择测试内容，可根据测试合同的要求进行裁剪。
其中，功能测试、效率测试、安全性测试为验收测试的必测内容；b）验收测试一般应采用黑盒测试方法，包括功能分解、等价类划分、边界值分析、判定表、因果图、随机测试、猜错法、正交实验法；c）系统的每个被测项至少应被一个测试用例所覆盖。
一个被测项可以是用户文档中的一段、一个Shell命令、人机界面的一个按钮或一个语言命令；d）测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值；e）应逐项测试系统/子系统开发设计文档规定的系统的功能、效率、安全性等质量特性；f）应测试系统访问和数据安全性；g）应测试系统的全部存储量、输入/输出通道和处理时间的余量；h）对完整性的系统，应对其进行安全性分析，明确每一个危险状态和导致危险的可能原因，并对此进行针对性的测试；i）对有恢复或重置功能需求的系统，应测试其恢复或重置功能和平均恢复时间，并且对每一类导致恢复或重置的情况进行测试；j）对不同的实际问题应外加相应的专门测试。
验收测试的内容，从第7章测试内容中进行选择，对具体软件系统，可根据测试合同（或项目计划）的要求进行裁剪。
7测试内容功能测试、效率测试和安全性测试为所有电子政务工程应用软件第三方测试的必测项。
此外，政府对企业（G2B）及政府对公众（G2C）的电子政务应用软件应侧重效率测试和易用性测试；政府对政府（G2G）及政府对公务员（G2E）的电子政务应用软件，以及涉及重要数据的应用软件应侧重可靠性测试。
7.1文档审查9国家电子政务工程项目应用软件第三方测试的文档审查内容应覆盖测试合同中约定的文档。
根据委托方需求，文档审查的内容可从如下内容中选取：
序号序号测试项测试项测试项描述测试项描述1.完整性用户文档集应包含必要的文档资料2.完备性用户文档集应包含使用被测软件必需的信息3.用户文档集应说明最终用户能调用的所有功能4.用户文档集应说明可靠性特征及其操作5.用户文档集应列出所处置的和引起应用系统失效或终止的差错和失效，特别是那些导致数据丢失的应用系统终止的结束条件6.用户文档集应给出必要数据的备份和恢复指南7.对于所有关键的软件功能（即失效后会对安全产生影响或会造成重大财产损失或社会损失的软件），用户文档集应提供完备的细则信息和参考信息8.用户文档集应陈述被测软件数据输入的限制9.用户文档集应陈述安装所要求的最小和最大磁盘空间10.对用户要完成的应用管理职能，用户文档集应包括所有必要的信息11.在用户所完成的应用管理职能的信息中，应包括让用户能验证是否成功完成应用管理职能的信息12.如果用户文档集分若干部分提供，在该集合中至少有一处应标识出所有的部分13.正确性用户文档集中的所有信息都应是正确的14.用户文档集不应有歧义的信息15.一致性用户文档集中的各文档不应自相矛盾、互相矛盾16.易理解性用户文档集应采用该软件特定读者可理解的术语和文体，使其容易被被测软件主要针对的最终用户群理解17.应通过经编排的文档清单为理解用户文档集提供便利18.易学性用户文档集应为用户学会如何使用该软件提供必要的信息19.可操作性如果用户文档集不以印刷的形式提供，则文档集应指明是否可以被打印，如果可以打印，那么指出如何获得打印件20.卡片和快速参考指南以外的用户文档集，应给出目次（或主题词列表）和索引21.对于不常用的术语和首字母缩略语，用户文档集应加以定义7.2功能测试国家电子政务工程项目应用软件第三方测试的功能测试内容应覆盖测试合同中约定的软件功能要求。
根据委托方需求，功能测试的内容可从如下内容中选取或扩充：
10序号序号测试项测试项测试项描述测试项描述1.适合性门户信息公开机构介绍领导信息；机构职能；机构设置2.工作动态公开各项工作的动态信息3.通知公告公开各项通知公告4.政策法规及解读公开与本机构相关的法律法规及规范性；对相关法规文件进行整合分类；以及对法律法规、规章制度、规范性文件的解读5.规划计划及解读发布本机构制定的发展规划、年度工作计划及执行情况；以及对规划计划的解读6.人事信息发布本机构相关的任前公示、人事任免、公务员考录、人员招聘及教育培训信息7.财政信息公开本机构财政预算、决算报告，业务相关的专项资金信息8.信息公开发布平台对门户信息公开发布平台中的内容更新维护9.在线服务办事指南发布行政事项办事规程相关的要素10.表格、文件等资料下载表格下载的提供度与质量11.办事咨询就办事中遇到的问题提供网上咨询的渠道，发布解答反馈12.事务申报及审批企业或公众在线申报相关事务，政务部门后台处理审批13.公众互动咨询投诉公布咨询投诉的电话、邮件等联系方式或提供及时通讯方式，公示处理进度14.民意征集公布民意征集主题，以及征集渠道的电话、邮件等联系方式或提供及时通讯方式，公示情况反馈15.信箱处理公布领导信箱处理情况16.网上访谈发布本机构相关的网上访谈信息17.新闻发布会、听证会直播（录播）本机构组织的新闻发布会、听证会直播（录播）18.公众问答发布公众问答栏目处理公众问题的情况19.邮件服务SMTP服务支持多域名、域别名、ESMTP发信验证1120.适合性邮件服务POP3服务可以通过通用邮件客户端软件Outlook、Foxmail、WindowsLiveMail、OutlookExpress等收取服务器上的邮件21.IMAP服务可以通过通用邮件客户端软件Outlook、Foxmail、WindowsLiveMail、OutlookExpress等直接操作服务器上的邮件22.Webmail服务可以在网页上在线注册新邮箱,收发邮件,修改密码,设置外部POP3邮箱、自动转发、自动回复23.公用地址簿（LDAP服务）可以通过Webmail、OfficeOutlook（使用插件）、OutlookExpress（使用插件）、Foxmail（使用插件）参看公用地址簿中的用户信息24.IMAP公共邮件夹可以设置读写删除权限，可以通过Webmail、OfficeOutlook、OutlookExpress、Foxmail查看公共信息25.密码安全策略可以设定密码强度、定期改密码26.邮件撤回功能可以通过
升级会员 