什么是黑盒测试.docx
《什么是黑盒测试.docx》由会员分享,可在线阅读,更多相关《什么是黑盒测试.docx(13页珍藏版)》请在冰点文库上搜索。
什么是黑盒测试
什么是黑盒测试
Lt
D
“黑盒〞测的是功能
黑盒测试也称功能测试或数据驱动测试。
它在产品应具有的功能的条件下,通过测试来检测每个功能是否都能正常使用。
在测试时,把程序看作一个不能翻开的黑盒子,在完全不考虑程序内部结构和内部特性的情况下,测试者在程序接口进行测试,它只检查程序功能是否按照需求规格说明书的规定正常使用,程序是否能适当地接收输入数据而产生正确的输出信息,并且保持外部信息〔如数据库或文件〕的完整性。
“黑盒〞法着眼于程序外部结构、不考虑内部逻辑结构、针对软件界面和软件功能进行测试。
“黑盒〞法是穷举输入测试,只有把所有可能的输入都作为测试情况使用,才能以这种方法查出程序中所有的错误。
实际上测试情况有无穷多个,人们不仅要测试所有合法的输入,而且还要对那些不合法但是可能的输入进行测试。
“黑盒〞的两种根本方法
黑盒测试有两种根本方法,即通过测试和失败测试。
在进行通过测试时,实际上是确认软件能做什么,而不会去考验其能力如何。
软件测试员只运用最简单,最直观的测试案例。
在设计和执行测试案例时,总是先要进行通过测试。
在进行破坏性试验之前,看一看软件根本功能是否能够实现。
这一点很重要,否那么在正常使用软件时就会奇怪地发现,为什么会有那么多的软件缺陷出现?
在确信了软件正确运行之后,就可以采取各种手段通过搞“垮〞软件来找出缺陷。
纯粹为了破坏软件而设计和执行的测试案例,被称为失败测试或迫使出错测试。
黑盒测试的设计方法
黑盒测试是以用户的观点,从输入数据与输出数据的对应关系出发进行测试的,它不涉及到程序的内部结构。
很明显,如果外部特性本身有问题或规格说明的规定有误,用黑盒测试方法是发现不了的。
黑盒测试法注重于测试软件的功能需求,主要试图发现几类错误:
功能不对或遗漏、界面错误、数据结构或外部数据库访问错误、性能错误、初始化和终止错误。
具体的黑盒测试方法包括等价类划分、因果图、正交实验设计法、边值分析、判定表驱动法、功能测试等。
在使用时,自然要针对开发工程的特点对方法加以适当的选择。
◆等价类划分
等价类划分是一种典型的黑盒测试方法,用这一方法设计测试用例可以不用考虑程序的内部结构,只以对程序的要求和说明,即需求规格说明书为依据,仔细分析和推敲说明书的各项需求,特别是功能需求,把说明中对输入的要求和输出的要求区别开来并加以分解。
由于穷举测试的数量太大,以致于无法实际完成,促使我们在大量的可能数据中选取其中的一局部作为测试用例。
例如,在不了解等价分配技术的前提下,测试了1+1、1+2、1+3和1+4之后,还有必要测试1+5和1+6吗?
能否放心地认为它们正确吗?
那么1+999…〔可以输入的最大数值〕呢?
这个测试用例是否与其他用例不同?
是否属于另外一种类别?
另外一个等价区间?
这是软件测试员必须考虑到的问题。
等价类别或者等价区间是指测试相同目标或者暴露相同软件缺陷的一组测试案例。
1+999…和1+13有什么区别呢?
至于1+13,就像一个普通的加法,与1+5或者1+392没有什么两样,而1+999…那么属于邻界的极端情况。
假设输入最大允许数值,然后加1,就会出现问题——也许就是软件的缺陷。
这个极端案例属于一个单独的区间,与常规数字的普通区间不同。
等价类划分的方法是把程序的输入域划分成假设干局部,然后从每个局部中选取少数代表性数据当作测试用例。
每一类的代表性数据在测试中的作用等价于这一类中的其他值,也就是说,如果某一类中的一个例子发现了错误,这一等价类中的其他例子也能出现同样的错误。
使用这一方法设计测试用例,首先必须在分析需求规格说明的根底上划分等价类,列出等价类表。
在考虑等价类划分时,先从程序的功能说明中找出每个输入条件,然后为每个输入条件划分两个或更多个等价类。
等价类可分两种情况:
有效等价类和无效等价类。
有效等价类是指对程序的规格说明是有意义的、合理的输人数据所构成的集合;无效等价类是指对程序的规格说明是不合理的或无意义的输人数据所构成的集合。
◆边界值分析
软件测试常用的一个方法是把测试工作按同样的形式划分。
对数据进行软件测试,就是检查用户输入的信息、返回结果以及中间计算结果是否正确。
即使是最简单的程序,要处理的数据也可能数量极大。
还记得在计算器上简单加法的全部可能性吗?
再想一想字处理程序、导航系统和证券交易程序。
使这些数据得以测试的技巧〔如果称得上的话〕是,根据以下主要原那么进行等价分配,以合理的方式减少测试案列:
边界条件、次边界条件、空值和无效数据。
边界值分析〔BoundaryValueAnalysis,BVA〕是一种补充等价划分的测试用例设计技术,它不是选择等价类的任意元素,而是选择等价类边界的测试用例。
实践证明,在设计测试用例时,对边界附近的处理必须给予足够的重视,为检验边界附近的处理专门设计测试用例,常常可以取得良好的测试效果。
BVA不仅重视输人条件边界,而且也从输出域导出测试用例。
边界值设计测试遵循的五条原那么:
1、如果输入条件规定了取值范围,应以该范围的边界内及刚刚超范围边界外的值作为测试用例。
如以a和b为边界,测试用例应当包含a和b及略大于a和略小于b的值;
2、假设规定了值的个数,分别以最大、最小个数及稍小于最小、稍大于最大个数作为测试用例;
3、针对每个输出条件使用上述1、2条原那么;
4、如果程序规格说明中提到的输入或输出域是个有序的集合〔如顺序文件、表格等〕,就应注意选取有序集的第一个和最后一个元素作为测试用例;
5、分析规格说明,找出其他的可能边界条件。
黑盒测试〔Black-boxTesting,又称为功能测试或数据驱动测试〕是把测试对象看作一个黑盒子。
利用黑盒测试法进行动态测试时,需要测试软件产品的功能,不需测试软件产品的内部结构和处理过程。
采用黑盒技术设计测试用例的方法有:
等价类划分、边界值分析、错误推测、因果图和综合策略。
黑盒测试注重于测试软件的功能性需求,也即黑盒测试使软件工程师派生出执行程序所有功能需求的输入条件。
黑盒测试并不是白盒测试的替代品,而是用于辅助白盒测试发现其他类型的错误。
黑盒测试试图发现以下类型的错误:
1〕功能错误或遗漏;
2〕界面错误;
3〕数据结构或外部数据库访问错误;
4〕性能错误;
5〕初始化和终止错误。
一、黑盒测试的测试用例设计方法
·等价类划分方法
·边界值分析方法
·错误推测方法
·因果图方法
·判定表驱动分析方法
·正交实验设计方法
·功能图分析方法
等价类划分:
是把所有可能的输入数据,即程序的输入域划分成假设干局部〔子集〕,然后从每一个子集中选取少数具有代表性的数据作为测试用例.该方法是一种重要的,常用的黑盒测试用例设计方法.
1)划分等价类:
等价类是指某个输入域的子集合.在该子集合中,各个输入数据对于揭露程序中的错误都是等效的.并合理地假定:
测试某等价类的代表值就等于对这一类其它值的测试.因此,可以把全部输入数据合理划分为假设干等价类,在每一个等价类中取一个数据作为测试的输入条件,就可以用少量代表性的测试数据.取得较好的测试结果.等价类划分可有两种不同的情况:
有效等价类和无效等价类.
有效等价类:
是指对于程序的规格说明来说是合理的,有意义的输入数据构成的集合.利用有效等价类可检验程序是否实现了规格说明中所规定的功能和性能.
无效等价类:
与有效等价类的定义恰巧相反.
设计测试用例时,要同时考虑这两种等价类.因为,软件不仅要能接收合理的数据,也要能经受意外的考验.这样的测试才能确保软件具有更高的可靠性.
2〕划分等价类的方法:
下面给出六条确定等价类的原那么.
①在输入条件规定了取值范围或值的个数的情况下,那么可以确立一个有效等价类和两个无效等价类.
②在输入条件规定了输入值的集合或者规定了“必须如何〞的条件的情况下,可确立一个有效等价类和一个无效等价类.
③在输入条件是一个布尔量的情况下,可确定一个有效等价类和一个无效等价类.
④在规定了输入数据的一组值〔假定n个〕,并且程序要对每一个输入值分别处理的情况下,可确立n个有效等价类和一个无效等价类.
⑤在规定了输入数据必须遵守的规那么的情况下,可确立一个有效等价类〔符合规那么〕和假设干个无效等价类〔从不同角度违反规那么〕.
⑥在确知已划分的等价类中各元素在程序处理中的方式不同的情况下,那么应再将该等价类进一步的划分为更小的等价类.
3〕设计测试用例:
在确立了等价类后,可建立等价类表,列出所有划分出的等价类:
输入条件有效等价类无效等价类
.........
.........
然后从划分出的等价类中按以下三个原那么设计测试用例:
①为每一个等价类规定一个唯一的编号.
②设计一个新的测试用例,使其尽可能多地覆盖尚未被覆盖地有效等价类,重复这一步.直到所有的有效等价类都被覆盖为止.
③设计一个新的测试用例,使其仅覆盖一个尚未被覆盖的无效等价类,重复这一步.直到所有的无效等价类都被覆盖为止.
边界值分析法
边界值分析方法是对等价类划分方法的补充.
〔1〕边界值分析方法的考虑:
长期的测试工作经验告诉我们,大量的错误是发生在输入或输出范围的边界上,而不是发生在输入输出范围的内部.因此针对各种边界情况设计测试用例,可以查出更多的错误.
使用边界值分析方法设计测试用例,首先应确定边界情况.通常输入和输出等价类的边界,就是应着重测试的边界情况.应中选取正好等于,刚刚大于或刚刚小于边界的值作为测试数据,而不是选取等价类中的典型值或任意值作为测试数据.
〔2〕基于边界值分析方法选择测试用例的原那么:
1〕如果输入条件规定了值的范围,那么应取刚到达这个范围的边界的值,以及刚刚超越这个范围边界的值作为测试输入数据.
2〕如果输入条件规定了值的个数,那么用最大个数,最小个数,比最小个数少一,比最大个数多一的数作为测试数据.
3〕根据规格说明的每个输出条件,使用前面的原那么1〕.
4〕根据规格说明的每个输出条件,应用前面的原那么2〕.
5〕如果程序的规格说明给出的输入域或输出域是有序集合,那么应选取集合的第一个元素和最后一个元素作为测试用例.
6〕如果程序中使用了一个内部数据结构,那么应中选择这个内部数据结构的边界上的值作为测试用例.
7〕分析规格说明,找出其它可能的边界条件.
错误推测法
错误推测法:
基于经验和直觉推测程序中所有可能存在的各种错误,从而有针对性的设计测试用例的方法.
错误推测方法的根本思想:
列举出程序中所有可能有的错误和容易发生错误的特殊情况,根据他们选择测试用例.例如,在单元测试时曾列出的许多在模块中常见的错误.以前产品测试中曾经发现的错误等,这些就是经验的总结.还有,输入数据和输出数据为0的情况.输入表格为空格或输入表格只有一行.这些都是容易发生错误的情况.可选择这些情况下的例子作为测试用例.
因果图方法
前面介绍的等价类划分方法和边界值分析方法,都是着重考虑输入条件,但未考虑输入条件之间的联系,相互组合等.考虑输入条件之间的相互组合,可能会产生一些新的情况.但要检查输入条件的组合不是一件容易的事情,即使把所有输入条件划分成等价类,他们之间的组合情况也相当多.因此必须考虑采用一种适合于描述对于多种条件的组合,相应产生多个动作的形式来考虑设计测试用例.这就需要利用因果图〔逻辑模型〕.
因果图方法最终生成的就是判定表.它适合于检查程序输入条件的各种组合情况.
利用因果图生成测试用例的根本步骤:
(1)分析软件规格说明描述中,那些是原因(即输入条件或输入条件的等价类),那些是结果(即输出条件),并给每个原因和结果赋予一个标识符.
(2)分析软件规格说明描述中的语义.找出原因与结果之间,原因与原因之间对应的关系.根据这些关系,画出因果图.
(3)由于语法或环境限制,有些原因与原因之间,原因与结果之间的组合情况不不可能出现.为说明这些特殊情况,在因果图上用一些记号说明约束或限制条件.
(4)把因果图转换为判定表.
(5)把判定表的每一列拿出来作为依据,设计测试用例.
从因果图生成的测试用例〔局部,组合关系下的〕包括了所有输入数据的取TRUE与取FALSE的情况,构成的测试用例数目到达最少,且测试用例数目随输入数据数目的增加而线性地增加.
前面因果图方法中已经用到了判定表.判定表〔DecisionTable〕是分析和表达多逻辑条件下执行不同操作的情况下的工具.在程序设计开展的初期,判定表就已被当作编写程序的辅助工具了.由于它可以把复杂的逻辑关系和多种条件组合的情况表达得既具体又明确.
判定表通常由四个局部组成.
条件桩〔ConditionStub〕:
列出了问题得所有条件.通常认为列出得条件的次序无关紧要.
动作桩〔ActionStub〕:
列出了问题规定可能采取的操作.这些操作的排列顺序没有约束.
条件项〔ConditionEntry〕:
列出针对它左列条件的取值.在所有可能情况下的真假值.
动作项〔ActionEntry〕:
列出在条件项的各种取值情况下应该采取的动作.
规那么:
任何一个条件组合的特定取值及其相应要执行的操作.在判定表中贯穿条件项和动作项的一列就是一条规那么.显然,判定表中列出多少组条件取值,也就有多少条规那么,既条件项和动作项有多少列.
判定表的建立步骤:
〔根据软件规格说明〕
①确定规那么的个数.假设有n个条件.每个条件有两个取值〔0,1〕,故有种规那么.
②列出所有的条件桩和动作桩.
③填入条件项.
④填入动作项.等到初始判定表.
⑤简化.合并相似规那么〔相同动作〕.
B.Beizer指出了适合使用判定表设计测试用例的条件:
①规格说明以判定表形式给出,或很容易转换成判定表.
②条件的排列顺序不会也不影响执行哪些操作.
③规那么的排列顺序不会也不影响执行哪些操作.
④每当某一规那么的条件已经满足,并确定要执行的操作后,不必检验别的规那么.
⑤如果某一规那么得到满足要执行多个操作,这些操作的执行顺序无关紧要.
黑盒测试的优点
1.根本上不用人管着,如果程序停止运行了一般就是被测试程序crash了
2.设计完测试例之后,下来的工作就是爽了,当然更苦闷的是确定crash原因
黑盒测试的缺点
1.结果取决于测试例的设计,测试例的设计局部来势来源于经验,OUSPG的东西很值得借鉴
2.没有状态转换的概念,目前一些成功的例子根本上都是针对PDU来做的,还做不到针对被测试程序的状态转换来作
3.就没有状态概念的测试来说,寻找和确定造成程序crash的测试例是个麻烦事情,必须把周围可能的测试例单独确认一遍。
而就有状态的测试来说,就更麻烦了,尤其不是一个单独的testcase造成的问题。
这些在堆的问题中表现的更为突出。
黑盒测试〔功能测试〕工具的选择
那么,如何高效地完成功能测试?
选择一款适宜的功能测试工具并培训一支高素质的工具使用队伍无疑是至关重要的。
尽管现阶段存在少数不采用任何功能测试工具,从事功能测试外包工程的软件效劳企业。
短期来看,这类企业盈利状况尚可,但长久来看,它们极有可能被自动化程度较高的软件效劳企业取代。
目前,用于功能测试的工具软件有很多,针对不同架构软件的工具也不断推陈出新。
这里重点介绍的是其中一个较为典型自动化测试工具,即Mercury公司的WinRunner。
WinRunner是一种用于检验应用程序能否如期运行的企业级软件功能测试工具。
通过自动捕获、检测和模拟用户交互操作,WinRunner能识别出绝大多数软件功能缺陷,从而确保那些跨越了多个功能点和数据库的应用程序在发布时尽量不出现功能性故障。
WinRunner的特点在于:
与传统的手工测试相比,它能快速、批量地完成功能点测试;能针对相同测试脚本,执行相同的动作,从而消除人工测试所带来的理解上的误差;此外,它还能重复执行相同动作,测试工作中最枯燥的局部可交由机器完成;它支持程序风格的测试脚本,一个高素质的测试工程师能借助它完成流程极为复杂的测试,通过使用通配符、宏、条件语句、循环语句等,还能较好地完成测试脚本的重用;它针对于大多数编程语言和Windows技术,提供了较好的集成、支持环境,这对基于Windows平台的应用程序实施功能测试而言带来了极大的便利。
WinRunner的工作流程大致可以分为以下六个步骤:
1.识别应用程序的GUI
在WinRunner中,我们可以使用GUISpy来识别各种GUI对象,识别后,WinRunner会将其存储到GUIMapFile中。
它提供两种GUIMapFile模式:
GlobalGUIMapFile和GUIMapFileperTest。
其最大区别是后者对每个测试脚本产生一个GUI文件,它能自动建立、存储、加载,推荐初学者选用这种模式。
但是,这种模式不易于描述对象的改变,其效率比拟低,因此对于一个有经验的测试人员来说前者不失为一种更好的选择,它只产生一个共享的GUI文件,这使得测试脚本更容易维护,且效率更高。
2.建立测试脚本
在建立测试脚本时,一般先进行录制,然后在录制形成的脚本中手工参加需要的TSL〔与C语言类似的测试脚本语言〕。
录制脚本有两种模式:
ContextSensitive和Analog,选择依据主要在于是否对鼠标轨迹进行模拟,在需要回放时一般选用Analog。
在录制过程中这两种模式可以通过F2键相互切换。
只要看看现代软件的规模和功能点数就可以明白,功能测试早已跨越了单靠手工敲敲键盘、点点鼠标就可以完成的阶段。
而性能测试那么是控制系统性能的有效手段,在软件的能力验证、能力规划、性能调优、缺陷修复等方面都发挥着重要作用。
3.对测试脚本除错(debug)
在WinRunner中有专门一个DebugToolbar用于测试脚本除错。
可以使用step、pause、breakpoint等来控制和跟踪测试脚本和查看各种变量值。
4.在新版应用程序执行测试脚本
当应用程序有新版本发布时,我们会对应用程序的各种功能包括新增功能进行测试,这时当然不可能再来重新录制和编写所有的测试脚本。
我们可以使用已有的脚本,批量运行这些测试脚本测试旧的功能点是否正常工作。
可以使用一个call命令来加载各测试脚本。
还可在call命令中加各种TSL脚本来增加批量能力。
5.分析测试结果
分析测试结果在整个测试过程中最重要,通过分析可以发现应用程序的各种功能性缺陷。
当运行完某个测试脚本后,会产生一个测试报告,从这个测试报告中我们能发现应用程序的功能性缺陷,能看到实际结果和期望结果之间的差异,以及在测试过程中产生的各类对话框等。
6.回报缺陷〔defect〕
在分析完测试报告后,按照测试流程要回报应用程序的各种缺陷,然后将这些缺陷发给指定人,以便进行修改和维护。
常用的功能测试方法
功能测试就是对产品的各功能进行验证,根据功能测试用例,逐项测试,检查产品是否到达用户要求的功能。
常用的测试方法如下:
1.页面链接检查:
每一个链接是否都有对应的页面,并且页面之间切换正确。
2.相关性检查:
删除/增加一项会不会对其他项产生影响,如果产生影响,这些影响是否都正确。
3.检查按钮的功能是否正确:
如update,cancel,delete,save等功能是否正确。
4.字符串长度检查:
输入超出需求所说明的字符串长度的内容,看系统是否检查字符串长度,会不会出错.
5.字符类型检查:
在应该输入指定类型的内容的地方输入其他类型的内容(如在应该输入整型的地方输入其他字符类型),看系统是否检查字符类型,会否报错.
6.标点符号检查:
输入内容包括各种标点符号,特别是空格,各种引号,回车键.看系统处理是否正确.
7.中文字符处理:
在可以输入中文的系统输入中文,看会否出现乱码或出错.
8.检查带出信息的完整性:
在查看信息和update信息时,查看所填写的信息是不是全部带出.,带出信息和添加的是否一致
9.信息重复:
在一些需要命名,且名字应该唯一的信息输入重复的名字或ID,看系统有没有处理,会否报错,重名包括是否区分大小写,以及在输入内容的前后输入空格,系统是否作出正确处理.
10.检查删除功能:
在一些可以一次删除多个信息的地方,不选择任何信息,按〞delete〞,看系统如何处理,会否出错;然后选择一个和多个信息,进行删除,看是否正确处理.
11.检查添加和修改是否一致:
检查添加和修改信息的要求是否一致,例如添加要求必填的项,修改也应该必填;添加规定为整型的项,修改也必须为整型.
12.检查修改重名:
修改时把不能重名的项改为已存在的内容,看会否处理,报错.同时,也要注意,会不会报和自己重名的错.
13.重复提交表单:
一条已经成功提交的纪录,back后再提交,看看系统是否做了处理。
14.检查屡次使用back键的情况:
在有back的地方,back,回到原来页面,再back,重复屡次,看会否出错.
15.search检查:
在有search功能的地方输入系统存在和不存在的内容,看search结果是否正确.如果可以输入多个search条件,可以同时添加合理和不合理的条件,看系统处理是否正确.
16.输入信息位置:
注意在光标停留的地方输入信息时,光标和所输入的信息会否跳到别的地方.
17.上传下载文件检查:
上传下载文件的功能是否实现,上传文件是否能翻开。
对上传文件的格式有何规定,系统是否有解释信息,并检查系统是否能够做到。
18.必填项检查:
应该填写的项没有填写时系统是否都做了处理,对必填项是否有提示信息,如在必填项前加*
19.快捷键检查:
是否支持常用快捷键,如Ctrl+CCtrl+VBackspace等,对一些不允许输入信息的字段,如选人,选日期对快捷方式是否也做了限制。
20.回车键检查:
在输入结束后直接按回车键,看系统处理如何,会否报错.