问卷的信度与效度.docx
《问卷的信度与效度.docx》由会员分享，可在线阅读，更多相关《问卷的信度与效度.docx（17页珍藏版）》请在冰点文库上搜索。
问卷的信度与效度
Ø调查问卷的信度效度分析方法
问卷调查法是教育研究中广泛采用的一种调查方法，根据调查目的设计的调查问卷是问卷调查法获取信息的工具，其质量高低对调查结果的真实性、适用性等具有决定性的作用。
为了保证问卷具有较高的可靠性和有效性，在形成正式问卷之前，应当对问卷进行试测，并对试测结果进行信度和效度分析，根据分析结果筛选问卷题项，调整问卷结构，从而提高问卷的信度和效度。
信度和效度分析的方法包括逻辑分析和统计分析，本文主要讨论后者。
一、信度分析
信度（Reliability）即可靠性，它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。
信度指标多以相关系数表示，大致可分为三类：
稳定系数（跨时间的一致性），等值系数（跨形式的一致性）和在一致性系数（跨项目的一致性）。
信度分析的方法主要有以下四种：
1、重测信度法
这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测，计算两次施测结果的相关系数。
显然，重测信度属于稳定系数。
重测信度法特别适用于事实式问卷，如性别、出生年月等在两次施测中不应有任何差异，大多数被调查者的兴趣、爱好、习惯等在短时间也不会有十分明显的变化。
如果没有突发事件导致被调查者的态度、意见突变，这种方法也适用于态度、意见式问卷。
由于重测信度法需要对同一样本试测两次，被调查者容易受到各种事件、活动和他人的影响，而且间隔时间长短也有一定限制，因此在实施中有一定困难。
2、复本信度法
复本信度法是让同一组被调查者一次填答两份问卷复本，计算两个复本的相关系数。
复本信度属于等值系数。
复本信度法要求两个复本除表述方式不同外，在容、格式、难度和对应题项的提问方向等方面要完全一致，而在实际调查中，很难使调查问卷达到这种要求，因此采用这种方法者较少。
3、折半信度法
折半信度法是将调查项目分为两半，计算两半得分的相关系数，进而估计整个量表的信度。
折半信度属于在一致性系数，测量的是两半题项得分间的一致性。
这种方法一般不适用于事实式问卷（如年龄与性别无法相比），常用于态度、意见式问卷的信度分析。
在问卷调查中，态度测量最常见的形式是5级克特（Likert）量表。
进行折半信度分析时，如果量表中含有反意题项，应先将反意题项的得分作逆向处理，以保证各题项得分方向的一致性，然后将全部题项按奇偶或前后分为尽可能相等的两半，计算二者的相关系数（rhh，即半个量表的信度系数），最后用斯皮尔曼-布朗（Spearman-Brown）公式：
求出整个量表的信度系数（ru）。
4、α信度系数法
Cronbachα信度系数是目前最常用的信度系数，其公式为：
其中，K为量表中题项的总数，为第i题得分的题方差，为全部题项总得分的方差。
从公式中可以看出，α系数评价的是量表中各题项得分间的一致性，属于在一致性系数。
这种方法适用于态度、意见式问卷（量表）的信度分析。
二、效度分析
效度（Validity）即有效性，它是指测量工具或手段能够准确测出所需测量的事物的程度。
效度分为三种类型：
容效度、准则效度和结构效度。
效度分析有多种方法，其测量结果反映效度的不同方面。
常用于调查问卷效度分析的方法主要有以下几种。
1、单项与总和相关效度分析
这种方法用于测量量表的容效度。
容效度又称表面效度或逻辑效度，它是指所设计的题项能否代表所要测量的容或主题。
对容效度常采用逻辑分析与统计分析相结合的方法进行评价。
逻辑分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求。
统计分析主要采用单项与总和相关分析法获得评价结果，即计算每个题项得分与题项总分的相关系数，根据相关是否显著判断是否有效。
若量表中有反意题项，应将其逆向处理后再计算总分。
2、准则效度分析
准则效度又称为效标效度或预测效度。
准则效度分析是根据已经得到确定的某种理论，选择一种指标或测量工具作为准则（效标），分析问卷题项与准则的联系，若二者相关显著，或者问卷题项对准则的不同取值、特性表现出显著差异，则为有效的题项。
评价准则效度的方法是相关分析或差异显著性检验。
在调查问卷的效度分析中，选择一个合适的准则往往十分困难，使这种方法的应用受到一定限制。
3、结构效度分析
结构效度是指测量结果体现出来的某种结构与测值之间的对应程度。
结构效度分析所采用的方法是因子分析。
有的学者认为，效度分析最理想的方法是利用因子分析测量量表或整个问卷的结构效度。
因子分析的主要功能是从量表全部变量（题项）中提取一些公因子，各公因子分别与某一群特定变量高度关联，这些公因子即代表了量表的基本结构。
通过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种结构。
在因子分析的结果中，用于评价结构效度的主要指标有累积贡献率、共同度和因子负荷。
累积贡献率反映公因子对量表或问卷的累积有效程度，共同度反映由公因子解释原变量的有效程度，因子负荷反映原变量与某个公因子的相关程度。
在结束本文时应再次强调，为了提高调查问卷的质量，进而提高整个研究的价值，问卷的信度和效度分析绝非赘疣蛇足，而是研究过程中必不可少的重要环节。
Ø问卷信度分析
问卷的信度分析
一、概念：
信度是指根据测验工具所得到的结果的一致性或稳定性，反映被测特征真实程度的指标。
一般而言，两次或两个测验的结果愈是一致，则误差愈小，所得的信度愈高，它具有以下特性：
1、信度是指测验所得到结果的一致性或稳定性，而非测验或量表本身；
2、信度值是指在某一特定类型下的一致性，非泛指一般的一致性，信度系数会因不同时间、不同受试者或不同评分者而出现不同的结果；
3、信度是效度的必要条件，非充分条件。
信度低效度一定低，但信度高未必表示效度也高；
信度检验完全依赖于统计方法。
信度可分为：
在信度：
对一组问题是否测量同一个概念，同时组成量表题项的在一致性程度如何；常用的检测方法是Cronbach’salpha系数。
外在信度：
对相同的测试者在不同时间测得的结果是否一致，再测信度是外在信度最常用的检验法。
二、信度指标：
1. 用信度系数来表示信度的大小。
信度系数越大，表明测量的可信程度越大。
究竟信度系数要多少才算有高的信度。
学者DeVellis（1991）认为，0.60～0.65（最好不要）；0.65～0.70（最小可接受值）；0.70～0.80（相当好）；0.80～0.90（非常好）。
由此，一份信度系数好的量表或问卷，最好在0.80以上，0.70至0.80之间还算是可以接受的围；分量表最好在0.70以上，0.60至0.70之间可以接受。
若分量表的部一致性系数在0.60以下或者总量表的信度系数在0.80以下，应考虑重新修订量表或增删题项。
2．信度指标多以相关系数来表示：
大致可分为三类：
稳定系数（跨时间的一致性）、等值系数（跨形式的一致性）和在一致性系数（跨项目的一致性）。
三、信度分析方法:
1.重测信度法：
用同样的问卷对同一被测间隔一定时间的重复测试，也可称作测试——再测方法，计算两次测试结果的相关系数。
很显然这是稳定系数，即跨时间的一致性。
重测信度法适用于事实性的问卷，也可用于不易受环境影响的态度、意见式问卷。
由于重测信度需要对同一样本试测两次，而被测容易受到各种事件、活动的影响，所以间隔时间需要适当。
较常用者为间隔二星期或一个月。
2.复本信度法（等同信度法）：
复本信度法是让被测一次填写两份问卷复本，计算两个复本的相关系数。
由于这种方法要求两个复本除表达方式不同外，在容、格式、难度和对应题项的提问方式等方面都要完全一致，所以复本信度属于等值系数。
在实际的调查中，问卷很难达到这种要求，这种方法较少被采用。
3.折半信度法:
折半信度法是指将测量项目按奇偶项分成两半，分别记分，测算出两半分数之间的相关系数（实际应用EXCEL软件），再据此确定整个测量的信度系数RXX。
折半信度属于在一致性系数，测量的是两半项目间的一致性。
这种方法不适合测量事实性问卷，常用于态度、意见式问卷的信度分析。
在问卷调查中，态度测量最常见的形式是5级克特量表。
进行折半信度分析时，如果量表中含有反意题项，应先将反意题项的得分作逆向处理，以保证各题项得分方向的一致性，然后将全部题项按奇偶或前后分为尽可能相等的两半，计算二者的相关系数（rhh）），即半个量表的信度系数），最后用斯皮尔曼-布朗（Spearman-Brown）公式：
rtt=2rhh/（1+rhh），求出整个量表的信度系数rtt。
4.评分者信度:
这种方法在测量工具的标准化程度较低的情况下进行的。
不同评分者的判分标准也会影响测量的信度，要检验评分者信度，可计算一个评分者的一组评分与另一个评分者的一组评分的相关系数。
5.a信度系数法:
克伦巴赫a信度系数是目前最常用的信度系数。
其公式为：
a=（k/k-1）*（1-（∑Si2）/ST2）
其中，K为量表中题项的总数，Si2为第i题得分的题方差，ST2为全部题项总得分的方差。
从公式中可以看出，a系数评价的是量表中各题项得分间的一致性，属于在一致性系数。
这种方法适用于态度、意见式问卷（量表）的信度分析。
在克特量表法中常用的信度检验方法为“Cronbach’sa”系数及“折半信度”.
四、利用SPSS进行信度分析
在SPSS中，专门用来进行测验信度分析的模块为Scale下的ReliabilityAnalysis；使用DataReduction之下的Factor模块。
ReliabilityAnalysis模块主要功能是检验测验的信度，主要用来检验折半信度、库及a系数以及Hoyt信度系数值。
至于重测信度和复本信度，只需将样本在二次（份）测验的分数的数据合并到同一数据文件之后，利用Correlate之下的Bivariate求其相关系数，即为重测或复本信度；而评分者信度则就就是使用的Spearman等级相关及Kendall和谐系数。
表1 ReliabilityAnalysis模块的Model选项的参数及对应中文术语
关键字
功 能
Alpha
Cronbacha系数
Split-half
折半信度，n是第二分量表的题数
Guttman
Guttman最低下限真实信度法
Parallel
各题目变异数同质时的最大概率（maximum-likelihood）信度
Strictparallel
各题目平均数与变异数均同质时的最大概率信度
表2 ReliabilityAnalysis模块的Statistics部分选项的参数及对应中文术语
关键字
功 能
Ftest
Hoyt信度系数
FriedmanChi
Friedman等级变异数分析及Kendall和谐系数
CochranChi
Cochran’sQ检验，适用于答案为二分（如是非题）的量表
Hotelling’sT
Hotelling’sT2检验
Tukey’s
Tukey的可加性检验
Intraclass
量表各题目平均数相关系数
Ø利用SPSS软件分析调查问卷的信度
们在做调查问卷时，最看重的是调查问卷的科学性和有效性，如果一个问卷设计出来无法有效地考察问卷中所涉及的各个因素，那么我们为调查问卷所作的抽样、调查、分析、结论等一系列的工作也就白做了。
那么，我们如何来检验设计好的调查问卷是否有效呢？
信度分析是评价调查问卷是否具有稳定性和可靠性的有效的分析方法。
二、信度分析的提出及分析方法
信度，又叫可靠性，是指问卷的可信程度。
它主要表现检验结果的一贯性、一致性、再现性和稳定性。
一个好的测量工具，对同一事物反复多次测量，其结果应该始终保持不变才可信[1]。
例如，我们用一把尺子测量一桌子的高度，今天测量得高度与明天测量的高度不同，那么我们就会对这把尺子产生怀疑。
因此，一设计合理的调查问卷应该具有它的可靠性和稳定性。
调查问卷的评价体系是以量表形式来体现的，编制的合理性决定着评价结果的可用性和可信性。
问卷的信度分析包括在信度分析和外在信度分析。
在信度重在考察一组评价项目是否测量同一个概念，这些项目之间是否具有较高的在一致性。
一致性程度越高，评价项目就越有意义，其评价结果的可信度就越强。
外在信度是指在不同时间对同批被调查者实施重复调查时，评价结果是否具有一致性。
如果两次评价结果相关性较强，说明项目的概念和容是清晰的，因而评价的结果是可信的。
信度分析的方法有多种，有Alpha信度和分半信度等，都是通过不同的方法来计算信度系数，再对信度系数进行分析[2]。
目前最常用的是Alpha信度系数法，一般情况下我们主要考虑量表的在信度——项目之间是否具有较高的在一致性。
通常认为，信度系数应该在0～1之间，如果量表的信度系数在0.9以上，表示量表的信度很好；如果量表的信度系数在0.8～0.9之间，表示量表的信度可以接受；如果量表的信度系数在0.7～0.8之间，表示量表有些项目需要修订；如果量表的信度系数在0.7以下，表示量表有些项目需要抛弃。
我们可以通过目前比较流行的SPSS软件对调查问卷进行信度分析，这样我们就可以判断一个调查问卷是否具有稳定性和可靠性。
三、利用SPSS软件进行信度分析
下面就以兵团广播电视大学“人才培养模式改革和开放教育试点”毕业生追踪调查[3]中《电大教学效果评价》（毕业生用）这一调查量表进行分析。
量表见下图。
（一）对量表进行纬度划分，将量表分为知识、能力、业绩三个纬度。
其中，第1～4题划分到知识纬度，第5～12题划分到能力纬度；第13～15题划分到业绩纬度。
通过每一纬度的Alpha系数来考察每一项得分间的一致性。
1、打开SPSS软件，调入930条记录的数据文件，进入SPSS主界面。
2、在知识纬度中，对项目
（1）专业知识的掌握；
（2）所学知识与工作岗位的实际需要；（3）知识面的拓宽；（4）专业水平的提高；进行部一致性分析。
①单击“分析”菜单中的“尺度分析”，再在“尺度分析”的子菜单中点击“可靠性”分析，打开“可靠性分析”的主对话框。
②在左侧的源变量框中选择上述四个项目所对应的变量c1，c2，c3，c4加入到对话框右边的“项目”中，作为分析变量，再在对话框下面的“模型”中选择“Alpha”，进行Alpha信度分析。
③点击对话框中的“统计量”按钮，打开相应的对话框，选择要输出的统计量、变量描述、方差分析，总结等。
在这个例题中为了看的清楚，我们用默认方式，即只输出样本个数、项目个数和信度系数。
④点击“继续”按钮，回到“可靠性分析”的主对话框，勾选“列出项目标签”，再单击“确定”按钮，这样软件系统就会自动进行四个项目的分析。
3、由分析结果可知，量表中第1～4题之间的Alpha信度系数
为0.7387，可见这四项的信度系数在0.7～0.8之间，表明有些项目需要修订。
我们可以将“知识面的拓宽”与“所学知识与工作岗位的实际需要”进行相关分析，再将“知识面的拓宽”和“专业水平的提高”进行相关分析，发现它们之间的相关系数都很低，所以我们可以适当修改“知识面的拓宽”这个项目，限定它的围，提高它的精确程度。
（二）利用上述方法可以对知识、能力这两个纬度进行部一致性的分析，得出三个纬度的Alpha系数分别是：
0.7387、0.8412、0.7510。
由此可见，第一个和第三个的信度系数均在0.7～0.8之间，说明知识和业绩这两个纬度中有些项目描述不够精确，需要进一步调整和修改。
能力纬度的信度系数在0.8～0.9之间，说明信度可以接受，不需要进行修订。
（三）再利用上述方法对整个量表的所有项目进行部一致性分析，得出问卷总的部一致性信度系数为0.9001，说明量表的信度非常好，整体上不需要进行修改，每个项目都可以保留。
通过这一实例我们可以看出，用SPSS软件进行调查问卷的可靠性分析非常方便，不仅能考察项目间的一致性，还能够检验出需要修改或删除的项目，提高了调查问卷的质量。
（四）小结
利用SPSS软件进行Alpha信度分析，使我们的研究建立在定量分析的基础之上，科学有效地对问卷进行了信度分析，减少了复杂繁琐的计算，方便了我们工作和研究，这样我们的调查问卷才能得出比较客观的综合评价。
在这里开始书写日记、心情…
Ø利用SPSS软件分析调查问卷的信度
一、问卷的信度。
信度即可靠性，是指采用同一方法对同一对象进行调查时，问卷调查结果的稳定性和一致性，即测量工具（问卷或量表）能否稳定地测量所测的事物或变量。
具体评价方法有：
1、重复检验法。
同样的问卷，对同一组访问对象在尽可能相同的情况下，在不同时间进行两次测量。
两次测量相距一般在两到四周之。
用两次测量结果间的相关分析或差异的显著性检验方法，评价量表信度的高低。
2、交错法。
用两个不同形式的等价问卷，对同一组受访者在不同的时间（通常间隔两到四周）进行测量。
两次测量结果间的相关性被用来评价问卷的信度。
3、折半法。
折半法是将上述两份问卷合成一份问卷（通常要求这两份问卷的问题数目相等），每一份作为一部分，然后考察这两个部分的测量结果之间的相关性。
二、问卷的效度
效度是指问卷正确测量研究者所要测量的变量的程度。
检验效度的主要指标和方法有：
表面效度、准则效度、架构效度。
1、表面效度（FaceValidity）。
也称为容效度或逻辑效度，指的是测量的容与测量目标之间是否适合，也可以说是指测量所选择的项目是否“看起来”符合测量的目的和要求。
主要依据调查设计人员的主观判断。
2、准则效度（CriterionValidity）。
准则效度是指量表所得到的数据和其他被选择的变量（准则变量）的值相比是否有意义。
根据时间跨度的不同，准则效度可分为同时效度和预测效度。
3、建构效度（ConstructValidity）。
最关心的问题是：
量表实际测量的是哪些特征？
在评价建构效度时，调研人员要试图解释“量表为什么有效”这一理论问题以及考虑从这一理论问题中能得出什么推论。
建构效度包括同质效度、异质效度和语意逻辑效度。
同质效度是指量表测量同一特征的其他测量方法相互关联的程度。
异质效度是指量表和测不同特征的测量方法不同但理论上有关特征的测量方法之间相互关联的程度。
建构效度指测量工具所能测量到的理论概念的程度，也就是说若将测量工具所得的结果与相同理论下的其他概念相比较，当二者有某种预期的相关性时，就表示这种测量工具具有某种程度的架构效度。
一般来说，问卷调查容易产生误差的原因，来自研究者的因素包括：
测量容不当、情景以及研究者本身的疏忽。
来自受访者的因素则可能是由于其年龄、性格、教育程度、社会阶层等，而影响其答题的正确性。
研究者透过信度与效度的检验，可以了解问卷本身是否优良，以作为改变修正的根据，避免做出错误的判断。
对于一名科研人员来说，如何成长和发展？
如何能够不断推出新，逐渐形成自己独特而系统的思想？
？
这里面问题意识是比较重要而关键的。
问题意识形成的首要条件是你要对一切的现象充满着好奇感和浓厚的兴趣，具有较强的观察能力。
比如当你下到相关的实践场所时，观察到一定的现象和问题，如：
课堂上教师为什么会像是在表演一样？
为什么教师在上面兴趣盎然，而下面总有某些学生兴趣索然？
就要积极展开一定的思考，多问几个为什么，并结合自己所学的相关教育教学理论，追问一下怎么才会更好？
其次是要具有强调的信息意识。
信息资源是得以形成有价值问题的依据，除了实践观察中获得鲜活的感性信息之外，丰富的理论资源也是形成问题的关键。
对于确定领域的古今中外所有的研究成果，包括最新的一些提法等都要积累到脑子中，并按照优化的结构将其组织起来，化于心。
对于已有的问题，要学会换一个角度去多多思考，另外也要善于发掘新的尚未研究或还未足够清楚的问题，并及时将这样一些问题作以记录。
再就是要学会思考，包括思考的方法、角度等等。
只有能思考并善于思考的人才会一语中的地提出有意义的问题，并能够给出有效解决问题的清晰思路。
在做科研的过程中，随时随处遇到问题及时作以深入思考，相信会有大收获的。
基本的抽样方法主要有两大类：
一类是在目标总体中，有意识地选择若干有代表性的单位为样本进行调查研究。
这种抽样叫做目标抽样或主观抽样。
目标抽样的方法适用于典型调查或研究。
它的特点是作为样本的各单位的代表性，都是由与该研究课题有关的专家来判断和决定的。
其结果的可靠性和精确度叶必须依靠这方面的专家来判断和评价。
采用目标抽样，可以对总体的有关特性作出推论，也可以对研究所涉及的有关因素加以适当考虑。
也可以使已知的样本单位的某些信息在取样时发挥作用。
这些都是目标抽样的优点。
此外，采用目标抽样在数据收集方面比较方便。
但采用目标抽样时，目标总体中各成员被抽取为样本的概率不能用客观方法来计算，因此抽样的误差和精度就无法用客观方法加以评价，这是目标抽样的最大缺点。
另一类是按照随即的原则，从构成目标总体的各成员中抽取样本，叫做随即抽样和概率抽样。
随机抽样的最大优点是可以借助概率客观地计算调查结果的可靠性和精确度。
而且可以根据实际条件和所要求的精度确定样本的大小。
所以在教育科学研究尤其是大规模的评价研究中，应充分了解随机抽样的意义。
简单随机抽样（简称SRS）是随机抽样中最简单而又是最基本的一种。
它的特点是采用随机数码表或抽签的办法确定样本，因此各总体成员都保证有相等的抽取概率。
如果抽取的样本数量很大，使用纯粹的简单随机抽样会有很多困难，因此常常可以采用机械随机抽样来代替。
采用简单（或机械）随机抽样的好处是，可以根据概率理论来客观地估计抽样误差的大小。
Ø浅谈消费调查问卷的信度和效度
对于任何一份消费调查问卷来说，都会涉及到以下三个基本问题：
一是被调查者回答所得的数据和资料是否符合调查者的要求？
二是调查所得结果是否是调查者所希望调查的东西？
三是当调查访问的时间、地点和调查员发生变化时，对测量的结果会有什么影响？
这就是问卷的信度和效度问题。
所谓信度（reliability），就是指对同一事物进行重复测量时，所得到的结果的一致性程度。
一致性程度越高，信度越高；反之则信度越低。
实际上，信度是考察测量工具（此处指问卷的具体问题）设计的合理性。
一个极端的例子，我们要研究牛奶消费与身高的关系，当测量一个人的身高时，同一把尺子同一个人，前天测量结果为180.0厘米，昨天测量结果为175.5厘米，而今天测量结果为185.0厘米，这说明，所用的测量工具（尺子）一定有毛病。
所谓效度（validity），就是一项测量真正测量的是所要测量的事物的程度。
实际上，信度是考察测量工具（此处指问卷的具体问题）设计的有效性。
例如，我们要研究某益智产品对初中生智商的影响，研究前把某校初中生群体随机分成两个组，一个组让吃某益智产品，而另一组不给吃，假定其他条件完全相同，一段时间后，我们便可以用一份标准中文版的智商测量表对两组学生逐一测量，这样得出的结果肯定能够反映出该益智产品对初中生智商的影响程度；然而，如果我们用一份英文版的智商测量表对学生进行测量，那么我们就得不出有关智商方面的任何结论，因为，英文版的智商测量表，主要是考察初中生的英文水平，而达不到测量智商的目的。
可以看出，信度和效度之间存在着密切的关系：
一份问卷有效度就一定有信度，无信度就一定无效度；然而，有信度却不能保证有效度，无效度却不一定无信度。
信度和效度是一个相对的量，对于一份调查问卷而言，信度和效度是由问卷中的每一个问题的信度和效度来保证的。
因此，在设计问卷时要努力确保问卷中的每一个问题就是调查者想要的变量，而且这一变量不会因时间、地点和对象的变化而变化。
（撰稿：
皮小林）
Ø大学生营养知识、态度、行为调查问卷的信度和效度检验
【摘要】目的:
对自编大学生营养知
升级会员 