教育测量项目评价方案范文.docx
《教育测量项目评价方案范文.docx》由会员分享，可在线阅读，更多相关《教育测量项目评价方案范文.docx（57页珍藏版）》请在冰点文库上搜索。
教育测量项目评价方案范文
测验编制评价方案
本次评价方案的设计主要是对测验编制的一般过程进行评价，把握测验的实用性、可信度、有效性、难度和区分度，对于编制测验的各个过程提出了相印的评价指标，最终形成测验编制评价表。
一.确定测验目的
1.1施测对象
在编制测验之前，首先要明确施测对象，只有对施测对象的年龄、智力水平、文化背景、阅读水平做到心中有数，才能有的放矢。
对确定施测对象的评价可从以下两个方面进行：
第一，对施测对象的年龄、智力水平、文化背景、阅读水平进行准确的描述；
第二，描述的施测对象与测验内容水平相关。
1.2测量目标
测量目标主要是指所编的测验用来测量什么。
对测量目标主要从以下三个方面进行评价：
第一，测量目标是测能力、人格还是学业成就，能对测量目标进行明确的描述；
第二，将测量目标具体化，并能够明确描述，即将测量目标转化成可操作术语。
第三，能完整描述测量目标；
1.3测量采取的形式
测验是要对被试做描述还是诊断，亦或者是选拔、预示，这一点在需在测试编制之前就应该明确。
即应该明确测量采取的形式。
测量采取的形式包括常模参照测验和标准参照测验，常模参照是指将个体得分与所在团体进行比较，确定个体在团体中的位置；标准参照是指将个体得分与既有的标准相比较，与其他人的结果无关。
对这部分的评价主要包括如下：
第一，明确描述测验采取的测量形式；
第二，描述采取的测量形式与测量目标之间的相关关系；
二.拟定编制计划
编制计划，实际上是对测验的总体设计，指出测验内容和项目形式等，以及对每一个内容、目标的相对重视程度。
不同的测验，编制计划不同。
其中，成就性测验广泛应用在学校教育教学测验中，这种测验主要是根据布鲁姆的教育目标分类，从认知领域中知识、理解、应用、分析、综合、评价这六个层次，建立双向细目表。
拟定出测验编制所要测验的内容、测验的难易程度、以及该部分知识所占的权重。
一般情况下，对编制计划可以从以下几个方面进行评价：
第一，明确描述完成测验所需的时间，在本次测验中，明确描述完成测验所需时间确定为20分钟；
第二，能正确把握测验内容，把握测验内容的全面性；
第三，所选测验内容能够代表测验的全部内容；
第四，准确分析测验内容与测验目标的达成度；
第五，明确描述测验内容各部分的相对重要性；
第六，完整地描述测验项目的形式、编排、题目的类型和数量；
第七，详细确定出测验各部分的计分方法；
三.测验项目的编制
3.1相关资料搜集
测验编制好之后，为后续项目的设计、编写提供依据，测验的资料的搜集与测验项目的设计、测验结果的好坏有着密切的关系。
有关这部分的评价，主要分为以下几点：
第一，资料内容丰富、齐全；这样就会在项目设计中，样本越具有代表性；
第二，资料具有普遍性，即所选资料对测验对象尽可能公平；
3.2测验项目的选择
测验的编制者还必须确定测验的实施方式，同时还需要考虑测题与计分的客观程度。
测验的编制者可根据测验内容的知识性质和类型，选择特定的实施方式。
测题与计分的客观程度，主要包括主观性试题和客观性试题。
主观性试题可以有效地测查材料组织能力、协作能力和创造性。
其特征是题量少，题目的综合性高，但覆盖面小；思考复杂，书写时间长，提供大量有关具体思考过程的信息；评分弹性大，难以猜测。
客观性试题可以有效测量事实知识、理解能力、思考技能。
其特点是题量大，覆盖面广，学生难以猜题；作答方式简单，缺乏具体的思考过程信息；有唯一标准答案，对编写者有一定要求，需要较大题量。
对测验项目的选择可以从以下几个方面进行评价：
第一，根据测验的目的，正确选择测验的材料的性质。
如果测验内容主要是动作技能，可以通过操作进行测验，如果是文字表达、材料组织，可采用论文或者简单题的形式呈现，如果需要测验更多、更广泛的内容，那么可以编制成选择题的形式。
同时，可根据内容，综合应用多种形式来呈现测验内容。
第二，测验项目的形式符合测验团体的特点。
如测验团体是幼儿宜用口头测验，言语有缺陷的人宜采用操作项目等。
第三，测试人数、时间和经费跟测验项目形式的权衡。
当测试人数太多、测验时间和经费有限，宜采用纸笔测验；当测验人数较少，时间充足，仪器足够，可采用操作测验。
第四，测题与计分的客观程度。
3.3项目编写
制定项目的过程包括写出、编写、预试和修改一系列过程，在获得令人满意的项目之前，这些步骤是不断反复进行的。
编制者在进行项目修订的时候，主要是修改意义不明确的词语，删除重复的和不适用的项目。
在项目编写时，主要从以下几个方面进行评价：
第一，根据测试时间、题型、阅读量、计算量、涉及面、测验性质等特征确定项目的取材范围；
第二，项目的范围与测验计划相一致；
第三，项目的数量要比最后所需的项目多一倍至几倍，以备筛选和副本的编写。
第四，项目的难度符合测验项目目的的需要；
项目的难度符合测验项目目的，测验结果一般呈正态分布；项目的题目的排列应该遵循由易到难的顺序。
其中，人格测验、速度测验比较特殊，一般要求题量大难度差异小，并且题目的次序是被打乱的。
第五，项目的说明描述清楚、明了；
第六，明确说明总指导语；
第七，明确描述各部分的说明；
第八，编写人格/态度量表的项目时，人称、语气、句式符合项目特征；即人格测验，态度量表宜采用第一人称、积极的语气，多采用陈述句进行编写。
四．项目的试测和分析
4.1项目的试测
初步筛选出的项目虽然在内容和形式上符合要求，但是否具有适当的难度与鉴别作用，必须通过实践来检验，也就是要通过预测进行项目分析，为进一步筛选项目提供客观依据。
项目性能之优劣，不能仅凭测验编制者主观臆测来决定，必须将初步筛选出的项目组合成一种或几种预备测验，经过实际的试测而获得客观性材料。
预测应注意一下几个问题。
1.预测对象应取自将来正式测验准备应用的群体。
例如，对于一个成就测验来说，进行预测的学生必须和以后的测验对象属于同一个年级，并且具有相同的课程背景，取样时应注意其代表性，人数不必太多，亦不可过少。
2.预测的实施过程与情境应力求与将来正式测试时的情况相近似。
3.预测的时限可稍宽一些，最好使每个被试都能将项目做完，以搜集较充分的反应资料，使统计分析的结果更为可靠。
4.在预测过程中，应随时记录被试的反应情形，如在不同时限内一般被试所完成的题数，题意不清之处及其他有关问题。
预试评价指标：
1.选定的试测样本与预测过程目标人群结构相似程度
2.施测过程的控制是与正式测验一致的程度
3.施测时间控制得当
4.在施测过程中记录被试的反应数据（从详细记录被试对项目的反应，不同时间段完成的项目数量，对项目表述方式的理解程度等方面综合考虑）
4.2项目分析
对项目的分析包括质的分析和量的分析两个方面。
前者是从内容的适当性、题目的思想性题目的思想性以及表达是否清楚等方面加以分析，后者是对预测结果进行统计分析，确定项目的难度、区分度、备选答案的适宜性等。
编制一套测验，只依据一次预测觉的结果所做的项目分析是不够的。
由于预测的被试样本可能会有取样误差，故由此得到的项目分析结果未必完全可靠。
为了检验所选出的项目的性能是否真正符合要求，有时需选取来自同一总体的另一样本再测一次，并根据结果进行第二次项目分析，看两次分析结果是否一致。
如果某个项目测试结果前后相差较大，说明该项目的性能值得怀疑。
这种在独立样本中进行项目分析的过程叫做复核。
4.2.1项目的定性分析：
项目的定性分析评价指标
1.测题的适宜性
2.对比双向细目表
3.题目的编制质量
4.题目编排、试卷印刷和实测质量
4.2.2项目的定量分析：
✓难度分析：
难度是指项目的难易程度。
在心理与教育测量中，常常用受测者答对或通过每个项目的人数的百分比（即通过率或P值）作为难度的指标。
项目的难度水平选择多高，应取决于测验的目的、项目的形式以及测验的性质。
难度分析评价指标：
根据测验的目的、项目的形式以及测验的性质衡量难度设定的合理性
✓区分度分析：
反映测验项目或试题对考生心理特征进行鉴别的强度。
具有良好区分度的测验，实际水平高的被试应得高分，水平低的被试应得低分。
区分度高的项目，能将不同水平的被试区分开来；区分度较低的项目则不能很好地鉴别被试水平。
区分度一般用D表示。
取值范围介于（-1，+1）之间。
通常D为正值，称为积极区分；D为负值，称为消极区分；D为0，称为无区分。
一般来讲，D值越大，区分度越好。
评价测验项目的区分度高低依赖于对被试水平的准确测量，一般称为校标分数。
测验项目的区分度的校标分数较多的是使用测验总分，又称内部校标。
有两种类型，内部一致性：
适用同质性测验，用个别项目和测验总分的相关计算。
项目效度分析：
异质性测验，用考生的反应与外在效标的关联来计算。
区分度分析评价指标
1.测题总分区分的层次与学生实际的认知水平的层次之间的吻合程度
2.测题总分区分的层次与达到所规定的标准水平程度的一致程度
3.封闭题不同解法对认知水平要求的等价性
4.各测题成绩水平主要得分试题的可区分性
5.题目得分点所对应的考查层次清楚
6.测题及评分标准适合分等级表示
项目鉴别指数评鉴
区分度指数
评价
0.40以上
非常好
0.30-0.39
良好，如能改进则更加好
0.20-0.29
尚可，但要经修改使用
0.19以下
非常差，必须加以修改甚至淘汰
五．测验合成
经过试测和项目分析，对各个项目的性能已有可靠的资料作为评价的根据，下一步就可以选出性能优良的项目，加以适当的编排，组合成测验。
5.1测验项目的选择
在选择项目时，不但要考虑项目分析所提供的资料还要考虑测验的目的、性质与功能。
最好的项目，就是只测定所需要的特征，并能对该特征加以有效区分的难度合适的项目。
一般说来，项目的区分度越高越好，这是选择项目的一条重要标准，特别是对于选拔测验，此标准尤为重要。
选择项目的另一个指标是难度。
难度多大为合适并无一个绝对的标准，而要根据测验目的来定。
有的要求难一些，有的则要求简单一些，有的可不考虑难度。
就是同一张试卷，题目难度也可以不同，只要整个测验的难度分布符合要求即可。
根据项目分析资料选出的项目，还要与测验计划再次对照，看看材料内容以及所测量的行为目标是否与计划相符，必要时加以适当调整。
此外项目的数量还必须适合于所限定的时间。
测验项目的选择评价指标：
1.项目表达的意思简单明了，题目答案明确
2.项目只能测量所欲测查的心理特质
3.项目难度水平适度
4.项目具有一定的区分度
5.项目内容对所有考生是公平的
5.2测验项目的编排
项目选出之后，必须根据测验的目的与性质，并考虑被试作答时的心理反应，加以合理安排。
在测验开头应该有一两个十分容易的项目，以使被试熟悉做题程序，解除紧张情绪，建立信心，进入测验情境。
对项目的总的编排原则是由易到难，这样可以避免被试在难题上单耽搁的时间太多，而影响对后面为题的解答。
在测验最后可有少数难度较大的项目，以测出被试的最高水平。
将题目编排成完整的测验，一般有如下几种形式：
一是按题目的类型组合测验。
将同一类型的测题组合在一起，这样便于计分和被试作答，如大部分学业成就测验即属于这种形式。
将测量相同要素的测题排列在一起，如韦氏儿童智力量表。
三是按题目难度排列。
包括三种形式：
✓并列直进式
根据内容和形式分为若干分测验，每个分测验内部按照难度水平由易到难排列。
✓混合螺旋式
各类型题目按难度排列，再将不同性质的项目组合交叉排列。
✓混合式
多用于建构人格、态度及心理健康等，不要求难度，可随机混合排列
但是，在实际编排测题时有时将上述几种类型混合起来，并不一定按照某一单一类型。
类型的划分主要是便于实施和和计分，而对被试测验分数的提高无明显影响，真正影响测验分数的是测题本身。
因此，应更多注意编题的质量。
测验项目的编排评价指标：
1.测题的代表性
2.项目内部融洽、和谐一致、不自相矛盾
3.测题是与测量目标的吻合程度、适切程度
4.测题的科学性（即正确性、表述的无歧义性）、创新性、公平性
5.题型、题量使用的合理性
6.测题编排是否合理
7.测题对于展示学生的学科成就所提供的空间适度
5.3测验复本的编写
为增加实际的效应，一种测验至少有等值的两份，份数越多，使用起来越便利。
例如，我们要用测验来考察一班学生在一学期中的进步，必须测量两次，一次在开学初，一次在学期末，两次结果的差别代表一学期中成绩的提高。
如果测验只有一份，用两次就难免有练习的影响，两次测验结果的差异不能完全代表进步的大小。
要是这个测验有几个复本替换使用，就可以免掉这种困难。
测验复本的编写的评价指标：
测验的复本必须是等值的，所谓等值需符合下列几个条件：
1.各份测验测量的是同一种心理特质
2.各份测验应是所测量行为领域的代表性样本
3.各份测验的项目形式和数量应相同，但项目不重复
4.各份测验具有大体上相同的难度和区分度
六．测验使用的标准化
标准化指的是要通过控制无关因素对测验目的的影响，对于测验使用的过程包含了施测过程、评分计分、分数解释三个过程。
我们的评价方案期望对这三个方面逐一评价。
6.1施测过程
在给被试使用了相同的题目进行施测，我们还需要保证有相同的测验条件，统一的指导语与时间限制。
指导语会直接影响被试的反应态度与方法，同时对于主试来说指导语保证了测验情景的一致。
测验的时限，对于不同的测验有不同的要求，我们需要考虑施测条件和实际情况的限制。
评价指标：
1.测验的指导语是否合适、统一，能对被试给予适当刺激，对主试测验过程指导明确，以保证测验情景是否一致
2.测验的时限是否合理，能保证大约90%的被试能在规定时间内完成
6.2评分&记分
评分需要尽可能客观，这样才能把分数的差异完全归于被试的差异，要符合客观、准确、经济、实用原则
评价指标：
1.测验过程能及时而清楚地被记录下来反映情况（例如：
录音、录像等等）
2.记分键选择合适，即有一张标准答案或正确反应的表格
6.3分数解释
分数解释标准化，要保证同一个分数只能做出同一种推论。
评价指标：
是否具有合适的常模或者合适的标准。
七．信度评价
7.1信度的概念与分析
信度（reliability）主要评价量表的精确性、稳定性和一致性，即测量过程中随机误差造成的测定值的变异程度的大小。
实际上，有多少种误差的来源，就有多少种信度估计的方法。
一般来说，一个测验哪种误差大，就应该用哪种误差估计。
有时一个测验需要几种信度估计。
假设对100个六年级学生以两个月的时间间隔先后施测一个创造力测验的A/B两个复本，所得的等值与稳定性系数为0.70。
我们还根据被试对每个复本的反应计算出分半信度为0.80。
同时,我们将另一个评分者随机抽取50份卷子另外评分，得到评分者信度为0.92。
然后，我们对这这三种方法所产生的误差变异进行分析。
变异数分析
信度类型
误差变异数
误差变异来源
复本信度（间隔）
1-0.70=0.30
时间和内容取样
分半信度
1-0.80=0.20
内容取样
上述两者差异
0.30-0.20=0.10
时间取样
评分者信度
1-0.92=0.08
评分者差异
误差变异总和
0.20+0.10+0.08=0.38
真实变异
1-0.38=0.62
7.2信度的大小要求
典型测验的一般标准
测验类型
最低标准
标准化测验
人格测验
非标准化测验
0.90
0.80-0.85
0.60-0.85
典型测验的信度高低水平
测验类型
低中高
成套成就测验
学术能力测验
成套倾向性测验
客观人格测验
兴趣问卷
态度量表
.66.92.98
.56.90.97
.26.88.96
.46.85.97
.42.84.93
.47.79.98
7.3信度的分类与选择
信度类型
复本信度
造成误差的来源
时间取样
程序
•同一组受测者，均接受两个测试
•间隔很短时间，消除疲劳即可（连续施测）
优点
省力、省时
测量属性相同
提供随时间变化的资料
缺点
时间间隔越长，重测信度越低
使用条件
•构造两份或两份以上的真正平行的测验
•内容、数量、形式、难度、区分度、指导语、时限等各方面相同或相似
•同一批被试接受两个测验的测差
•受到练习、记忆、解题策略等因素的影响
•稳定性与等值性系数需要报告两次施测的间隔及间隔内被试的经历
计算方法
•两组分数间的皮尔逊积差相关系数
•𝑟𝑋𝑌=𝑥−𝑥𝑦−𝑦/𝑥−𝑥2∗𝑦−𝑦2
信度类型
重测信度
造成误差的来源
内容取样
程序
•同一组受测者，同一个测验，间隔一定的时间
优点
代表性增强，信度更准
一定程度避免练习、记忆效应
缺点
编制复本难
影响积极性
触类旁通
使用条件
•适用于测查不随时间变化而变化的比较稳定的特质
•遗忘和练习的效果基本上相互抵消
•时间间隔的长短视问题性质和测量目的而定
•在两次施测的间隔内，所要测差的特质没有训练和学习
计算方法
•同一组被试在两次测验上所得分数的皮尔逊积差相关系数
•𝑟𝑋𝑋,=𝑥−𝑥𝑥−𝑥,/𝑥−𝑥2∗𝑥−𝑥,2
信度类型
分半信度
造成误差的来源
内容取样
程序
•一组受测者，一次测试
方法
•事先对测验进行分半，奇/偶数题号
使用条件
•只能施测一次或没有复本的情况下使用
•一个测验无法分成对等的两半时，不宜使用
•将测验分半的方法很多，同一个测验会有多个分半信度值
计算方法
•𝑟𝑋𝑌=𝑥−𝑥𝑦−𝑦/𝑥−𝑥2∗𝑦−𝑦2
•对完整测验信度低估：
需要加以矫正
•当两个半测验分数的方差相等时用斯皮尔曼-布朗公式加以矫正
•当方差不等时，可以用以下两个公式中的其中任意一个加以矫正
•弗朗那根公式
•卢仑公式
信度类型
同质性信度
造成误差的来源
内容异质性、内容取样
程序
•把每一个项目都视为一个分测验
•若项目完全平行
•则𝛼是对𝜌𝑋𝑋′的直接估计
•但𝛼≤𝜌𝑋𝑋′
使用条件
•目的是测验内部所有题目间的一致性程度
•所有题目测的是同一种心理特质
•所有题目得分之间具有较高的正相关
•当同质性信度不高时将异质测验分解成多个同质性的分测验，分别进行
结果的解释
计算方法
•Hoyt方差分析
信度类型
评分者信度
造成误差的来源
评分者间的差异
使用条件
•不同评分者阅卷，相互之间评分的一致性
计算方法
肯德尔和谐系数
•多个评分者，多个受测者
•进行等级排序评定
•N：
被评定对象的数目
•K：
评定的人数或次数
•𝑅𝑖：
每一个被评对象被评k次所得等级之和
•取值范围：
0-1
•当出现相同等级时，需要进行校正
Kappa一致性系数
•多个评分者，多个受测者，评定结果无法排序
•研究中使用主观性评分测验时，需要计算评分者一致性信度
•𝑃0：
评分者观察一致的百分比
•𝑃𝑒：
理论上评分者可能评定一致的百分比
•取值范围：
[-1，1]
•>0.6：
非常可靠
八.效度评价
8.1效度评价方案理论基础
效度即有效性，它是指测量工具或手段能够准确测出所需测量的事物的程度。
效度分析不仅是通过一个量化指标就能得到表示，需要试验、统计、理论等多方面的证据，测验效度证据的收集是一个过程，从测量编制一直延续到测验结构解释、作用及后果，评价一个测验时，须全面考虑该测验所能引起的一切后果。
在测验中影响效度的因素很多，主要有一下因素：
效度受到信度的影响，凡影响信度的因素都会影响效度；受测群体的性质（同一测验对不同群体的测量的功能不同，同一测验通过不同群体得到的效果不同，在选择测验时要注意效度资料的常模背景）；效标测量质量（采用效标关联效度分析法时，同一测验有不同的效标，产生不同的效度系数，即便是选定最佳效标，不同测量会产生不同效度结果）；效度评估方法的影响，不同的方法评估，会得到不同的结果，具体方法的选择视测试编织者和使用者的目的而定，最基本的效度分析方法如下：
（1）内容效度分析法
内容效度又称表面效度或逻辑效度，它是指所设计的问题能否代表所要测量的内容或主题。
对内容效度常采用逻辑分析与统计分析相结合的方法进行评价，逻辑分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求；统计分析主要采用单项与总和相关分析法获得评价结果，即计算每个题项得分与题项总分的相关系数!
相关度越高表明其内容越有效。
（2）效标关联效度分析法
效标关联效度又称为准则效度，准则效度分析是根据已经得到确定的某种理论，选择一种指标或测量工具作为准则（效标），分析问卷题项与准则的联系，若二者相关显著，或者问卷题项对准则的不同取值、特性表现出显著差异，则为有效的题项。
（3）构想效度分析法
构想效度又称结构效度，结构效度是指测量结果能够体现出来的理论上的结构或特质的对应程度，即测验所要测量的目标能否符合理论上的设想，一般认为，效度分析最理想的方法是利用因子分析测量整个测验的结构效度。
在测验的效度分析方法选择过程中，根据测验编制者和使用者的目的来选择特定的效度分析方法，即可以选择一种基本效度分析方法，也可以多种效度分析方法结合分析，如：
普通话的学业水平考试一般选择内容效度分析法；人员选拔、分类测验一般选择效标关联效度；专业人员的水平考试一般选择内容效度分析和效标关联效度分析相结合的分析法。
8.2效度评价方案形成思路
本评价方案主要从效度证据获取路径和过程，以及效度分析方法入手，对测量效度进行评价，评价流程如下：
九.编写测验手册
为使测验能够合理地实施与应用，在正式测验编制完成后，需要编写一本手册，就下列问题作出详尽而明确的说明：
评价指标：
1.本测验的目的和功用；
2.测验的理论背景以及选择项目的依据；
3.测验的实施方法、时限及注意事项；
4.测验的标准答案和计分方法；
5.常模表或其他有助于分数转化与解释的资料；
6.测验的信度、效度资料，包括信度系数、效度系数以及这些数据是在什么情境下得到的。
十．附件：
测验编制评价量表
项目
权重
评价指标
等级
优
良
中
一般
差
（一）.总体规划评价
10%
确定施测对象
1.对施测对象的年龄、智力水平、文化背景、阅读水平进行准确的描述。
5
4
3
2
1
2.描述的施测对象与测验内容水平相关。
测量目标
1.能对测量目标进行明确的描述。
2.将测量目标具体化，并能够明确描述。
3.能完整描述测量目标。
测量采取的形式
1.明确描述测验采取的测量形式。
2.描述采取的测量形式与测量目标之间的相关关系。
（二）.编制计划评价
10%
1.明确描述完成测验所需的时间。
2.能正确把握测验内容及其全面性；
3.所选测验内容能够代表测验的全部内容；
4.准确分析测验内容与测验目标的达成度；
5.明确描述测验内容各部分的相对重要性；
6.完整地描述测验项目的形式、编排、题目的类型和数量；
7.详细确定出测验各部分的计分方法。
（三）.测验项目
升级会员 