量化的教学评价的方法与技术.doc
《量化的教学评价的方法与技术.doc》由会员分享，可在线阅读，更多相关《量化的教学评价的方法与技术.doc（13页珍藏版）》请在冰点文库上搜索。
量化的教学评价的方法与技术
学校教学评价中使用最多的是教师自编测验。
教师自编测验属于量化的教学评价方式。
为了保证教师自编测验的信度和效度，在课堂测验的编制、准备、实施及分数解释等方面必须遵循一定的方法和原则。
下面就量化的教学评价的有关方法和技术做具体分析。
一、课堂测验的问题类型与编制技术
传统的课堂测验通常采用纸笔考试的形式来测量学生对课程内容的掌握情况。
典型的纸笔测验题包括论文式问题、多重选择题、匹配题、是非题和填空题。
（一）论文式问题
论文式问题（essayquestion）是指要求学生用文字论述方式回答的题目，其目的在于评价学生的表达能力、组织能力以及对各种不同领域的知识的综合能力。
论文式问题的优点是：
第一，提出问题很容易而且很迅速，不像客观测验题需要很长时间去考虑和设计；第二，可以使教师去评价学生对所学知识的组织和分析、综合、评价等较高级的认知能力，而不仅仅是对知识的简单记忆。
然而，论文式问题也有许多缺点：
首先，论文式问题的最大缺点是评分困难，费时太多。
学生对一个问题的回答常常不是一两句话，而是一大段或几大段话。
教师去阅卷时，不仅要考虑回答内容和观点的准确性，还要考虑表达观点的方式的妥当与否，卷面是否整洁，书写是否漂亮，文字和标点是否正确等等。
教师也要考虑和决定如何处理回答中的错误的观点或不准确的观点。
答错一个观点与漏答一个观点哪一个更不好呢？
是否答错比漏答要扣更多的分呢？
其次，论文式问题评分主观性较强，信度较差。
两个不同的评分者对于一份相同的论文式答卷的评分可能是十分不同的。
既使是同一个评分者，对于同一份论文式答卷的评分在不同的情况下给的分数也可能不同。
评分可能会受到先前答卷的质量的影响，还会受到评分者对学生成绩的期待的影响。
学生的卷面特征、性别、种族等因素均会影响评分的客观性。
再次、论文式问题的取样范围较窄，只能涵盖教学内容中较小的百分比。
仅仅通过论文式测验就无法考查和评价学生应该掌握的所有的、大量的知识点。
为了克服论文式问题的不足之处，必须在命题技术上加以改进。
下面是教育心理学家们对如何编写论文式问题的建议：
1、论文题的用语必须简单、清楚、明确。
清楚、明确的用词可以减少学生对问题模棱两可的理解，避免出现歧义。
不要在问题中使用含糊的、泛泛的表达方式。
要用诸如“叙述……的两种方法，”“比较……的相同点与不同点”等明确、具体的表达方式。
2、标出每一问题的分值和限定回答的时间
在论文式问题的后面应该标示出该题的分值、限定回答的大概时间以及回答内容的大概长度（用留出的答题的空白多少去限定）。
这样能使学生在答题时能合理地分配时间和充分利用时间。
要避免出现任选题（如两题中任选一题作答），因为两个任选题很难做到等值，试题的效度就会受到影响。
3、事先拟出每题的答案要点和评分标准
在出题的同时拟出各题的答案要点及相应的评分标准，将来评卷时就有了明确的依据，就可以提高评分的信度。
论文式问题可按题意的限制与否分为两种。
一种为限制反应题，要求学生在所限制的范围内发表自己的意见，例如，“说明戊戌变法中的重要人物、事实经过及结果”。
另一种为引申论述题，给学生较大的自由，学生可以根据给定的主题自由发表见解，例如“试分析知识在经济发展中的重要性”。
这两种类型的问题在制定评分标准时宜采用不同的方法。
对于限制反应题，应事先准备好一个范文的纲目或答案要点并给每一个要点分配适当的分数。
评分时按学生是否答对各题的要点给予分数，最后将各要点的得分相加，作为学生该题的成绩。
对于引申论述题，由于没有固定的答案要点，所以不能按要点给分，只能采用评等法评分，即将学生的答案分为优、良、中、差或A、B、C几个等级。
具体操作时，教师首先总体浏览学生的答案，确定一个分等的一般标准，然后按此标准将每个学生的答案分成好、中、差三堆，然后再重新阅读一遍答案，将每一堆再分成两三个更小的堆。
通过这种比较给予学生较客观和具体的评分。
4、对同一试题的评分集中一次完成
对同一试题的评分集中一次完成，可以避免对同一试题在不同的时间评分而发生的评分标准的变化，也可避免对不同试题在同一时间依次评分时可能产生的光环效应（haloeffect）即第一题答得出色会影响对第二题的评分，觉得第二题答得也会同样出色。
具体操作时，可采取分题阅卷的方式。
当同一试题的卷子不能一次连续评完而必须间断时，当再次开始评分前，先浏览几份已经评过的卷子，以确保在评分标准上保持一致。
5、评分时不看学生的姓名
评分时不看学生的姓名，可以避免因看到姓名而导致的评分偏差，层管这种偏差可能是无意的。
比如，对于平时学习成绩好的学生或自己喜欢的学生，教师可能会在评分时给出比其应得的分数要高的分数；相反，对于平时学习成绩不好的学生或自己不太喜欢的学生，教师可能会在评分时给出比其应得分数更低的分数。
因此，为保证评分的客观、分正，教师去评分时应将学生试卷上的姓名封上后进行。
论文式问题的优缺点及编题指导
论文式问题的优点：
△问题的编写迅速而容易
△可以使教师评价学生对知识的组织和综合等较高级的认知能力
论文式问题的缺点：
△评分费时而困难
△评分带有主观性、信度较低
△试题取样范围小，缺乏代表性
论文式问题的编题和评分指导：
△使问题尽可能简单、明确、具体
△标出每题的分值和限定答题时间
△制定出每题的答案要点和评分标准
△分题阅卷，对同一试题的评分集中完成
△评分时不看学生的姓名
（采自C·B·McCormick，1997）
（二）多重选择题
多重选择题（multiple-choiceitem）是指针对某一问题，让学生从多个可能的答案中选择一个正确答案作为回答的试题形式。
选择题由题干和选项两个部分组成。
题干是要求学生回答的问题，通常用直接问句或不完全陈述句来表达；选项包括一个正确答案和几个干扰项（错误答案）。
干扰项一般为3-5个。
干扰项越多，学生猜测正确答案的概率越小。
例如，若有三个干扰项，学生猜对的概率是1/4（0.25），若有四个干扰项，学生猜对的概率下降为1/5（0.20）。
选择题可适用于文字、数字、图形、表格等各种形式的信息资料。
一般认为多重选择题只能让学生完成一些较低水平的认知活动，问题通常要求学生再认在课堂上或书本中学过的概念定义。
例如，下面的这个多重选择题要求学生再认本章第一节学过的一个定义：
个体的操作成绩要与其他人的操作成绩相比较的评价是：
A．常模参照评价
B．标准参照评价
C．形成性评价
D．总结性评价
（答案为：
A）
然而，多重选择题并非只能评价学生对定义的再认，教师也可以通过设计多重选择题来评价学生高级的思维技能，提出布鲁姆教育目标分类学中较高层次的认知问题，比如，让学生比较不同点、寻找相同点、应用知识、做出因果关系的预测或推论等。
在数学等学科中，学生要首先在题干中解决一个问题或完成一个计算任务，然后从选项中选择一个正确答案。
例如，下面的一个多重选择题还要学生将本章第一节学过的一个定义应用在一个真实的生活情境中：
一个大公司每年都要对全体雇员施行进级考试。
考试分数处于前10%的雇员将得到晋升的机会，而考试分数处于后10%的雇员将被降级为见习生，留公司查看一年。
这种进级考试运用的是：
A、常模参照评价
B、标准参照评价
C、形成性评价
D、总结性评价
（答案为：
A）
多重选择题的优点是：
第一，评分客观、可靠。
每一问题都有客观的标准答案，避免了论文式问题在评分时的主观性和信度较低的缺点。
第二，试题取样范围广，能够涵盖课程的主要内容，保证测验的有效性。
第三，答题和阅卷均较方便、高效，在较短的时间里就可以施测较多的项目，学生答卷时只需在几个选项中做出一个选择，教师阅卷时只需判断学生选择的正误即可。
因而效率很高。
正因为有这样一些优点，因此，多重选择题应用广泛，被认为是客观测验中最好的一种方法。
然而，多重选择题也有其缺点：
第一，编写困难、费时。
将课程内容设计成一个又一个的多重选择题，仔细考虑选项中正确答案与各干扰项之间的各种微妙的关系，是一项费时而困难的工作。
第二，由于选择题的答案是固定的，因而不易测量学生的创造力、组织和综合能力。
如何编写出既容易理解又实用的多重选择题呢？
下面是一些心理学家提出的建议。
编写多重选择题的要点
△语言的运用要尽可能简单、明确。
选项要简短，将选项中相同的用词置于题干中。
△避免在题干中出现否定性陈述。
如果不可避免，对于题干中的否定部分要用加黑的字体或下面划线等方式醒目地标示出，以引起学生的注意。
△使干扰项看起来似乎是正确的。
有效的干扰项常常是人们经常出现的错误或误解。
△不用或少用“以上几项都不是”作为选择项。
△确保各选项与题干在语法关系上是正确的。
△使各选项尽可能相似，长度大体相同。
△选项中正确答案的位置应随机安排，避免使答题者找到规律。
△确保每一个问题都是独立的，一次只能陈述单一问题，避免出现歧义。
△避免一个问题包含着另一个问题的答案。
下面是一个用词不当或编写得不好的多重选择题样例：
下面的哪一项与编写多重选择题的建议不相符：
A、用词要简明。
B、运用着起来似乎正确的干扰项。
C、不要运用否正的陈述
D、常见的误解是有效的干扰项并将吸引那些对所测验的正确概念知之甚少的学生的注意力。
E、以上几项都不是
这样编写的多重选择题的毛病是：
题干是否定性陈述，选项C和E也是否定性陈述，使问题变得更加混乱；选项D的长度与其它几个选项相差太大，而且选项D实际上包含了选项B的内容。
一个多重选择题编写出之后，教师如何才能确定该题使用起来是否有效呢？
怎样知道一个多重选择题是否需要修改呢？
项目分析能够帮助回答这些问题。
项目分析（itemanalysis）包括对项目的难度、项目的区分度以及干扰项的分析。
一些商业性软件程序可以迅速而容易地完成项目分析任务。
即使没有这样的软件可用，广大教师也可以用手来操作的方法完成一些基本的项目分析。
下面介绍的便是项目分析的具体操作方法。
项目难度（itemdifficnlty）是通过项目分析可以决定的一个测验项目的重要特征。
确定项目难度的一个方法是计算学生正确回答一个项目的百分比。
“好”的项目难度的标准是什么呢？
对这个问题不能简单地做出回答，因为项目难度的适当性因教师使用测验的目的而变化。
如果一个项目被正确回答的百分比是10％，那么该项目的难度为0.1，表明该项目是很难的；如果一个项目被正确选择的百分比是“90%”，那么该项目的难度为0.9，表明该项目是很容易的。
在常模参照测验中，大多数测验项目的难度既不能太容易又不能太难，而应处于中等水平。
在标准参照测验中，项目难度可以在较大范围内变化，某些测验项目几乎所有的学生都能正确回答，而某些项目几乎所有的学生都可能答错，然而，大多数的项目难度应在0.8或在0.8以上。
通过项目分析可以确定的另一个测验项目的重要特征是项目区分度。
项目区分度（itemdiscrimination）是指一个测验问题能够将学得较好的学生与学得较差的学生区分开来的能力。
也就是说，在一个测验中得分最高的学生应该能够正确回答一个项目，而在此测验中得分最低的学生应该不能正确回答项目。
下面是教师可以用来计算项目区分度的具体方法和步骤（Hopkins&Stanley，1981；Popham，1995）：
首先，将所有的试卷按总分从高到低排序。
然后，自上而下将所有的试卷分成四组，每组里的试卷份数相同。
对于每一个测验项目，计算出在总分最高的1/4学生中答对的百分比和在总分最低的那1/4学生中答对的百分比。
用成绩最好的组的答对的百分比减去成绩最差组答对的百分比，所得结果就是一个测验项目的区分度。
例如，对于测验项目1，如果在成绩最好的那1/4学生中，有90%答对了，而在成绩最差的1/4学生中只有20%答对了，那么，测验项目1的区分度为0.90-0.20=0.70。
这意味着测验项目1能够成功地区分成绩好的学生和成绩不好的学生。
只要测验项目的区分度能够达到0.40或0.40以上，那么该测验项目就能够较好地将那些在整个测验中答得好的学生与在整个测验中答得差的学生区分开。
如果成绩最好的1/4学生中的25%答对了测验项目1，而成绩最差的1／4学生中的20％答对了项目1，那么，测验项目1的区分度为0.25-0.20=0.05。
这个区分度意味着试题1不能将成绩好的学生与成绩差的学生区分开，因此，该试题需要修正。
如果成绩最好的1/4学生中的20%答对了项目1，而成绩最差的1/4学生的70%答对了项目1，那么，测验项目1的区分度为0.20-0.70=-0.50。
这个区分度意味道着虽然能够将成绩差的学生与成绩好的学生区分开，但成绩差的学生更容易正确回答。
这是不正常的，因此，当项目区分度为负值时，该试题需要修正。
有一点非常重要，那就是，我们必须意识到项目区分度与项目难度是联系在一起的。
如果一个测验项目非常难，或者非常容易，那么，这个项目的区分度会很低，难以将成绩好的学生和成绩差的学生区分开。
对多重选择题进行项目分析的第三个内容是干扰项分析（itemdistractoranalysis）。
通过干扰项分析教师可以评价一个干扰项设计得是否适当。
如果高成绩组的学生都一致地选择了某个干扰项，把它当作了正确答案，那么，教师需要检验这个干扰项正确的可能性并予以修正。
如果一个干扰项没有被任何一个学生选择，那么这个干扰项也应被修正或替换。
项目分析举例
下面是三个多重选择题的项目分析结果以及对结果的进一步分析。
△问题1，正确答案是A
A、项目难度为0.50，项目区分度为0.60。
B、20%的学生选择，差生选择较多。
C、10%的学生选择，差生选择较多。
D、20%的学生选择，差生选择较多。
问题1具有相当的难度（半数学生回答正确），但这是一个适当的难度水平，如果是在常模参照测验中的一个问题，该难度水平就尤其适合。
项目的区分度也相当高。
所有的干扰项都吸引了一些学生选择，这些学生主要是一些成绩较差的学生。
该问题设计合理，无需修正。
△问题2，正确答案是C
A、60%的学生选择，优差生均有选择
B、5%的学生选择，差生选择较多。
C、项目难度为0.30，项目区分度为0.10。
D、5%的学生选择，差生选择较多。
在问题2中，选择错误答案A的人数是选择正确答案C的人数的两倍。
选择答案C的区分度也太低，不能将成绩好的学生与成绩低的学生区分开。
因此，该测题需修正，特别要检查选项A是否也是一个正确答案。
△问题3，正确答案为A
A、项目难度为0.95，项目区分度为0.05。
B、3%的学生选择，差生选择较多。
C、2%的学生选择，差生选择较多。
D、没有学生选择。
在问题3中，几乎所有的学生都选择了正确答案A，所以这是一个很容易的测题。
如果这是常模参照测验中的一个问题，那么，该问题的区分度太低，需要修正。
而且，干扰项D无人选择，也需修正，以吸引一些学生，特别是成绩不好的学生去选它。
如果是在标准参照测验中的一个试题，那么该问题可原题保留。
（采自C·B·McCormick等，1997）
（三）匹配题
匹配题（matchingitem）是选择题的一种变式，让学生将一栏前提项（通常是左侧的一栏单词或短语）与一栏反应项（右侧的一栏单词或短语）相互匹配。
匹配题是评价某种类型的事实性知识（例如，人物与他们的业绩、日期和历史事件、范畴和实例等）的一种可靠的、客观的、有效的方式。
例如，从下面右栏所列的书名中找出左栏所列的每位作者的作品，并把相应的字母填在括号中：
1、吴承恩（） A、《窦娥冤》
2、蒲松龄（） B、《三国演义》
3、关汉卿（） C、《红楼梦》
4、曹雪芹（） D、《梦溪笔淡》
5、罗贯中（） E《水浒传》
6、施耐奄（） F《聊斋志异》
G《西游记》
编制匹配题时，既要注意减少学生寻找的时间，提高答题效率，又要注意降低学生猜测的可能性，因此要运用适当的命题技术。
编写匹配题的技术要点
△在前提项与反应项中均需采同同类的资料，如用人名时都用人名，用书名时都用书名。
△在项目的数目上，提供的反应项目要多于前提。
△题干必须清楚明确，并对配匹的方法作出适当的说明。
△要讲清每一选项可用一次还是可用多次。
△前提项或反应项的数量一般不应超过10个或12个。
△题干与前提项与反应项的文字必须出现在同一页上。
（四）是非题
是非题（true/falseitems）是要求学生对一则陈述的命题给予是非（正误）判断的一种试题形成，也叫正误题或判断题。
例题：
请判断下列各项陈述是否正确，并将√或×写在后面的括号中：
1、叶绿素是植物进行光合作用的重要物质。
（ ）
2、各种植物的生长都离不开光合作用。
（ ）
是非题的优点是：
编写相当容易，回答和评分都很方便，取样范围较广，可以有效地测量学生对一些知识点的掌握情况。
是非题的缺点是：
第一，是非题测量的常常是一些较低水平的细节性的知识点，而不易测量一般原理或对知识的应用、分析、综合、评价等。
第二，是非题的猜测正确的概率是50%，因此，它的可靠性较差。
有时教师要求学生将判断为错误的题改正过来，但这样做使是非题答起来更加困难而且评分也更费时间。
如何更好地编写是非题呢？
心理学家（Mehrens&Lehmann，1991；Eggen等，1992；Ory等，1993）提出了一些具体建议（见专栏9-5）
编写是非题的技术要点
△语言陈述要简单、明确
△每一个问题中只包含一个论点，避免由两个以上的论点在同一题中出现，而造成题目本身的歧义性或似是而非。
△在题目数量上，使属于“非”的题目稍多于属于“是”的题目，因为学生猜测时倾向于选“是”的机会较多。
△尽量采用正面的肯定的陈述，避免采用否定性陈述。
△使属于“是”的题目与属于“非”的题目随机排列。
△题目的文字避免直接抄录教材内容，因为抄录教材上的原话，学生可能会出现再认正确但不理解其含义的情况。
△避免使用一些具有暗示性的特殊用词，如“总是”、“从不”、“每一个”、“全部”、“所有”等等。
（五）填空题
填空题（fill-in-the-blankitems）是要求学生在一个留有空白的未完成句子中填上适当的词或短语以构成一个完整的句子。
例题：
在下面的句中填上适当的词：
植物体内用来进行光合作用的重要物质是 。
填空题的优点是比选择题容易编写，凭猜测作答的机会也较少；答案规范、简短，使得评分可靠而容易。
填空题的不足之处与是非题一样，测量的是较低水平的对知识的记忆，而不易测量较高水平的认知能力。
一些教师用填空题测验词汇知识或者用于平时的形成性测验中寻找到学生经常填错的答案，然后将这些错误的答案作为编写多重选择题的干扰项，最后将编好的多重选择题用于期末的总结性测验中。
编写填空题时要注意以下几点：
1、填空题让学生填的应该是一些关键字句，并与上下文有着密切的关系。
2、在一个题内不要留有过多的空白，否则会失去意义上的连贯性，使学生无法理解题意。
一般留有一个或两个空白为宜。
3、各题留出的空白的长度应相符，而不要有长有短，以免空白的长度对正确答案的字数产生暗示作用。
4、避免直接引用教科书中的词句
5、为每题准备一个正确答案和可接受的变式的标准，并具体规定是否答案部分正确也可适当给分。
二、测验的准备与实施
教师自编测验用于教学评价是一个复杂的过程。
从测验的准备准备到测验的实施要经历一系列的阶段或步骤。
（一）确定测验目的
测验准备的第一个阶段就是确定测验的目的。
教师要考虑测验的内容是什么？
测验要评价学生的何种操作？
测验与教学目标的关系密切程度如何？
是形成性测验还是总结性测验？
是常模参照测验还是标准参照测验？
（二）测验题的选择和准备
用何种类型的测验题来测量所期望的知识与技能呢？
用于指导测验题的选择与准备的一个蓝图是双向细目表（two-wayspecificationtable）。
双向细目表以一种简明的方式表达了教学内容、期望学生达到的认知能力类型以及能体现这种认识能力的测验题的类型和数目。
例如，表1就是一个双向细目表，左边一栏列出的是课程的内容，上面一行列出的是布鲁姆教育目标分类中的认知领域的六级目标。
表中测验题的类型和数目，用来反映所要测量的课程内容与教学目标的权重或重要性。
教师应该将双向细目表与学生分享，以便使学生了解期待他们掌握的内容并指导他们的学习。
表1 “测验编制技术”的双向细目表
课程内容
知识
理解
应用
分析
综合
评价
合计题数
课堂测验的目的
1个是非题
2个选择题
1个论文式问题
1个论文式问题
5
论文式问题的特点
1个是非题
2个选择题
1个论文式问题
4
多重选择题的特点
1个是非题
2个选择题
1个论文式问题
4
匹配题的特点
1个是非题
1个选择题
1个选择题
3
是非题的特点
1个是非题
1个选择题
1个选择题
3
填空题的特点
1个是非题
1个选择题
1个选择题
3
合计题数
6
5
7
2
1
1
22
为了保证测验的信度，需要设计足够的题数，但题目的总数又不能太多，以免学生在限定的时间内答不完。
另外，测验题的安排一般应从容易答的题目开始，将内容相近的题目放在一起，将同一类型的内容放在一起，将费时较多的题（如论文式问题）放在最后。
（三）测验的实施
将设计好的题目印成试卷后就进入测验的实施阶段了。
在测验实施过程中，要排除可能会对学生答题造成干扰的一些分心因素。
比如，在考场的门外挂一块警示牌，上面写着“正在考试，闲人勿扰”。
确保学生了解测验的要求，包括每题的分数、答题的时间、记录答案的方式、猜错是否扣分、是否可以用字典或计算器等等。
测验实施中的另一项工作是减少作弊的可能性和机会。
为了减少作弊，可以在考试前事先宣布考试的一般性质和内容，让学生进行充分的考前准备而不是依靠作弊。
在考试进行中，要监控学生的行为，将所有的书和笔记等放在学生拿不到的地方，在座位的安排上使学生不容易互相看到考卷，不允许共用橡皮、计算器等用具，试卷分为A、B两套等值的备选试卷。
要宣布考试纪律，让学生清楚地知道作弊被抓的后果，并严格执行考试纪律。
（四）考卷的评分
考试后，教师对所有的试卷进行评分。
在评分时，教师一定要努力做到客观（公正而无偏见）和可信（前后一致）。
对于客观测验题，做到这一点比较容易，对于论文式测验题，要做到评分客观和可信，必须遵循我们前面提供的一些评分建议。
（五）结果反馈的
评分后，要将结果反馈给学生。
对于常参照测验，让学生了解自己的分数在班级分布的位置。
对于标准参照测验，要让学生知道合格或优秀的标准以及自己的成绩在多大程度上符合这个标准。
对于学生未答对的题目，要进行讨论和讲解，引起学生重视，加强复习，使考试成为经验的一部分。
（六）测题的修正
每次测验实施后都要对测题进行修正。
测题修正的主要方法是项目分析，另外也可以参考学生的评论意见。
测验编制的基本原则
教师自编测验的目的是用来评价学生的学习结果是否与预期的教学目标相符合。
为实现这一目的，教师在测验的编制与使用上应遵循以下六项原则（Gronlund，1982）：
1、测验的范围必须与教学目标和教学内容相配合。
测验中的题目限于教师教过的重要知识，而不含教材以外的相关知识。
2、测验题目的性质必须具有教材内容的代表性，而且在题目数量的分配上，必须顾及教材中各个重点的均衡。
为此，可采用双向细目表的设计方法。
3、测验中题目的形式必须与测量的目的相一致。
希望测量学生的辨别能力时，可采用是非题或选择题；希望测量学生理解能力与记忆能力时，可采用简答题或填空题等。
4
升级会员 