科学命制检测题全面评价学生发展.docx

1、科学命制检测题 全面评价学生发展科学命制检测题 全面评价学生发展第一讲 按标准化考试要求命题第一部分 标准化考试的定义、“五要素”标准化考试，是指对考试制定出客观而规范性的标准，从命题到实考、阅卷、评分等各个环节都力求减少或避免各种误差，从而测出考生比较真实成绩的过程。它包括命题标准化、实测标准化、评分计分标准化、分数解释标准化等内容。它是教育测量学的一个分支。教育测量学，是以现代教育学、心理学和统计学为基础，运用各种测试手段和方法，对学业成就、教育效果、教育对象的品格、兴趣、态度、潜力及造就等一系列教育问题进行科学地测量和评价的一门学科。标准化考试的“五要素”：1.要有考试大纲。2.命题要标

2、准化。要制定出命题细目表，列出考查目标和考查内容。确定考查目标，可根据布鲁姆关于教育目标分类理论。根据这个理论，属于认知领域里的教育目标有六个层次（由低到高依次为）：（1）识记：对所学知识的再现或再认；（2）理解：对所学知识的转译、解释及推理；（3）应用：把所学知识运用到具体的情境（实际问题）中；（4）分析：把整体性的知识或材料分成不同的部分；（5）综合：把各部分知识或材料组成新的整体或新的体系；（6）评价：以既定的规则来判断某一命题正确与否，也可以根据内在的证据或外在的效标来作这种判断。3.试题要经过预测或调试的过程。4.考试的实施过程要统一而规范。5.要提供为解释考试分数之用的常模（指由原

3、始分数转换而成的各种常规性的相对地位量数，如平均数、标准差等）和测量的标准误差。第二部分 评价考试质量的指标评价考试质量必须以数量化的指标来分析，以实际效果来检验。一、效度分析效度是考试有效性或准确性的质量指标，是考试能够反映所要考查的那些东西的程度。比如一把尺子，拿来测量人的身高是很有效的；若拿来测量人的体重，那效果就差了。又如，历史科的考试，应该是测量考生的历史知识和水平的，但如果考生靠语文知识或地理知识就能得分，那么这个考试的效度就很低了。效度分为内容效度、效标相关效度和结构效度。1.内容效度它是指考试反映出具有代表性的课程内容的程度。一般说来，课程内容均包括“教材内容”和“教学目标”这

4、两个要素。它是一种基本的或首先应考虑的效度。当我们在以考试结果作为了解一个人在某一学科中学习和整体表现时，则应以内容效度为宜。例如，假定教学大纲规定初中毕业生应能正确地拼写1500个英语单词，为了测验学生对英语单词的拼写情况和拼词能力，我们可以编制一种词汇测验，这个测验中包含150个单词的拼法。显然，只有这个测验能够代表1500个单词的拼写能力时，这次测验才有效或才有意义，即才有较好的内容效度。如果我们在选择单词上有偏差（如太难、太易或偏于某一方面的教材领域），则这项考试的内容效度就很低了。所以，衡量一次考试是否具有较好的内容效度，关键在于试题取样是否恰当。2.效标相关效度它是指寻找到一种能够

5、反映考试有效的客观标准（也叫效标），进而考察这个考试与这种效标之间的相关程度。这种相关度越高，则考试的效度越好。效标是检验考试效果的参照标准，通常是以另一种考试的分数或活动来表示。例如，我们可以计算初三升学模拟考试分数与初中毕业会考分数之间的相关系数来评估初三升学模拟考试的效度。因为初中毕业会考是一种取样范围大、题量多、覆盖面宽，并经有关专家和权威机构确认的效度很好的考试。如果初三的模拟考试分数与毕业会考分数之间的相关系数很高，则说明初三模拟考试的效度也很好。这里，初中毕业会考就作为衡量初三模拟考试的效标了。又如，我们可以通过计算初中毕业会考成绩与高中一、二年级成绩之间的相关系数来评估初中毕业

6、会考的效度。如果这个相关系数统计检验为很显著，就表明初中毕业会考确实起到了“选才”的作用，即初中毕业会考的效度很好；否则，就有理由对初三毕业会考的效果产生怀疑。这里，高中一、二年级成绩就成了衡量初三毕业会考效果的一种效标了。3.结构效度它是指考试能够测量到心理上的结构或特征的程度；换句话说，它是指能够依据某些心理上的结构来解释考试分数的程度；再具体就是：我们是问“这个考试中的分数意味着什么？”例如，一次数学考试后，我们不讲考生在这次考试中的具体得分情况，也不说考试分数能够预测数学成就的准确性如何，而是希望通过这次数学考试分数的分析来推论考生具有哪些数学能力（如推理能力、应用能力、分析能力、综合

7、和评价能力等）。这种心理上的结构或特征还有“智力”、“性向”、“动机”“兴趣”、“态度”等。二、信度分析信度是考试分数一致性或可靠性的指标，是考试结果能够反映考生稳定水平的程度。我们用一把尺子测量一批物品，如果今天测量结果与明天测量结果不同，那么就会对这把尺子的可靠性产生怀疑；同样，如果我们用同一份试卷（或内容、难度相同而形式不同的两份试卷）对同一批学生进行测验，几次考试结果学生得分很不一致，那么这种考试的信度就令人怀疑；反之，如果几次考试结果学生得分都一致或趋向相同，那么这种考试的信度就好。在大规模的标准化考试中,要求信度值不低于0.9甚至达0.95以上,而学校平时的教学阶段性考试的信度值也

8、要求不低于0.6。信度值偏低，说明考生得分的随机成分较大。在实际操作上，决定考试信度最理想的方法是：在条件完全相同的情景下，用一份试卷对同一批学生考两次，再比较两次测量分数的差异情况。但这在事实上也难以做到（如不可能做到条件完全相同，考试本身有学习迁移作用等）。评估信度的常用方法有：1.折半法就是在命题时有意识地把试卷编制成等效的两半(如奇数题与偶数题,或A、B卷），使这两部分的考查目的、内容、题型、题数、难度等都相同或大致相同。这样就相当于把其中的一半试卷在相同条件下对同一批学生考了两次，从而考查学生两次得分的一致程度。考后用公式计算。2.系数法当试题分折成两半的等效性无法保证、试题又为非选

9、择题或一份试卷中既有选择题又有非选择题时，则可用此法的公式来求信度。三、难度分析效度和信度是评价标准化考试质量的指标，下面介绍的难度和区分度则是评价试题质量的重要指标。难度是指试题的难易程度，它是试题对学生知识和能力、情感态度价值观等三方面水平的适合程度的指标。试题的难度不但对题目的区分度有直接的影响，而且对试卷的信度和效度也有较大的影响。在标准化考试中要求大多数题目的难度在0.30.7之间,少数题目可在这一范围之两边、题数大体相当,使整个试卷的平均难度为0.5左右(0.450.55之间)。而对全部考生都能做或都不能做的题目则应予删去。1.选择题难度的计算公式:P=K/N (式中,K为某题中答

10、对的人数,N为考生数)2.非选择题难度的计算公式:P=X/W (式中,X为某题的满分值,X为该题中考生得分的平均值)3.用“两端分组法”求难度把考生的总分从高到低排列，再从最高分开始向下取27%的人作为高分组，从最低分开始向上取27%的人作为低分组，然后依上述两公式分别求出高分组和低分组中的难度PH与PL，最后用公式 P=（PH+PL）/2 求得整道题的难度。四、区分度分析它是衡量试题对考生不同的知识、能力和情感态度价值观水平的鉴别程度。区分度好的题目，能把不同水平的考生有效地区别开来，以利择优录取。应把区分度太低的题目删去。1.选择题的区分度,用“点双列相关系数”来计算。2.选择题的区分度,

11、用计算不同考生在该题得分（X）与该生的总分（Y）之间的相关系数来评估。3.用“两端分组法”求区分度：这与前述用此法求试题难度的步骤相同，只是计算公式不同而已。求区分度的公式为 D=PH+PL （式中P H+P L与求难度用“两端分组法”的相同）第三部分 常模性考试和目标性考试常模参照性考试简称常模性考试；目标参照性考试简称目标性考试。常模性考试与目标性考试的异同点如下表：表一 常模性考试与目标性考试的异同点第四部分 题型与评分方法一、题型标准化考试并不排斥各种类型的题型。在选择题型时，除应考虑紧密围绕测量目标外，还应考虑便于评分与计分及经济节省等原则。用选择题就节省得多。考试题目的类型，通常可

12、分为“客观测验题”（简称客观题）、“论文测验题”（或称“主观测验题”，简称论文题、论述题、主观题）两大类。客观题包括选择式（由学生挑选答案的）选择题、是非题、配对题、（由学生提供答案的）简答题。表二 客观题与论文题的比较从上表可见：客观题要提高编题技巧；其它类型题能够测量的东西，选择题同样可以测量；而论文题较适合于测量高层次的学习结果，并且可以测量出学生的独特反应，如创造、阐发、组织及表达能力等，但其评分欠客观。而要使论文题的评分较客观，则需制定具体而明确的评分标准和使用较多的人力和物力。所以在我国大规模的标准化考试中，应大量使用客观题（特别是使用选择题），并配合适量的论文题。现在高考注重考能

13、力，因此加大了论文题的份量。二、评分方法考试分数分为数量指标和等级指标。在评分过程中一定要做到客观、准确、合理，努力克服评分中的主观随意性。如何才能做到科学地评分呢？1.明确评分类型与方式(1)绝对评分法(又称目标评分法)它是目标考试所采用的评分法。其评分的基准是建立在考试集体之外的,一般是以教学目标和教学大纲的要求来作为评分基准的。学生成绩的好坏是以达到这个基准的数量和质量作为评定依据。这种评分法一般采用百分制和五分制的记分方式。在百分制记分方式中，若某学生考得75分，则表示其对该科教学内容的掌握程度约为75%。在这种评分法中，全部考生都达到或达不到教学内容所规定的目标都是有可能的。百分制和

14、五分制的记分方式各有其优缺点：前者评分较细致，且富有区分性，但在划定学生等级时却难以做到十分合理；后者在划定等级成绩界限时显得较为明确合理。（2）相对评分法它是常模考试的评分法。其评分基准是建立在考试集体之内的，一般以这个总体的平均水平为评分的基准，每个学生的分数是相对于这个总体的平均水平而言的。它一般采用标准分数和等级分数的记分方式。2.制定评分标准要做到评分的“准”，则要：（1）合理地赋分这主要是对论文题而言，即每道题的占分究竟多少才比较合理。常用的赋分法有：A.难度赋分法。这是按题目的难易程度来确定各题的满分值。一般说来，题目易者占分少些，难者多些。B.时间赋分法。它是根据考生完成某题所

15、消耗的平均时间来决定各题的占分比例的。有些题目虽不难，但完成它需花费较多的劳动时间。一般说来，完成某题所费的时间越长，占分越多。而这种时间多少的确定，又主要靠教师或命题者平时考察与经验而事先估计。有时也不妨实践一下，如教师想考某道题，就可以由自己或他人实地做一下，看需费多少时间，再估计一般考生所需的时间。以上两种方法可单独也可综合使用。（2）制定明确的给分规定这是指考生解答到什么程度就应给多少分，什么情况下不应给分。对不同的题型应有不同的给分规则。A.对于是非题、配对题、选择题通常是每答对一题即给1。有的教师自认为题目的重要性不同而分别给予0.5分、0.25分、1分或2分等，其实这样只能使记分

16、手续繁琐而没有特别的好处。如果各种教材的重要性确有不同，则可用题目的多少来代表不同的比重（权数）。在标准化考试中大可不必实行倒扣分。只要选择题的选项有4个以上，考试题目尽可能多，并以项目分析的方法来评价试题，淘汰不佳的试题，加上考试时间充裕、鼓励学生答完全部试题，就可以有效地防止学生猜题。B.对于简答题（填充题）填对一空格给一个分数，而不要填几个空格才给一个分数。如果答案不是唯一的，就应明确哪种可以给分和不可以给分的界限。一般地，对关键字句错了，就不应给分；对关键字句无错而一些非关键字句出错，则可以酌情给分。C.对于论文题要紧扣所要考查的目标来评定考生的分数。例如，数学科考试中，我们想考查某题

17、的运算方法是否掌握，若考生在解答过程中对运算方法均能掌握，只是出现一些小的运算错误，从而导致整题出错，这时就应考虑适当给些分数；如果该题既考方法又考正确运算能力，那么才可以不给分。在这类题目中，对作文题通常还应采取控制给分和等级给分的方法。三、考试分数的综合它包括试卷内各分测验（如知识、能力、情感态度价值观三方面的测验）和各科考试分数的综合。一般地，都要用标准分来综合。第五部分 编制试题一、客观题的编制这要特别注意两点：第一要考虑到学习结果的性质（指层次性、复杂性等），所选择的题应有利于测量到预期的学习结果；第二要考虑到试题的品质，即如果其它条件相同，则以选择题的品质最佳。我们在编制试题时应尽

18、量采用选择题。只有在学习结果较适合于采用其它类型的试题时，才作改变。例如，若仅有两种可能的选项时，才使用是非题；若有很多类似的因素而且彼此关联时，才使用配对题；若主要目的是测量学生“提供答案”的能力时，才使用简答题。1.选择题的编制选择题是由一个“题干”（即呈现一个问题情境）和几个“选项”（即此问题的可能解答）所组成。题干可由直接问句或不完全叙述句所构成，选项则包括一个正确答案（或一个最佳答案）和几个似真的错误答案（或不佳答案）。这些错误答案称为“诱答”，其主要功能在于迷惑那些无法确定正确答案的考生。编拟良好的选择题，要求较多考生能答对正确答案，而有少数考生答到其它各个选项。如果全部学生均选答

19、正确答案，则表明该题因其它选项缺乏似真性而应予修改；如果多数考生答到某一选项而不选答正确答案，则往往表明教师在平时教学指导上曾出现错误的信息；如果选答各项的人数都差不多，则说明考生“猜答”的可能性极大。对后两种情况，教师应采取相应的教学补救措施。选择题可分为两种：“正确答案型”（即在几个选项中只有一个是正确答案，其它选项均为完全不正确的“诱答”）；“最佳答案型”（即各个选项均属“部分正确”，但其中只有一个选项为“最佳”或显然优于其它选项，此类可用于测量较为复杂的学习结果）。选择题的题干有“直接问句”和“不完全叙述句”两种形式。其示例如下：直接问句形式题目：下述哪种试题属“供应式”试题？A.选择

20、题 B.是非题 C.配对题 D.简答题不完全叙述句形式题目：下述试题中，属“供应式”的是：A.选择题 B.是非题 C.配对题 D.简答题以上两例的题干均叙述同一个问题，但不完全叙述句形式显得更为简明。一般说来，直接问句形式的选题较容易编拟，意义较清楚，但题干往往较冗长。故初学者宜先编拟直接问句形式，然后再改为不完全叙述句形式。选择题的选项可采用35个。选项较多，考生猜对的机会较小，考试的信度较高。选择题的优点：可测量各种不同层次的学习结果；可迅速阅卷和客观记分；具有教学“诊断”作用；有利于考查学生思维的敏捷性和准确的推断力，可避免学生依习惯性反应的作答心理；在相同努力的情况下，选择题的品质优于

21、其它客观题，因为：选择题可避免是非题、简答题中常出现题意不清的现象；选择题的编制比配对题容易；选择题的信度优于是非题。选择题的缺点：编制良好的选择题要花费较多时间，编拟诱答较为困难；较适合于识记层次的测量，不大适于组织能力和表达能力的测量；只能测量学生面临问题的情境（如是否知道或了解到什么），而无法知道学生在真实问题情境中的可能表现。选择题的编拟原则：（1）每个题目应能测量一个重要的学习结果。当我们着手编制一道选择题时，首先应考虑它能测量的学习结果是什么；具体体现到每个选择题叙述的问题情境中，必须与重要学习结果直接关联，尽量避免去测量不重要的细节或使用无关的资料，也不可用模棱两可的用语或零碎的

22、知识来提高选择题的难度。（2）试题的题干仅提出一个明确的问题。试题的题干所陈述的问题必须十分清楚明白，要避免不必要的复杂用语或难以理解的句型结构。要使任何人只要具备了该题所测量的知识、能力，就应能正确回答。若题干陈述不佳，常使问题模糊不清，致使某些学生虽具备该题足够的知识、能力和情感态度价值观，也会因不了解题意而无法正确回答；复杂的句型结构，常使试题首先变成了阅读理解方面的测量，而达不到测量所预期的学习结果之目的。题干中必须很好地说明各种条件和限制，才能获得所需要考查的学习结果。试题的题干应只提出一个问题。若包括一个以上的问题时，就会增加题意的复杂性，并会减少试题的诊断价值。因为当一个学生答错

23、时，我们可能不知道他究竟在哪个问题上无法正确回答。如下不佳题：有一种细胞属于特殊的一类，它执行着专门的任务，我们把这类细胞叫做组织。我们体内都有各种不同的组织。下面哪一种属于上皮组织这一类？A.腱 B.淋巴腺和扁桃腺 C.粘膜 D.软骨此题的题干冗长、累赘，而且塞进了与问题无关的材料。这种试题往往会降低测验的效能或效率。可将此题改成较佳试题：下面属于上皮组织的是：（选项同上）（3）尽量把各选项中共同的字句放在题干中。在每个选项中要避免重复材料，尽可能将选项中共同的字句迁移到题干中。这样不但可使题意清楚，而且可减少学生阅读选项所费的时间。例如不佳试题：“两条异面直线”这个概念：A.指在空间中不相

24、交的两条直线B.指在空间中位于两个不同平面上的两条直线C.指在空间中不在同一平面上的两条直线D.指在空间中某一平面与这一平面外的两条直线把此题改为较佳试题:在空间中“两条异面直线”所指的两条直线是：A.不相交的B.位于两个不同平面上的C.不在同一平面上的D.某一平面内与这一平面外的（4）题干尽可能以正面陈述的方式来叙述。叙述题干采用正面的方式，比采用反面方式更能测量出重要的学习结果。因为“最好的方法”或“最适当的观点”要比“最不好的方法”或“最不适当的观点”更易于理解和更富有教育意义。而采用反面叙述题干的方式，通常是在找不到足够的似是而非的诱答情况下而采用的。因为这种反面叙述题较易编制。在某些

25、情况下，采用反面叙述题干却是为了测量重要的学习结果。编制选择题当碰到缺乏足够诱答时，可改为题目内部比较的方式，或改为其它客观题。如下“内部比较题”：对所有正数a、b、c、d，下列哪个问题正确？（ab）ca（bc）（ab）ca（bc）（ab）ca（bc）A.均不正确B.只有C.只有 D.只有与 E.、和还可把上题改为“改良是非题”：对所有正数a、b、c、d，下列哪个问题正确？（若正确，请在括号内画）（ab）ca（bc） （ ）（ab）ca（bc） （ ）（ab）ca（bc） （ ）（5）必须有一个唯一正确答案或最佳答案。当使用“正确答案型”的选择题时，只能提供一个明确无误的正确答案，题干的叙述必

26、须适切，以避免产生模棱两可的答案；若采用“最佳答案型”的选择题，则所预期的答案必须是该学科专家所赞同的最佳答案，题干必须包括诸如“在下述答案中哪一个最好”之类的词句，以免考生引起困惑。（6）避免提供考生选择正确答案的线索或删除不正确答案的线索。某题所提供的题干资料正好能回答另一道题。这要求命题者随时提高警惕，并使每个试题要彼此独立。对连锁式的试题要尽量避免。下面仅将选择题中较常见的文字性线索介绍如下：.题干与正确答案中均使用了相同字眼。如：用丁字尺和一个直角形的左垂直边连接起来才能画出：A.垂直线 B.斜线 C.横线.用教科书上的用语或特定形式来陈述正确答案，使考生产生“似曾相识”的回忆而轻易

27、找到正确答案。.把正确答案叙述得较为详细，或者对正确答案以修饰词（如“有时”、“也许”、“通常”、“可能”等）来形容，使考生极易猜对正确答案。如：和一个平面相交成等角的两条直线为A.相交 B.平行 C.异面 D.以上均有可能.在诱答中不可用绝对性的修饰词（如“总是”、“从来”、“完全”、“唯一”等）。因这些字眼通常属于错误的叙述，因而使正确答案更为明显而增加被考生猜中的机会。.在选项中不可出现意义相同或互相包含的二个选项。因为正确答案只有一个，所以考生极易排除这类选项而找到正确答案。如不佳题：下述哪一个是成就测验结果的最重要特征？A.一致性 B.信度 C.适切性 D.客观性本例中“一致性”与“

28、信度”乃是同一件事，故二者极易被考生排除。（7）使诱答似是而非以吸引未具备应有知识、能力的考生。诱答在逻辑上应和题干一致，并且是某种能力水平学生所常犯的错误。编制良好的选择题的艺术，取决于有效诱答的似真性。增加诱答似真性的方法如下：A.使用学生共同的常犯的错误或过失来作诱答；B.以学生惯用的模糊性用语来叙述诱答；C.在正确选项和诱答中均使用貌似“精确”、“等价”、“重要”等堂皇性的用语；D.诱答中使用迷惑性的线索,如固定的用语、具有科学味道的答案、与题干有语文联结的关系等。但应注意不要提供过分失真的线索，致使失去诱答的功能；E.诱答的长度和措辞的复杂性与正确答案相似；F.保持选项表面上的同质性

29、，但应注意各选项之间必须具有实质性的差异。（8）尽量避免使用“以上皆是”或“以上皆非”的选项。使用“以上皆非”作选项，在“最佳答案型”中是不妥的。在“正确答案”中只能测到学生辨别不正确答案的能力，而未必保证学生了解正确答案是什么。例如，一个学生虽不能说出认知领域里各目标层次，但却能正确回答下题（选择其中的选项D）：下列哪一个属认知领域的目标？A.批判思考 B.科学思考 C.推理能力 D.以上皆非学生回答这个问题时，只要知道目标分类是新知识而与智能不同，即可正确回答上题。显然，以此来判断学生的学习成就，其证据是不充分的。只有在所规定的选项都可归入正或误一类时，才可使用“以上皆是”或“以上皆非”的

30、选项。如不佳试题：在计算人体所需的基本能量时，必须考虑下面哪种因素？A.年龄 B.身高 C.体重 D.以上皆是将此改为较佳试题：（题干同上）A.只考虑体重 B.只考虑年龄C.只考虑身高和体重 D.只考虑年龄和体重 E.年龄、身高和体重均需考虑“以上皆非”这种选项较适合于数学计算题和外语拼写题等。（9）以随机方式来安排正确答案的位置。正确答案在各选项位置上出现的次数应大致相等，其配置不能有明显的趋势。心理学家经过研究发现，在学生不懂而靠猜测来回答问题时，选答首尾两选项的人数较少。避免考生这种作答心理和方法，就是以随机方式来安排正确答案的位置。当选项内容为具体数字时，可按一定顺序来排列，这样可以避

31、免提供不必要的线索而影响考试结果的可靠性。编制选择题还有一些小的原则，如不可依教科书内容顺序来排列试题，否则会降低考试的逻辑效度；题目不可太多，否则会变成速度测验；考生答对一题要给予一个整数分，而不要给小数分；要使用最经济而有效的试题格式，便于阅读、评卷、计分等。其中最重要的考虑是题干的正确性、答案的唯一性和选项的似真性。上述原则中均有例外的情形，而且各个不同学科也有不同情形的具体运用。2.是非题的编制是非题也叫二项选择题。它最适合于评价考生对两种对照性情况的认识能力。它要求考生作绝对正误的判断，故每一叙述必须是绝对正确或绝对错误的，而且要能测量到重要的学习结果。是非题的优点：（1）较易编制，可适用于各种教材；（2）记分客观，取样范围广泛。是非题的缺点：（1）不适用于测量较高层次的学习结果；（2）试题受猜测的机会很大。由于是非题有上述严重的缺点，故往往在无法用其它类型测验题来测量学习结果时，才可使用，例如只有两种可能的答案、区分两种不同的概念、识别适切和不适切的资料、确定有效或无效的论证等。是非题的编拟原则：每一题只能测量一个重要的概念，避免两个以上的