考试题库的设计Word文档下载推荐.docx

考试题库的设计Word文档下载推荐.docx

《考试题库的设计Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《考试题库的设计Word文档下载推荐.docx（17页珍藏版）》请在冰点文库上搜索。

二、题库内部结构设计6

（一）题库指标体系设计6

1．指标体系设计的目的和任务6

2．指标体系设计的原则7

3．指标体系设计的方法7

4．题库常用指标简介8

5．编写《题库指标体系说明书》12

（二）组卷方案设计13

1．组卷方案设计的目的与意义13

2．组卷方案设计的要求13

3．组卷格式设计13

（三）题库题量分布设计14

三、题库系统功能设计16

（一）系统管理功能设计16

（二）试题管理功能设计17

（三）组卷、测试功能设计18

（四）数据分析功能设计18

参考文献:

19

一、题库系统宏观设计

（一）指导理论设计

题库系统宏观设计最重要的是题库测量理论的设计。

题库是用于测量的，测量是有理论指导的，不同测量理论指导下所建的题库也是不一样的，建设的方法不一样，建起后的题库的性能也不一样，在此基础上所开发的测量的性能也不一样，所以不能小视题库建设测量指导理论的设计。

目前建设题库的指导理论不外乎经典测量理论（CTT）和项目反应理论（IRT）两种。

经典测量理论为人们所熟知，模型相对比较简单，以其为指导理论建设题库，投入相对较小，其性能特别适用于开发常模参照性测验。

但由于其简单，因此在测验性能的控制方面精确程度较差，特别是它的题目参数估计严重依赖于被试样本，致使题库参数的可靠性较低。

项目反应理论是较后发展的一种测量理论，有较为精确的计算模型，因此以它为指导建设的题库对测量性能的控制较为有效，它适用于多种类型的测量，特别是它还适用于开发计算机化自适应测验（CAT），是经典测量理论无法相比的。

但由于它的模型的精确，导致了模型的复杂。

以项目反应理论指导题库建设、以至编制测验，一要对理论本身有较深入的研究，二要有相对较大的投入。

题库设计时要根据题库开发的具体目的、测量的精度要求、技术水平及人财物的投入综合考虑，选定指导理论。

如果设计者倾向于选择项目反应理论，还需进一步考虑具体选用什么模型，如果题库试题记分形式是单一的二值记分，则可选用二值记分模型，如单、双、叁参数Logistic模型等。

如果题库试题记分形式多种，则可能要选用多值记分模型，如Samejima等级模型、分部评分模型等。

（二）运行环境设计

题库系统的开发运行环境设计是指计算机性能方面的设计，主要包括以下几个方面：

1．题库系统开发成网络版还是单机版，这要根据题库开发目的而确定，当然也与开发者的技术有关。

2．根据题库试题内容的信息形式是纯文字还是含有图表，以至是否含有音、像形式来设计所用的支持系统和开发语言，因为不同的信息形式所需的支持系统，开发所用语言都是不同的。

3．根据各种信息的形式和内容特征确定使用的数据库类型和各种数据表的格式。

4．做好计算机界面风格设计。

计算机界面风格设计形式上是为了统一风格，同时也是为了理清整个系统的信息流向。

界面设计要美观大方、风格统一，信息流向要能在界面上有清晰线路。

界面也是系统功能呈现的窗口，要明确功能种类、性质以及功能之间的信息流向关系，让用户使用方便，表现出系统的友好性。

计算机开发，运行环境设计是一项比较专业的技术，一般题库建设单位必须与承担系统开发的单位会商，说清自己的建库目的、题库内容和使用要求，由开发方具体做出如上各项设计。

5．确定所需硬件设备的种类、规格、要求，如硬盘、内存、速度及其他附加设备的规格。

二、题库内部结构设计

题库内部结构包括两个方面的内容，一是题库中试题的参数指标体系；

二是题库中试题在各个指标上的分布状况。

高质量的题库必须有良好的内部结构，题库有良好的内部结构，才能由计算机自动、顺利地组成合乎测试要求的试卷。

题库内部结构设计主要应做好题库指标体系设计和题量分布设计这两项工作。

但由于题库题量分布受到题库所组试卷结构的制约，因此还必须做好需组试卷结构的调查或设计工作。

（一）题库指标体系设计

1．指标体系设计的目的和任务

题库是存放试题的“仓库”。

试题在题库中存放必须有一定的规则，才能使整个题库井然有序，才能使存储和调用试题方便、快捷、准确。

设计题库指标体系实际上就是设计题库中试题的存放规则和试题的调用方式。

如果我们给题库设置了题型指标，我们就可以按题型分类存储和调用试题；

如果我们设置了内容指标，我们就可以按内容分类存储和调用试题；

如果我们同时设置了两个指标，我们就可以同时按两个指标存储和调用试题。

给题库设置的指标越多，试题存储的位置就越精确，调用也就越方便、越快捷、越准确。

这是题库指标体系设计的一个目的。

题库中的试题是用来测量的，试题的测量性能是由它多方面的属性所决定的。

对考生的每一次测量都必须由具有各种不同测量性能的试题组成合乎测量要求的试卷去完成。

如果要整份试卷合乎测量要求，则对每一道入选试题的性能就必须有明确的规定。

要让计算机“明白”组卷人对试题性能的要求，就必须给试题设计一个指标体系，每一指标都代表试题某一方面的测量性能，每一试题在各个指标上都有它确切的代码表示它的特殊性能，组卷时就可以由计算机按组卷人指定代码到相应存储地点去随机调用试题。

只有这样，才能自动生成合乎要求的试卷，这是题库指标体系设计的又一个目的。

设计题库指标体系的任务包括：

（1）明确本题库共设几个指标；

（2）指出每一个指标的名称是什么，解释指标的含义是什么；

（3）确定每一个指标的变量性质，是人工设定的分类、分层变量，还是统计求取的连续变量；

分类或分层各有多少；

各个层次或各个类别如何界定；

（4）指定每一个指标上每一层次或类型的代码。

2．指标体系设计的原则

题库指标体系的设计关系到整个题库质量的高低，关系到所组试卷的质量高低，同时也关系到题库的管理和使用是否方便和高效。

一般来说题库指标体系设计应该遵循以下5条原则：

（1）科学性原则科学性原则首先是指整个指标体系要准确反映本门课程试题的各项测量性能；

其次是指其中的每一个指标的名称要规范准确，每一个指标的意义要确切，要确实反映试题某一个方面的测量性能；

再次是指每一个指标的分层或分类意义明确，不同层次（类别）之间的测量性能差异明显。

（2）完备性原则完备性原则要求所设计的指标体系对本门课程试题的各种测量特性有尽可能宽的覆盖面，尽量不要遗漏重要的测量性能。

（3）简易性原则题库指标体系设计应做到以尽量少的指标完成对尽量宽的测量性能的覆盖，使每一个指标都能反映一种重要的测量性能。

（4）独立性原则为题库设计的每一个指标都独立地反映某一种测量特性，互相之间尽可能不要交叉重叠，更不要有包含现象。

（5）可操作性原则可操作性原则是指在所设计的指标体系下能很容易地为每一道试题确定它的层次或分类的代码值。

3．指标体系设计的方法

第一步：

初拟指标。

根据完备性原则，从两个角度罗列各种可能的测量指标。

第一个角度是从分析学科性质出发，罗列出评价考生优劣的各种指标，如认知层次、知识容量、反应速度等等；

第二个角度是从分析本学科试题的各种测量性能出发，罗列出评价试题性能的各种指标，如题型、难度、分值等等。

分析、罗列时特别要注意紧密结合本学科的特性，不要遗漏了最能反映本学科测量特征的指标。

第二步：

精选指标。

根据简易性和独立性原则，对初拟的各种指标作进一步的性能分析，剔除重复的和可要可不要的指标，合并重叠交叉的指标，根据合并后指标的共性给出新指标名称。

在计算机管理的题库中，直接用来调题组卷、控制测量性能的指标数，一般宜设置在5～7个之间，指标太少，测量性能的控制将比较粗糙，指标太多，计算机组卷的成功率就会降低。

第三步：

精炼指标。

根据科学性和可操作性原则对所选指标作进一步的精炼。

指标名称表述要明确、规范，指标定义要确切、可操作化。

第四步：

指标细分层（类）。

如果所选指标是分类、分层变量，还需要将每一指标细分为若干层（类）。

大多数指标的分层数不必超过l位数，但也不宜太粗，通常在3～9层（类）之间。

对每一层（类）都必须给出名称，并予以确切的分层（类）定义，分层（类）定义应突出层（类）间的差异，而且最好是可操作性的定义，方便命题教师界定。

对有些特殊指标，如认知层次、难度级别等，可以在共同讨论或实测的基础上给出一些标准的样例题供命题教师作参照标准。

每个指标分层（类）确定后应该对每一层（类）进行编码，编码一般应该按顺序赋值，某些指标的编码位数超过一位数时，小码值前应用0填满使用位数。

4．题库常用指标简介

（1）认知目标层次

认知目标是指与智力活动有关的学科教学目标，是题库常用的测量性能指标，由于其标示的是心智能力，因此普遍受到学科专家的重视。

设计学科的认知目标层次必须根据学科教学目标，深入分析本学科的性质，分析本学科教与学中教学对象智力活动的类型并区别出它的层次高低，然后加以界定。

认知目标的分类是一个世界性难题，因为世界上学科的种类和层次千差万别，不可能找到一个普遍适用的分类方法。

当今较受推崇的分类法是美国教育心理学家B.S.布鲁姆的认知目标分类法。

布鲁姆将认知目标分为六个层次：

知识、理解、应用、分析、综合、评价。

他认为这六个层次目标是由简单到复杂、由低级到高级的一个发展过程，其中高层次目标包括了以下所有层次目标，高层次目标的发展要以低层次目标的发展作基础。

布鲁姆的分类比较多地使用了教师们熟知的教学语言，因此容易被教师们接受，故而较为流传。

但有人推测布鲁姆在提出该分类时是以高中文科课程为模型的，因此无论是在科目性质还是教学对象上都有一定的局限性。

我国高等教育自学考试对布鲁姆的分类稍作改造，给出了一种四层次认知目标分类法：

识记、理解、简单运用、综合运用。

各学科在为本课程设计认知目标分类时一般可借鉴以上两种方法，结合本学科的特点作认真分析。

操作方法是以其中一种分类作基础稍作修改，或合并，或增删，但在作出修改之后都必须用同一种语言风格重新进行定义。

最终的层次数宜设置在4～6之间。

认知目标层次的编码习惯上由低到高从1开始标定，中间不跳数码。

（2）难度

难度为被试解题时心理上感到困难的程度。

难度是考试题库最常用的指标。

难度指标最理想的设置方法是采用测试获取原始数据，并用一定的统计方法求取。

经典测验理论的难度可以通过求取常模团体被试在试题上的通过率或得分率进行估计，而项目反应理论的难度要通过模型估计。

在实际工作中，由于测试的困难，难度有时也可由人工评定。

人工评定难度是在人工评定题目难度顺序后再人工标定等级，比如将最易题标为1等，将最难题标为K等，中间再力求等距地分为若干等。

从理论上说，难度等级标定越细，试题的测量性能越好，越能区分被试的差异。

但由于这时的难度是由人工排序的，其精确性有限，因此将难度等级标得太细并无实际意义。

目前可见到的难度等级最多标为9等，少的如我国自考系统常用的较易、中等、较难、难四等。

人工评定难度也要有一定依据。

各学科应针对本学科特点进行分析，找出影响本学科试题难度的各种因素，以及各因素对难度的影响方式和程度，并把统一的结论提供给命题教师参考。

还有一种是以人工评定为主，以测试为辅的难度标定方法。

这种方法是选出一批典型试题先进行测试并排出其难度等级，然后作为评定其他试题难度等级的参照标准，目的是使人工评定更为准确。

建议用这种难度标定方法时典型题的题数不要少于50题，参加测试的人数不要少于200人。

用这种方法还可以求出实测难度与难度影响因素的数学关系，再用统计方法标定其他试题的难度等级。

（3）内容指标

内容指标用来标示试题所涉及的课程知识内容之间的区别。

题库设置内容指标主要目的是为了控制题库试题知识内容的分布，保证实考知识内容有一定的覆盖面，既防止在相同知识内容上重复出题太多，又防止在某些知识内容上没有考题的现象。

由于大多数课程的知识内容体系复杂庞大，所以内容指标常采用多级制，目的在于使内容的分类可以更为精细，另外形式上也方便标示和识别。

内容指标最常见的一种标示方法是分为三级：

一级指标即可采用教材的自然章，一般取一位数即可，若总章数超过十章，就取二位数。

二级指标采用各章的自然节，一般也只需取一位，但如果教材有一章多于十节的，则整个二级指标就必须都用二位数。

三级指标是标示每节的考核知识点的，一般应该使用二位数。

一二级指标可用章、节的自然序号，而三级指标必须人工编排，编排时一般由01开始顺序进行，最好不要跳跃。

这项工作，我们认为最好由命题专家共同研究完成，以保证内容指标标定的科学性和准确性。

如果专家工作量实在太大，至少也应由专家小组对本学科知识点的定义、知识点划分办法和是否列为考核点给出明确而又便于操作的定义，再由命题教师据此分工完成考核知识点的划定和编码。

内容指标第二种常见标示方法是按课程的知识体系分类。

如把高等代数先分为行列式、矩阵、线性方程组、二次型、线性空间等，以其作为一级指标，然后再按各自的知识体系列出二级指标，如矩阵下分为矩阵概念、矩阵运算、矩阵秩、矩阵逆、矩阵初等变换等。

最后再划分考核知识点作为三级指标，这种方法本质上与第一种方法是相同的，只是按知识体系的划分更为严谨，更要依靠学科专家。

语言类课程知识内容的分类有其特殊性。

其一级指标常常是按语言要素和语言行为划分的。

如将外国语言课程内容分为语音、语法、词汇、阅读、翻译、写作等，以其作为课程内容划分的一级指标。

二级指标有时以所提供的为语言材料、文学材料、专业科技材料等材料性质以及3000字、5000字、8000字的阅读量等划分。

这样的划分方法再细至三级指标已较困难，因此要有其他的控制内容重复的办法。

具体方法只有靠该类课程专家自行研究。

（4）内容地位

根据知识内容在学科知识逻辑体系中的地位不同，可将相应的考核知识点区别为主干内容、分支内容和细节内容三类。

主干内容是指那些在课程中处于逻辑主线上的内容，缺了它逻辑发展就会脱节。

这类内容是一个主修该门课程的考生必须掌握的知识。

分支内容是指与主干内容相连，使课程内容结构基本完整的那类内容。

细节内容是指与分支内容相连，而与主干内容的发展没有直接关系的内容，其作用是使课程内容更为丰满。

设置此指标一是为了在命题和组卷时控制好三类内容的比例，以适应不同对象。

比如有的对象只要求他们掌握主干内容的知识，有的对象则要求他们适度掌握一些分支内容的知识，更高要求的对象则在主干内容和分支内容上都有较大比例且适当有些考核细节内容的试题。

但到底何种比例恰当，须由各学科自行研究确定。

设置此指标的另一个目的是控制题库中偏题比例。

由于题库建设时试题量较大，命题教师可能会转向一些细枝末节寻找考题，有此指标后，在分配命题任务时就可以从总体数量上加以控制，在组卷时更可以限制在一定比例之下。

（5）题型

题型是所有题库都必须设置的指标，因为各种题型的测量性能不一样，而且是各有长短，因此一个题库必须配有多种题型，有些特殊课程可能还要用一些特殊试题类型。

一个题库到底用多少种题型，用哪些题型，必须结合课程特性而定。

题库中使用的题型通常有：

单项选择题、多项选择题、判断说明题、名词解释题、简答题、计算题、证明题、论述题、案例分析题等。

题型总数和具体题型确定后，应该给每种题型顺序编码。

建议一个题库题型总数最好控制在5～10种之内，太少可能难于测量到所有性能，太多又可能在考试时给被试带来太多的无关刺激，也给计算机自动组卷增加了难度。

（6）分值

题库中设置分值指标是为了在组卷时为计算机提供控制试卷各方面结构比例的当量的，同时也是为了能够统计全卷分值数。

从表面看分值似乎不是试题测试性能的反映指标，但由于它是试题评分的权数值，在改变整卷测量性能中能起很大的作用。

在手工命题组卷中，试题的分值分配有两个要求，一是与试题在全卷测量中起的作用相匹配，也就是“加权”要合理；

二是全卷满分值要符合考核要求。

这两条要求在题库组卷中同样是要满足的。

另外，考虑到机器自动组卷的操作方便，建议题库各种试题的赋分要相对统一。

赋分可以以题型为主要标志，一般同一种题型赋一种分值，不能统一赋一种分值就赋成两种，种类太多就会给组卷带来较大困难。

另外，试题赋分时最好不要赋带有小数的分，一是没有必要，二是可以减少组卷时统计上的困难。

（7）作答时间

试题作答时间是组卷时必须考虑的重要指标。

我们通常的考试是一种难度考试，也兼有一定的速度考试性质，所以总体上还是限时的。

命题组卷时必须对考生的作答时间作出充分估计，既没有必要让考生早早结束考试而浪费考试时间，也没有必要让大批考生做不完题目。

这就要求教师在命制每一道试题时都估出作答时间，以便组卷时控制整卷测试时间。

当然，一般说来试题分值与作答时间也是有一定比例的，如果认为本题库分值指标基本上可以涵盖作答时间指标，总体误差不会很大时，也可以不设作答时间指标。

但在有一种情况下作答时间指标必须给出，这就是如果要在计算机上实施考试，特别是采用计算机化自适应考试方式考试，那么就一定要设置作答时间指标。

以上七种是题库的常用指标，各学科题库要结合自己的学科特点从中选用，也可改造或增加一些特殊指标。

另外，考虑到题库维护保养的方便，还可增设一些档案型指标，如入库时间、命题人等。

如需对某些试题的引用材料增设引文出处、语言学科阅读材料增设阅读量指标等等，也由各科自行设置。

5．编写《题库指标体系说明书》

题库指标体系设计工作完成之后，应该编写一份本题库的《题库指标体系说明书》。

该说明书的主要作用是统一思想，规范表述方法，防止歧义理解。

说明书应发给所有命题教师人手一份，供教师命题时遵照执行。

另外说明书也应送题库软件制作人员，以使双方协调解决设计与实现之间的矛盾和问题。

6．设计命题卡

在题库指标体系确定之后，应该为命题教师设计命题卡。

命题卡是规范教师命题形式的重要工具。

使用命题卡会给教师带来方便，也给后期审题和计算机录入带来很大方便。

命题卡设计的要求有：

格式要规范、简洁，内容要齐全，所有要求教师填写的项目都要在卡片上列出。

指标分类有名称的应该要求老师将名称及编码都填写清楚。

试题的文字栏、答案和评分规则的文字栏空区大小要充分估计文字容量。

有条件或有必要时，还可以要求题库软件编写人员协助编写电子版的命题卡，即试题录入软件，以减少工序。

（二）组卷方案设计

1．组卷方案设计的目的与意义

组卷方案是给计算机下的组成什么样试卷的一套指令。

建成一个题库之后，必须从中抽取试题组成试卷才能完成考试的任务。

题库计算机系统中通常编写了自动组卷的程序，但是要组成什么样的试卷却必须由人来决定并转化成计算机指令输入计算机，然后计算机才能根据组卷要求去调取相应试题，组拼出合乎要求的试卷来。

组卷方案设计就是为实施这一过程所做的准备工作。

组卷方案设计的好坏会影响所组试卷的质量，会影响组卷成功率，也会影响考试的质量。

另外，设计的组卷方案还会影响到题库题量分布设计，所以不可轻视组卷方案设计这项工作。

2．组卷方案设计的要求

组卷方案从形式上看是针对题库的每一个指标指定试卷题量在它的各个分类上的占分比。

通常一个题库需要明确指定分类占分比的指标有题型、内容、内容地位、认知目标层次、难度等五个，实际中当然要据本课程题库的指标体系来确定。

定占分比时，有多级指标的内容指标一般定到一级指标（如章）各类的占分比，定到二级（如节）的就很少，没有定到考核知识点这一级的。

其他指标大多只有一级，因此直接定比例就可以了。

组卷方案设计形式上的目的是为了指挥计算机组卷并希望有较高的成功率，更重要的目的是为了保证所组试卷的性能质量。

比如，一些目标参照性考试建设题库的目的是从中组成符合考试标准的目标参照性试卷。

因此，保证所组试卷对考生合格与否的鉴定准确无误，是这类题库对组卷方案设计的本质要求。

设计的组卷方案可一次性地输入计算机，成为计算机的“默认”方案，即在启动计算机组卷时，只要用户不提特殊要求，计算机就将根据设计好的组卷方案组卷。

如果用户认为情况变化，要修改组卷方案，那么计算机也应允许用户在现有方案基础上重新设计。

3．组卷格式设计

试卷组成后必须排版打印。

正式的试卷除了题目文字之外还有许多附属文字，比如考试名称、题型名称、分值说明、作答说明等。

其中有些文字可由编程人员直接输入，而对于作答说明之类的有关对考试的要求，编程人员是不可能自编的，特别是如果还有一些特殊类型的试题，需给出解题样例，则编程人员更是不可代劳。

所以在前述工作都完成后，还需就本题库考试试卷的格式做一设计，特别是对各种题型的作答说明要写好文字材料，指出其位置，最好是设计一组卷格式，除了具体试题可以不写之外，其有关的文字甚至包括作答空行多少都要确定。

提供组卷格式给编程人员可以保证最终试卷打印格式的规范性。

（三）题库题量分布设计

题库题量分布设计是题库指标体系设计后的一项非常重要的设计工作。

题量分布设计应该在总题量确定之后进行。

确定一个题库的总题量要考虑哪些因素呢？

首先要考虑的是题库组卷的需求量和需求频率。

如果组卷需求量大、需求频率高，则题库题量应该尽量大一些。

其次是考虑题库中试题重复使用间隔周期的长短。

如果要求间隔时间长，则题量要大，如果重复使用间隔时间不必很长，则题量可少一些。

另外还要考虑本科目的考核知识点总量有多少。

如果考核知识点多，则题库题量可要求大一些，如果课程所能考的知识点较少，