搜集教育评价信息主要方法(第四章).ppt

1、第四章 搜集教育评价信息主要方法,学习目标识记：观察法、调查法的含义。理解：观察法和调查法的特点及在搜集教育评价信息中的重要作用，教育评价文献信息的来源，调查的一般步骤和要求，测验的用途，测验的质量分析。掌握：有结构观察法，问卷调查法和访谈调查法，测验的类型，编拟测验的一般要求。学习重点有结构观察法，问卷调查法和访谈调查法，编拟测验的一般步骤和要求。,第四章 搜集教育评价信息主要方法,第一节 观察法 观察法的含义和特点 1、观察法评价者通过自身的感官或借助于一定的科学仪器，有目的、有计划地对评价对象的自然活动状态进行系统、深入地观察，以获得评价对象准确客观资料的方法。2、特点：（1）目的性和计

2、划性（2）自然性和真实性（3）观察的重复性（4）观察的能动性（5）观察的凭借性,第四章 搜集教育评价信息主要方法,第一节 观察法二、观察法在搜集教育评价信息中的重要作用（P127）(一)能够获得评价对象比较充实、客观的原始资料，为教育评价提供重要依据和前提（二）观察法是检验教育评价思想和理论是否科学的重要途径,第四章 搜集教育评价信息主要方法,第一节 观察法三、观察法的类型 1、根据观察时评价者是否借助于仪器直接观察法和间接观察法。2、按评价者是否直接参与评价对象所从事的活动参与性观察法和非参与性观察法。3、按照观察的范围全面观察法和抽样观察法 4、根据观察实施的方式结构观察法和无结构观察法有

3、结构观察法：是有明确的评价目标、对象和范围，有详细的计划、步骤和设计的观察方法。无结构观察法：指对观察内容项目与观察步骤不预先确定，也无具体记录要求的非控性观察。,第四章 搜集教育评价信息主要方法,第二节 文献法 一、文献法的含义和种类 1、文献指反映评价对象基本情况和价值程度的书面资料、数据、图表及音像材料等的总称。2、文献法根据评价目的和内容，收集、鉴别、整理有关评价对象的文字记载或音像记录的材料，从而收集评价资料的方法。,第四章 搜集教育评价信息主要方法,第二节 文献法二、教育评价文献信息的来源 1、学校有关档案与校历和会议纪实等 2、课程计划和教学文案等 3、学校各项管理制度及学生管理

4、文案等 4、课题及其研究成果。包括教师申报和承担的课题，完成的著作、论文、调查报告、课件制作以及教师与学生的各种奖励证书等。,第四章 搜集教育评价信息主要方法,第二节 文献法 三、教育评价文献信息的查询1网络查询2调查访问各地方教育行政部门3调查各学校行政办公室和教导处,第四章 搜集教育评价信息主要方法,第三节 调查法一、调查法的含义和特点 调查法通过问卷、访谈、测验等科学方式，有目的、有计划、系统地收集有关教育评价的信息与资料的方法。调查法具有调查问题的现实性、反映问题的真实性、样本的代表性和方法的灵活性等特点。,第四章 搜集教育评价信息主要方法,第三节 调查法二、调查的一般步骤和要求第一步

5、，明确调查目的，确定调查范围及对象。第二步，选择调查方式。第三步，制定调查计划及提纲。第四步，实施调查。第五步，调查资料及数据的处理。,第四章 搜集教育评价信息主要方法,第三节 调查法三、问卷调查法以书面提出问题，由评价对象作答的方式进行收集资料的方法。1、与观察、访谈等方法相比问卷调查法的优点是:（1）时间灵活、效率高。问卷可以当场发给被调查者，也可以通过邮寄或者网络实现对远距离的多方面的调查对象进行调查，既能获得大量信息，有能节省时间，和经费。（2）取样不受限制。可以根据抽样的科学要求和实际情况，确定调查样本的容量，可以选取大样本，也可以选取典型样本。（3）调查者和被调查者无须面对面接触，

6、具有一定的回避效果。问卷调查一般不署名，被试回答没有更多的心理负担，容易获得被试的支持，易使结论比较客观。,第四章 搜集教育评价信息主要方法,第三节 调查法三、问卷调查法 2、其局限性是:（1）设计比较麻烦。（2）回收率问题。回收率较低，会影响其代表性。另外，被调查者填答问卷时可能出现估计作答或回避本质性东西的现象，影响信息的准确性。,第四章 搜集教育评价信息主要方法,第三节 调查法三、问卷调查法 3、问卷的设计要求（1）问题的表述力求简单清楚，避免使用模糊的、或专业技术性术语；（2）问卷题数量要适度；（3）问题的措词尽量运用中性词，避免使用导向性 或暗示性语言；（4）提供答案的选项应涵盖问题

7、答案的所有内容；（5）尽量能避免使用否定性问题或双重否定性问题；（6）问题排列要整齐美观，先易后难。,第四章 搜集教育评价信息主要方法,第三节 调查法四、访谈调查法指评价人员或确定的访谈者与评价对象或访谈对象面对面地交谈，从而了解情况、搜集有关评价资料与信息的方法。,第四章 搜集教育评价信息主要方法,第三节 调查法四、访谈调查法1、优点：（1）具有较好的灵活性和适应性。调查者在现场能够随时与被试交流，达到预期的访谈目的。同时访谈对象不受文化程度、年龄等的限制。（2）具有较强的可控性。与问卷调查法相比，访谈调查法通过访谈者的主观努力可以有效控制访谈进程和质量。（3）调查过程具有互动性。访谈中，访

8、谈员和访谈对象始终直接接触，它们相互影响、相互沟通、相互启发，促进访谈问题的深入。,第四章 搜集教育评价信息主要方法,第三节 调查法四、访谈调查法 2、局限：（1）需要更多的时间和经费，效率较低，不适 合在较大范围内进行的调查（2）标准化程度低，不易进行统计分析。（3）访谈者的访谈技巧和态度、间隔时间等会影响调查结果。,第四章 搜集教育评价信息主要方法,第三节 调查法四、访谈调查法 3、运用访谈法应注意的主要问题（1）充分做好访前准备。要制定切实可行的访谈计划、设计访谈记录卡，并对访谈员进行必要的培训；了解访谈对象各方面的特点，以保证访谈能够顺利进行。（2）选择适当的时间、地点和场合进行访谈（

9、3）访谈者需要由访谈对象的熟人引见（4）建立一个自然融洽的访谈氛围（5）访谈者要注意提问技巧（6）要严守保密的承诺。,第四章 搜集教育评价信息主要方法,第三节 调查法 五、抽样的基本方法 几点预备知识：总体和样本 根据研究的目的，具有相同性质的事物的全体称为总体。组成总体的每一个具体事物称为个体，又称个案（case）。如果总体中个体数目有限，称为有限总体。如果总体中个体数目有无穷多个，称为无限总体。,一般来说，即使是有限总体，其中的个体数量也是大量的。统计学研究的是大量乃至无穷的事件发生与变化的规律。没有大量性，统计工作就没有多大的意义。,总体中的一部分称为样本（sample），是总体中的部分

10、个体组成的，样本中个体的数目称为样本容量，用n表示。样本虽然是总体的一个局部，但常作为总体的代表。不过，要能很好地代表总体，选取样本要符合随机原则。,随机原则,总体中每一个个体都有相互独立的相等的被抽到的概率，这就是随机原则。随机原则也称为等可能性原则。所谓相互独立就是任何一个个体被抽与不被抽，与其它个体没有关系。,按照随机原则抽选样本数据，可以不受抽选者主观意志的影响，某一个体被抽与不被抽就是随机事件。其目的在于希望从总体中“均匀”地选出代表，使样本数据的分布类似于总体数据的分布，从而比较准确地代表总体。,随机抽样与其它抽样的重要区别在于，随机抽样的结果能用概率统计的方法进行计算分析，包括对

11、总体的估计和抽样误差的分析。而其它的抽样方法如典型选取样本，因为完全是由人主观确定的，就不能对总体进行数量化的估计、判断。随机抽样的方法有几种，可视具体情况进行选择。,1、简单随机抽样,简单随机抽样也叫纯随机抽样，是完全按照随机原则，从总体中随机抽取一定数目的个体作为样本。有两种方法，一是抽签法，一是随机数码法。,抽签法：先将总体各个体编上号，这些号码无大小意义，仅是各个体的代号，每一个体都要有一个号码。将每一号码写到纸签上或卡片上，充分混合，任意抽取，抽到预定的数目为止。,随机数码法：在总体数目较大时，抽签法不方便，用随机数码表，将各个体先编上号，从随机数码表中任何一个地方开始，向任何一个方

12、向选取。教育研究中一般采用不可重复抽样,简单随机抽样运用时注意：（1）它只适用于总体单位（个案）数目不大的情况。否则编码和搜集的工作量过大就失去应用价值；（2）总体内单位（个案）之间差异较大时不宜采用这种方法。亦即，当总体异质性不大且样本较小时常采用简单随机抽样方法获得样本。,2、等距抽样（系统、机械抽样）,等距抽样：就是先将评价总体中的个体按一定顺序排列，然后按固定的顺序和相等的间隔，从中抽取一个对象而获得样本的方法。又称机械抽样或系统抽样。,如，在一个50人的班上抽8人作为样本，50/8=6.25 6。所以，可以取3，9，15，21，27，33，39，45号共8位学生为样本组。也可选1，7

13、，13，19，25，31，43号。第一个号码的选取很重要，应采用随机原则在第一个间隔中抽选，使样本均匀地从总体中取出，能够充分地代表总体。,等距抽样运用时应注意：（1）不适用于大容量的总体。（2）当研究的总体的个案类别间数量悬殊时，抽选样本经常缺乏代表性。（3）抽样间隔接近研究总体个案类别的分布间隔时，会形成周期性偏差。抽样间隔计算公式为：抽样间隔=总体数（N）/样本数（n）例如：某校初中三年级有110名学生，采用等距抽样方法抽选11名进行调查。,具体操作步骤是：（1）将总体调查对象（110名学生）进行编号，即从1号至110号。（2）确定抽样间隔。已知调查总 N=110，样本数n=11，故抽样

14、间隔=110/11=10。（3）确定起抽号数。用10张卡片（即抽样间隔）从1号至10号编号，然后从中随机抽取1张作为起抽数号，如2号。（4）确定被抽取单位。计算方法是：2；2+10=12；2+10 2=22；.2+10 10=102。,3、分层抽样（类型、分类抽样）,分层抽样：根据某变量将总体划分成若干组、类别或层次，然后在各组中采用简单随机抽样或机械抽样方式，抽取一定数目的个体汇总成所需的样本。因此，类型抽样又称分类抽样或类型抽样。,在实际工作中广泛使用类型抽样。如，要研究“上海市青少年心理健康水平”，就可在上海市各区的重点中学、普通中学的各年级、各班级分别随机抽样，然后汇集成样本。,美国总

15、统克林顿到北大，有一个面向学生的招待会，北大有关部门向每个学生宿舍分发了一张招待会入场券，而每个宿舍内部就采取抓阄的方式“随机抽样”，这也是分层抽样。,实践证明，类型抽样不仅方便，在总体中个体数量很大、内部构成复杂、数据离散度很大的情况下，与简单抽样和机械抽样相比，类型抽样容易取得满意结果。如，北大就不能让两万学生集中起来抓阄。,分层抽样运用时应注意：（1）要尽量缩小层次内的差异，增大层次间的差异。（2）分层不宜过多，以免使层内单位数过少而无法抽样。（3）在划分层次时，做到分类明确，不发生混淆或遗漏。分层抽样具体形式有两种：（1）等比例分层抽样。即按各个层（或各类型）中的单位数量占总体单位数量

16、的比例分配各层的样本数量。,例如：某校共有30000名学生，按学业成绩好坏进行分类，其中学业成绩好的学生为6000名，占总体的20%；学业成绩中等的学生为18000名，占总体的60%；学业成绩差的学生为6000名，占总体的20%。要从中抽选200名学生进行教学质量调查，则各类型应抽取的样本单位数为：成绩好的样本单位数目为：200 20%=40 成绩中等样本单位数目为：200 60%=120 成绩差的样本单位数目为：200 20%=40,（2）分层最佳抽样。它不是按各层中单位数占总体单位数的比例分配样本单位，而是根据其它因素（如各层样本标准差大小），调整各层样本单位数，其计算公式为：ni=n 式

17、中：ni 各类型应抽选的样本单位数；n样本单位总数；Ni 各类型的调查单位数；Si各类型调查单位的样本标准差。,例如，仍以上述学生学业成绩与教学质量之间关系为例。各层样本标准差分布为好是30；中等为20；差为10。见下表：调查单位数与样本标准差乘积计算表,按照公式计算，得出各类型抽选的样本单位数为：成绩好的样本单位数目为：200*（180000/600000）=60 成绩中等样本单位数目为：200*（360000/600000）=120 成绩差的样本单位数目为：200*（60000/600000）=20,4、整群抽样,以上三种抽样方法都是对个体直接进行选取，以组成样本。但是，在某些情况下，并不

18、适宜逐个地抽取形成样本，而要整群、整批地抽取。在大规模的调查中，整群抽样可节省人力、物力和财力。,所谓整群抽样就是将总体划分为若干群或组，以这些群和组为单位，再按简单随机原则或机械抽样方法，抽取出一些群或组，这些群或组中的所有个体都被收入样本中。例如，教改实验，就不适宜逐个地抽取样本，而应整班、整年级、整校地选取样本参加教改实验。,第四章 搜集教育评价信息主要方法,第四节 测验法一、测验的类型1、测验法借助各种测试题对人的知识、技能和能力以及某些心理特征进行测量，从而获得评价信息和资料的方法。,第四章 搜集教育评价信息主要方法,第四节 测验法一、测验的类型 2、分类：（5种）（1）按测验性质成

19、就测验和心理测验 成就测验：指学业成绩测验。它测量的是经过教育或训练后，学生所具有的知识能力的水平，通过测验了解学生已经学会了什么和能做什么。心理测验：是对人们的心理特征及个别差异进行估测、描述和诊断的一种方法。包括智力测验、人格测验、创造能力测验和能力倾向测验等。,第四章 搜集教育评价信息主要方法,第四节 测验法一、测验的类型（2）按测验时机准备性测验、形成性测验和终结性测验 准备性测验：指在进行某一新的学习任务或工作之前实施的测验；形成性测验：指在教学过程中实施的测验；终结性测验：是在教学结束时进行的测验。,第四章 搜集教育评价信息主要方法,第四节 测验法一、测验的类型 2、分类：（3）按

20、试题类型客观性测验和主观性测验 客观性测验：指采用客观性试题的测验。客观性测验评分的客观性强，能有效消除评分者的评分误差。主观性测验：指采用主观性试题的测验。主观性测验的评分受评分者主观因素影响较大，但有利于考查学生高层次的学习能力。,第四章 搜集教育评价信息主要方法,第四节 测验法一、测验的类型 2、分类：（4）按解释分数的标准常模参照测验和标准参照测验 常模参照测验：以常模为标准来解释测验分数意义的测验。常模参照测验的目的在于把测验成绩作横向比较，指出每个被测对象在某一参照群体中的相对地位的高低，如各种选拔测验。标准参照测验：以预先确定的目标为标准来解释分数意义的测验。标准参照测验的目的在

21、于测量学生达到预定目标的程度，而不是为了进行个人间的横向比较。（5）按测验的标准化程度标准化测验和教师自编测验,第四章 搜集教育评价信息主要方法,第四节 测验法二、编制测验的一般程序和要求（5个步骤）1确定测验的目的和用途 测验在教育上有多种用途：诊断学习问题、为教和学提供反馈信息；评价教学效果，促进教师对教学目标的理解，提高教学水平；激发学生的学习动机，提高学生的学习成绩；对学生进行鉴定、选拔，为上级学校输送新生等。测验的目的、用途不同，对试题的难度、区分度、取样范围等要求不同。,第四章 搜集教育评价信息主要方法,第四节 测验法二、编制测验的一般程序和要求2明确要测量的学习结果学习结果：指经

22、过教学期望学生达到的结果。要从内容和目标两个方面考虑学习结果。一般确定学习结果的步骤：先开列教材大纲并确定课程教学目标，再确定每一单元的教材内容及教学目标，并按照重要程度确定各单元占总课程的比例，设计好编制测验的计划。,第四章 搜集教育评价信息主要方法,第四节 测验法二、编制测验的一般程序和要求 3选择恰当题型，编拟、征集试题 题型可以分为客观性试题和主观性试题两大类，各自有其不同的特点，其优点与不足有很强的互补性。编制测验时，要根据考试的类型和不同课程的特点，各学科对知识、技能等的具体要求，选择恰当的题型。并编拟实体或向有关学科专家征集试题。,第四章 搜集教育评价信息主要方法,第四节 测验法

23、二、编制测验的一般程序和要求 4对试题进行初步质量分析 对编拟和征集的试题，进行初步质量分析，主要是看试题是否测量了一个重要的学习结果，题型是否合适，题目的叙述是否清楚、准确，试题的难度如何等。一般情况下，学科测验要求试题的难度要和教学目标一致，选拔性测验要求试题的难度与被测群体的能力水平一致。,第四章 搜集教育评价信息主要方法,第四节 测验法二、编制测验的一般程序和要求 5构成试卷 根据测验的需要选择优良试题，适当排列，从易到难且每种题型归到同一题中，组合成试卷。应同时编制两套试卷，正卷和副本，或者A、B卷。试卷构成后，还应编制标准答案，规定评分标准等。,第四章 搜集教育评价信息主要方法,第

24、四节 测验法三、测验的质量分析（一）测验项目的难度和区分度 1、测验项目的难度指测验项目的难易程度，通常用答对该项目的人数比例来表示。2、测验项目的区分度指测验项目对被试实际水平的区分能力，可用被试在某项目的得分与测验总分的相关系数来表示。相关程度越高，该项目区分度就越高。,第四章 搜集教育评价信息主要方法,第四节 测验法三、测验的质量分析（二）测验的信度1、测验的信度测验结果的可靠性或一致性程度。2、估计方法：（1）重测信度（2）复本信度（3）同质性信度,第四章 搜集教育评价信息主要方法,第四节 测验法三、测验的质量分析（二）测验的信度 3、影响测验信度的因素（1）测验的长度（2）测验的难度（3）测验内容的同质性（4）被试者差异（5）评分的客观性,第四章 搜集教育评价信息主要方法,第四节 测验法（三）测验的效度 1、测验的效度测验实际测量出其所要测量的特质的程度。2、分类与估计方法：（1）内容效度，常用专家评价的方法（2）效标关联效度，主要用相关法，即求测验分数与效标分数之间的相关系数。（3）构想效度，常用逻辑推理和统计的方法。3、信度与效度的关系表现为：信度高的测验其效度不一定高，而效度高的测验其信度一定高。,