语言测试的开发与设计.docx

语言测试的开发与设计.docx

《语言测试的开发与设计.docx》由会员分享，可在线阅读，更多相关《语言测试的开发与设计.docx（30页珍藏版）》请在冰点文库上搜索。

语言测试的开发与设计

第三章语言测试的开发与设计

语言测试的开发与设计主要针对的是测试命题和评估人员。

本章目的是按照测试开发的步骤说明每一阶段需要解决的任务以及具体内容:

从测试目的、测试范畴、测试方式、试卷构成到评分标准的使用等，用以为语言测试开发过程各环右的明确和规范提供帮助。

总的来说，语言测试的开发设汁可以分为三个阶段，分别是设计阶段、操作阶段和实施阶段。

具体来说，每个阶段又可以细分为多项任务，例如设讣阶段，要对测试做出具体的规划，也是该项测试应包括的基本信息，例如测试目的、类型、能力描述、对象、内容和其他要素等六项：

而操作阶段要解决的任务则有十几种之多。

因此，要组织一项比较圆满的测试,测试设计人员和开发人员需要解决近三十个相关任务。

这也是组织测试比较庞大复杂之所在。

而说到测试的精密性，也就是如何保证测试的信度与效度，则要跟踪测试设汁与开发的全过程，科学合理地设计，加上前后一致的测试开发理念、思路和方法。

第一节设计阶段

设计阶段是测试开发过程的第一阶段，需要做的工作有：

明确测试目的，根据测试目的选择适合的测试类型，确左测试的能力范畴，描述测试对象，确定测试的内容及其他等六项。

1.明确测试目的

测试和教学的关系密不可分。

一般在教学进行一段时间后都要测试，目的是督促学生学习或检查阶段教学效果。

无论哪种类型的测试，都应以测试学习者运用语言解决实际问题的能力为主，而不应该机械地测量学生对语言形式的掌握。

测试是评估教师教学效果的重要工具。

大型标准化测试多是为了选拔或者比较。

小型测试，如随堂测试，则多用来诊断教和学的效果。

这类测试能够促进学生学习习惯的建立和改善，帮助教师在教学过程中进一步明确教学重难点并从学习者整体和个体两个方而检査其落实情况。

从测试设计者的角度来说，每一项测试，无论大小，都应有一个明确的目的，即所设计的测试旨在获取何种信息。

这是测试开发的第一步。

由此，测试设计者可以确定测试的类别，选择切实可行的设计方法。

所以，在测试目的的描述中，应当明确：

为什么要考，考什么能力以及具体应用范围。

测试目的描述要淸楚明了，不能模棱两可或自相矛盾。

测试目的的描述，主要有文字叙述式和列表式两种格式。

文字叙述式描述以伦敦工商总会测试（LondonChamberofCommerceandIndustryExaminationBoard.1991转自邹申，2008）为例:

Theaimoftheexaminationistotestahighlevelabilitytounderstand,writeandvariouslyprocessthegeneralandspecialvarietiesofEnglishusedinbusiness,andtheabilitytouseappropriateformats.

列表式呈现，以BEC（BusinessEnglishCertificates）（BECHandbookforTeachers,2000:

3）为例：

TheaimsofBEC

•toassesscandidates'abilitytooperateinEnglishinanmteniationalbusinessenvironment

•toallowcandidatestodemonstratetoemployerstheirabilitytocommunicateinEnglishwithclientsandcolleagues

•tohaveapositiveandbeneficialimpactonthecontentanddeliveryofBusiness

Englishlanguagetrainingcourses

•toprovideanexaminationtodothiswhichisfairtoallcandidatesandwhichisdeliveredtointernationalstandards

•toallowtestuserstocomparecandidatesresultswithotherqualificationswhicharelinkedtotheCommonEuropeanFrameworkofReferenceforLanguages

此外还有结合式的，即先突出测试目的的主要条目，然后在每一分项中再详细阐述其内容。

以博思（BULATES,BusinessLanguageTestingService）测试为例：

Evaluatingthelanguageskillsofstaffwithinacompany

Acompanydecidesitwantsacompletelanguageprofileofitsstaff・BULATScanbeusedtotestsomeorallemployees・Theservicecanalsobeusedatregularintervalstomonitorthecompany'slanguageprofile.

Evaluatingthelanguageskillsofjobapplicants

Acompanyisrecruitingstafftoworkinitsinternationalsalesdepartment.BULATSprovidesasimplewayoftestingprospectiveemployeesandprovidingthecompanywithanup-to-dateandaccurateassessmentoflanguageability・

Placinglearnersonsuitablecoursesforlanguagetraining

Abusinesscollegeprovideslanguagetrainingcoursesforitsstudentsandneedstoplacethemincoursesattherightlevel.BULATScanbeusedtoplacethestudentsinsuitablecourses.

Screeninglearnerswhoareunsuitableforthetrainingcoursesprovided

Acompanywantstoconcentrateitslanguagetrainingonemployeeswhoarealreadyclosetotheleveloflanguagerequired.BULATScanprovideatesttoscreenoffunsuitablecandidatesandsohelpmakebestuseofresourcesavailable・

Evaluatinglanguagetraininggiven

Thetrainingdivisionofacompanyneedstoassessthequalityoflanguagetrainingbeingprovidedbyanexternaltrainingorganisation.BULATScanbeusedtotestpeopleatthebeginningandendofthecoursetomonitorprogress・

Recommendingsuitablestandardexaminationsforlearners

Anorganisationwouldliketomotivateitsstaffbysponsoringthemtotakestandardexaminationswhichprovideacertificatewithinternationalcurrency（suchastheCambridgeFirstCertificateinEnglish）.BULATSprovidesatesttohelpadvisewhichstandardexaminationwouldbemostsuitable・

Toprovidetestingsupportforlanguageaudits

Languageauditsarebeingusedincreasingly-BULATScanprovideavaluablelanguagetestingtoolincarryingouttheassessmentofacompany'slanguagerequirements・

2.选择测试类型

第三章中我们系统介绍了测试的不同分类方法，此处不再赘述。

建议测试开发者从测试目的、测试方式、测试语言、测试的评分方式、考分参照依据、测试时间等六个方而综合考虑所开发测试的类型，从而对所开发的测试做准确定位。

3.测试能力范畴

测试能力范畴的界左是规范制订中的一个重要步骤,直接关系到测试是否有理论依据或有效度的问题匚测试开发者请从如下三方而加以考量，按问题的先后顺序分为三步。

第一步，测试的语言能力结构是什么？

第二步，在试卷中具体体现在哪些具体技能上

第三步，根据测试目的，规左被试能力结构以及该结构在测试中的具体体现。

样本LCCIChiefExaminerSEFIC（SpokenEnglishforIndustryandCommerce）OralExaminations

•Softskillsareoftenthedealbreaker5'inbusiness:

SKILLSLIKE:

•delegating

•listening

•presenting（ofself一interviews-orofbusiness）

•negotiating

•problem-solving

•contributingeffectivelytomeetings/seminars/debates

•socialinteraction一networking

Softskillsframeworkallowsemphasisoninterpersonalforcesoflanguage-useinaworkcontext

4.测试对象描述

测试开发者对受试群体的特征应有比较全而的认知，以便所开发的测试能更好地满足特定测试群体的现状和需求。

主要分四个方面：

错误!

未找到引用源。

考生个人特征（personalcharacteristic）,如年龄段、性别、国籍、母语、所受教育层次以及考前培训程度等；错误!

未找到引用源。

考生文化或背景知识（topicalknowledge）,如对所学语言相应的国家社会、文化的了解，有关领域内的知识等；错误!

未找到引用源。

考生语言能力（languageability）,如语言知识、语言运用能力等：

错误!

未找到引用源。

未来语言交际需求等。

当然，不同测试涵盖的内容会有所变化。

样本一BEC测试的对象描述

Nationality:

takenbycandidatesthroughouttheworldinabout60countries,althoughthetotalnumberofnationalitiesrepresentedinthecandidatureisover180/・

Age:

Mostcandidates（about70%）areunder25,withtheaverageageworldwidebeingbout22.Thisfigurevariesfromcountrytocountry.

Gender:

About55%ofcandidatesarcfemale.Thisfigurevariesfromcountryrtocountry.Employment:

Mostcandidatesarestudents,althoughthereareconsiderabledifferencesintheproportionofstudentsindifferentcountries・

Exampreparation:

Inmostcountries,around90%ofcandidatesundertakeapreparatorycoursebeforetakingtheexamination.

ReasonsfortakingBEC:

Candidates'reasonsforwantinganEnglishlanguagequalificationareroughlydistributedasfollows:

tohelptheirjoborcareer（70%）;forfurtherstudyofEnglish（20%）;foruniversityrecognition（20%）.

BULATSisdesignedforthegrowingnumberoforganisationswhichrelyonthelanguageskillsoftheiremployeesinordertooperateeffectively:

companiestradingininternationalmarkets;nationalandlocalgovernmentdepartments;oranyorganisationforwhomgood,bi-ormultilingualcomnnmicationisanimportantpartoftheworkingday.

博思（BULATS）测试的主要对象

1.对企业事业单位内部的员工、应聘者和政府机关内部的公务人员以及正在修读外语和以外语为主要课程的考生。

2.企事业单位可以通过博思测试（BULATS）客观地评估英现有员工和应聘者目前的外语水平。

3.正在修读外语/商业课程的人员可以通过博思（BULATS）测试知晓自己目前的实际外语体力.M而人国为.外就•血和个人彷屣制处准冬.

5.测试内容及范围

测试内容主要包括测试阅读材料的选择范用，材料所涉及的题材范国和测试层次（是识记、理解、还是应用或分析等）。

确左语言测试的范围，理想的解决过程是先做需求分析。

需求分析，不是设讣者、测试行政领导的需要或语言体系本身的需要，而是受试者对目标语言的需要。

也就是受试者通过这个测试后对目标语言有哪些具体要求，能够用目标语言具体做哪些事情。

样本一TOFELibt测试内容和形式

Reading

Thereadingsectionconsistsof3-5longpassagesandquestionsaboutthepassages・Thepassagesareonacademictopics;theyarethekindofmaterialthatmightbefoundinanundergraduateuniversitytextbook・Studentsanswerquestionsaboutmainideas,details,inferences,sentencerestatements,sentenceinsertion,vocabulary.functionandoverallideas.NewtypesofquestionsintheiBTrequireparaphrasing,fillingouttables,orcompletingsummaries.Generallypriorknowledgeofthesubjectunderdiscussionisnotnecessarytocometothecorrectanswer,thoughaprioriknowledgemayhelp.

Listening

Itconsistsofsixlongpassagesandquestionsaboutthepassages.Thepassagesconsistoftwostudentconversationsandfouracademiclecturesordiscussions・Thequestionsaskthestudentstodeterminemainideas,details,function・stance,inferences,andoverallorganization.

Speaking

Itconsistsofsixtasks,twoindependenttasksandfourintegratedtasks.Inthetwoindependenttasks,studentsmustansweropinionquestionsaboutsomeaspectofacademiclife.Intwointegratedreading,listening,andspeakingtasks,studentsmustreadapassage,listentoapassage,andspeakabouthowtheideasinthetwopassagesarerelated.Intwointegratedlisteningandspeakingtasks,studentsmustlistentolongpassagesandthensummarizeandofferopinionsontheinformationinthepassages・Testtakersareexpectedtoconveyinformation,explainideas,anddefendopinionsclearly,coherently,andaccurately.

Writing

TheWritingSectionconsistsoftwotasks,oneintegratedtaskandoneindependenttask・Intheintegratedtask,studentsmustreadanacademicpassage,listentoanacademicpassage,andwriteabouthowtheideasinthetwopassagesarerelated.Intheindependenttask,studentsmustwriteapersonalessay.

（2）自我介绍:

（3）询问对方或介绍自己的身份特征：

（4）表达自己喜欢什么、不喜欢什么；

（5）发岀邀请、接受或拒绝邀请：

（6）表示感谢和欣赏：

（7）给别人提供方便、接受或拒绝帮助。

2.谈论工作

（1）询问和描述工作任务：

⑵询问和介绍公司情况：

6.其他考虑要素

错误!

未找到引用源。

制约条件

1）人员因素

指考务行政人员，统汁分析人员，和学科业务人员这三方面的专业人员是否具备，是否足够，水平和素质如何？

这是决泄建立一个测试首先要考虑的条件。

2）时间因素

测试准备时间有多少，测试后限于多少时间内岀结果，测试本身时间多少，是否需要安排考场、统一测试日期和时间？

3）地点因素

测试的地点是集中还是分散，分散到什么程度？

这与试题的设计有很大关系。

尤其是口试，地点非常重要。

另一个要考虑的问题是评分地点是集中还是分散，最后需要考虑的是测试的统计分析工作能否集中的问题。

4）设备因素

设备，包括技术，对语言测试的设计是极大地制约因素。

首先是试卷的形式，是黑白还是彩色印刷？

如果是彩色，就使试题提供情景的可能性多了许多。

苴次是评分的问题，人工阅卷还是机器阅卷。

错误!

未找到引用源。

信度和效度的权衡

下而是6个可能涉及的问题及说明。

第一，测试按使用目的，主办方式，对象范围和实施频度属什么类型？

测试的这个类属很关键。

譬如说，学校范用的甄别测试，目的是给每个学生测出他的强弱所在，指出今后努力方向。

第二，测试对受试者“命运”的决定作用有多大？

如果一个测试事实上对命运的决立作用很大，对命运的影响面又极广，那么就应当尽最大可能使测试成为高信度的测试。

第三，测试对教学的反拨效应有多大？

有多少学校多少学生受到这种反拨效应的影响？

越是引起广泛反拨效应的测试，越需要有效度。

一种测试对教学的反拨效应的大小，应该成为决立它应该有多大效度的一个考虑因素。

第四，测试用户对信度、效度有什么要求？

测试的效度要具备实效性。

如为驻外机构招聘翻译的测试，测试的用户就是驻外机构。

这样，测试会强调要能考出受聘人员在国外环境中完成翻译工作的真实能力。

第五，当前目标语教学的普遍状况如何？

目标语测试，要怎样才能做到既不脱离教学现状，又对教学起促进作用？

从语言教学和语言测试的发展规律看，语言教学总的发展一向领先于语言测试，语言测试往往对教学有拖后作用。

但是，如果一个测试本身有先进性，通过反拨效应就可以反过来对语言教学起很大的促进作用。

第六，迄今为止同类或同一种测试的发展状况如何？

摸淸语言测试目前发展到哪一步，有可能往前疋到哪一步。

不能原地踏步，也不能跨度太大。

第二节操作阶段

操作阶段是测试开发过程的第二阶段，需要做的工作有：

设计测试的主体框架，制泄工作程序，制左测试规范和测试大纲，选择测试方式，确立测试项目比例，阐述考题类型，准备试卷的相关文件，制订施考操作规定，抽样，制作测试命题细目表，撰写试卷初稿，实施预测、修改试卷、编制试卷最终稿，提供评分标准等十二项。

1.设计测试的主体框架

错误!

未找到引用源。

整体结构设计

测试本身需要考虑三方而内容：

1）范围

通过需求分析或者对教学大纲的分析确宦测试范用，根据这个范用便可划分出要测试的几个主要方面，设计试题结构时按照这些主要方而划左若干部分，在部分之下再设大题。

2）比重

决定测试覆盖哪些部分，还要