培训评估的理论和研究文档格式.doc
《培训评估的理论和研究文档格式.doc》由会员分享,可在线阅读,更多相关《培训评估的理论和研究文档格式.doc(6页珍藏版)》请在冰点文库上搜索。
推理能力指一个人发现解决问题途径的能力。
认知能力水平低的受训者很有可能完不成培训内容,或者在培训结束后对培训所学内容进行评价测试时的分数很低。
随着工作变得越来越复杂,认知能力对工作的成功也越来越重要(Noe,1999)。
在对认知能力进行测量时,通常通过描述性知识的测量来进行(Schmidt&
Hunter,1993)。
1.2个性
除了认知能力影响培训效能之外,研究者认为个性也发挥着重要作用。
但是在个性与培训结果之间的关系上,研究者有两种看法。
一种是研究者认为个性发挥的作用通常是通过影响受训者的动机水平从而最终影响培训效能的(Baldwinetal.,1991;
Colquitt&
Simmering,1998)。
如Martocchio和Judge(1997)等人的研究认为,在“大五”中“责任意识”维度上得分较高的个体在培训过程中表现得更加有信心,学习动机更强,培训效果较好。
另一种看法是个性直接影响培训结果(Gistetal.,1998;
Quinonesetal.,1995)。
其实,这两者并没有冲突,个性特征是如此的宽泛,如在认知结构上所显示的个体差异必然直接影响其培训结果,而在自我设定目标水平上的差异必然是通过培训动机水平的差异来影响培训结果的。
1.3动机因素
受训者的培训动机对受训者本身的学习产生很大影响。
Kozlowski(2001)等研究了受训者的学习倾向性在培训中的作用。
他们认为,受训者在接受培训中有两种倾向:
绩效取向和学习取向。
绩效取向的个体希望碰到的是一些容易的任务,能够对自己能力进行积极的评价,而避免哪些新颖的具有挑战性的情境。
而学习取向的个体愿意接受挑战,在面对障碍和失败时能够坚持,希望通过探求和学习得到自我发展。
另外一个受到众多研究者关注的动机因素是自我功效。
自我功效是员工对自己能够胜任一项工作或学习一项培训内容的自信程度(Bandura,1997)。
自我功效与任务选择、任务努力和坚持等因素有关(Gist&
Mitchell,1992)。
许多研究表明,自我功效与工作绩效具有显著正相关。
Noe(1999)认为,培训环境或工作环境会对过去没有能够圆满完成工作的员工构成压力,从而降低了他们的自我功效。
他提出可以采取一定的方法来提高受训者的自我功效水平。
在自我功效的测量方面,可以通过问卷来测量自我功效的强度。
Kozlowski(2001)认为培训者通过设定不同导向的培训目标促使受训者的知识结构和自我功效发生显著改变,从而增强培训适应性。
总之,这方面的研究颇丰,在考查受训者个体特征时,我们注重那些与胜任力模型紧密相关的个性特质,强调其适应性的特点。
2.培训评估模型
当前对培训评估进行系统总结的模型占主导地位的仍然是Kirkpatrick的四层次模型,但是其他不少研究者也对该模型提出批评,针对其不足提出自己的模型,主要有:
Kaufman的五层次评估、CIRO方法、CIPP模型、Phillips的五层次ROI框架模型(David,1993)。
2.1Kirkpatrik的培训评估模型
Kirkpatrick的四层次模型是最著名的评估框架(如下表1)。
该模型认为评估必须回答四个方面的问题,从四个层次分别进行评估,即受训者的反应(受训者满意程度)、学习(知识、技能、态度、行为方式方面的收获)、行为(工作中行为的改进)和结果(受训者获得的经营业绩)对组织的影响。
所谓反应即指参与者对培训项目的评价,如培训材料、培训师、设备、方法等。
受训者反应是培训设计需要考虑的重要因素。
学习评估是测量原理、事实、技术和技能获取程度。
评估方法包括纸笔测试、技能练习与工作模拟等。
行为改变是测量在培训项目中所学习的技能和知识的转化程度,受训者的工作行为有没有得到改善。
这方面的评估可以通过参与者的上级、下属、同事和参与者本人对接受培训前后的行为变化进行评价。
结果评估是在组织层面上绩效是否改善的评估,如节省成本、工作结果改变和质量改变。
表1Kirkpatrick评估四层次模型
层次
问题
1.反应
2.学习
3.行为
4.结果
受训者喜欢该培训项目吗?
受训者在培训项目中学到了什么?
受训者在学习的基础上有没有改变行为?
行为的改变对组织的影响是不是积极的?
Alliger等(1997)在培训效标关系的元分析中主要针对Kirkpatrik的四层次模型中的反应和学习层次进行了扩展(如下表2)。
他们认为,Kirkpatrik的四层次模型中的反应仅仅是从情感上进行评估的,而对于培训的效用大小的反应更加重要。
因为效用型反应与培训迁移的相关更大。
在学习层次上,原先的模型仅仅注重受训者当时描述性知识学习的评估,而受训者的程序性知识掌握得如何直接影响培训迁移的程度。
并且他们得出了效用型反应与培训迁移的相关要比传统评估中的学习与培训迁移的相关要大。
表2扩展后的Kirkpatrick评估四层次模型
反应
情感反应
效用判断
学习
瞬时反应
知识保留
行为/技能在培训情境中的显示
行为
迁移
结果
2.2Kaufman的五层次评估
Kaufman扩展了Kirkpatrick的四层次模型,他认为培训能否成功,培训前的各种资源的获得是至关重要的,因而应该在模型中加上这一层次的评估。
并且培训所产生的效果不应该仅仅对本组织有益,它最终会作用于组织所处的环境,从而给组织带来效益。
因而他加上了第五个层次,即评估社会和顾客的反应(模型如表3)。
表3Kaufman的五层次评估模型
5、社会产出
4、组织产出
3、应用
2、获得
1b、反应
1a、培训可行性(enabling)
社会和顾客的反应、结果和回报
对组织的贡献和回报
组织内个体效用和小群体(产品)效用
个体和小群体技能与胜任力
方法、手段和过程的可接受度和熟练度
人力、财务和物理资源投入的质量和可获取性
2.3CIRO方法
CIRO是contextual,input,reaction和outcome的缩写。
这种方法认为评估必须从情境、投入、反应和结果四个方面进行。
所以也是一种四层次的评估方法,起初由Warr,Bird和Rackham开发,用于欧洲。
是一种非常独特的区分评估过程的方法。
它比一般的培训评估的范围更宽泛。
情境评估是指获取和使用当前情境的信息来明确培训需求和培训目标。
这种评估实际上是进行培训需求分析。
在此过程中,需要评估三种目标:
最终目标(组织可以通过培训克服或消除的特别薄弱的地方),中间目标(最终目标所要求的员工工作行为的改变)和直接目标(为达到中间目标,员工必须获取的新知识、技能和态度)。
情境评估是要收集组织绩效的信息,评估这些信息确定培训需求,在此基础上设定三个层次的目标。
投入评估是指获取和使用可能的培训资源来确定培训方法。
这些资源包括内部资源和外部资源。
这当中财务预算和管理要求可能限制了目标的选择。
反应评估是指获取和使用参与者的反应来提高培训过程。
这个评估过程的典型特征是参与者的主观评价,参与者的主观评价是非常重要的,但是评价质量的好坏某种条件下取决评估依赖于信息收集的方法是否具有系统性和客观性。
结果评估是指收集和使用培训结果的信息。
该评估被认为是评估最重要的一个部分。
它包括四个阶段:
界定趋势目标、选择或构建这些目标的测量方法、在合适的时间进行测量和评估结果以改善以后的培训。
2.4CIPP模型
CIPP模型与CIRO相似,它包括四种评估:
情境评估、投入评估、过程评估和结果评估。
情境评估界定相关环境、识别需求和机会和诊断具体问题,需求分析是情境评估的一个例子。
投入评估可以提供如何最佳使用资源去成功实施培训的信息。
投入评估的信息有助于制定培训项目计划和培训设计的一般策略,通常投入评估的结果有关于制度、预算、时间安排、建议书和程序等方面的内容。
过程评估可以提供反馈给负责培训实施的人,它可以监控可能的失败来源,或给预先的决策提供信息。
结果评估对培训目标进行测量和解释。
总之,情境评估有助于形成目标;
投入评估帮助计划培训项目;
过程评估引导培训实施;
结果评估有助于回顾决策。
2.5Phillips的五层次ROI框架
通常在培训结束后,绝大多数的公司只是报告在培训上花费了多少费用,多少培训时间,参加培训的人员数目,而没有提供培训给公司带来的价值,参与者所学习到的东西以及由于培训带来的投资回报。
近年来,特别强调要对培训发展的投入的评估,ROI过程成为评估的重要而关键的部分。
ROI过程在Kirkpatrick的四层次模型上加上了第五个层次。
分别叫反应和已经计划的行动、学习、工作应用、组织结果和投入产出。
第一层次,测量受训者的满意度以及他们打算如何应用培训所学。
这一层次的评估通常是在培训后采用问卷测量。
几乎所有的组织都会评估这一层次,但是受训者满意的结果并不能确保他们会在工作中应用新的技能和知识。
第二层次测量受训者在培训过程中所学。
可以采用的评估工具有测试、技能练习、角色扮演、模拟、多人评估等。
学习检查有助于确保受训者是否掌握了培训材料并且知道如何使用它们。
然而受训者学习情况再好,并不能保证它们一定会被应用于实际工作中。
在第三层次,使用许多跟踪方法测量受训者新技能的使用频率等来判定受训者是否将所学应用于实际工作中。
这个层次很重要,但是它们并不能确保对组织有积极的影响。
第四层次测量受训者应用培训材料后对组织产生的积极影响,通常测量产量、质量、成本、时间和顾客满意度。
第五层次认为,培训对组织产生了积极的影响,但是它们的成本也许太高。
ROI通常表示成一个百分数或成本与收益的比率。
以下模型(图1)是ROI方法实施培训评估的全过程。
从数据收集开始,以ROI计算结束。
计算培训成本
评估目的
评估工具
计算投入回报
将数据转换成货币值
抽取培训效应
收集数据
识别无形利益
评估水平
评估时间
图1.ROI过程模型
评估目的必须在评估计划之前考虑,因为评估目的常常决定了评估的范围,评估工具的类型和所收集的数据类型。
如:
ROI分析中有一个评估目的是比较培训项目的成本和收益。
这就要求收集的数据是硬数据,数据收集的类型是绩效监控,分析的类型是全面分析,结果的报告方法是提交正式的评估报告。
最常见的七种收集数据的工具是调查、问卷、访谈、目标群体、测试、观察和绩效记录。
选用何种工具收集数据取决于组织的文化对它们的熟悉程度以及是否符合情境和评估要求。
在某些情况下,数据收集的时间是在培训实施前后进行的。
然而,有时培训前的数据无法收集得到,只能在培训后进行跟踪评估。
这里的一个重要问题是跟踪评估的时间,通常跟踪评估的时间范围是3-6个月。
在实际操作中,组织很少进行ROI评估,因为ROI评估过程是一个困难并且昂贵的过程。
如果要进行第五层次的评估,那么前四个层次的评估都是必不可少的。
3.简评
以上培训评估模型中都有着kirkpatrick的经典培训评估模型的影子。
特别是Phillips的ROI框架仅仅是在最后加上了投入产出的分析而已。
而Kaufman模型、CIRO和CIPP模型则在评估实施过程的两头做了文章,即将培训需求分析的一部分以及培训对外界的影响纳入评估范围之中,中间则几乎保持不变。
培训效能当然与许多因素有关,但是内在因素更为重要。
Alliger等(1997)深入分析了培训过程,从与效果的关联度上提出了有意义的论据,深化了评估理论。
然而,培训模型从组织的各个层次为培训效能的评估提供了思路。
所以我们在评估培训项目时,需要考虑以下因素:
培训需求的确定和不同需求的优先顺序的选择产生的影响;
培训参与者特征和组织特征(组织文化和标准;
培训前、中、后期主要气氛;
培训和组织整体规划的关系)对培训结果的影响;
学习的类型、培训设计与教学策略的关系;
迁移支持策略的贡献;
两难问题的解决,如:
培训各方的不同兴趣(并且他们对于什么是好培训的标准不同)。
企业从事培训评估的人员虽然也希望能够得到投入产出的效果,然而企业经理和培训师因为缺乏有效的工具却很少能对培训进行系统的评估。
在评估某种培训活动对组织绩效的影响,投入产出的比率所得到的数值并不是那么有确信的把握。
当前培训活动的评估缺乏科学上可靠且有效的证据,并且有相当多的评估不能被该企业的组织文化所接受。
当人们再次审视培训的目的--希望受训者可以将培训的内容运用到实际工作中去。
发现迁移其实是影响培训效能的关键所在,因此迁移就成为当前研究的焦点。
在培训迁移文献中,Kozlowski(2001)等用适应性绩效(adaptiveperformance)从任务的难度、复杂度和动态性检查受训者的能力。
用这种思路来构建绩效指标可以从过程的角度检查跨时间的绩效完成情况,所以我们在培训后效果的检查中,增加从难度、复杂度和动态性三个维度为出发点的绩效标标准设计,希望在培训迁移前就能够发现一些潜在的威胁培训效果的因素,然后,再考察实际迁移效果。
参考文献部分:
1.AlligerG.M.etal.(1997).Ameta-analysisoftherelationsamongtrainingcriteria.PersonnelPsychology.50.341-358.
2.ChengE.W.L.&
HoD.C.K.(2001).Areviewoftransferoftrainingstudiesinthepastdecade.PersonnelReview.Vol.30No.1,102-118.
3.ColquittJ.A.,LepineJ.A.&
NoeR.A.(2000).Towardanintegrativetheoryoftrainingmotivation:
Ameta-analyticpathanalysisof20yearsofresearch.JournalofAppliedPsychology,Vol.85,No.5,678-707.
4.DavidJ.Basarab,Sr.&
RootD.K.(1993).Thetrainingevaluationprocess-Apracticalapproachtoevaluatingcorporatetrainingprograms.KluwerAcademicPublishers,Secondprinting.
5.GistM.E.&
MitchellT.R.(1992).Self-efficacy:
Atheoreticalanalysisofitsdeterminantsandmalleability.AcademyofManagementReviewVol.17.No.2.183-211.
6.GoldsteinI.L.(1992).Traininginworkorganizations.HandbookofIndustrialandOrganizationalPsychology,507-619.
7.MartocchioJ.J.&
JudgeT.A.(1997).Relationshipbetweenconscientiousnessandlearninginemployeetraining:
Mediatinginfluencesofself-deceptionandself-efficacy.JournalofAppliedPsychology,Vol.82.No.5.764-763.
8.SalasE.&
Cannon-BowersJ.A.(2001).Thescienceoftraining:
Adecadeofprogress.Annu.Rev.Psychol.,52:
471-99.
9.TannenbaumS.I.&
YuklG.(1992).Traininganddevelopmentinworkorganizations.Annu.Rev.Psychol.,43:
399-441.
10.雷蒙德.A.诺伊雇员培训与开发,中国人民大学出版社,2001.
作者简介:
陶祁(1972-),男,博士研究生,上海交通大学管理学院;
冯明(1967-),男,应用心理学博士,重庆大学工商管理学院副教授。
联系地址:
建设工业集团公司组织干部部冯明(收)邮编:
400050
联系电话:
(023)13628374079
6