华恒智信-什么是Phillips“五级评估指标”模型.doc

1、 第 13 页华恒智信-什么是Phillips“五级评估指标”模型与柯氏四级评估不同，菲利普斯的五级评估模型是非常符合互联网思维的，即：清晰地提出自己的价值主张，作为国际绩效改进的主席，菲利普斯的五级评估非常强调一句话：“让我看到钱”，这种思想是非常符合美国企业的价值主张-为股东创造最大价值，那么如何将“让我看到钱”的思想落实到具体的评估过程中呢？评价数据用途评估级别及相关数据的种类数据的重点数据用途概述第一级：反应和/或满意度，以及所计划的行动培训项目、培训人员和评选结果可能将如何得到应用1.衡量相关人员对培训项目的主观看法，主要是学员对培训项目和对培训人员的反应和满意度2.它也许还可以衡量

2、另一个维度：学员参加培训后所指的的行动计划，即学员如何实施新的要求、项目或流程，或他们将如何运用新知识和新技3.有关反应的信息可用来改善培训的内容、设计和实施流程4.制订行动计划的过程有助于促成培训成果向工作环境的转移5.有关行动计划的信息可以用来决定将来评估的重点，并用来对比实际结果和当初的计划第二级：学习结果重点在学员及有利于学习的支持性机制1.衡量学员在多大程度上掌握了培训中的内容：所期望的态度、知识、技术、流程等2.对学习的衡量要比获得反应的信息难，要采用客观的衡量方法，衡量指标要能够量化3.衡量获得的信息用来判断学员对学习内容的理解和吸收程度4.衡量获得的信息还可以用来改进培训项目的

3、内容设计和实施流程第三级：工作中的应用和/或实施重点在学员、工作环境和有助于学习内容得以应用的支持性机制1.衡量学员在工作中行为的变化，包括培训中所学知识和技术在实际工作中的应用2.评估信息可以提供有关培训内容在工作环境中是否得到应用以及使用的频率和效果3.探寻培训内容有效的条件；若有效，如何在其他环境条件下重复应用4.探寻阻碍培训内容应用有效性的原因，以便能够有针对性地对培训项目加以改进，或者促进其他培训项目的发起和实施第四级：对业务的影响重点在培训对组织绩效所产生的影响1.评估目的在于确定培训对于改进组织绩效所产生的影响或效果，并于组织的期望值进行对比2.评估产生的主观数据包括顾客的满意度

4、增加、员工的敬业度提高、顾客的保留率提高、对顾客反应时间缩短等3.评估产生的客观数据包括成本的节省、产出的增加、时间的节省或质量的改进等4.获得业务影响效果信息的方式有：培训前后分别收集数据，对通过培训引起的业务绩效的改进情况（或没有改进）进行分析，将培训的结果和适当的业务指标联系起来第五级：投资回报率（ROI）重点在于培训所产生的用货币形式来体现的收益1.本级评估关注的是相对于培训成本，培训产生的业务效果所带来的用货币形式体现的价值，并进一步计算ROI2.ROI可以用投资回报的价值或成本收益的比例（%）来表示3.ROI衡量了培训项目对实现组织目标的贡献大小，显示了培训项目的真正价值4.由培训

5、产生的业务指标的改进所带来的ROI不一定都是正值无形收益重点在于用非货币形式体现的因素来衡量培训的价值1.无形收益数据是指不能或不应该转换成货币价值的数据2.无形收益数据与数据的重要性无关，它所指的是数据缺少客观性和无法转化成用货币形式来体现价值；或者有时将某些数据转化成货币形式来体现价值的代价太高昂3.无形数据常常是培训所产生的正面影响的体现，但又无法用货币形式来衡量其价值的大小4.在培训所产生的业务效果无法用货币形式来衡量时，它就无法与培训成本相比较，也就无法确定其ROI，因此，无形收益必须以非货币形式另列一类5.有时管理层和利益相关者满足于无形收益的数据6.培训对业务效果所产生影响的主观

6、数据一般属于无形收益，如顾客满意度、员工敬业度、客户保留率、员工保留率等7.培训对业务流程中所产生的影响的主观数据也属于无形收益，如组织承诺的增加、团队合作的改进、客户服务的改善、冲突的减少、压力的减轻等效果评估的“十步骤”1、 设定培训目标，确定效果评估的基础（1）以结果为导向确定培训评估的框架 确定以结果为导向的效果评估框架是“五级六指标”流程的第一步，目的在于确定培训项目的效果领域和具体业务指标，并往每一项指标设定目标期望值，使培训目标与组织目标高度契合。以结果为导向的评估框架，揭示了效果评估贯穿于整个培训过程的作用点（如图）：阶段A：对组织、任务和个人层次上的培训需求加以确认，更重要的

7、是对每一需求是否满足的评价进行分级，根据培训需求的层次决定相应的效果评估等级，制定评估策略和计划。阶段B：从培训方案设计开始到实施培训方案，在此过程中要进行一级（满意度/反应，行动计划）和二级（学习结果）评估，并且根据评估策略和计划收集相应的数据以供更高级别评估之用。阶段C：对项目的跟踪评估。在设定的时间周期内进行三级（应用/实施）、四级（业务影响）、五级（投资回报率）和/或无形收益的评估。（2）制定每一级培训效果评估的目标 总体目标的制定上有ASTD法、人力资源指标法等，1）.反应/满意度目标的制定作为最为基础的目标，一级培训目标反映了学员对项目的喜欢程度，体现了是否在培训中建立双赢关系，这

8、对取得更高级培训效果至关重要。因此，学员对培训活动的反应应该是正面的，至少也不应该是负面的。2）.学习目标的制定学习目标既能够帮助学员明确学习的内容和成绩要求，又为评估学习效果设定了标准，以下内容可作为设定学习目标时参考：目的：衡量知识和技能的掌握程度最好的学习目标：1.描述可观察到的和可衡量的行为2.以结果为导向，描述清楚、具体3.具体说明学员在培训之后的应知应会应做4.包含三个元素：行为在培训结束时，学员将能够做什么条件在什么情况下学员才能完成任务标准有效地完成认为必须要达到的程度或水平三种类型的学习目标：1.认知熟悉术语、概念和流程2.知识对概念和流程的理解3.行为技能的展现水平（至少具

9、备基本水平）举例：1.能够辨别和理解6个领导力模型和理论2.在给定的19个客户访问场景中，以100%的正确率来启动客户拜访程序（应用正确的步骤）3）.应用/实施目标的制定这目标是学习目标的延伸，反映的是从培训中学到的知识和技能在实际工作中的应用，同时为评估员工在工作中的行为变化和绩效改变提供了标准。以下内容可以供设定这个目标使参考：目的：衡量知识和技能在工作中的应用程度最好的应用/实施目标：1.描述可观察到的和可衡量的行为2.以结果为导向，描述清楚、具体3.具体说明学员在培训之后应该做出哪些改变（行为和绩效）4.包含三个元素：行为在培训结束后的一个具体跟踪时间周期内，学员产生了哪些改变，或取得

10、了哪些成绩条件在什么情况下学员才能完成任务标准有效地完成认为必须要达到的程度或水平两种类型的应用/实施目标：1.基于知识层面的目标：对概念、流程的一般理解2.基于行为层面的目标：技能的展现水平（至少具备基本水平）需要回答的主要问题：1.在工作中将应用什么样的新知识2.应用技能的频率是怎样的3.将完成什么样的新任务4.将采取什么样的新措施5.将采取什么样的新行动6.将实施什么样的新程序7.将实施什么样的新方针8.将实施什么样的新流程举例：1.在每个客户访问的场景中，应用开启拜访的正确步骤2.确定小组成员中谁在客户拜佛过程中表现出缺乏信心，以便在应用过程中为他们提供辅导4）.业务影响目标的制定这个

11、目标是所有利益相关者对培训“成果”的期望所在，是衡量学员是否将培训中所学知识和技能应用到实际工作中而带来行为和绩效变化的关键步骤，也是对知识掌握（二级目标）和应用/实施（三级目标）的进一步验证。以下内容可以供设定这个目标时参考：目的：衡量应用知识和技能对业务产生的影响最好的业务影响目标：1.衡量指标必须与培训中所教授的知识和技能相关2.描述的衡量指标容易收集3.以结果为导向，描述清楚、具体4.详细说明培训结束后，学员在业务部门中应取得怎样的成果四种有硬性数据的业务影响目标：产出、质量、成本、时间三种普通的带有软性数据的业务影响目标：1.客户服务（响应速度、准时交货、完好性等）2.工作环境（员工

12、保留、员工抱怨、不公平待遇等）3.工作习惯（怠工、缺勤、违反安全条例等）举例：1.在一年内，将员工流失率从30%降低到15%2.在半年内，将缺勤率从周平均10%降低到5%5）.投资回报率目标的制定具体计算办法：将培训获得的价值（用货币形式表示的净收益）与投入的资源（培训总成本）相比较。即：ROI=（培训净收益培训总成本）100%2、确定评估计划和基础数据评估计划包括数据收集计划和分析计划，而数据必须包括客观的可衡量数据和主观的描述性数据。（1）基础数据的分类数据分为硬数据和软数据，分别举例：硬数据：产出成本时间质量生产的单件产品数制造完成的重量组装的零件数回收的货款出售的零件数完成的表格数放出

13、的贷款额库存周转率来访的病人数处理完的申请数毕业的学生数完成的工作任务每小时的产出预定的工作量奖励分红金额出货量开发的新客户预算变化单位成本可变成本固定成本一般管理成本运营成本成本减少项目成本项目成本节约事故成本销售费用设备停机时间加班时间出货时间周期项目完工时间监管的时间新员工的试用期培训时间会议日程维修时间工作中断时间订单响应时间报告延迟时间废料的比例废品率客户拒收率订单出错率返工率顾客投诉率缺料率与标准的偏差生产故障率事故数量软数据：工作习惯感觉/态度新技能进步/改善工作氛围主动性缺勤工作主动性倾听工作效率的提高不公平待遇的数量新想法的实施怠工工作态度阅读速度加薪次数员工抱怨项目的圆满完

14、成超额休息工作责任心应用新技能的意向参加培训次数工作满意度提交的建议数量违反安全条例积极工作行为使用新技能的频率业绩考评等级员工流失落实的建议数量沟通故障员工敬业度做决定的次数工作效率的提高诉讼案件工作成就员工士气解决的问题避免的冲突心理咨询问题明确工作目的和设计业绩指标（2）数据收集计划举例：以销售培训为例项目：互动式销售技巧培训责任人：日期：级别广义的项目目标衡量指标数据收集数据来源时间责任人一反应/满意度肯定性反应建议改进的内容要采取的行动*在1至5数值范围内,质量、实用性、培训目标完成状况的平均值至少要达到4.7*行动计划的提交率达到100%反应问卷学员3、 培训期间的数据收集（1）第

15、一级（反应和满意度）评估的数据收集：1）.标准的反应和满意度评估数据由八个部分组成，如下表：反应和满意度培训评估表培训项目名称：日期：培训项目编号：地点：以下描述与本次培训的某些具体内容相关。请标明您对每项描述同意的程度，并在需要时给出评论： =非常不同意 =不同意 =无所谓 =同意 =非常同意内容：1.教学目标解释清晰明了2.已达到培训设定的教学目标3.我理解本课程中的材料和主题4.培训内容与我的工作相关（若不同意，请说明原因）请留下您的意见：方法-以下活动/材料有助于我理解培训的内容和达成所设定的培训目标5.在培训前收到了预习的材料6.学员手册7.课堂讨论8.联系和/或阅读材料/活动9.音

16、像材料（挂图、录像等）请留下您的意见：培训环境10.教室环境适合本次培训请留下您的意见：培训师姓名NO.1：NO.2NO.3培训师11.对培训内容表现出相当的知识水平12.表达清晰，有助于我的理解13.鼓励学员参与活动及讨论14.对问题给予恰当的回答15.有效地控制小组学习的热情16.使讨论/活动始终围绕培训目标请留下您的意见：行动计划17.作为本次培训的成果，您将会有怎样的行动：培训的总体评分1=完全无法接受10=非常优秀18.我对本次培训的综合评分请留下您的意见：有哪些因素阻碍使您无法将所学的内容加以应用：哪些人最适合学习本次培训内容？您会推荐谁参加同样的培训？请告诉我们，您认为哪些信息有

17、助于本次培训的改进：感谢您花时间告诉我们您的学习体会和建议：2）.对于时间长度超过一天的培训项目，在每天培训结束时应当实施问卷调查，可以及时对当天培训内容获得反馈，同时对接下来的内容进行相应调整。每日培训反馈如下表：1.今天的培训内容有哪些还令我感到困惑和/或不清楚？2.培训的哪些内容最有用？3.如果能够将会对我更有帮助：4.培训的节奏：（）正合适（）太慢（）太快5.学员的参与度：（）不够（）太多（）正合适6.以下三个方面对我非常重要，我希望您在明天的培训中讲授：7.评论或建议：（2）第二级（学习结果）评估的数据收集：1）.选择性地对学习结果进行评价。在实际操作中，不是所有培训项目都要实施第二

18、级评估，这就需要根据培训项目的性质、重要性、所需时间和资源来决定是否有必要实施第二级评估，并选择做到何种程度（见下表）。评估的前提条件对测试的考虑若适用，请选择学习目标描述得不清楚在考虑是否需要测试学习结果之前建立/重新设计学习目标学习目标表明不需要掌握该内容应该只测试学习目标要求的相应级别，务必让培训项目资助人员和一线经理明白掌握该内容不是培训项目的要求，可能还需要更多和/或其他的培训学习目标要求实现技能的应用采用基于行为的测试培训项目资助人员或客户要求实现学习效果的评估决定什么类型的证据可以接受，采用适当的方式来实施学员是否达到培训目标中设定的最低标准采用标准参照测试培训项目与提供证书及执

19、照的过程相关采用标准参照和行为测试方法有必要再现非常接近真实生活的场景，或者安全被认为是重要的因素采用模拟手段，并确保有预算保证评估的实施重要的技能和知识必须转化到工作中去，以满足法规、利润率和客户服务的要求采用行为测试方法计划实施更高一级的评估考到最为经济适用的方法，在这种情况下，较低一级的评估并不需要很复杂考试结果被作为晋升或职业发展的参考标准采用客观的测试方法（书面形式的测试和行为测试），可以严格地满足有效性和可靠性的要求组织中某项政策禁止采用考试这种手段或者工会合约禁止进行考试采用测试技术，确保以匿名的方式来检验学员的理解程度，以及在多大程度上达到学习的目的2）.用客观测试对学习结果进

20、行评价客观测试根据培训目的来设定，学员必须按照培训内容对测试题做具体和准确的回答，对应该掌握的知识和表现的行为，客观测试具有“标准”答案，因此，客观测试不能用来测试态度、感觉、创造性和解决问题的过程以及其他隐性的技术或能力。在设计客观测试题目时必须遵循一定的原则和步骤：说明：客观测试或者是为了测试知识，或者是为了测试行为，或者两者皆有。*知识性测试衡量对信息的理解程度或者对某种技能的掌握程度。知识性测试可以采用口试或者书面考试的方式。对产品知识和工作流程的理解通常采用知识性测试*行为测试（有时指技能测试）要求学员演示工作中需要完成的某项任务（或多项任务）时使用某种技能而表现出某种期望的行为。如

21、销售过程中应对拒绝和使用恰当提问技巧就是2个基于行为测试的例子*在上述任何一种测试中，在学员接受测试时，应该提供与真实工作环境相同的资源。例如，如果在工作场所中允许使用参考资料，那么在进行书面测试和技能测试时也应该提供这些参考资料步骤一：检查课程目标仔细检查课程目标以确保测试题反应该目标中所期望的知识和技能。测试题不应原封不动照抄目标步骤二：选择合适的测试类型选项满足目标要求并适合被测试学员的测试类型。若是基于行为的目标，测试也必须要以行为为基础；基于知识的目标也必须采用基于知识的测试题来做。设计基于行为的测试题时应该包含被测试的任务、完成任务所具备的条件，以及合格的行为标准。应该尽可能地还原

22、工作场景，通过使用与工作环境中相同的资源、设备、材料等来完成任务步骤三：便携测试题对照每个独立的学习单元编写测试题以参考目标来决定基于行为的测试和基于知识的测试哪一个更适合基于知识的测试通常使用多项选择的方式，衡量学员对培训中信息的理解，要求从几种可能的答案中选出一个正确的答案基于行为的测试应该结合工作场景密切相关的流程，衡量学员在执行流程的过程中表现出来的动手、言语表达或分析方面的技能步骤四：检查每个测试题测试题必须清楚，没有含糊不清的内容，不需要额外的解释和翻译测试题的行为格式必须符合学员的阅读理解习惯避免对正确答案给出任何暗示或提示不要将某个问题的答案明显地写在另外的一个问题中仔细检查内

23、容和语法错误确保测试题目能够按照培训目标要求对应该掌握的内容起到测试作用步骤五：对照和记录测试题目将测试题目与培训相匹配的情况记录下来，并且记录每个测试题的正确答案步骤六：设计测试决定采用测试的类型，然后按照下面的指示进行测试的设计必须对每个目标进行测试测试题的数量和范围应该反映出每个目标所占用的学习时间测试题应该区分合格和不合格的表现测试时间的长短应该是可控的，而且应该在分配的时间内完成测试题的形式具有一致性，切忌频繁变换问题的类型不要将一道测试题分割在2个页面上将测试题根据学习单元分组排列给参加测试的人员提供清楚说明若测试题的分数不同，应清楚地标明分数值确保测试题能全面地反映出培训目标中对

24、掌握知识和技能的需求客观测试题一般以选择题的形式出现，这里不再赘言。第二级评估可以采用标准参照测试和行为测试。标准参照测试是一种预先设定好及格分数的客观测试方式，目的在于了解学员能否达到最低标准，而不是测试学员之间的成绩排序。行为测试是让学员展示在培训项目中学到的某种技能，应尽可能模拟技能使用的真实场景如时间的控制、必要的材料和工具、测试的说明、相关人员的配合、评估的标准和程序等。行为测试比书面测试的成本高，但是在测试条件和真实工作条件具有相似性的培训项目中，行为测试是一个很重要而有效的方法。其设计的一般原则这里也不再赘言。4、 培训之后（第三级和第四级评估）的数据收集培训之后的数据收集侧重于

25、2个方面的信息收集：学习成果促进学员行为改变的程度以及行为改变对业务影响因素产生的作用，包括第三级和第四级的评估。数据收集方法有培训后跟踪问卷调查、行动计划/改进计划、岗位观察等。一般常用跟踪问卷调查表和行动/改进计划。对于跟踪问卷调查表，大家可以在网络上搜搜，有不少这样的表格设计，可以拿来学习一下。5、 培训效果鉴别（1） 综合考虑影响绩效的因素。绩效结果改进的因素有很多，培训只是其中一个重要因素而已，但不可能是全部，所以在进行培训效果评估的时候，要主动提出和强调这一点，才能使效果评估具有客观性，赢得大家对培训效果评估的认可和尊重。（2） 鉴别培训效果主要用10种策略：第一、控制组：如果计划

26、实施ROI研究的话，应该首选这个策略；如果要活的精确度很高的效果鉴别，而且这一点有非常重要的话，必须采用控制组策略。第二、趋势线分析：用历史数据画出趋势线并延伸到未来，在实施了培训项目之后，绘制出实际绩效线，与趋势线比较，超出的部分就可以合理地归结为培训项目实施的结果第三：预测法：在趋势线分析时，如果出现另一变量对培训效果产生影响并且呈现线性关系时，就不能直接画出一条直线，而是用线性模型（y=ax+b）来计算绩效的改进数值，剔除该因素对绩效影响的部分，就能得到培训项目带来的收益第四、学员提供的评价：简单而直接地从学员的推出获得绩效的改进多大程度上是由培训项目所引起的，因为学员是行为变化和绩效改

27、进的主体，他们的评价往往能够更好地得到管理层的信任第五、主管提供的评价：学员的主管对学员的绩效目标改进以及学员的行为变化具有直接的观察，对这些改变的影响因素非常清楚第六、管理层提供的评价：高级管理层可以就培训项目所引起的改进情况做出估计第七、客户意见：向客户询问他们对哪些与使用了具体的知识技能（培训项目的目标）的有关产品或服务有什么反应，直接关注培训项目所计划改进的那些知识行为第八、专家评价：内外部专家对培训产生的影响进行评估，他的可信度取决于专家的声誉第九、下属意见：主要用于管理培训项目的效果评估，向参加培训的经理人员的下属就培训后经理人员的行为变化提供反馈意见第十、计算其他因素的影响：有些

28、情况下，可以先考虑其他因素对绩效改进的影响，然后得出结论说剩余的影响都是由培训项目带来的如何选择以上这10种鉴别策略呢？要知道，选择前挡的策略来鉴别培训效果，是决定培训效果评估能否取得成果的一个关键性步骤，必须在慎重考虑以下问题的基础上做出合理选择：l 有可能安排控制组的活动吗？l 有历史数据可以利用吗？l 在投入因素与产出指标之间能建立其某种数量关系吗？l 学员是否有能力和意愿就衡量培训影响的那些指标推测信息？l 学员的主管是否有能力和意愿就衡量培训影响的那些指标估测信息？l 高层管理者是否有能力和意愿就衡量培训影响的那些指标估测信息？l 供应商或者专家是否可以就培训的影响提供实际的估测？l 学员的下属是否有能力就学员在工作环境中可能发生的潜在变化提供意见反馈？l 是否可以确定非培训因素对绩效改进的影响？l 内部或外部的客户是否能够就培训对客户决策和客户满意度的影响提供信息？l 在使用数据收集工具的过程中是否存在阻力？6、将数据转换成货币价值1）.将数据区分为硬数据和软数据，前面已经说了，这里不多说。2）.数据转换成货币价值的10种策略：第一，将结果转换为贡献，比如：增加的生产单位或服务单位所带来的边际利润贡献，如每天多生产收集的台数，每天接待顾客的人数等。第二，转换质量的成本，比如次品率降低所带来的成本降低第三，转换学员的时间，比如员工完成工作所需时间的减少所