柯氏四级评估模型
导读:在20世纪50年代,基于工作中的实际应用,唐纳德·柯克派屈克在他的博士论文中开创性地提出了四级评估的初始概念。
在培训效果评估过程中,常用的培训效果评估模型主要有5个,即柯氏四级评估模型、考夫曼五层评估模型、CIRO评估模型、CIPP评估模型、菲力普斯五级投资回报率(ROI)模型。
在20世纪50年代,基于工作中的实际应用,唐纳德·柯克派屈克在他的博士论文中开创性地提出了四级评估的初始概念。然而对于接下来的50年中四级评估将会演变成什么,当时的唐纳德(Don Kirkpatrick)并没有任何明确的想法。但是现在,大多数学习与发展领域的专业人士对柯氏四级评估都很熟悉,并且几乎所有做培训效果评估的人士都在以某种方式使用它。
柯氏四级评估模型有四个层次,如下图所示:
▲ 华恒智信——案例研究中心
这个模型通过一种简单的、可视化的方式来表述如何应用各级评估来强化培训效果。新的模型将一级评估和二级评估结合在一起。这是因为学员对培训的直接反应和对知识、技能及态度的获取是同步发生的。从一个改进型评估(在培训的过程中)的立场来看,好的培训师会非常警觉地观察到学员是否既投入地参与到培训中(一级)又学会了应当要学习的内容(二级)。这两个层级的改进型评估可以通过各种正式的或非正式的方法来进行。相对于改进型评估,总结型评估(在培训结束后)通常采用比较正式的方法,较常见的是调研问卷(一级评估)和知识或技能操作测试(二级评估)的组合。
▲ 华恒智信——案例研究中心
如果培训计划得当,实施有效,第一级和第二级的评估合理充分,那么学员在工作中的行为改变以及获得预期业务结果的过程就会相对快一些。这就意味着图表2中指向三级行为改变和四级业务结果的箭头就会相对短一些。然而在实际应用中,图中箭头所代表的差距(即从较低层级的评估向较高层级的评估的跨度)通常是非常大的,而且对于学习团队而言如何跨越是一个很难弄清楚的障碍。
此外,全新的柯氏四级评估模型 (见图表2)还引入了一个新的机制——监督和调整 (见橘黄色的矩形区域)。这个监督和调整的矩形覆盖了所有三级评估和一部分四级评估的流程和活动。其目的在于针对第三级和四级评估过程中的各环节以及相应的评估方法和活动进行适当的监督和调整。这个矩形代表了增强培训给企业带来更大价值的机会区域。
▲ 华恒智信——案例研究中心
一级评估所关注的重心应当是参训学员所得到的收益以及与对他们的工作岗位需求的满足。以讲师为中心的反应量表所产生的不良后果是:参训学员通常只愿意花很少的时间和精力去填写它们。原因是参训学员没有发现这些问题对他们有多少价值。思考一下你已经收集到的反应量表的数据——如果你回收了很多表格,这些量表中的所有评分都是“5”分,但没有给出任何评论,你就需要考虑修改你所设计的问题了。这些问题设计出发点要尽可能展现对学员的价值,从而让学员更有兴趣地去填写它们。
那么如何设计以学员为中心的一级评估量表呢?
图表3中罗列了如何从以讲师为中心转变为以学员为中心的一级评估的典型实例。这些问题(实例)与四分制的利开特式量表(Likert Scale)是兼容的。利开特式量表的四分制(1、2、3、4)分别对应于“非常反对”、“反对”、“同意”、“极为赞同”四个选项。
▲ 华恒智信——案例研究中心
目前全新的柯氏一级评估(学员反应)的定义包括两个新的维度:学员的学习参与程度和与工作的相关性。这两个维度也能确保培训是为了学员和围绕着学员,而不是讲师。
许多一级评估的反应量表的另一个缺陷在于它们很少引导参训学员关注培训的最终目的:改进绩效和增加个人对组织完成使命或实现战略目标的贡献。下面是一个简单的弥补措施:增加一些培训后将会发生什么的问题。我们举出了一些典型实例,也列出了它们与柯氏各级评估的关系。
·我相信我所学到的内容值得应用到我的实际工作中去(第二级)
·我很自信我能够将所学的应用到工作中去(第二级)
·我知道参训的期望是什么(第三级)
·我能够将所学到的应用到工作中去(第三级)
·当我在工作中应用所学的,我不会有任何障碍(第三级)
·我认为我的努力能够给组织带来积极的结果(第四级)
如果你有更多的时间或精力去浏览学员的反馈,最好可以问一些开放式的问题来获得更丰富的信息。下面是一些例子:
·在这个课程中,你所学到的最重要的三个方面是什么
·你计划将哪些学到的内容应用到你的工作中去
·为了应用你所学到的,你需要什么样的帮助
·当你在工作中应用这些新技能时,你预期会遇到什么样的障碍
·你如何去克服这些障碍
·如果你能够成功地应用所学到的,最终你会为你的组织做出什么样的贡献
学员信心
信心和承诺是柯氏二级评估新增加的两个考量。在这里,“信心”被定义为“我相信我能将所学的知识应用到我的工作中去”。经常见到学员在离开培训教室的时候,总是与其他学员窃窃私语:“这个老师根本不了解我回到工作中将会遇到什么样的情况或挑战”。从下列常见的原因中可以看出,要把课堂上所掌握的知识应用到实际工作中,还有很长的路要走。这些最常见的原因包括:
(1)对期望的工作绩效的设定不清晰。
(2)参训学员的主管对于新知识的应用不提供支持已算是好的情况,更糟糕的情况是:主管甚至打压学员对新知识的应用。
(3)没有确保员工责任心的企业文化。
(4)高层管理者不能起到模范带头作用。
(5)工作优先顺序的冲突与混乱。
(6)在困难的情形下,缺乏相应的支持和资源。
为了提高学员将所学的知识和技能应用到工作中的信心,讲师可以从以下几个方面着手:
(1)在学员掌握了相关的知识和技能之后,讲师应该引导学员开展一个讨论:当我们试图将新的知识和技能应用到工作中,将会发生什么样的情况?如果学员指出一些应用中可能会遇到的障碍,则要共同讨论相应的应对策略。
(2)在培训评估表中,可以包含一个应用所学的知识或技能相关的信心方面的问题。例如,一家美国的政府机构采用了这样一个评估问题:“在多大程度上,你有信心将培训中所学的知识/技能应用到你的工作中?”这个评估问题采用从1到10的10个数量值,1代表“毫无信心”,10代表“充满信心”,学员根据自身情况进行选择。
(3)如果对于该问题回答的分值低于标准值(在上面的这个例子中,即分值低于8),则需要进一步挖掘以找到原因。方法可以采用一对一的访谈、课后讨论、或者正式的小组访谈等。
(4)如果最终的反馈结果显示:(造成知识应用的)问题源自于与岗位有关的文化或环境,那就需要做一些属于第三级评估(即行为改变)的工作了。此时,讲师就不能仅仅局限于设计、开发和教授课程的角色,而是应当深入到学员的工作场所中,了解如何才能改善工作环境以解除应用新知识或技能的制约。通常来说,解决这类问题的主要方法是提升责任心以及通过其他支持措施。一旦一个清晰的绩效支持系统搭建起来了,就意味着对学员提供培训后的跟进辅导的条件具备了。
学员承诺
新柯氏二级评估中的另一个考量是学员承诺。简而言之,学员承诺代表“我愿意尽力将(培训中)所学的知识/技能应用到工作中去”。尽管学员有信心将所学知识应用到工作中,但可能不想或者只有些许的意愿付诸行动。
即便我们可以强迫学员将新的知识或技能应用到工作中,他们的内心可能并不情愿。一旦这种硬性要求被取消,新知识或技能的应用往往就中止了。
如果调研或访谈结果显示学员承诺分值偏低,那就需要进一步查找原因。
对于选择分值在7分或7分以下的学员,分析低承诺原因的一个切实可行的办法就是采用一系列自上而下的问题。下面是一个例子:
如果你对该问题(学员承诺)选择一个7或低于7的分值,请逐一回答下列问题。请选取下列所有适用于你的选项。
我对应用所学知识到工作中的承诺不高,主要是因为:
(1)我还不具备必要的技能
(2)我还不确定我需要达到什么样的期望
(3)我有其他更重要的事情要做
(4)没有人要求我非得这么做
(5)无论我做与不做,都没有人关注
(6)即便这么做,也没有奖励/奖金
(7)其他(请详细说明):___________________________
一旦找到了导致低承诺的理由,我们就可以采用类似提高学员信心的方法去提升学员承诺。
以公式来表示的新柯氏二级评估的官方定义是:
新柯氏二级评估=知识+技能+态度+信心+承诺
这个延展后的柯氏二级评估的定义有助于学员更好地面对由学习过渡到行为转变的过程中普遍存在的挑战和问题。
第三级:学习评估 被培训者的学习获得程度
柯氏公司把柯氏第三级评估称为“缺失环节”——这个环节是联系学习(第二级评估)与业务结果(第四级评估)的重要桥梁,但在实际操作中,其价值却被严重低估甚至忽略了。
为何第三级培训评估如此重要?其原因在于:如果学员不能把所学的知识和技能应用到工作中,不能持续地展现出关键行为的改变,期望的业务结果将很难实现,于是战略目标也就无法达成了。所有的这一切都取决于相关的学习活动、激励政策、工作流程及操作步骤强有力的执行。
但遗憾的是,由于目前缺乏第三级培训评估(行为改变),大家只能简单地采用“微笑量表”做第一级评估(学员反应),用课前及课后考试作为第二级评估(学习),并傻傻地期待着第三级(行为改变)和第四级(业务结果)评估结果会自然而然地发生。事实证明,这只是一个美好的“愿望”而已。
有效的培训:指能提供给学员需要的知识、技能或态度,以使其能够掌握完成工作所必需的各种关键行为的培训。
培训的效用:指通过培训及对后继的强化与监督等措施的综合使用,取得期望的组织业务结果。
长期以来,人们头脑中存在着这样一个根深蒂固的观念:当学员离开培训教室或者完成网上学习单元的时候,培训专业人员的工作就结束了。然而,企业的管理者往往不这么认为。他们认为,确保学员学以致用也是培训及人力资源开发人员的职责。
第一步:确定关键行为
第一步是明确哪些行为最有可能促成期望的业务成果(第四级评估)的达成。这些关键行为的寻找与确定,可以发生在培训课程设计的过程中,即通过访谈参训学员的经理或主管的方式来完成。例如,如果所期望的业务结果是将客户满意率提高10%,我们就可以询问这些经理:在持续稳定的操作下,哪些关键行为会对客户满意率的提高有最大的促进作用?可能的关键行为有:
客户服务代表坚持不懈地服务于某一特定客户,直到该客户的所有问题都得到了满意地解决。
客户的询问在一个工作日之内得到回应。
标价错误在发现后的2小时之内得到及时更正。
员工在客户距离他们10英尺的时候就热情地打招呼。
第二步:在培训中讲授关键行为
工作中需要执行的关键行为,与培训中所传授的内容往往脱节。因此,要确保你教给学员的,一定是他们完成工作所必须的关键操作。在培训中,加强相关技能的演练与模拟,不仅可以让学员知道他们应该做什么,而且还能提供一些练习的机会让他们亲自去做。
如果培训的目标不是为了支持组织关键业务目标的达成,而是为了实现其他目标,那么,该学习活动就不能称为真正意义上的“培训”。例如,某些公司把培训作为一种员工福利或者额外的奖励,其培训目标是表达感谢或嘉奖员工。但这样做的结果往往事与愿违。这种类型的学习活动往往不能称作真正的培训,而应另当别论。
第三步:监控和衡量工作中关键操作/行为的绩效
监控和衡量第三级评估中的操作/行为并不是很难也不会很昂贵。根据不同的公司或不同的培训预算, 可采用不同的方法:
(1)直接观察法。
(2)对学员、主管、直接汇报人、同事,或客户进行调研。
(3)评估实际的工作产出/结果。
(4)采用一对一的访谈或者小组访谈。
要降低与实施第三级评估有关的各种担忧是相当复杂的。但是,我们可以通过对下面两个关键问题的回答来化解这一难题:一是在多大程度上,学员将培训中所学的知识应用到了他们的工作中去;二是如果没有,原因是什么。
如果学员回到工作岗位后的行为改变达不到期望,对这两个问题的回答能提供相应的路线图,以帮助寻找合适的干预手段。不能准确地回答这两个问题将妨碍我们找到正确的解决方案。
第四步:基于反馈信息进行调整
持续不断的监控和衡量第三级评估中的行为改变,能够让你在原有计划的基础上作一些调整。我们在图表3中的橙色方框中作了具体而形象的表述。换句话说,这里(橙色方框)是奇迹发生的地方。对关键行为转变及驱动力的同步监控,将有助于及时获得相关的信息和数据。根据这些信息和数据,你可以对原有的计划作出策略性的调整。只有这样,才能真正确保培训中所学到的能够运用在工作上。
衡量标准:让评估有据可依
绝大多数培训专业人员认为第四级评估(业务结果)最难衡量,从感觉来上说确实如此,但换个角度来看,答案可能恰恰相反。之所以说第四级评估很容易,是因为在这个层级的评估中所需要用到的衡量标准已经被企业的其他各个部门使用和监控了。下面是一些企业利益相关者对培训应该达到的目的所持有的普遍期望:
● 提高利润
● 降低成本
● 提高客户保有率及市场份额
上述衡量指标已经被相关的业务线或运营部门监控和跟踪,培训人员可以很容易地得到培训前及培训后的业务数据,再根据这些业务数据建立起培训价值证据链(见图表2),以显示培训给公司业务带来的价值。
▲ 华恒智信——案例研究中心
需要注意的是,顶尖人才的保留以及员工敬业度衡量是不包括在上述“普遍期望”之列的。相反,许多企业将这两类目标归为企业战略目标之列。顶尖人才的保留及员工敬业度的提高通常是作为企业战略目标的实施和达成后的一种副产品,而不是战略目标的实现本身。
由于培训本身与最终要达成的结果之间的距离使得第四级评估被认为是最难操作的。为了展示培训带来的价值,柯氏评估采用定性和定量的方法来收集数据,根据这些强有力的证据建立起价值证据链,通过故事的方式显示培训带来的价值创造。最终的结果是清晰地展示培训给利益攸关方所带来期望回报率(ROE)。
期望回报率(ROE):期望回报率是指一个成功的培训给利益攸关方所带来的价值在多大程度上满足了利益攸关方对培训所持有的期望。
用证据链的方式来展示期望回报率(ROE),就像是把各个分散的点串联起来,这与律师在法庭上做总结陈词有异曲同工之妙。主要的区别在于,培训专业人士是通过柯氏四级评估的方法将零散的点串联起来:
● 对于授课及学习内容的正面反馈(第一级评估:学员反应)
● 学员从培训中掌握了应该掌握的知识、技能及态度,同时这些所学的是可衡量的(第二级评估:知识)
● 将培训中所学的知识和技能应用到工作中(第三级评估:行为改变)
● 最终达到高层管理者设定的衡量标准(第四级评估:业务结果)
建立价值证据链是进行期望回报率(ROE)分析的主要目的之一。价值链的各个部分体现在培训前、中、后所采用的各种强化措施为实现利益攸关方的期望所带来的相对价值。但到底如何才能展示出培训所带来的价值是下面值得进一步探讨的话题。
“把终点作为起点”是柯氏四级评估的基本原则之一。以利益攸关方对培训的期望和产生的业务结果作为出发点,有助于选择并实施效用及效率高的学习和强化措施。另外,如果在一开始就定义出可见的、可衡量的指标,这将为整个培训工作的展开提供一个清晰的架构,从而使培训的实施不偏离方向。这种方法将保证几乎不会有“无用功”存在,带来的直接业务结果就是成本的降低。
下面是一些如何做到“把终点作为起点”的基本方法。当你接到一个培训需求时,一定要弄清楚产生这个需求的原因。
首先,看看是哪项业务需求、业务机会、业务问题导致这个培训需求的产生。
接着,与相关的高层管理人员讨论他们的培训期望值,以及为了达到他们所期望的结果应该采取的相关后续强化措施。
然后,与这些高层管理者一同将他们提出的宽泛的培训期望转化成看得见的、可衡量的业务结果。在这个过程中,你需要问的一个关键问题就是:在你看来,这个培训的结果应该怎样才算是成功的?如果高层管理者给出的答案不具体,仍处于战略战术层面,或者根本没有答案,你通常需要结合公司的愿景或战略规划,给高层管理者提供一些可能的答案。为了确定最终的衡量指标,你可能需要继续问这样一些问题:“……为了什么……”或者“……所以……”。
重复这样一个流程,直到最后达成的衡量指标对于你来说比较实际而且可操作的,同时在高层管理者看来也是有意义的。我们来看下面这个例子,内容是高层领导团队希望为销售经理们提供一个新的领导力培训。
培训人员:“在你看来,这个培训的结果怎样才算成功?”
高层管理者:“我们希望用目前最新的方法来培训我们的领导者。”
培训人员:“为了……”、
高层管理者:“为了让他们能以适当的方式领导他们的直接下属。”
培训人员:“因此……”
高层管理者:“这样他们就可以提高我们的有才能员工的保留率。”
培训人员:“请问这样做的目的是……”
高层管理者:“减少我们的招聘和培训的成本。”
培训人员:“最终会导致……”
高层管理者:“利润率的提高。”
培训人员:“太好了。现在,我们知道这个培训应该往哪个方向努力了。”
为了达成一个清晰的培训期望,上面的这个探讨过程至关重要。
对于培训过程中对项目计划的不断监控和调整的重要性,在全新的柯氏四级评估模型的最大的橙色方框中已经加以强调了。监控作用的发挥需要第三级评估的驱动手段和关键行为以及第四级的领先指标共同组成一个“早期预警系统”。简单来说,如果领先指标没有显示为正面积极的状态,那么最终培训能对业务结果产生的影响作用就会非常有限。如果根据领先指标反馈的数据对培训进行适当的调整,那么培训就能够回到正确的轨道并最终取得成功。
更多精彩内容欢迎观看赵磊老师管理问答视频
建议WIFI状态下观看 如何制定培训规划及有效实施