中国医院院长手册(第4版)
上QQ阅读APP看书,第一时间看更新

第五节 管理培训的评估

培训的目的是培养医院管理者胜任工作所必需的理念、知识、技能、态度和自信心,从而提高医院的管理绩效。对培训进行科学、系统的评估才能让培训者和投资者(医院)了解是否达到了预定的目标和要求,了解学员对课程的满意度,考察学员对课程内容的掌握情况,考察学员是否已将所学的知识转化为相应的能力,考察投资回报率(即考察培训投资为医院及管理者个人所带来的效益)。同时,通过评估找出培训中存在的问题或失败的原因,帮助汲取教训,改进以后的培训工作。
一、四层评估模型
Kirkpatrick提出了四层培训评估模型:反应层,学习层,行为层和结果层。该理论得到国际上大部分培训专家的认同,并被广泛地用于培训的评估工作中。
(一)反应层(一级评估)
了解管理者对培训项目的主观感受和满意程度,以及既定计划的完成情况。主要集中在对培训项目本身,包括其组织、内容、教师、方法、设施以及实施情况的评估。可以通过对受训者的情绪、注意力、兴趣等的研究,得出他们对培训项目和教师的看法和态度。这一层次的评估通常可采用问卷调查、座谈、讨论的形式在课程刚结束时进行。
该层次的评估易于进行,是最基本、最普遍的评估方式。评估的结果有助于对培训设计、内容和实施进行调整、改进,还可以帮助确定需要进一步追踪评估的重点,以及对比既定培训计划与实际实施的情况。一般来说,大部分培训都进行一级评估。尽管这一层次评估对评价一个培训项目是否成功非常重要,但是,对课程好的反映并不能保证受训者获得了所期望的知识和技能,并能有效地运用于他们的实际工作中。学员可能因为对课程的某些方面有好感而给课程全部高分,也有可能对某些因素不满而对课程全盘否定。
(二)学习层(二级评估)
学习层次的评估主要是用来了解管理者通过培训学到了什么,着眼于对学习、培训目标达到的程度的度量,即评估学员通过培训,在知识、技能、态度、原则、事实、过程、技术等方面的收获。这一层次的评估往往是在培训之中或课程结束时进行,可以采取考试、演示、讲演、操作测试等方法,由教师或其他培训人员负责实施。
对学习层次的评估应该客观使用一些可量化的指标来测评学员对新知识、新技能、新要求的理解和吸收掌握的情况。该层次的评估可以有助于调整培训内容、培训设计和培训的实施。尽管这是一种对培训课程是否成功的测评,但是对学习层次的测评并不意味着培训提供的知识和技能将会被成功地运用到学员的工作中。
(三)行为层(三级评估)
行为评估即评估管理者培训后其工作方式有多大程度的改变,测定他们在日常管理工作中是否自觉地运用了培训所学到的知识和技能,可以专门针对在培训中学到的某些特定的知识和技能的运用。
该层次的评估主要依靠上下级、同事等相关人员对培训者的业绩进行评估来测定。一般是在培训结束后几周或几个月在学员的工作单位进行。评估方法主要有观察、同事的评价以及学员本人的自评。
培训的目的是改变管理者的行为,所以该层次的评估可以直接反映课程的效果,可以提供学员在工作中运用培训所掌握的知识和技能的情况。若学员行为改变明显,使高层领导和直接领导都看到培训的效果,他们将会更加支持培训。同时,也可以帮助培训者总结经验,将其培训项目进一步推广。若工作方式改变不明显,就需要了解是什么原因,是由于培训项目本身存在的问题,还是由于工作环境存在阻碍管理者在工作中有效运用所学知识和技能的因素。
尽管行为层次的评估涉及培训的应用领域,对确定培训的实际运用非常重要,但是它仍然不能完全保证培训就对医院产生了积极的影响。再者,这个层次的评估要花很多时间和精力,占用相关人员太多时间,大家可能会不太配合。影响管理者工作表现的因素也很多,如何排除其他因素的影响也是一个值得注意的问题。
(四)结果层次(四级评估)
结果层次的评估上升到了组织的高度,其目的在于测评培训项目对绩效改善的效果,对目标实现的贡献大小,具体说就是医院是否因为培训而使管理效果更好。这一层次的评估可以通过诸如质量、产量、病人满意度或员工满意度、成本、效益的改善等医院最关注的指标来测定。通过分析绩效改善(或不足)的情况,判断培训成果的转化,与培训前进行对照,看最终绩效变化是否与培训有关。这一层次的评估一般是在培训后的几个月以后,由培训者和医院有关部门负责实施。
结果评估方式强调的是培训所带来的医院绩效的实际改善,这是医院在培训上投资的根本目的,其优点显而易见。但是,这个层次的评估需要时间,短期内很难有结果。同时,什么是最适宜的评估方法和手段目前还在探索和尝试之中,在一定程度上缺乏必要的技术和经验。再者,影响组织绩效的因素很多,若只是简单的定量数据对比意义并不大,必须分辨清楚哪些结果与培训有关系,且程度如何等。
二、投资回报层评估 (五级评估)
使用Kirkpatrick的四层模型对培训进行评估有着非常肯定的效用。但是,随着组织机构对培训的期望值的增加和在培训上的投入价值的关注,确定培训的投资回报率成为人们普遍考虑的问题。Phillips以及Phillips和Stone提出了第五级评估,即培训投资回报层次。
投资回报层次的评估强调的是培训为医院所带来的经济效益。主要通过培训成本(投入)与培训所带来的组织经济收益状况的比较来对培训进行评价,也就是培训投入—产出分析。目前国际上一些学者提出了很多计算公式,用于测算培训的收益率。如Phillips和Stone使用的收益率公式:收益率=培训所带来的效益÷培训成本×100%。根据这样的计算,可以看出,培训也许导致组织经营的改善,但是如果培训的成本太高,并不意味着能够为组织带来高的投资回报。
由于对培训进行定量分析时变量很多,同时又很难区分影响工作改进的因素到底是什么,在测算培训所带来的效益时,很多都是一些模糊的变量,如对管理者工作成绩的货币计算,培训对工作产生影响的时间,接受培训和未接受培训的管理者在工作上的差异等,这些都致使在具体运用公式时存在很大的困难。正如Kirkpatrick本人所说 “由于许多复杂的因素同时起着作用,从效率的角度来衡量某一项培训的效果,如果说不是不可能的话,那也是极其困难的。”这一层次的评估还需要做更进一步的研究。
三、基于利益相关者分析的评估
近年来,部分学者提出仅采用上述五级评估是不完全的,有的学者认为组织机构不可能只用经济效益来衡量培训效果,而应该使用一种建立在利益相关者分析基础上的方法对培训项目进行评估。这一方法要求培训组织者将利益相关者的要求融入培训项目的设计、开发和实施中,使培训最大限度地体现和满足利益相关者的兴趣和需要。而评估主要是围绕培训项目能否使所有的利益相关者获得了有意义、有价值、与他们的实际需要密切相关的培训效果。
一般来说,培训项目的利益相关者包括受训者,受训者单位或领导,出资者,培训项目的开发者和组织者,教师等。评估的过程包括:确定主要的利益相关者;分析各利益相关者对培训项目的作用和影响;列出各利益相关者对培训项目的投入和付出,以及他们将从培训项目中获益的主要方面;设计测评各利益相关者对培训项目满意度的方法,设计测评各利益相关者对培训项目的付出和价值的方法;最后综合上述测评结果,可以用记分卡的形式将各利益相关者的付出与获益进行对照,并随时将结果与各利益相关者进行交流沟通,并在此基础上调整和改善培训项目,以达到使所有利益相关者最大限度地从培训项目中受益的目的。
这一评估方法强调了培训不仅仅要使受训者获益,而更重要的是培训应该体现和突出与之有关的所有机构和人员的价值。它迫使培训项目的设计者更加注重和兼顾所有利益相关者的需求和期望,强调培训对各利益相关者的实用效果和意义。同时,它还可以明确各利益相关者各自对培训项目的职责以及共同的责任。培训项目的成功与否不仅仅只是培训者的责任,受训者、受训者所在单位和领导以及相关人员都对培训效果的优劣都负有责任。使用这一方法对培训项目进行评估有其优点,但是需要大量的时间和细致的工作,真正实施起来很困难。目前还在探索之中,使用得并不普遍。