多少人把“项目产出”当作“项目成效”?
随着项目开展,是否给社会带来好的影响,是否促进服务对象好的改变,是否让资助方的钱花得实在?……在诸多客观需求之下,公益项目成效的评估成为项目实施与运营中的重要环节。
在日常工作中,常听到很多项目实施的伙伴们吐槽:为何我们不把这些心思放在更多的实务工作上?这样可以帮助到更多人,而不是整天围绕着为呈现“项目成效”,做很多非必要的文书工作,更有甚者,为接二连三的“评估”加班加点,让人叫苦连天。
今天,我们一起来聊聊“评估公益项目的成效”这个主题,“公益项目”为何要评估?如何有效开展评估?评估需要注意哪些问题?“项目产出”与“项目成效”有何区别?
「“公益项目”为何要评估成效?」
这是一个好问题,虽然我们经常会问起,却很少深入探讨过。常见的理由是“花了钱,就要评估啊,不然怎么知道好不好呢?”
为检验工作成效,评估“投入与成效”是否成正比?因此,评估成效也是我们的职责所在。
一般的“成效评估”可分:自评与他评。
自评,即自我评估。通俗点讲,即是自己评估自己的项目做得怎样?
他评,为避免自评的主观性,由他人来评估这项目的成效。这里的“他人”包括“服务对象、资助方、合作方”等,也被业界称为“项目利益相关方”,或“项目服务持份者”。
大家可能都因项目而联系到一起,也有一定的利益相关,好像也会影响评估的客观性。所以,一个神秘的“第三方”应运而生,大家称之为“第三方评估”。
说到这里,大家也许能够理解,“第三方评估”一般会出现在多元主体参与的项目中,也经常出现在公益项目评估中。然而,在日常生活中,我们也有很多“花了钱不用评估”的情况。
比如,我们在路边买根油条,买台电脑,买一辆车,甚至买一套房子,我们几乎不用找个第三方来评估。因为这是“花自己的钱办自己的事”,自己的钱,自己的事,责任主体在自己,好与不好,自己看着办吧。
这种情况,一般只是“销售方与顾客”的二元关系,成效评估有最直接的反馈机制。东西好,顾客下次会继续买单;东西不好,顾客就会投诉,或者下次不会光顾了。
经济学家弗里德曼说:“花自己的钱办自己的事,既讲节约,又讲效果;花自己的钱,办别人的事,只讲节约,不讲效果;花别人的钱,办自己的事,只讲效果,不讲节约;花别人的钱办别人的事,既不讲效果,又不讲节约。”
这句话道出了一般的人性特征,我们也可以把“公益项目”代入一下,比较接近最后一种情况,“花别人的钱办别人的事”(需要特别注意的是,这两个“别人”可能还不是同一个人)。所以,公益项目成效评估的必要性与复杂性由此可见。
「如何评估“公益项目”的成效」
1、谁来评?
自评:项目实施方作为评估主体对项目成效而进行的自我评估。
他评:服务对象、资助方、合作方等利益相关方的作为评估主体对项目成效进行评估。
第三方评估:聘请专业的“第三方评估”机构对项目成效进行系统性评估。
2、评什么?
A.项目的有效性:项目的实施是否达到了预期的目标?有什么目标已完成,有什么目标未完成?目标达成的程度如何?是部分达成,是100%达成,还是超额达成?
比如,“独居长者居家安全改善计划”项目其中一个目标“独居长者居家安全意识提升30%”,经过前后测评估,项目实施过程中,项目方通过讲座,个别辅导等服务形式,确实促使服务对象的居家安全意识提升了30%,那么一定程度上,可以证明项目的有效性符合预期,如果超过30%,则是超额达成目标,反则部分达成目标。
B.项目的效率:项目投入的资源与产生的成效之比。即是项目要以最优化的资源达成最大的成效。
比如,“独居长者居家安全改善计划”项目其中一个目标“协助长者排查10种常见的居家安全隐患及掌握应对措施”。为了达成这个目标,资助方及项目方都要考量项目的效率,即是我们要投入多少的资金、人力、物力等资源,刚好可以达成这个目标。
假设同时有A、B两个项目组分别开展这个项目,A项目组申请资金20万元,聘请2名专职人员;B项目组申请资金10万元,聘请1名专职人员,两名兼职人员,还有动员一些志愿者参与。从项目的效率上看,可能B项目组优于A项目组。
C.项目的影响力:项目产生的积极的社会影响力。社会公众对项目的知晓度与美誉度,以及项目引起的社会倡导议题及社会变化。
比如,经过“独居长者居家安全改善计划”项目实施,有多少公众了解并关注“独居长者”的居家安全议题,又有多少人参与到具体行动中?大家对于这个项目认可程度如何?
现实中,有些第三方评估机构基于评估成本,仅以过往“媒体报道”、“所获荣誉”及“相关方满意度”作为项目影响力的衡量标准,实在难以周全。而项目的社会影响力评估,是一种涵盖面大,历时久的评估,如要全面反映项目的社会影响力,需要更大的评估成本投入。
D.项目的公信力:项目实施方以及项目成效让公众信服的事实与行为。相对于商业,顾客购买商品,其实一般不太关心这商品背后的公司是怎么做的,而是更加关心结果,这个商品是否真的好?
公益项目则不同,大家要关心的不仅是你是否做得好,还要关心你是怎么做的?所以,公益机构的荣誉资质,内部治理,人员资质,信息公开等,也会成为公益项目成效评估的考核标准之一。原因在于,上面提到的公益项目多元参与性与“花别人的钱办别人的事”的特点。
E.项目的可持续性:项目资助停止后,该项目是否能够依然存在并运行?这个评估维度出发点是好的,已有“自我造血”功能的项目应该让渡资源给更加需要的项目。
而具体实施起来,有一定的挑战。一般的公益项目评估,主要是为下次资助提供证明。如果是“好”,继续资助,如果是“不好”,停止资助。
而这个“项目的可持续性”评估就有点尴尬了,如果该项目可持续性差,我们应该继续资助吗?如果该项目的可持续性好,我们就不用资助了?这也是项目实施方的迷思,我们是要可持续性好,还是不好呢?
3、如何评?
评估的方式一般分为:过程性评估与结果性评估。
A.过程性评估:项目方案仍在实际执行过程中,我们所进行的评估。提供相关过程中的信息,使项目方案实施方可以用来修正方案运作。
这种方式一般体现为项目监测或项目督导。主要表现为项目实施方自我监测,项目实施过程中,目标有偏离,应该作何调整?或者资助方、合作方等过程性评估,检查项目进展是否顺利?是否按照协议内容进行?现实中,考虑到评估成本,过程性评估一般很少出现“第三方评估”。
B.结果性评估:项目方案结束时,对项目进行的总体评估。比如,协议到期,预算周期结束,大家要一起检视项目方案的成果或成效。
此时,除了自我评估,还有服务对象、资助方、合作方等多元评价主体参与,同时“第三方评估”也会对项目成效进行系统性评估,分别进行上述的各纬度评估:项目的有效性、项目的效率、项目的影响力、项目的公信力、项目的可持续性等。
「“项目产出”与“项目成效”」
“项目产出”与“项目成效”这两个概念常见于我们项目设计与项目管理的过程中,一不留意,两者极易混淆。
在项目大赛,或者项目汇报会上,我们也许看到有些汇报者是这样陈述本项目成效的:“我们做了30场社区活动”、“我们开展了20场技能提升培训”、“我们制定并发放了150份项目手册”……
咋一看,好像项目做了挺多事情,应该挺有成效的。回头一想,好像不太对,“做了难道就有成效吗?”这是个灵魂拷问。强调做了多少事情的表述应该是“项目产出”,不能代表“项目成效”?
1、定义不同
“产出”的英文为“Output”,意译可以是项目出来了些什么?通常,我们把项目的直接交付物叫作“产出”,产出一般是有形的,看得见、摸得着、可衡量的。
比如上述的“30场活动”、“20场培训”、“150份手册”,还有类似“服务提供小时数”、“参与者服务次数”等,这些都是“项目产出”,是项目组直接交付给服务对象或资助方的东西。但这是否有成效,还得另说。
这些的表述具有看得见、摸得着、可衡量等特点。无论实施方,还是资助方都好像乐意看到。也正如此,导致“产出”与“成效”的混淆。
“成效”的英文为“Outcome”,意译可以是项目带来了些什么?它是“产出”经过转化的成果。因此,“成效”比“产出”需要多走一程,“产出”的这些东西需要转化,才能成为“成效”,不然它们就仅是“产出”而已。
比如,我们确实做了150份项目手册,也发了出去,但是服务对象完全没看,或者看了,没什么收获。因此,项目手册没有发挥价值,这些“产出”就没有转化成“成效”。
“项目成效”一般是指服务对象是否得到新知识?技能提高?行为改正?身体状况改善?社会地位变化?态度或价值观改变?……
2、视角不同
“项目产出”与“项目成效”两者侧重的视角也不同。
“项目产出”侧重的是“从工作人员出发”视角。“项目产出”描述句式一般是“我们做了什么?”“我们做了什么服务?”“我们做了什么产品”……
“项目产出”语境表述特点一般是使用第一人称:我做了什么?我们做了什么?
而“项目成效”侧重的是“从服务对象出发”视角。“项目成效”描述句式一般是“给服务带来了什么?”“服务对象收获了什么?”“服务对象的能力是否得到提升?”……
“项目成效”语境表述特点一般是使用第三人称:他得到了什么?他们有什么改变?
下面,我以“长者膳食改善计划”项目作为例子说明。
3、混淆两者的弊端
由于“产出”看起来比较讨喜,又便于量化,而且有一定的迷惑性。
“产出”可以让项目组看起来做了很多工作,产出满满,从而为大家误以为是“成效”蒙上一层迷雾。久而久之,项目组也深以为“产出”就是“成效”没有毛病。
但是,有意无意混淆两者区别是有弊端的。
当然,只是说明自己的“产出”为项目实施方提供了很多便利:不用刻意探讨服务对象的精准需求、不用深究服务对象状况由于项目服务的改善,可以适当回避服务成效的责任。但是,长期以往,项目组就会陷于“自欺欺人”的局面。
举一个残酷的例子,一家手机生产商,他们投入了人力、设备、原料等资源,生产出来10000台手机,如果他们不追求“成效”,没有卖出去这些手机。
于消费者而言,这些手机没有发挥通讯便利的价值;于生产商而言,这些手机没有转化成利润,这家手机生产商就会面临倒闭的风险。
如果再遇到以上困惑,我们不妨转化视角与思路,多从“服务对象”出发,多想“他们”,少说“我们”,也许很多问题就会迎刃而解。
「“公益项目”成效评估之谜思」
正如上述所言,公益项目成效评估是项目运营管理中不可缺少的环节。而评估过程中,我们也在考量、质疑评估本身的有效性。
我们都希望能有一套万全之策,既能有效评估公益项目的成效,又能避免“劳民伤财”的无用之功。
然而,评估也有成本。要提升评估的全面性与科学性,评估成本也会随之增加。
比如,如果评估方要更加全面客观地验证“独居长者居家安全改善计划”项目目标“独居长者的居家环境及设备改善80%”的达成情况,较为科学的做法,评估方可能需要做“前后测”的工作,即在项目开展前,评估方也需要做一个基准测试,以对比项目实施前后的效果。这就需要更多资金、人力与物力的投入。
一般情况下,“评估成本”会低于“项目运营”的成本。如果一个项目的资助经费只有10万,而评估费用就要12万,彷佛就做了本末倒置,或画蛇添足的无用之功。
因此,基于成本的考虑,目前评估的方式多以“事后查看资料”的方式进行。所以,评估方也许会问你:“独居长者的居家环境及设备改善80%”这个目标已达成?你们有什么资料来证明呢?
最后,大家都陷入所谓“资料佐证”的文书之苦,而这种貌似从“实证为本”形式出发的评估方式,看起来“很客观”,然而最后,还是要基于双方诚信的底线。
尽管我们尝试用不同的方法,去评估“公益项目”的成效,但我们还是无法以足够的科学方法验证其完全的真实成效。就像我们知道有“圆”的存在,但是我们永远都无法画出真正的“圆”。
法学学者罗翔说出了“法律之谜思”,法律是道德的底线,道德是法律的高标准。换句话而言,评估是一个公益项目的底线,而道德是公益项目的高标准。并且我们还需要不断反问,评估到底是为了什么?会不会因为评估问题而衍生出新的问题?
特别涉及对人服务的公益项目,我们仍要对未知保持敬畏心,切忌“专业霸权”,切忌只是通过书面的资料,冰冷的数据,以片面的角度、武断的方式判决一个项目的好坏。