公共价值记分卡与成果框架

这为何对公共价值重要

大多数公共部门与社会部门的领导者,都能流利地撰写一份谈及成果的战略文件。能在一年之后拿出证据、证明这些成果是否真的发生了变化的人则要少得多。两者之间的差距,通常不是因为数据短缺——大多数组织收集的数据量都很庞大——而是因为缺少一套有纪律的结构,把原始的活动统计数字转化为一项关于所创造价值的、站得住脚的主张。主题1.2——战略三角:合法性、价值与能力,把合法性与支持、价值主张以及运营能力,确立为一个组织的战略必须同时满足的三条边(见主题1.2——战略三角:合法性、价值与能力)。本主题讲的是让这三条边变得可衡量、而不仅仅是被断言的那些工具。

利害关系是即时且反复出现的。一位资助方或立法机关会在下一个预算周期问,"我们花这笔钱得到了什么"——而一个只有产出统计数字(开设的诊所、处理的案件、举办的培训课程)的组织,对这个问题背后的成果问题却无言以对。一个项目团队因为活动繁忙而相信自己正在成功,却从未把活动与活动本应引发的世界变化区分开来。一个董事会凭一份有说服力的叙述批准了一项新举措,一年后却没有任何达成一致的依据来决定是否继续、扩大,还是终止它。这些都是带有战略后果的衡量失败,而不是技术上的不便。

本主题所讲的工具——马克·摩尔的公共价值记分卡、逻辑模型,以及基于结果的问责制及其相关方法——并不能解决公共部门或社会部门组织所面对的每一个衡量问题。此后各主题将涉及更难、更技术性的层面:通过成本效益与成本效果分析将成果货币化(见主题2.2——社会成本效益与成本效果分析)、通过社会投资回报为抗拒货币化的成果定价(见主题2.3——社会投资回报与影响力测量),以及通过正式的项目评估确立一个项目确实引发了某种观察到的变化(见主题2.4——公共部门计量经济学与项目评估)。本主题提供的,是所有这三者之下的那一层:一套共享的词汇,以及数量不多但持久耐用的框架,用来在任何这类技术工作开始之前,先说明一个组织实际上试图改变什么、为了谁,以及它将如何知晓。

核心概念

公共价值记分卡是马克·H·摩尔提出的方案,主张用各自的一套指标来追踪战略三角的每一条边,而不是默认采用私营部门平衡计分卡所使用的财务与运营衡量标准。摩尔改编了平衡计分卡——罗伯特·卡普兰与戴维·诺顿用于从财务、客户、内部流程与学习四个视角追踪一家企业的工具——因为单一的财务底线无法代表一个其存在的核心主张便是创造任何市场价格都无法捕捉的价值的组织。公共价值记分卡转而要求一个组织在反映这个三角的三个标题下明确指标:一份合法性与支持账户(授权环境是否满意——资助方、监督者、公众),一份公共价值账户(价值主张是否正在实现——公民与客户的成果),以及一份运营能力账户(组织是否有能力维持并改善交付——人员、系统、财务、伙伴关系)。这项纪律在于拒绝让任何一份账户代表整体;一个只汇报财务效率、或只汇报客户满意度的组织,根本没有就这个三角框架作出汇报。

逻辑模型为记分卡的价值账户提供了内部结构。一个逻辑模型阐明了一个项目所声称要运行的因果链:投入(承诺的资金、人员及其他资源)、活动(组织用它们做了什么)、产出(这些活动直接的、可计数的产品——完成的会诊、发放的许可证、走访的家庭)、成果(产出意在带来的、知识、行为、状况或地位上的变化,通常在数月或数年之内发生),以及影响(成果意在为之贡献的、更长期的、往往是人口层面的变化,通常与其他行为者共同承担,更难归因于任何单一项目)。产出与成果之间的区别,是本主题最具后果性的单一区别:一项产出是组织做了什么;一项成果是因此为其他人改变了什么。一个培训项目的产出是接受培训的人数;它的成果是那些人此后能够做到什么,或者他们的境况发生了什么此前无法实现的变化。

变革理论是一门紧密相关的学问,它把逻辑模型背后的假设变得明确、而非隐含——组织为什么相信活动甲将真正产生成果乙,以及在什么条件下这一因果主张可能失灵。一份变革理论不仅仅是一份更详细的逻辑模型;它把逻辑模型那种方框与箭头的图表往往留而不谈的"如果……那么……因为"式推理及情境假设,置于前台。主题2.3更深入地把变革理论用作社会部门影响力测量的起点(见主题2.3——社会投资回报与影响力测量);在这里,它主要的意义在于,它是让一个逻辑模型对自己实际所声称引发的东西保持诚实的那门学问,而有别于它仅仅希望随之而来的东西。

基于结果的问责制(RBA)是一整套用于将人口层面的成果与具体项目绩效相连接的、以结果为基础的框架中最广为人知的一种,在政府与社会部门中都被使用。它由马克·弗里德曼提出,并在其著作《Trying Hard Is Not Good Enough》中加以阐述,把组织习惯于混淆的两种问责区分开来。群体问责问的是,整个社群或辖区在某种福祉状况——儿童贫困、社区安全、教育成就——上的表现如何,使用的是数量不多的头条指标,没有任何一个机构完全拥有或完全控制这些指标。绩效问责问的是某个具体项目或机构的表现如何,使用弗里德曼的框架坚持要区分的三种绩效指标:做了多少(努力程度——产出计数)、做得多好(质量),以及是否有人因此更好(效果——成果)。RBA的实践方法,有时被称为"扭转曲线"分析,从一项选定的指标出发反向推演——询问数据讲述了什么故事、是什么原因造成了这个故事、谁是在改变它这件事上扮演角色的伙伴、什么方法会奏效,以及组织提议做什么——这是逻辑模型与变革理论分别加以形式化的那种推理的一个结构化版本。RBA是更广泛的基于结果的管理模式的一个实例,与国际发展与公共行政领域中常规实践的监测与评估密切相关,由国家政府、慈善资助方与多边机构以各种形式推广,作为一门把支出与成果、而不仅仅与产出相连接的共享学问。

产出、成果与记分卡合在一起。 这些框架之所以属于同一个主题、而非三个主题,是因为它们在一个组织的规划与汇报周期中的不同节点回答着同一个基本问题。逻辑模型在设计阶段被绘制出来,用以陈述因果主张。基于结果的问责制及类似框架在汇报阶段被应用,用以让绩效衡量对努力与效果之间的差异保持诚实。公共价值记分卡则位于两者之上,是那个确保成果证据——无论它是如何产生的——真正抵达合法性与能力对话、而不是滞留在一个项目团队自己的汇报之内、进而在其中做出预算与授权决策的常设结构。这三个框架共同,把公共价值从一个组织对自身的宣称,变成了一个它能够以证据加以捍卫的主张。

最佳实践

1. 在确定指标之前先绘制逻辑模型,而不是之后。 在同意声称要引发什么之前就选定要衡量什么,会得出一份任何容易计数之物的清单;先绘制从投入到影响的链条,再选定能够检验其中每一个环节的衡量指标。
2. 同时汇报记分卡的三份账户,而不是一次一份。 一份没有成果证据的合法性更新,或一份没有说明维系成本所需能力账户的成果报告,各自都只讲述了资助方或监督者做出一项真正决策所需故事的一部分。
3. 在每一份绩效报告中明确区分努力、质量与效果。 即便在一次正式的RBA实施之外,也要借用弗里德曼的三分法;一份把"提供的会诊次数"与"改善的生活"混为一谈、不加区分的报告,总会默认选择二者中更容易被夸大的那一个。
4. 选定数量不多的头条群体指标,并把它们保持数年、而非数季。 人口层面的状况变化缓慢,并受众多行为者影响;每一个汇报周期都更换头条衡量指标,会让人无法判断曲线是否真的在被扭转。
5. 大声说出组织不能控制什么。 一份暗示单一项目完全引发了一项人口层面成果的逻辑模型,恰恰会招致当该成果未按计划变化时侵蚀合法性的那种怀疑;从一开始就说明其他促成因素。
6. 在预算周期之前、而不是之后公布成果框架。 一份为证成一项已经做出的预算决策而制作的成果框架,读起来像是事后的合理化;一份在周期之前公布的框架,则是一项真实决策正在据此接受检验的证据。
7. 把记分卡与逻辑模型当作活的文件来维护,在情境变化时加以修订,而不是当作年度制品。 为某一政策环境绘制的逻辑模型,可能悄然不再匹配现实——一部新法律、一次人口结构变化、一次资金变动——远早于一次按计划进行的审查会察觉这一点;应把两者都当作由交付团队所拥有的东西,而不是一项由中央办公室完成的合规工作。
8. 让绩效账户的衡量指标贴近能够据此行动的人。 一个项目团队可以直接改善质量与努力指标;若把人口层面的成果目标交给他们、而他们却无法独自撬动它,衡量便会成为士气打击的来源,而非方向指引的来源。
9. 把未达成的成果目标当作追问原因的契机,而不是需要掩盖的裁决。 "扭转曲线"那种在归责之前先问是什么造成了这一趋势的习惯,让成果汇报保持有用;一种惩罚未达标目标的文化,会教会员工去保护那个数字,而非保护成果本身。
10. 让变革理论中的假设变得可证伪。 一项写得如此含糊、以至于任何证据都无法反驳它的假设,并不会为逻辑模型增添严谨性;把假设写得足够具体,让未来的一次评估能够证明它是错误的。

与团队讨论的问题

对我们最重要的项目,我们目前能否区分产出与成果——我们自己的员工是否正确使用这两个词? 许多组织用成果的语言来汇报活动统计数字,却没有注意到这种替换,而这正悄悄侵蚀着本主题所看重的这一根本区别。用这个问题拿出一份真实的当前报告,逐行核对哪些数字描述的是组织做了什么、哪些描述的是为其他人改变了什么。讨论一下语言在哪些地方已经漂移,以及这种漂移反映的是对项目逻辑的真正困惑,还是仅仅因为成果数据比产出数据更难获取。如果诚实的答案是后者,这本身就是一项值得记录的发现,而不是继续使用披着成果外衣的产出语言的理由。

我们目前的汇报在哪些地方把努力、质量与效果坍缩成了一个单一数字,这个数字实际上告诉了读者什么? 弗里德曼的三分法之所以存在,是因为组织习惯性地默认汇报努力——三者中最容易计数的一个——却暗示自己已经汇报了效果。用这个问题找出组织目前汇报的一项旗舰指标,并作为一个团队一起判断它实际衡量的是三者中的哪一个。讨论一下,为这项指标分别汇报三者需要什么,以及这样做是否会改变目前只看到混合数字的人们对这个组织的看法。

如果我们的头条人口成果在再过两个汇报周期后仍未改善,我们会做出哪些不同的事,又有哪些不会改变? 这个问题检验的是,一个组织究竟是真正在用自己的成果框架来引领方向,还是仅仅把它当作一项汇报义务来生产。用它来分辨当前战略中哪些部分是依赖于成果数据的,哪些部分无论数据显示什么都是固定不变的。诚实地讨论一下,即便证据坚定地转向不利方向,当前项目的任何部分是否仍会原封不动地存续下去,因为那正是实际上未被这套框架管理的那一部分。

我们的公共价值记分卡,如果我们有一份的话,是否汇报了三角形的全部三条边,还是它已悄然变成了一份只关于一条边的记分卡? 一份成果框架从真正的三边雄心出发、却在汇报压力之下漂移成一份只关于成果、或只关于财务的文件,这种情况并不少见。用这个问题审计最近两三次正式报告是否符合本主题所描述的三份账户结构。讨论一下,在时间压力之下,哪一条边往往最先被放弃,这又说明了组织隐性地把哪一条边视为可有可无。

这个组织之外的谁需要认同我们的逻辑模型,它才算可信,我们是否真的问过他们? 一份完全由设计干预措施的项目团队绘制的逻辑模型,可能悄悄嵌入了乐观的假设,而房间里没有任何一个外部人士能够质疑这些假设。用这个问题找出哪些外部行为者——资助方、交付伙伴、项目所服务的人——在因果链是否正确这件事上有利害关系,以及他们中是否真的有人审阅过它。讨论一下,上一次邀请外部视角参与这项审查,改变了什么(如果有的话)。

我们能够汇报的、依然让外部人士判断这个组织是否在创造公共价值的最小一套人口与绩效指标是什么? 衡量体系随时间累积指标的速度,往往远快于淘汰指标的速度,直到这套框架变得庞大到没有人能真正在决策中使用它。用这个问题尝试作为一次练习,把当前的指标集削减一半,同时不失去回答本主题所描述的群体问责与绩效问责问题的能力。讨论这项练习揭示出怎样的阻力,因为对削减某项具体指标的抵制,往往是这个组织实际上被问责的对象是什么的一个信号,无论这是否与其宣称的战略相符。

实践中的公共价值案例

一个虚构的区域性家庭支持慈善机构网络——用以说明一种模式,而非对任何真实组织的报道——十年来一直在低收入社区为新手父母运营家访项目。它每年向资助方提交的报告详尽,并且按产出衡量令人印象深刻:每年完成数千次家访、育儿工作坊出席率高、参与家庭的满意度分数强劲。基于这份记录,该网络稳步扩张,大约每两年增设一个新的地方分支。

一位新的全国性资助方,正在考虑一笔规模足以让该网络覆盖范围翻倍的多年期拨款,提出了一个该网络自己的董事会从未正式向管理层提出过的问题:有什么证据表明,接受家访的家庭中的孩子,后来确实比未接受家访、条件相当的家庭中的孩子发展得更好。该网络的领导层在梳理这个问题的过程中意识到,自己的汇报从未把努力与效果区分开来。走访次数与满意度分数是项目正在被交付且广受欢迎的真实证据;二者都不是它改变了孩子发展成果的证据——而这正是嵌入该网络自身使命宣言中、隐含地写在它写过的每一份资助申请里的主张。

该网络从头构建了一个逻辑模型,从它真正想要的成果出发——改善的儿童早期发展指标、减少已证实的儿童忽视事件、增强的父母信心——反向推演出每一项各自据以依赖的活动与产出,并明确指出中间的假设。它采用了一种简化的基于结果的问责制结构:在社区层面追踪的群体指标,与本地学校及卫生服务共享,再加上自己团队能够直接采取行动的绩效指标——走访频率、工作坊完成率,以及在三个月与十二个月时由员工评估的育儿信心。五项成果指标中有两项在第一个汇报周期未能如预期改善。该网络没有压下这一结果,而是运用自己的"扭转曲线"流程展开调查,发现是当地卫生访视员人员配置的变化打乱了转介渠道,并调整了自己的伙伴关系安排,而非核心模式。该资助方续签并扩大了这笔拨款,把汇报的诚实——而非缺乏落差——列为其信心的理由。

四种部门视角

地方政府

一个地方政府机构的成果框架,通常处于一套更广泛、由国家政府定义、它并未选择却必须据以汇报的指标之内,并与反映该议会自身优先事项的地方选定衡量指标并存。这种双重结构意味着一份地方记分卡常常必须协调两类提出不同问题的受众——一位询问是否符合标准指标集的国家督察员,以及询问某条具体、可见的地方状况(例如某条街道或某项服务)的本地居民。地方政府规模上的逻辑模型,通常最容易为单一服务(一次回收物收集方式的改变、一次图书馆重新设计)而建立,而对社区凝聚力这类跨领域成果则最难可信地建立,因为议会控制之外的众多行为者同样在其中发挥作用。

国家政府

国家层面的成果框架在这样一种规模上运作,使基于结果的问责制中群体问责与绩效问责的区别从可有可无变为不可或缺:一项国家健康或教育指标受数百个项目影响,而其中只有少数几个是由任何单一部门直接资助的,因此一个部委单独宣称自己独享一项全国性趋势的功劳或过错,很少能站得住脚。国家政府也常常是那些下游交付机构必须采纳的、大型的、中央授权成果框架的最常见来源,这产生了一种反复出现的风险:该框架是为跨部门的加总与比较而设计的,而非为真正引领任何单一项目的交付而设计的。

社会部门与非营利组织

非营利组织与非政府组织(NGO)比起采纳一个由授权者交办下来的框架,更常常从第一性原理出发自行构建自己的逻辑模型与变革理论,因为它们的资助方常常正是要求因果论证的一方,而非提供标准模板的一方。这给了社会部门组织更多自由去设计一套真正契合其实际项目逻辑的成果框架,但也让它们更容易受到由资助方驱动的衡量疲劳的影响,即每一笔资助都携带自己的汇报要求,导致一个组织最终为同一项底层工作维护着好几套并行的成果框架。基于结果的问责制中群体与绩效的划分在这里格外有用,因为它给了一个非营利组织可以坦率地告诉资助方的语言:它可以为自己的绩效指标负责,却不能独自为一项许多其他行为者也在影响的群体指标负责。

多边与国际

多边机构在这样一种规模上运行基于结果的管理,使逻辑模型的假设同时穿越数十个国家情境,因此在一个国家成立的干预逻辑,可能在另一个国家悄然失灵,而头条的全球指标却揭示不出哪个情境出了问题。这种环境中的结果框架,常常是为同时满足多个捐助国政府而建立的,每一个都有自己的汇报偏好,这推动其走向标准化的指标集(以国际基于结果的管理指导推广的那种类型),代价是牺牲了本地的特定性。执行伙伴能够快速汇报的一项产出——完成的培训、供应的诊所——与只有多年之后才会在一次全国性调查中显现的一项成果之间的差距,在这里往往是最大的,这使得明确陈述、而非假设所假定的因果链这门学问,在这里显得格外重要。

常见失败模式

产出伪装成成果。 一个组织用成果的语言汇报活动统计数字——当实际衡量的是巡逻次数时,却说"社区安全有所改善"——这或者是出于真正的混淆,或者是因为成果数据更难、更慢获取。当一位外部审查者直接索要成果证据、却发现这一主张背后只有产出时,代价便会显现,对组织信誉的损害超过一项适度、如实汇报的成果本会带来的损害。

指标激增。 一份记分卡或逻辑模型积累衡量指标的速度快于淘汰指标的速度,驱动因素是每一位新的利益相关者的要求都添加一行、而不是替换一项现有的行。最终结果是一套庞大到没有任何管理者能真正在决策中使用的框架,这悄悄地让组织退回到非正式判断,而正式框架则变成了一份没有人查阅的汇报制品。

目标俘获。 一项绩效衡量指标,一旦与资金或奖励挂钩,便会成为员工直接优化的对象、而非它本应作为代理的那项成果——这正是古德哈特定律所描述的模式,即一项被用作目标的衡量指标,便不再是一项可靠的衡量指标。本主题为这一动态在公共部门的具体归宿,包括质量制度如何试图侦测并限制它,留在了别处(见主题3.11——质量、安全与绩效管理);在这里,它的意义在于提醒我们把努力、质量与效果的衡量分开,并在目标扭曲行为之前重新审视它们。

归因过度。 一个项目的汇报暗示自己对一项许多其他行为者同样有影响的人口层面成果承担着唯一的因果责任,或是出于用语不慎,或是出于真心相信如此。当该成果——常常出于该项目控制范围之外的原因——未能改变时,组织便承受了与其实际贡献不成比例的责难,这随后又在未来的周期中抑制对不足之处的诚实汇报。

框架没有反馈。 一个组织构建了一份确实设计良好的逻辑模型与成果框架,此后却从未对照实际结果重新审视它,于是它硬化成了一份固定的文件,而非一件活的管理工具。其下的战略仍在原始假设上运行多年,远在证据本已证成应予修订之后,以此为代价,牺牲了这套框架本应促成的那种适应能力本身。

成熟度模型

检查清单

• 在为每一个主要项目确定其指标之前,先绘制一份逻辑模型(投入、活动、产出、成果、影响)。
• 把变革理论中的因果假设写得足够具体,使证据能够反驳它们。
• 在每一份绩效报告中区分努力、质量与效果衡量指标,即便是在一次正式的基于结果的问责制实施之外。
• 构建或更新公共价值记分卡,使三条边——合法性、价值、能力——一并汇报,而非分开汇报。
• 选定数量不多、稳定的一套头条群体指标,并承诺在数个汇报周期中保持它们。
• 检查当前报告中是否有用成果词汇描述一项产出的语言,并加以纠正。
• 在下一个预算或资助周期之前、而不是作为其后果发布成果框架。
• 对任何一项汇报的人口层面主张,明确说明组织不能单独控制的因素。
• 设定一个固定周期,对照实际证据重新审视逻辑模型,而不仅仅在一次按计划的正式评估中进行。
• 确定至少一位外部利益相关者,在逻辑模型最终确定之前审查其假设。
• 审计当前的指标集,寻找退出没有人在实际决策中使用的衡量指标的机会。
• 事先就一项头条成果连续两个汇报周期未能改善时组织将做出哪些不同的事达成一致。

关键资料来源

• 马克·H·摩尔,《创造公共价值:政府的战略管理》(1995年)与《识别公共价值》(2013年)——公共价值记分卡的奠基性文本,把平衡计分卡传统改编到战略三角的三条边上。
• 马克·弗里德曼,《Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities》——基于结果的问责制的奠基性文本,包括群体问责/绩效问责的区分与"扭转曲线"分析。
• 罗伯特·卡普兰与戴维·诺顿的平衡计分卡文献——摩尔为公共价值情境所改编的私营部门来源。
• 经合组织(OECD)关于基于结果的管理与评估术语的指导,用于在发展与公共行政实践中标准化成果与影响的语言。
• 世界银行独立评估局关于发展行动的结果框架与变革理论的指导。
• 佛蒙特州人类服务厅关于在州与社区层面应用基于结果的问责制的公开记述——该框架在实际政府运用中的一个实例。

参考文献

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf