证据综合与有效实践

这为何对公共价值重要

一位部长、一位市长,或是一家慈善机构的项目主任,很少有奢侈的机会,能拥有一项单一、干净的研究据以行动。更常见的情形是,案头摆着三份互相矛盾的评估、一份有选择性地引用它们的文献综述、一个挥舞着一项对其主张有利的试验结果的压力团体,以及一个由预算周期、而非研究进度所设定的截止日期。证据综合这门学问存在的意义,正是因为单项研究本身充满噪音:样本量小,情境各不相同,任何单一结果都可能是巧合、是一个无法迁移的地方性契合,或是一个真实的效应。领导者需要得到解答的问题,很少是"这一项研究发现了什么",而是"综合所有经过检验、可信的证据来看,如果我在这里、现在采取这个行动,我应该预期什么?"

公共价值理论使这个问题不仅仅是一项技术上的细节。一个用集体资源资助的项目,依托于一项公民在总体上会加以授权的价值主张(关于这项主张是如何被陈述与追踪的,见主题2.1——公共价值记分卡与成果框架)。一项建立在单一挑选出来的研究之上、或根本没有经过任何证据审查的主张,比一项建立在一次审慎综合之上的主张,在合法性上更为薄弱——在运营能力上也是更薄弱的基础,因为员工与预算会依据它而被投入。"有效实践"运动——那个评定政策证据质量与强度的独立机构网络——正是直接从这个问题中成长起来的:太多公共决策依据的是声音最大的研究,而不是支持最充分的研究。

本主题要处理的更棘手的问题是,当综合本身没有定论、存在争议,或者根本无法及时获得时,一位领导者应该怎么做。证据等级体系的建立,是为了给一个混乱的证据基础带来秩序,但如果使用不慎,"证据还不够充分"就会变成一个永久的借口,用来回避一项现实根本不会等待的决策。一位理解证据综合如何运作、以及它的局限在哪里的领导者,能够分辨出真正值得谨慎的不确定性,与被用作不作为的掩护的等级体系。

本主题是主题2.4所讲述的、证据综合所依赖的因果推断方法的自然续篇(见主题2.4——公共部门计量经济学与项目评估),并与证据综合最终所服务的成果框架并列存在、而非取代它(见主题2.1——公共价值记分卡与成果框架)。一位能够读懂一篇系统评价、理解一项"有效实践"评级、并能就"缺乏证据"与"负面证据"清晰推理的领导者,会比一位只会要求"更多证据"、或全盘接受递到手中的第一份研究的领导者,做出更好的即时决策。

核心概念

系统评价是对一个明确界定的问题的证据所作的一种综合,它使用一套明确的、预先设定的、可复现的方法来查找、评估并整合各项研究,这与一份叙述性文献综述——由作者自行斟酌选择来源——形成对比(见系统评价)。它的界定性特征是:一份在检索开始之前就写好并注册的方案、一套包含未发表与灰色文献的检索策略、明确的纳入标准,以及一套评估每项研究偏倚风险的标准方法。这正是把一篇系统评价与一篇写得漂亮、带脚注的文章区分开来的地方:另一个团队若遵循同一套方案,大体上会找到相同的证据,并得出大体相似的结论。

荟萃分析是最常与系统评价配对使用的统计技术:它把多项独立研究中的定量效应量汇总为一个单一的、更精确的估计值,通常按每项研究的样本量与质量加权(见荟萃分析)。一项荟萃分析的质量取决于输入它的那些研究;把五项薄弱的研究汇总在一起,产出的是对一个可能有偏效应的一个更精确的估计,而不是一个更可信的估计。因此,分析者会汇报异质性——各项研究的结果在多大程度上超出偶然所能预测的范围而彼此不同——因为高异质性表明这些研究实际上并没有真正在检验同一件事,单一的汇总数字可能具有误导性。

发表偏倚是指具有正面、显著结果的研究更容易被发表,而无效或负面的结果则被搁置在研究者的文件抽屉里,这使得一项干预措施在文献中显得比它实际情况更一贯有效(见发表偏倚)。一份严谨的评价会通过检索试验注册库与未发表的评估、而不仅仅是期刊文章,来纠正这一点。一位阅读一份仅建立在已发表论文之上的综合的领导者,应该追问评价者做了什么来找出那些从未付印的研究。

证据等级体系按各种研究设计对混杂与偏倚的控制程度加以排序,通常把随机试验的荟萃分析置于顶端,单项随机对照试验次之,再往下是准实验与观察性设计,专家意见位列最底端(见证据等级体系)。随机对照试验把参与者随机分配到一个干预组或一个比较组,是把一项因果效应从周围发生的一切其他事情中分离出来的单一最强有力的工具(见随机对照试验;关于这类设计如何被构建与分析,见主题2.4——公共部门计量经济学与项目评估)。这套等级体系是一个真正有用的启发法,但它是一种启发法,而非一条法则:一项针对某种罕见或缓慢变化的政策而开展的、执行良好的观察性研究,可能会胜过一项执行不佳、检验力不足的试验,而一位把它当作绝对排序来对待的领导者,有时会为了一种更有声望的设计,而舍弃了更相关的证据。

GRADE方法——推荐意见分级、评估、制定与评价——将证据等级体系单独没有做出的第二项独立判断加以形式化:它同时评定证据的确定性,以及独立地评定据此采取行动的建议的强度,因为强有力的证据并不总能证成一项强有力的建议,而薄弱的证据也不总意味着可以对一种严重而紧迫的危害坐视不理(见GRADE方法)。这一区分,是本主题对一位时间紧迫的决策者最有用的单一理念:它让一位领导者能够诚实地说,"这里的证据是中等程度的,考虑到利害关系与等待的成本,我建议我们继续推进"——这是一项站得住脚的、有据可查的判断,而不是在"等待确定性"与"完全无视证据"之间做出的一种虚假选择。

在实际政策辩论中不断反复出现的一个区分,是证据缺失与证据表明无效之间的区别:关于一项干预措施效应缺乏研究("没有效应的证据"),与一批检验力充足的研究明确发现没有效应("有证据表明没有效应")并不是同一种主张(见证据表明无效)。一个尚无任何评估的新地方项目,只是还没有被检验过;一个被反复研究、多次发现对任何成果都没有推动作用的全国性项目,则是已经被检验过、并被证明不起作用。把这两者混为一谈,是一位公共领导者可能犯下的后果最严重的错误之一:像项目已经失败了一样扼杀一个未经检验、但有希望的试点,或是像还没有人足够仔细地研究过一样,继续资助一个被反复证伪的项目。

循证政策是一场更广泛的运动与一项规范性主张,认为公共决策应建立在严谨确立的证据之上,而不仅仅是意识形态、轶事或直觉(见循证政策)。它的批评者、以及越来越多它自身的支持者,更倾向于使用"证据知情政策"这一说法,这一说法承认证据只是众多输入之一——价值观、授权、成本,以及本书视为根本的合法性问题——而不是一条仅凭证据本身就能解决一切的机械决策规则。

从这场运动中,发展出了"有效实践"中心或信息交流中心这一模式:一个独立机构,系统性地评审某个政策领域内各种干预措施的证据,并公布易于理解、可比较的评级,而不是任由每一位地方委托方自行开展评审。考科蓝自1993年起在医疗保健领域率先建立了这一模式,维护着一部活的系统评价方法学手册,其应用范围远超医学领域(见考科蓝(组织))。坎贝尔协作网把同一套方法学扩展到了社会政策、刑事司法、教育与国际发展领域(见坎贝尔协作网)。国家层面的信息交流中心随之出现:美国的有效实践信息交流中心,自2002年起由其教育科学研究所运营,依照明确的设计标准审查教育研究(见有效实践信息交流中心);英格兰的教育捐赠基金会发布了一份被广泛使用的《教学与学习工具包》,以一种可比较的统一格式,按成本、证据强度与典型影响力对课堂干预措施加以评级(见教育捐赠基金会)。类似的中心也存在于减少犯罪、早期干预、无家可归与健康老龄化等领域——这是一个建立在同一种方法之上的小型国际家族:系统评价、透明评级,以及一份不需要方法学家就能读懂的、面向从业者的摘要。

最佳实践

1. 在关注单项研究之前,先寻求综合证据。 当一项引人注目的结果摆到你的案头时,先问一问,是否已经存在一份针对这项干预措施的系统评价或"有效实践"评级,而不是先问这项研究单独看起来是否有说服力。
2. 把基础评价与任何工具包评级一并阅读,而不是只读后者。 一行评级或一个锁形图标,概括的是一项判断;它不能替代你去理解这项判断建立在什么证据之上、以及它与你的情境有多么直接的相关性。
3. 明确地把证据的质量与你所提建议的强度区分开来。 即便是非正式地借用GRADE的逻辑:先说明证据有多确定,再单独说明这种确定性,结合利害关系与等待成本,在多大程度上证成现在就采取行动。
4. 在做出决定之前,先说明你面对的是"尚无证据"还是"证据表明无效"。 把这一区分写进每一份证据简报之中,因为这两种情形所要求的应对方式几乎截然相反——谨慎试点,与停止或重新设计。
5. 在假设某项效应会迁移过来之前,先核查这份评价的情境与你自己的情境是否匹配。 一项来自别处研究的汇总效应量是一个平均值,而不是一个承诺;追问一下最初是什么因素调节了这项效应,以及这些调节因素在这里是否存在。
6. 当一份完整的系统评价无法赶上你的时间表时,委托一份快速证据评估。 一份有结构、有时限的现有文献评审——数天或数周,而非数月——是在开展新的一手研究与完全不进行评审之间一条合理的中间路径。
7. 无论结果如何,都公布你自己的评估。 无效与负面的发现,对于下一次综合来说,与正面发现同样有价值;隐瞒它们会加剧发表偏倚,而发表偏倚会破坏你所在领域此后每一次评价的根基。
8. 在需要之前,先与你所在领域的一个"有效实践"中心或信息交流中心建立一种常设关系。 在一场正在发生的危机中,第一次冷启动式地搜索一个综合机构的工具包,比事先就知道它涵盖什么、缺口出现时该问谁,要慢得多。
9. 在结果出来之前、而不是之后,设定你的证据门槛。 事先就哪种程度的证据能够证成扩大规模、进一步试点,还是停止,达成一致,以减少那种为了迎合一项已经做出的决策,而重新解读含糊结果的诱惑。
10. 为寻找一项能消除一切疑虑的研究设定时限。 等待一个完美、毫无歧义的证据基础,本身就是一项决策——通常意味着继续做你已经在做的事;设定一个既尊重拖延成本、也尊重依据薄弱证据行动之成本的截止日期。
11. 把综合证据当作价值主张的一项输入,而不是它的替代品。 一旦把成本、分配效应与合法性一并纳入权衡,支持证据最充分的干预措施,并不会自动成为正确的选择(见主题2.1——公共价值记分卡与成果框架)。
12. 记录你考虑过哪些证据,以及你为什么这样权衡它们。 一份对已评审研究与最终判断背后推理的书面记录,既能保护这项决策的合法性,也能让下一位评审者从中学习。

与团队讨论的问题

我们上一次因为一份系统评价或一项"有效实践"评级,与我们已经计划要做的事相矛盾、而改变一项正在进行的决策,是什么时候? 如果诚实的答案是"从来没有",这一点值得深思,因为这暗示着证据审查在这里的作用可能只是一次确认演练,而不是一次真正的检验。讨论一次证据基础存在分歧的近期决策,梳理一下这份证据究竟是真正塑造了这项选择,还是主要是为了支持一个事先已经达成的结论而收集来的。想一想,要让证据真正拥有影响力、而非仅仅象征性的分量,证据抵达决策者的方式与时机需要做出什么改变。

我们是否在什么地方把"没有效应的证据"当成了"证据表明没有效应",或者反过来? 梳理你当前的项目组合,找出任何一个因为"没有证据"而被你悄悄降低优先级的项目,核查一下这究竟意味着它真的未经检验,还是真的已被证伪。反过来也这样检查:任何一个因为"没有人证明它无效"而你继续资助的项目,而事实上根本没有人研究过它。讨论一下,要纠正其中最具后果性的两三个例子,需要付出什么,又该由谁来负责这项纠正。

如果一项决策需要在周五之前拿到证据,我们真的有一套快速证据评估流程,还是会在压力之下临时拼凑一个? 时间压力不是一种假设情形;它是大多数真实的循证决策得以做出时的常态条件。讨论一下你的组织是否有一套常设方法——一个指定的团队、一份模板、一份应优先查阅的"有效实践"中心清单——还是每一次紧急请求都从一张白纸开始。如果是后者,讨论一下一套最低可行的快速评估流程应该是什么样子,又该由谁负责。

我们实际上使用的是谁的证据等级体系,它是否与这项决策的利害关系及可逆性相匹配? 不同领域应用其证据标准的方式各不相同,一套为不可逆、高利害关系决策校准的等级体系,并不总是适合一个成本低、可逆、易于监测的试点项目的正确门槛。讨论一下你的组织是否无论利害关系如何,都统一应用同一套证据标准,以及这是保护你免受糟糕决策之害,还是仅仅拖慢了好的决策。作为一个团队,在你知道证据说了什么之前,先就你议程上接下来三项决策应要求什么标准达成一致。

我们具体做了什么,来阻止自己的评估消失在文件抽屉里? 你的组织搁置的每一个未发表的无效结果,都是某个其他组织日后不得不艰难地重新发现的一个空白。诚实地讨论你的既往记录:你最近十次评估中,有多少次被对外分享,而未被分享的那些又发生了什么。就一项具体的、有资源支持的承诺——一项发表政策、一个共享登记库——达成一致,而不仅仅是一种要更加透明的笼统愿望。

我们使用"我们需要更多证据"这句话,是诚实的,还是作为一种回避我们不想做出的决策的方式? 这是本主题中最令人不安的问题,也值得被直接提出来。找出一项目前正因证据原因而搁置的具体决策,坦率地讨论一下,真正能改变你想法的是什么,以及你所等待的证据是否现实地会在期限之内到来。如果不会,讨论一下,在真正的不确定性之下做出一项诚实的决策,应该是什么样子,而不是继续等待,以及谁有权力去做出它。

实践中的公共价值案例

一个区域就业机构,隶属于负责劳动力市场项目的一个国家政府部门,面临着必须在一个预算周期内决定,是否要把一项就业培训试点从三个辖区扩大到整个地区的压力。这项试点把补贴性工作岗位安置与结构化的辅导相结合,该机构自己在三个试点辖区开展的随机试验发现,在12个月时,持续就业率出现了适度但具有统计显著性的提升。一个相互矛盾的证据来源使情况变得复杂:前一年发表的一份系统评价,汇总了几个国家的九个类似项目,发现平均效应接近于零,各项研究之间差异巨大,也没有明确的模式能够解释哪些项目有效。

该机构的证据小组在预算提交截止日期之前有六周时间来协调这两项发现。一位初级分析师的第一反应,是仅仅因为汇总评价综合了更多研究,就认为它更具权威性,并建议放弃这个试点。该小组的首席证据顾问提出了不同意见:在真正各不相同的项目之间得出一个接近于零的汇总平均值,并不是这个具体的、执行良好的地方项目会失败的有力证据——它是就业培训项目普遍在质量与契合度上存在异质性的证据,而这一点原本就已经为人所知。评价中所汇报的高异质性本身,才是比汇总平均值更重要的发现。

这位顾问提出了一条中间路径,而不是一个二元选择。她建议分阶段扩大到半个地区,扩展辖区随机选定,使这次推行本身产出进一步的证据,而不仅仅是依据一项假设花钱(关于一次分阶段推行如何能够被设计为一次进一步的评估,见主题2.4——公共部门计量经济学与项目评估)。她还建议把最初的试验完整地发表出来,包括方法与原始数据,以便它能够被下一次系统评价所采纳,而不是被搁置在一份机构外没有人会看到的内部报告里。

该部门的领导层批准了这种分阶段方案,并在商业论证中明确将其定性为一项在中等确定性证据下做出的决策,内置了一套在18个月内解决不确定性的机制(见主题2.5——商业论证与物有所值),而不是一项因为证据已成定论而做出的决策。18个月之后,扩展辖区显示出与最初试点接近的效应,该部门以一个比任何单一来源都更强劲的证据基础,进一步扩大了这个项目——并留下了一份清晰的书面记录,说明了它为什么选择行动、而不是等待。

这一情形是说明性的、虚构的;它不描述任何真实部门的项目或评估。

四种部门视角

地方政府

地方政府很少有预算或案件量去委托自己的系统评价,因此它实践中的技艺,在于在真实的时间压力之下,把国家与国际层面的综合证据翻译到一个具体的地方情境之中——在假设一项被工具包评级的干预措施的评级效应会真正迁移过来之前,先核查它的证据基础是否与自己的人群、服务体系与资金水平相似。地方领导者也最接近本主题所警告的两种错误各自的成本:依据一项综合早已证明无效的干预措施采取行动,以及因为还没有任何"有效实践"中心对其加以评级,就拒绝一项真正有希望、但尚未被充分评估的地方创新。

国家政府

大多数"有效实践"中心与正式的证据等级体系指导都位于国家政府层面,这让国家部门与综合基础设施拥有更近的距离,但也让它们面临最大的风险,即把一套证据等级体系当作一道官僚关卡、而非一件决策辅助工具来对待。国家层面的特有任务,是委托并维护这套基础设施——资助一个信息交流中心、设定它的证据标准,并确保它的评级真正抵达那些正在撰写商业论证的官员手中(见主题2.5——商业论证与物有所值),而不是仅仅作为一个政策团队在截止日期压力下很少去查阅的、名声不错的网站而存在。

社会部门与非营利组织

非营利组织与慈善机构通常缺乏资源来大规模开展严谨的评估,这使它们高度依赖外部综合机构,并越来越多地依赖那些把符合某个证据评级层级作为资助条件的资助方。这造成了一种特有的风险:处于财务压力之下的组织,可能会被诱使夸大自己的项目与一项有利评级的契合程度——这是一种"证据洗白"的形式——或者反过来,规模较小、但真正有效的地方慈善机构,可能因为规模从未大到足以产出一个国家信息交流中心会给予高评级的证据,而被挤出资助之外(关于这种压力背后的资金结构,见主题3.8——社会部门与非营利组织管理)。

多边与国际

多边与国际机构以最尖锐的形式面对可推广性问题:一项在某个国家的卫生系统、农业部门或劳动力市场中被证明有效的干预措施,常常被提议应用于一个截然不同的经济与制度情境,而综合文献更擅长在事后、而非事前标记出这种没有依据的迁移。为弥合这一差距而建立的研究网络,例如阿卜杜勒·拉蒂夫·贾米尔贫困行动实验室,已经推动发展政策转向针对具体情境的复现研究,而非单一国家的概念验证,但全球可比证据与情境依赖效应之间的张力,仍然是这一规模上证据综合工作的一个决定性特征。

常见失败模式

把证据等级体系当作不作为的借口。 一个面对一项艰难、有争议决策的团队,以"证据不足"或"还没有随机试验"为由,无限期地推迟决策,而拖延真正的驱动因素其实是政治上的不适,或是想要回避问责的愿望。这不仅让这个组织失去了机会本身,也让证据基础失去了一次原本可以解决这种不确定性的现实检验,让下一位决策者面对完全相同的空白。

把证据缺失与证据表明无效混为一谈。 一项有希望、但未经检验的地方创新,像是已经被尝试过并失败了一样被扼杀,而一个被反复证伪的全国性项目,却因为没有人把这一证据表述为一项负面发现、而非一个空白,而继续获得资助。这两种错误都代价高昂:一种提前关闭了有希望的选项,另一种保护了一个清醒的综合评价早在多年前就本会淘汰的项目。

把一项工具包评级当作全部分析。 一位决策者读到一个单一的锁形图标或星级评定就止步于此,却不去核查这背后的研究是否与自己的情境、人群或规模相匹配。评级为了便于理解而被刻意压缩;若脱离基础评价单独使用,它们可能会产出一种建立在比评级的简单外观所暗示的、更薄弱的证据基础之上的自信决策。

为了头条汇总结果而忽视异质性。 一份简报中引用了一项荟萃分析单一的平均效应量,而产出这个数字的各项研究之间的巨大差异——往往是更具信息量的发现——却被丢弃了。这产出了一种虚假的精确性:一位决策者的行动方式,仿佛每一次实施都表现相同,而实际上实施质量与情境所起的作用,几乎与这项干预措施本身一样大。

任由发表偏倚悄悄塑造证据基础。 一个组织在评估一项干预措施时,只阅读已发表的学术文献,错过了那些从未发表的负面试验与内部评估。由此形成的"什么有效"的图景,会系统性地偏向正面,而建立在这个图景之上的决策,也会在没有任何人有意选择的情况下,继承这种偏斜。

成熟度模型

检查清单

• 在依赖单项研究之前,已核查过系统评价或"有效实践"评级。
• 阅读了基础证据评价本身,而不仅仅是摘要评级或图标。
• 把证据的质量与建议的强度,作为两项独立的判断分别说明。
• 在书面简报中,明确区分了"没有效应的证据"与"证据表明没有效应"。
• 核查了被评审研究的情境与当前决策之间的匹配程度(人群、规模、服务体系)。
• 当一份完整评价无法赶上时间表时,已具备并使用了一套快速证据评估流程。
• 在查看结果之前,已就这项决策的证据门槛达成一致。
• 已制定计划,无论结果如何都发布本组织自己的评估。
• 已与一个相关的"有效实践"中心或信息交流中心建立常设关系,而非在压力之下临时搭建。
• 记录了最终判断背后的推理,包括被考虑过、也包括被拒绝的证据。
• 对照价值主张与合法性方面的考量、而不仅仅是证据强度,复核了这项决策。

关键资料来源

• 由考科蓝维护的《干预措施系统评价考科蓝手册》——各行业系统评价实践所依据的基础方法学。
• 坎贝尔协作网关于社会、行为与犯罪学政策系统评价与证据综合的指导——该方法学向卫生领域之外的公共政策领域的直接延伸。
• 有效实践信息交流中心的《标准手册》(美国教育科学研究所)——一个国家信息交流中心如何设定明确的研究设计标准、并据此评级证据的实例。
• 教育捐赠基金会的《教学与学习工具包》——把汇总证据转化为可比较的成本、影响力与证据强度评级的一个实用的、面向从业者的例证。
• 经济合作与发展组织(OECD)关于构建循证决策能力的工作——一份关于各国政府如何组织证据使用的需求与供给两端的跨国记述。
• 警务学院(College of Policing)的减少犯罪"有效实践"中心及其减少犯罪工具包——信息交流中心模式应用于卫生与教育领域之外的又一个实例。

参考文献

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Centre for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-centre-crime-reduction