公共部门计量经济学与项目评估

这为何对公共价值重要

每一年,公共机构都凭借一项成果比较来续签、扩大或取消一个项目:就业项目的参与者比未参与者更快找到工作;辅导计划中的学生比未接受辅导的学生得分更高。每一项比较作为描述都是真实的,作为论证却是危险的,因为单凭它自身,都无法告诉你这个项目是否引发了这种差异。报名参加就业项目的人,往往比不报名的人更有动力;被选中接受辅导的学生,也往往是因为一位教师已经预期他们会反应良好而被选中的。"接受处理的那一组表现更好"与"这项处理让他们表现得更好"之间的差距,正是因果推断这门学问存在的意义所要弥合的差距。

这不是一个学术上的细枝末节。一个被要求续签某项目资金的财务委员会,实际上是在被要求授权把公共资金用于一项因果主张,无论房间里是否有人真的说出这个词。主题2.1给了你一套成果框架,说明一个项目本应改变什么(见主题2.1——公共价值记分卡与成果框架);本主题给你的是检验它是否真的改变了这一点、改变了多少的方法。成本效益与成本效果分析(见主题2.2——社会成本效益与成本效果分析)以及社会投资回报(见主题2.3——社会投资回报与影响力测量),二者都需要一个站得住脚的效应量才能运作;本主题正是这个效应量的来源之处,或者说,是你了解到自己手上已有的那个数字承受不了它所背负的分量之处。

利害关系不仅仅是财务上的。一个因为一份有缺陷的评估显得有效、而扩大一个实际上无效的项目的政府,不仅浪费了资金,往往更糟的是,还挤掉了一个真正有效、却从未获得机会的替代方案;一个因为一次天真的比较显得毫无用处、而取消一个实际上有效的项目的政府,则摧毁了一份原本会被一次设计更好的评估所保护的价值。把因果识别做对,以及知道自己在什么时候无法把它做对,本身就是一项公共价值方面的核心能力,而不是专家才关心的旁枝末节。

核心概念

因果推断是统计学中致力于确定一个变量的变化是否、以及在多大程度上引发了另一个变量的变化——而非二者仅仅同步变动——的分支。它提供了本主题每一种方法都依赖的概念基础:反事实推理、处理组与对照组的语言,以及对因果主张的各种具体威胁所构成的目录。维基百科:因果推断。

反事实是一个人或一个单位若未接受该项目本会经历的结果,它是每一种因果方法都在试图逼近的那个核心的、不可观察的量:你可以观察到一位参与者身上实际发生了什么,却永远无法观察到同一个人若未获得帮助本会发生什么。下文的每一种方法,都是为构建这个缺失观察值的一个可信替代物而采用的一种不同策略。鲁宾因果模型主要由统计学家唐纳德·鲁宾提出,将其形式化为"潜在结果"框架:每一个单位在接受处理下有一个潜在结果、在对照条件下也有一个潜在结果,而因果效应就是二者之差,但其中只有一个会被真正观察到。维基百科:鲁宾因果模型。

混杂发生在第三个因素同时影响一个单位是否接受某个项目、以及该项目本应改变的那个结果时,这会使这个项目看起来引发了一种效应,而这种效应实际上是由那个混杂因素产生的。动机、既有能力、当地经济状况与家庭财富,是公共项目评估中反复出现的混杂因素,因为它们通常同时影响谁会使用一项服务、以及这个人或这个地方此后的表现如何。维基百科:混杂。

选择性偏差是混杂的一种特定情形,产生于参与者最初是如何进入处理组的——自我选择、员工转介或资格规则——以至于处理组与未处理组在这个项目触及他们之前,就已经系统性地存在差异。一个只有最有动力的求职者才会报名的就业项目,即便它什么也没做,看起来也会显得有效,因为对照组从来就不是参与者若未获帮助本会如何表现的一个公平替代物。维基百科:选择性偏差。

相关不等于因果是本主题所要落实的一般性警告:两个变量同步变动,既可能与其中一个引发另一个相符,也可能与相反的方向相符,或与一个共同原因相符,或纯属巧合,而单凭这种模式本身,无法区分这几种可能性。冰淇淋销量与溺水死亡人数每年夏天都会同时上升,但二者互不引发对方,因为温暖的天气同时驱动着二者;公共项目评估中充满了同一个陷阱的种种更隐蔽的版本。维基百科:相关不等于因果。

随机对照试验(RCT),在政策评估文献中也称为随机化评估,把符合条件的单位随机分配到一个接受该项目的处理组、和一个不接受的对照组,使得平均而言两组唯一的差异就是是否接受了处理。随机化之所以强大,是因为它能整体性地处理混杂问题:它能同时平衡你能够测量的混杂因素与你无法测量的混杂因素,而无需事先一一指认它们。维基百科:随机对照试验。

双重差分法(DiD)将一个处理组在一段时间内成果的变化,与同一时期内一个未接受该项目的比较组的成果变化相比较,前提假设是,若没有这个项目,两组本会遵循平行的趋势。当一个项目先在一个辖区、后在另一个辖区推行,而随机化从未成为可选项时,这是最常用的主力方法,因为它可以使用常规收集的行政数据,而不需要专门设计一次试验。维基百科:双重差分法。

断点回归设计(RDD)利用一项项目规则——该规则依据一项测量得分是否越过某个固定临界值来分配处理,例如一项福利恰好从某个收入门槛开始发放,或一门补习课恰好分配给刚好未达到及格线的学生——比较临界值刚好之上与刚好之下、在其他方面本应相似的单位之间的结果。由于一个单位落在临界值哪一侧,在临界值附近的一个狭窄区间内实际上是相当随意的,这种比较便近似于一次局部的随机实验,尽管没有任何人真正随机分配过任何东西。维基百科:断点回归设计。

工具变量(IV)估计使用一个第三变量,即"工具变量",它会影响一个项目的使用率,却对结果没有直接影响,唯一的影响路径就是通过这种使用率,借此剥离出处理-结果关系中原本会被混杂所污染的那一部分。一个经典的公共政策工具变量是到某个设施的距离,或是一个通过抽签分配的名额,它会改变参与情况,却不会独立地引发结果;这种方法的大部分难点,都在于论证这个工具变量对结果的影响,确实仅仅通过这个项目本身发生。维基百科:工具变量估计。

自然实验是一种并非由研究者设计、而是由政策、地理或某种境况所产生的情形,在这种情形下,一些人接触到了某个项目,而与之可比的另一些人则没有,仿佛一场实验已经进行,却没有任何人真正运行过它。一项在某个出生日期临界点生效的政策变化、一条把几乎完全相同的家庭划入不同辖区的边界线,或是一次为一个供不应求的名额配给资格的抽签,都是可以随后用RDD、IV或DiD加以分析的自然实验。维基百科:自然实验。

霍桑效应指的是人们仅仅因为知道自己正被观察、而与项目实际内容无关地改变自己行为的风险,如果对照组没有受到同等强度的观察,这可能会放大估计出的效应——衡量这个行为本身,可能成为处理的一部分。维基百科:霍桑效应。

统计检验力是指,如果某种给定大小的真实效应确实存在,一项评估能够探测到它的概率,主要取决于样本量、所寻求的效应量,以及各组内部结果的变异程度。一项检验力不足的评估如果得出"无显著效应",往往并没有证明这个项目什么也没做;它证明的只是这项评估规模太小,以至于无法辨别真相,而这项区别正是领导者在急于得出结论的压力之下经常忽略的。维基百科:统计检验力。

最佳实践

1. 在项目启动之前、而非之后决定评估设计。 一次随机化评估、一次适合双重差分法的错峰推行,或是一个适合断点回归设计的资格门槛,若从一开始就纳入设计,都远比在交付已经临时展开之后再回头补建要容易得多。
2. 在每一份评估简报中明确说明反事实。 用一句话写清楚,你把参与者与什么相比较——完全没有这个项目、此前的项目,还是一个不同的干预措施——因为一个未加说明的反事实,往往正是最尖锐的评估争议所隐藏之处。
3. 把一次简单的前后比较当作一个起始假设,而绝不能当作一项结论。 成果会因许多与你的项目无关的原因而漂移——经济周期、季节性效应、同时落地的其他政策变化——而一种前后对比设计无法把你的项目所做的贡献,与这些因素的贡献区分开来。
4. 让方法与实际分配这个项目的那条规则相匹配,而不是与你最熟悉的方法相匹配。 一个通过抽签配给名额的项目,即便你从未称它为一次试验,也需要用随机化评估的逻辑来处理;一个按得分门槛分配的项目,需要断点回归设计;一个先在部分地区、后在其他地区推行的项目,需要双重差分法。
5. 在查看结果之前,预先注册成果衡量指标与分析计划。 在看到哪一项指标发生了变化之后,再决定哪一项指标算作"成功",是一条有据可查、容易导致假阳性结果的路径,而预先注册正是防范这一点的标准做法。
6. 为这项评估设定检验力时,应针对足以证成该项目成本的最小效应量,而不是图方便。 一项规模太小、无法探测到具有政策意义的效应的评估,只会产出一个没有信息量的"无显著差异"结果,而这个结果又会被误读为项目失败的证据。
7. 在报告中,不仅呈现头条效应,还应同时报告比较组的特征。 一份可信的评估,会让一位持怀疑态度的读者能够核查两组在接受处理之前是否相似;一份隐藏这一点的评估,则是要求读者仅凭信任接受两组是均衡的。
8. 从独立于交付团队的来源委托这项评估,如果做不到,也要为分析设置防火墙。 一个在项目成功与否上有利害关系的团队,存在一种结构性的、往往是无意识的动机,去把含糊不清的证据往有利于这个项目的方向解读。
9. 在每一份报告中,把统计显著性与实际及财政意义上的显著性区分开来。 一个被精确估计出来的微小效应,与一个被粗略估计出来的巨大效应,是两项不同的发现,需要不同的决策,而把两者都笼统地归入"显著"或"不显著",会抹去一项资助决策实际所需要的那种区分。
10. 在设计阶段,就把评估预算作为项目成本的一个固定份额编列,而不是花剩下什么就是什么。 一个规模大到足以对公共价值真正产生影响的项目,通常也大到足以为一次可信的影响力评估提供资金,而把评估当作可有可无的裁量事项,正是薄弱证据变得司空见惯的原因。
11. 以与正面结果同等的可见度,公布无效与负面的结果。 一个只宣传成功评估的委托环境,会在已发布的证据基础本身之中造成一种选择性偏差,使每个人日后关于"什么有效"的判断都偏向乐观。
12. 把每一项已完成的评估都纳入你所在行业维护的更广泛证据基础之中,而不仅仅是纳入你自己的档案。 一次评估,无论设计得多好,也只是一个数据点;跨越许多评估的系统性综合,才是把一项项目发现转化为可迁移知识的关键(见主题2.6——证据综合与有效实践)。

与团队讨论的问题

我们实际上是在把这个项目与什么样的反事实相比较,我们是否已经把这一点明确说出来了? 每一项影响力主张都隐含着一种比较,但团队常常任由这一点保持隐含,让"这个项目有效"悄悄在"比什么都不做好""比我们以前做的更好"以及"比我们本可以资助的最佳替代方案更好"之间滑动。要求你的评估负责人用一句平实的话说清楚这个反事实,然后核查你手上现有的证据是否真的支持对这一具体比较的主张。如果诚实的反事实是"我们不知道否则会发生什么",就应把当前的影响力主张当作一个假设、而不是一项结论来对待,并讨论要弥合这一差距需要做些什么。

接受这个项目的人或地方,是否可能在会同时影响结果的某些方面,与未接受它的人或地方系统性地不同? 这是选择性偏差问题,即便——尤其是当——答案看起来显然是"不会"的时候,这个问题也值得提出。动机、既有境况、当地能力与员工转介模式,都是常见的隐藏差异来源,即便样本庞大、看起来经过精心设计,也会产出一个具有误导性的影响力估计。如果团队无法描述参与者最终是如何进入这个项目的,他们就无法排除这种可能性,而这个空白应该比一个较小的样本量更让你担忧。

我们的评估设计是内建于这个项目之中,还是事后附加上去的,这让我们付出了什么代价? 一次随机化评估、一次错峰推行,或一个按得分设定的资格门槛,如果在启动之前就已规划好,都会比事后从侥幸留存下来的行政数据中重新拼凑要便宜得多、也可信得多。追问在这个项目的设计阶段,曾考虑过哪些评估设计方案,如果一个都没有考虑过,就应把这视为一个需要在下一个项目之前弥补的流程缺口,而不仅仅是这一个项目的局限。讨论一下,为了让下一个重大项目能够支持一项可信的因果估计,从第一天起就需要存在哪些数据。

我们的样本是否大到足以探测到一项值得了解的效应,如果我们真的遇到一个检验力不足的"无效应"结论,我们能识别出来吗? 一份报告"无统计显著效应"的评估,有时确实正确地告诉你这个项目不起作用,但有时只是告诉你这项评估规模太小,无法看到一个确实真实存在的效应。要求你的分析人员说明这项评估的检验力所能探测到的最小效应量,并把它与真正足以证成这个项目成本的效应量相比较。如果这两个数字相差悬殊,"无效应"这一结论可能只是没有信息量,而不是致命的,团队应该坦率地说明这一点,而不是任由沉默被解读为失败。

如果这项评估得出正面结果,谁会在职业或声誉上因此受益,这是否会改变它需要接受多大程度的独立审查? 这不是在指控不诚实;而是承认设计或交付一个项目的人,在结构上更有可能把含糊不清的结果往有利的方向解读,而且往往自己都没有意识到这一点。讨论一下这项评估是否由独立于交付团队的人委托、分析或复核,如果没有,一个与这个项目规模相称的防火墙应该是什么样子。目标是一个连你最怀疑的资助方也会信任的结果,而不仅仅是一个你自己团队愿意为之辩护的结果。

如果这项评估的发现是站得住脚的,我们实际上会做出哪些不同的事,我们准备好这样做了吗? 一项被委托、却从来不打算改变任何决策的评估,是一笔被打扮成尽职调查的沉没成本,值得在结果出来之前、而不是之后,就先说清楚这个风险。事先讨论一下,一项强有力的正面结果将证成什么(扩大规模,以及扩大多少),而一项无效或负面的结果将触发什么(重新设计,或取消,以及在什么时间表内)。如果房间里没有人能在看到结果之前回答这个问题,这项评估可能是在服务于一种合法性功能、而非一种决策功能,而这一点值得坦诚面对(见主题2.1——公共价值记分卡与成果框架)。

实践中的公共价值案例

虚构说明。在一个中等规模、未具名国家的就业服务部,在现有标准服务之外,针对长期失业求职者运行了一项密集辅导服务的一年期试点。试点结束时,一份内部报告把接受密集辅导的那一组,与同期离开失业状态的其他所有人相比较:接受辅导的那一组,在六个月内的就业安置率为38%,而其余登记人群的比例为24%。部长们被告知这个项目"有效",一份商业论证随后被提交,以在全国推广它。

在签署这笔资金之前,财务委员会问了一个直接的问题:求职者最初究竟是如何进入接受辅导的那一组的?这个答案的结果证明极为重要。个案工作人员把他们判断"最可能受益"的求职者转介进了这项辅导试点,这是一个出于善意的分诊决定,实际上从一开始就把一个更加已经具备就业准备的群体选入了处理组。38%对24%这项比较,恰恰受到了本主题所警告的那种选择性偏差的污染:完全有可能的是,即便完全没有辅导,接受辅导的那一组本也会比其余登记人群表现得更好。

该部的评估小组没有仅凭这一比较来批准或否决全国推广,而是提议使用抽签方式开展第二阶段。这项辅导服务的需求本已超过可提供的名额,于是评估小组在同等符合资格的申请人中随机分配名额,并比较抽中名额者与未抽中者之间的就业安置率——这是一种随机化评估逻辑的应用,而且无需从任何本会获得这项服务的人身上扣留服务。十二个月之后,基于抽签的比较显示出一个更小、但真实的效应:六个月安置率提高了9个百分点,而不是最初那项比较所暗示的14个百分点的差距。该部利用这项基于抽签的估计值,连同自身的成本数据,构建了一个站得住脚的成本效果论证(见主题2.2——社会成本效益与成本效果分析),支持一次规模较小、但受资源约束的推广,而不是那份有缺陷的最初比较原本会证成的那种更大规模、根本无法交付的扩张。

四种部门视角

地方政府

地方政府通常运行许多中小规模的项目,而不是少数几个非常庞大的项目,这使得专门设计的随机化评估相对于项目规模而言成本高昂,推动地方评估者转而采用重复使用已在收集的行政数据的准实验方法——例如在不同时间采纳某项变化的各服务区域之间进行双重差分法分析,或围绕一个地方资格门槛开展断点回归设计。在别处可能只是麻烦事的边界与辖区差异,对地方评估者来说往往是最好的自然实验,因为两个相邻的选区或区可能在政策上有所不同,而在其他大多数方面却保持相似。

国家政府

国家政府拥有资助专门设计的随机化评估的规模,也拥有往往跨越税收、福利、卫生与教育记录相互关联的行政数据集,能够以较低的边际成本运行可信的准实验设计。"什么有效"评估工作组以及集中式评估指导——例如一个财政部门的标准评估手册——往往也正是在这个规模上产生的,因为只有国家政府才能证成维持一套常设评估基础设施、以及在众多部门之间统一方法论标准这项固定成本的合理性。

社会部门与非营利组织

非营利组织与非政府组织,很少拥有一次检验力充足的随机化评估所需要的样本量或预算,而它们的项目也常常根据一线员工的观察适应性地不断变化,这使得任何假定处理方式稳定、界定清晰的设计都变得复杂。与一个学术研究团队,或是围绕国际发展领域随机化评估运动而发展起来的那种专业评估中介机构建立伙伴关系,往往是获得一项严谨因果估计的唯一现实途径,而资助方也越来越多地要求正是这种外部伙伴关系,才愿意承诺多年期资助。

多边与国际

多边机构在数据系统、行政能力与伦理审查规范各不相同的众多国家资助项目,这使得标准化的因果方法更难被统一应用,但也创造出一种天然的跨国差异,当某项政策在一些成员国先于其他成员国被采纳时,这种差异本身便可能成为一次自然实验。发展经济学中的随机化评估,在这一规模上格外具有影响力,产出的证据塑造了国际发展资金的分配方式,但它们也带着一项有据可查的风险,即外部效度的失败:一项在所研究的国家与情境中成立的结果,并不会自动迁移到一个不同的情境之中,而这项警告在多边项目设计中却常常被轻描淡写地带过。

常见失败模式

天真的前后对比。 一个项目仅仅凭借比较它启动之前的成果与之后的成果来加以判断,完全没有任何比较组,于是任何本已在进行中的趋势——经济复苏、人口结构变化、一项独立的政策变化——都被错误地归功于这个项目。其代价是,一份自信的因果叙述,建立在一种实际上根本无法把这个项目的效应,与同一时期发生的其他一切区分开来的设计之上。

把选择性偏差误认为项目效应。 那些自愿加入、或因为看起来可能会成功而被转介进来的参与者,被拿来与其他所有人相比较,产出的影响力估计实际上衡量的是这个项目吸引来了什么样的人,而非这个项目对他们做了什么。其代价是,一旦推广到一个自我选择程度较低的人群,一个被扩大规模的项目看起来会显得效果较差,有时甚至差得多。

把检验力不足的评估报告为一个无效结论。 一个小型试点得出"无统计显著效应",并被解读为该项目不起作用的证据,而实际上样本规模太小,无法探测到一个真正具有实际意义的效应大小。其代价是双向的:一个真正有效的项目,可能会仅凭一份从一开始就没有能力证明它有效的证据而被取消;资源也可能转而资助一次规模更大的试验,而如果最初的简报设定了正确的检验力,这本来是不必要的。

把一项局部估计外推超出其适用情境。 一项断点回归设计正确地估计了临界值附近各单位的效应,一项工具变量估计也正确地估计了那些其处理状态确实被该工具变量所改变的单位的效应,但这两项发现随后却被应用到整个人群,仿佛这项估计到处都成立一样。其代价是,一项政策被扩大规模,所凭借的却只是一个原本仅在局部情境下才成立的数字。

评估沦为一场表演。 委托一项评估是为了营造一种基于证据的决策的表象,但决策实际上早已做出,任何看似合理的发现都不会改变它。其代价是评估预算的浪费,以及更具腐蚀性的后果:一旦员工注意到结果似乎从来不会改变结果本身,人们对评估这件事本身的信任就会缓慢流失。

成熟度模型

检查清单

• 为每一项重大项目评估,用一句平实的话说明反事实。
• 确认参与者最初是如何进入处理组的,并评估这一过程本身是否可能解释了成果差异。
• 尽可能在交付开始之前,选定与实际分配规则相匹配的评估方法(随机化评估、双重差分法、断点回归设计、工具变量或自然实验)。
• 计算探测到足以证成该项目成本的最小效应量所需的统计检验力。
• 在看到结果之前,预先注册成果衡量指标与分析计划。
• 在报告头条效应的同时,一并报告处理组与比较组的可比性。
• 通过独立于交付团队的职能来委托或复核这项评估。
• 在向决策者提交的每一份报告中,把统计显著性与财政及实际意义上的显著性区分开来。
• 在设计阶段,把评估预算作为项目成本的一个固定份额编列。
• 以与正面发现同等的可见度,公布无效与负面的发现。
• 核查一项(来自断点回归设计或工具变量的)正面局部估计,是否被外推到了它实际所覆盖的人群之外。
• 把已完成的评估导入你所在行业维护的更广泛证据基础之中,而不仅仅是自己的档案。

关键资料来源

本主题的方法论核心,借鉴了与约书亚·D·安格里斯特与约恩-斯特芬·皮施克相关联的应用计量经济学传统,以及由唐纳德·鲁宾形式化的潜在结果框架。与阿卜杜勒·拉蒂夫·贾米尔贫困行动实验室(J-PAL)及其学术网络相关联的公共政策与发展经济学随机化评估运动,为各部门视角中所引用的大部分应用实践提供了依据。政府评估标准借鉴了英国财政部的《洋红皮书》指导,证据综合实践则借鉴了坎贝尔协作网关于社会政策系统评价的标准(见主题2.6——证据综合与有效实践)。

参考文献

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network