公共部門計量經濟學與專案評估

這為何對公共價值重要

每一年,公共機構都憑藉一項成果比較來續簽、擴大或取消一個專案:就業專案的參與者比未參與者更快找到工作;輔導計劃中的學生比未接受輔導的學生得分更高。每一項比較作為描述都是真實的,作為論證卻是危險的,因為單憑它自身,都無法告訴你這個專案是否引發了這種差異。報名參加就業專案的人,往往比不報名的人更有動力;被選中接受輔導的學生,也往往是因為一位教師已經預期他們會反應良好而被選中的。"接受處理的那一組表現更好"與"這項處理讓他們表現得更好"之間的差距,正是因果推斷這門學問存在的意義所要彌合的差距。

這不是一個學術上的細枝末節。一個被要求續簽某專案資金的財務委員會,實際上是在被要求授權把公共資金用於一項因果主張,無論房間裡是否有人真的說出這個詞。主題2.1給了你一套成果框架,說明一個專案本應改變什麼(見主題2.1——公共價值記分卡與成果框架);本主題給你的是檢驗它是否真的改變了這一點、改變了多少的方法。成本效益與成本效果分析(見主題2.2——社會成本效益與成本效果分析)以及社會投資回報(見主題2.3——社會投資回報與影響力測量),二者都需要一個站得住腳的效應量才能運作;本主題正是這個效應量的來源之處,或者說,是你瞭解到自己手上已有的那個數字承受不了它所揹負的分量之處。

利害關係不僅僅是財務上的。一個因為一份有缺陷的評估顯得有效、而擴大一個實際上無效的專案的政府,不僅浪費了資金,往往更糟的是,還擠掉了一個真正有效、卻從未獲得機會的替代方案;一個因為一次天真的比較顯得毫無用處、而取消一個實際上有效的專案的政府,則摧毀了一份原本會被一次設計更好的評估所保護的價值。把因果識別做對,以及知道自己在什麼時候無法把它做對,本身就是一項公共價值方面的核心能力,而不是專家才關心的旁枝末節。

核心概念

因果推斷是統計學中致力於確定一個變數的變化是否、以及在多大程度上引發了另一個變數的變化——而非二者僅僅同步變動——的分支。它提供了本主題每一種方法都依賴的概念基礎:反事實推理、處理組與對照組的語言,以及對因果主張的各種具體威脅所構成的目錄。維基百科:因果推斷。

反事實是一個人或一個單位若未接受該專案本會經歷的結果,它是每一種因果方法都在試圖逼近的那個核心的、不可觀察的量:你可以觀察到一位參與者身上實際發生了什麼,卻永遠無法觀察到同一個人若未獲得幫助本會發生什麼。下文的每一種方法,都是為構建這個缺失觀察值的一個可信替代物而採用的一種不同策略。魯賓因果模型主要由統計學家唐納德·魯賓提出,將其形式化為"潛在結果"框架:每一個單位在接受處理下有一個潛在結果、在對照條件下也有一個潛在結果,而因果效應就是二者之差,但其中只有一個會被真正觀察到。維基百科:魯賓因果模型。

混雜發生在第三個因素同時影響一個單位是否接受某個專案、以及該專案本應改變的那個結果時,這會使這個專案看起來引發了一種效應,而這種效應實際上是由那個混雜因素產生的。動機、既有能力、當地經濟狀況與家庭財富,是公共專案評估中反覆出現的混雜因素,因為它們通常同時影響誰會使用一項服務、以及這個人或這個地方此後的表現如何。維基百科:混雜。

選擇性偏差是混雜的一種特定情形,產生於參與者最初是如何進入處理組的——自我選擇、員工轉介或資格規則——以至於處理組與未處理組在這個專案觸及他們之前,就已經系統性地存在差異。一個只有最有動力的求職者才會報名的就業專案,即便它什麼也沒做,看起來也會顯得有效,因為對照組從來就不是參與者若未獲幫助本會如何表現的一個公平替代物。維基百科:選擇性偏差。

相關不等於因果是本主題所要落實的一般性警告:兩個變數同步變動,既可能與其中一個引發另一個相符,也可能與相反的方向相符,或與一個共同原因相符,或純屬巧合,而單憑這種模式本身,無法區分這幾種可能性。冰淇淋銷量與溺水死亡人數每年夏天都會同時上升,但二者互不引發對方,因為溫暖的天氣同時驅動著二者;公共專案評估中充滿了同一個陷阱的種種更隱蔽的版本。維基百科:相關不等於因果。

隨機對照試驗(RCT),在政策評估文獻中也稱為隨機化評估,把符合條件的單位隨機分配到一個接受該專案的處理組、和一個不接受的對照組,使得平均而言兩組唯一的差異就是是否接受了處理。隨機化之所以強大,是因為它能整體性地處理混雜問題:它能同時平衡你能夠測量的混雜因素與你無法測量的混雜因素,而無需事先一一指認它們。維基百科:隨機對照試驗。

雙重差分法(DiD)將一個處理組在一段時間內成果的變化,與同一時期內一個未接受該專案的比較組的成果變化相比較,前提假設是,若沒有這個專案,兩組本會遵循平行的趨勢。當一個專案先在一個轄區、後在另一個轄區推行,而隨機化從未成為可選項時,這是最常用的主力方法,因為它可以使用常規收集的行政資料,而不需要專門設計一次試驗。維基百科:雙重差分法。

斷點回歸設計(RDD)利用一項專案規則——該規則依據一項測量得分是否越過某個固定臨界值來分配處理,例如一項福利恰好從某個收入門檻開始發放,或一門補習課恰好分配給剛好未達到及格線的學生——比較臨界值剛好之上與剛好之下、在其他方面本應相似的單位之間的結果。由於一個單位落在臨界值哪一側,在臨界值附近的一個狹窄區間內實際上是相當隨意的,這種比較便近似於一次區域性的隨機實驗,儘管沒有任何人真正隨機分配過任何東西。維基百科:斷點回歸設計。

工具變數(IV)估計使用一個第三變數,即"工具變數",它會影響一個專案的使用率,卻對結果沒有直接影響,唯一的影響路徑就是透過這種使用率,藉此剝離出處理-結果關係中原本會被混雜所汙染的那一部分。一個經典的公共政策工具變數是到某個設施的距離,或是一個透過抽籤分配的名額,它會改變參與情況,卻不會獨立地引發結果;這種方法的大部分難點,都在於論證這個工具變數對結果的影響,確實僅僅透過這個專案本身發生。維基百科:工具變數估計。

自然實驗是一種並非由研究者設計、而是由政策、地理或某種境況所產生的情形,在這種情形下,一些人接觸到了某個專案,而與之可比的另一些人則沒有,彷彿一場實驗已經進行,卻沒有任何人真正執行過它。一項在某個出生日期臨界點生效的政策變化、一條把幾乎完全相同的家庭劃入不同轄區的邊界線,或是一次為一個供不應求的名額配給資格的抽籤,都是可以隨後用RDD、IV或DiD加以分析的自然實驗。維基百科:自然實驗。

霍桑效應指的是人們僅僅因為知道自己正被觀察、而與專案實際內容無關地改變自己行為的風險,如果對照組沒有受到同等強度的觀察,這可能會放大估計出的效應——衡量這個行為本身,可能成為處理的一部分。維基百科:霍桑效應。

統計檢驗力是指,如果某種給定大小的真實效應確實存在,一項評估能夠探測到它的機率,主要取決於樣本量、所尋求的效應量,以及各組內部結果的變異程度。一項檢驗力不足的評估如果得出"無顯著效應",往往並沒有證明這個專案什麼也沒做;它證明的只是這項評估規模太小,以至於無法辨別真相,而這項區別正是領導者在急於得出結論的壓力之下經常忽略的。維基百科:統計檢驗力。

最佳實踐

1. 在專案啟動之前、而非之後決定評估設計。 一次隨機化評估、一次適合雙重差分法的錯峰推行,或是一個適合斷點回歸設計的資格門檻,若從一開始就納入設計,都遠比在交付已經臨時展開之後再回頭補建要容易得多。
2. 在每一份評估簡報中明確說明反事實。 用一句話寫清楚,你把參與者與什麼相比較——完全沒有這個專案、此前的專案,還是一個不同的干預措施——因為一個未加說明的反事實,往往正是最尖銳的評估爭議所隱藏之處。
3. 把一次簡單的前後比較當作一個起始假設,而絕不能當作一項結論。 成果會因許多與你的專案無關的原因而漂移——經濟週期、季節性效應、同時落地的其他政策變化——而一種前後對比設計無法把你的專案所做的貢獻,與這些因素的貢獻區分開來。
4. 讓方法與實際分配這個專案的那條規則相匹配,而不是與你最熟悉的方法相匹配。 一個透過抽籤配給名額的專案,即便你從未稱它為一次試驗,也需要用隨機化評估的邏輯來處理;一個按得分門檻分配的專案,需要斷點回歸設計;一個先在部分地區、後在其他地區推行的專案,需要雙重差分法。
5. 在檢視結果之前,預先註冊成果衡量指標與分析計劃。 在看到哪一項指標發生了變化之後,再決定哪一項指標算作"成功",是一條有據可查、容易導致假陽性結果的路徑,而預先註冊正是防範這一點的標準做法。
6. 為這項評估設定檢驗力時,應針對足以證成該專案成本的最小效應量,而不是圖方便。 一項規模太小、無法探測到具有政策意義的效應的評估,只會產出一個沒有資訊量的"無顯著差異"結果,而這個結果又會被誤讀為專案失敗的證據。
7. 在報告中,不僅呈現頭條效應,還應同時報告比較組的特徵。 一份可信的評估,會讓一位持懷疑態度的讀者能夠核查兩組在接受處理之前是否相似;一份隱藏這一點的評估,則是要求讀者僅憑信任接受兩組是均衡的。
8. 從獨立於交付團隊的來源委託這項評估,如果做不到,也要為分析設定防火牆。 一個在專案成功與否上有利害關係的團隊,存在一種結構性的、往往是無意識的動機,去把含糊不清的證據往有利於這個專案的方向解讀。
9. 在每一份報告中,把統計顯著性與實際及財政意義上的顯著性區分開來。 一個被精確估計出來的微小效應,與一個被粗略估計出來的巨大效應,是兩項不同的發現,需要不同的決策,而把兩者都籠統地歸入"顯著"或"不顯著",會抹去一項資助決策實際所需要的那種區分。
10. 在設計階段,就把評估預算作為專案成本的一個固定份額編列,而不是花剩下什麼就是什麼。 一個規模大到足以對公共價值真正產生影響的專案,通常也大到足以為一次可信的影響力評估提供資金,而把評估當作可有可無的裁量事項,正是薄弱證據變得司空見慣的原因。
11. 以與正面結果同等的可見度,公佈無效與負面的結果。 一個只宣傳成功評估的委託環境,會在已釋出的證據基礎本身之中造成一種選擇性偏差,使每個人日後關於"什麼有效"的判斷都偏向樂觀。
12. 把每一項已完成的評估都納入你所在行業維護的更廣泛證據基礎之中,而不僅僅是納入你自己的檔案。 一次評估,無論設計得多好,也只是一個資料點;跨越許多評估的系統性綜合,才是把一項專案發現轉化為可遷移知識的關鍵(見主題2.6——證據綜合與有效實踐)。

與團隊討論的問題

我們實際上是在把這個專案與什麼樣的反事實相比較,我們是否已經把這一點明確說出來了? 每一項影響力主張都隱含著一種比較,但團隊常常任由這一點保持隱含,讓"這個專案有效"悄悄在"比什麼都不做好""比我們以前做的更好"以及"比我們本可以資助的最佳替代方案更好"之間滑動。要求你的評估負責人用一句平實的話說清楚這個反事實,然後核查你手上現有的證據是否真的支援對這一具體比較的主張。如果誠實的反事實是"我們不知道否則會發生什麼",就應把當前的影響力主張當作一個假設、而不是一項結論來對待,並討論要彌合這一差距需要做些什麼。

接受這個專案的人或地方,是否可能在會同時影響結果的某些方面,與未接受它的人或地方系統性地不同? 這是選擇性偏差問題,即便——尤其是當——答案看起來顯然是"不會"的時候,這個問題也值得提出。動機、既有境況、當地能力與員工轉介模式,都是常見的隱藏差異來源,即便樣本龐大、看起來經過精心設計,也會產出一個具有誤導性的影響力估計。如果團隊無法描述參與者最終是如何進入這個專案的,他們就無法排除這種可能性,而這個空白應該比一個較小的樣本量更讓你擔憂。

我們的評估設計是內建於這個專案之中,還是事後附加上去的,這讓我們付出了什麼代價? 一次隨機化評估、一次錯峰推行,或一個按得分設定的資格門檻,如果在啟動之前就已規劃好,都會比事後從僥倖留存下來的行政資料中重新拼湊要便宜得多、也可信得多。追問在這個專案的設計階段,曾考慮過哪些評估設計方案,如果一個都沒有考慮過,就應把這視為一個需要在下一個專案之前彌補的流程缺口,而不僅僅是這一個專案的侷限。討論一下,為了讓下一個重大專案能夠支援一項可信的因果估計,從第一天起就需要存在哪些資料。

我們的樣本是否大到足以探測到一項值得了解的效應,如果我們真的遇到一個檢驗力不足的"無效應"結論,我們能識別出來嗎? 一份報告"無統計顯著效應"的評估,有時確實正確地告訴你這個專案不起作用,但有時只是告訴你這項評估規模太小,無法看到一個確實真實存在的效應。要求你的分析人員說明這項評估的檢驗力所能探測到的最小效應量,並把它與真正足以證成這個專案成本的效應量相比較。如果這兩個數字相差懸殊,"無效應"這一結論可能只是沒有資訊量,而不是致命的,團隊應該坦率地說明這一點,而不是任由沉默被解讀為失敗。

如果這項評估得出正面結果,誰會在職業或聲譽上因此受益,這是否會改變它需要接受多大程度的獨立審查? 這不是在指控不誠實;而是承認設計或交付一個專案的人,在結構上更有可能把含糊不清的結果往有利的方向解讀,而且往往自己都沒有意識到這一點。討論一下這項評估是否由獨立於交付團隊的人委託、分析或複核,如果沒有,一個與這個專案規模相稱的防火牆應該是什麼樣子。目標是一個連你最懷疑的資助方也會信任的結果,而不僅僅是一個你自己團隊願意為之辯護的結果。

如果這項評估的發現是站得住腳的,我們實際上會做出哪些不同的事,我們準備好這樣做了嗎? 一項被委託、卻從來不打算改變任何決策的評估,是一筆被打扮成盡職調查的沉沒成本,值得在結果出來之前、而不是之後,就先說清楚這個風險。事先討論一下,一項強有力的正面結果將證成什麼(擴大規模,以及擴大多少),而一項無效或負面的結果將觸發什麼(重新設計,或取消,以及在什麼時間表內)。如果房間裡沒有人能在看到結果之前回答這個問題,這項評估可能是在服務於一種合法性功能、而非一種決策功能,而這一點值得坦誠面對(見主題2.1——公共價值記分卡與成果框架)。

實踐中的公共價值案例

虛構說明。在一箇中等規模、未具名國家的就業服務部,在現有標準服務之外,針對長期失業求職者執行了一項密集輔導服務的一年期試點。試點結束時,一份內部報告把接受密集輔導的那一組,與同期離開失業狀態的其他所有人相比較:接受輔導的那一組,在六個月內的就業安置率為38%,而其餘登記人群的比例為24%。部長們被告知這個專案"有效",一份商業論證隨後被提交,以在全國推廣它。

在簽署這筆資金之前,財務委員會問了一個直接的問題:求職者最初究竟是如何進入接受輔導的那一組的?這個答案的結果證明極為重要。個案工作人員把他們判斷"最可能受益"的求職者轉介進了這項輔導試點,這是一個出於善意的分診決定,實際上從一開始就把一個更加已經具備就業準備的群體選入了處理組。38%對24%這項比較,恰恰受到了本主題所警告的那種選擇性偏差的汙染:完全有可能的是,即便完全沒有輔導,接受輔導的那一組本也會比其餘登記人群表現得更好。

該部的評估小組沒有僅憑這一比較來批准或否決全國推廣,而是提議使用抽籤方式開展第二階段。這項輔導服務的需求本已超過可提供的名額,於是評估小組在同等符合資格的申請人中隨機分配名額,並比較抽中名額者與未抽中者之間的就業安置率——這是一種隨機化評估邏輯的應用,而且無需從任何本會獲得這項服務的人身上扣留服務。十二個月之後,基於抽籤的比較顯示出一個更小、但真實的效應:六個月安置率提高了9個百分點,而不是最初那項比較所暗示的14個百分點的差距。該部利用這項基於抽籤的估計值,連同自身的成本資料,構建了一個站得住腳的成本效果論證(見主題2.2——社會成本效益與成本效果分析),支援一次規模較小、但受資源約束的推廣,而不是那份有缺陷的最初比較原本會證成的那種更大規模、根本無法交付的擴張。

四種部門視角

地方政府

地方政府通常執行許多中小規模的專案,而不是少數幾個非常龐大的專案,這使得專門設計的隨機化評估相對於專案規模而言成本高昂,推動地方評估者轉而採用重複使用已在收集的行政資料的準實驗方法——例如在不同時間採納某項變化的各服務區域之間進行雙重差分法分析,或圍繞一個地方資格門檻開展斷點回歸設計。在別處可能只是麻煩事的邊界與轄區差異,對地方評估者來說往往是最好的自然實驗,因為兩個相鄰的選區或區可能在政策上有所不同,而在其他大多數方面卻保持相似。

國家政府

國家政府擁有資助專門設計的隨機化評估的規模,也擁有往往跨越稅收、福利、衛生與教育記錄相互關聯的行政資料集,能夠以較低的邊際成本執行可信的準實驗設計。"什麼有效"評估工作組以及集中式評估指導——例如一個財政部門的標準評估手冊——往往也正是在這個規模上產生的,因為只有國家政府才能證成維持一套常設評估基礎設施、以及在眾多部門之間統一方法論標準這項固定成本的合理性。

社會部門與非營利組織

非營利組織與非政府組織,很少擁有一次檢驗力充足的隨機化評估所需要的樣本量或預算,而它們的專案也常常根據一線員工的觀察適應性地不斷變化,這使得任何假定處理方式穩定、界定清晰的設計都變得複雜。與一個學術研究團隊,或是圍繞國際發展領域隨機化評估運動而發展起來的那種專業評估中介機構建立夥伴關係,往往是獲得一項嚴謹因果估計的唯一現實途徑,而資助方也越來越多地要求正是這種外部夥伴關係,才願意承諾多年期資助。

多邊與國際

多邊機構在資料系統、行政能力與倫理審查規範各不相同的眾多國家資助專案,這使得標準化的因果方法更難被統一應用,但也創造出一種天然的跨國差異,當某項政策在一些成員國先於其他成員國被採納時,這種差異本身便可能成為一次自然實驗。發展經濟學中的隨機化評估,在這一規模上格外具有影響力,產出的證據塑造了國際發展資金的分配方式,但它們也帶著一項有據可查的風險,即外部效度的失敗:一項在所研究的國家與情境中成立的結果,並不會自動遷移到一個不同的情境之中,而這項警告在多邊專案設計中卻常常被輕描淡寫地帶過。

常見失敗模式

天真的前後對比。 一個專案僅僅憑藉比較它啟動之前的成果與之後的成果來加以判斷,完全沒有任何比較組,於是任何本已在進行中的趨勢——經濟復甦、人口結構變化、一項獨立的政策變化——都被錯誤地歸功於這個專案。其代價是,一份自信的因果敘述,建立在一種實際上根本無法把這個專案的效應,與同一時期發生的其他一切區分開來的設計之上。

把選擇性偏差誤認為專案效應。 那些自願加入、或因為看起來可能會成功而被轉介進來的參與者,被拿來與其他所有人相比較,產出的影響力估計實際上衡量的是這個專案吸引來了什麼樣的人,而非這個專案對他們做了什麼。其代價是,一旦推廣到一個自我選擇程度較低的人群,一個被擴大規模的專案看起來會顯得效果較差,有時甚至差得多。

把檢驗力不足的評估報告為一個無效結論。 一個小型試點得出"無統計顯著效應",並被解讀為該專案不起作用的證據,而實際上樣本規模太小,無法探測到一個真正具有實際意義的效應大小。其代價是雙向的:一個真正有效的專案,可能會僅憑一份從一開始就沒有能力證明它有效的證據而被取消;資源也可能轉而資助一次規模更大的試驗,而如果最初的簡報設定了正確的檢驗力,這本來是不必要的。

把一項區域性估計外推超出其適用情境。 一項斷點回歸設計正確地估計了臨界值附近各單位的效應,一項工具變數估計也正確地估計了那些其處理狀態確實被該工具變數所改變的單位的效應,但這兩項發現隨後卻被應用到整個人群,彷彿這項估計到處都成立一樣。其代價是,一項政策被擴大規模,所憑藉的卻只是一個原本僅在區域性情境下才成立的數字。

評估淪為一場表演。 委託一項評估是為了營造一種基於證據的決策的表象,但決策實際上早已做出,任何看似合理的發現都不會改變它。其代價是評估預算的浪費,以及更具腐蝕性的後果:一旦員工注意到結果似乎從來不會改變結果本身,人們對評估這件事本身的信任就會緩慢流失。

成熟度模型

檢查清單

• 為每一項重大專案評估,用一句平實的話說明反事實。
• 確認參與者最初是如何進入處理組的,並評估這一過程本身是否可能解釋了成果差異。
• 儘可能在交付開始之前,選定與實際分配規則相匹配的評估方法(隨機化評估、雙重差分法、斷點回歸設計、工具變數或自然實驗)。
• 計算探測到足以證成該專案成本的最小效應量所需的統計檢驗力。
• 在看到結果之前,預先註冊成果衡量指標與分析計劃。
• 在報告頭條效應的同時,一併報告處理組與比較組的可比性。
• 透過獨立於交付團隊的職能來委託或複核這項評估。
• 在向決策者提交的每一份報告中,把統計顯著性與財政及實際意義上的顯著性區分開來。
• 在設計階段,把評估預算作為專案成本的一個固定份額編列。
• 以與正面發現同等的可見度,公佈無效與負面的發現。
• 核查一項(來自斷點回歸設計或工具變數的)正面區域性估計,是否被外推到了它實際所覆蓋的人群之外。
• 把已完成的評估匯入你所在行業維護的更廣泛證據基礎之中,而不僅僅是自己的檔案。

關鍵資料來源

本主題的方法論核心,借鑑了與約書亞·D·安格里斯特與約恩-斯特芬·皮施克相關聯的應用計量經濟學傳統,以及由唐納德·魯賓形式化的潛在結果框架。與阿卜杜勒·拉蒂夫·賈米爾貧困行動實驗室(J-PAL)及其學術網路相關聯的公共政策與發展經濟學隨機化評估運動,為各部門視角中所引用的大部分應用實踐提供了依據。政府評估標準借鑑了英國財政部的《洋紅皮書》指導,證據綜合實踐則借鑑了坎貝爾協作閘道器於社會政策系統評價的標準(見主題2.6——證據綜合與有效實踐)。

參考文獻

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network