證據綜合與有效實踐

這為何對公共價值重要

一位部長、一位市長,或是一家慈善機構的專案主任,很少有奢侈的機會,能擁有一項單一、乾淨的研究據以行動。更常見的情形是,案頭擺著三份互相矛盾的評估、一份有選擇性地引用它們的文獻綜述、一個揮舞著一項對其主張有利的試驗結果的壓力團體,以及一個由預算週期、而非研究進度所設定的截止日期。證據綜合這門學問存在的意義,正是因為單項研究本身充滿噪音:樣本量小,情境各不相同,任何單一結果都可能是巧合、是一個無法遷移的地方性契合,或是一個真實的效應。領導者需要得到解答的問題,很少是"這一項研究發現了什麼",而是"綜合所有經過檢驗、可信的證據來看,如果我在這裡、現在採取這個行動,我應該預期什麼?"

公共價值理論使這個問題不僅僅是一項技術上的細節。一個用集體資源資助的專案,依託於一項公民在總體上會加以授權的價值主張(關於這項主張是如何被陳述與追蹤的,見主題2.1——公共價值記分卡與成果框架)。一項建立在單一挑選出來的研究之上、或根本沒有經過任何證據審查的主張,比一項建立在一次審慎綜合之上的主張,在合法性上更為薄弱——在運營能力上也是更薄弱的基礎,因為員工與預算會依據它而被投入。"有效實踐"運動——那個評定政策證據質量與強度的獨立機構網路——正是直接從這個問題中成長起來的:太多公共決策依據的是聲音最大的研究,而不是支援最充分的研究。

本主題要處理的更棘手的問題是,當綜合本身沒有定論、存在爭議,或者根本無法及時獲得時,一位領導者應該怎麼做。證據等級體系的建立,是為了給一個混亂的證據基礎帶來秩序,但如果使用不慎,"證據還不夠充分"就會變成一個永久的藉口,用來回避一項現實根本不會等待的決策。一位理解證據綜合如何運作、以及它的侷限在哪裡的領導者,能夠分辨出真正值得謹慎的不確定性,與被用作不作為的掩護的等級體系。

本主題是主題2.4所講述的、證據綜合所依賴的因果推斷方法的自然續篇(見主題2.4——公共部門計量經濟學與專案評估),並與證據綜合最終所服務的成果框架並列存在、而非取代它(見主題2.1——公共價值記分卡與成果框架)。一位能夠讀懂一篇系統評價、理解一項"有效實踐"評級、並能就"缺乏證據"與"負面證據"清晰推理的領導者,會比一位只會要求"更多證據"、或全盤接受遞到手中的第一份研究的領導者,做出更好的即時決策。

核心概念

系統評價是對一個明確界定的問題的證據所作的一種綜合,它使用一套明確的、預先設定的、可復現的方法來查詢、評估並整合各項研究,這與一份敘述性文獻綜述——由作者自行斟酌選擇來源——形成對比(見系統評價)。它的界定性特徵是:一份在檢索開始之前就寫好並註冊的方案、一套包含未發表與灰色文獻的檢索策略、明確的納入標準,以及一套評估每項研究偏倚風險的標準方法。這正是把一篇系統評價與一篇寫得漂亮、帶腳註的文章區分開來的地方:另一個團隊若遵循同一套方案,大體上會找到相同的證據,並得出大體相似的結論。

薈萃分析是最常與系統評價配對使用的統計技術:它把多項獨立研究中的定量效應量彙總為一個單一的、更精確的估計值,通常按每項研究的樣本量與質量加權(見薈萃分析)。一項薈萃分析的質量取決於輸入它的那些研究;把五項薄弱的研究彙總在一起,產出的是對一個可能有偏效應的一個更精確的估計,而不是一個更可信的估計。因此,分析者會彙報異質性——各項研究的結果在多大程度上超出偶然所能預測的範圍而彼此不同——因為高異質性表明這些研究實際上並沒有真正在檢驗同一件事,單一的彙總數字可能具有誤導性。

發表偏倚是指具有正面、顯著結果的研究更容易被髮表,而無效或負面的結果則被擱置在研究者的檔案抽屜裡,這使得一項干預措施在文獻中顯得比它實際情況更一貫有效(見發表偏倚)。一份嚴謹的評價會透過檢索試驗註冊庫與未發表的評估、而不僅僅是期刊文章,來糾正這一點。一位閱讀一份僅建立在已發表論文之上的綜合的領導者,應該追問評價者做了什麼來找出那些從未付印的研究。

證據等級體系按各種研究設計對混雜與偏倚的控制程度加以排序,通常把隨機試驗的薈萃分析置於頂端,單項隨機對照試驗次之,再往下是準實驗與觀察性設計,專家意見位列最底端(見證據等級體系)。隨機對照試驗把參與者隨機分配到一個干預組或一個比較組,是把一項因果效應從周圍發生的一切其他事情中分離出來的單一最強有力的工具(見隨機對照試驗;關於這類設計如何被構建與分析,見主題2.4——公共部門計量經濟學與專案評估)。這套等級體系是一個真正有用的啟發法,但它是一種啟發法,而非一條法則:一項針對某種罕見或緩慢變化的政策而開展的、執行良好的觀察性研究,可能會勝過一項執行不佳、檢驗力不足的試驗,而一位把它當作絕對排序來對待的領導者,有時會為了一種更有聲望的設計,而捨棄了更相關的證據。

GRADE方法——推薦意見分級、評估、制定與評價——將證據等級體系單獨沒有做出的第二項獨立判斷加以形式化:它同時評定證據的確定性,以及獨立地評定據此採取行動的建議的強度,因為強有力的證據並不總能證成一項強有力的建議,而薄弱的證據也不總意味著可以對一種嚴重而緊迫的危害坐視不理(見GRADE方法)。這一區分,是本主題對一位時間緊迫的決策者最有用的單一理念:它讓一位領導者能夠誠實地說,"這裡的證據是中等程度的,考慮到利害關係與等待的成本,我建議我們繼續推進"——這是一項站得住腳的、有據可查的判斷,而不是在"等待確定性"與"完全無視證據"之間做出的一種虛假選擇。

在實際政策辯論中不斷反覆出現的一個區分,是證據缺失與證據表明無效之間的區別:關於一項干預措施效應缺乏研究("沒有效應的證據"),與一批檢驗力充足的研究明確發現沒有效應("有證據表明沒有效應")並不是同一種主張(見證據表明無效)。一個尚無任何評估的新地方專案,只是還沒有被檢驗過;一個被反覆研究、多次發現對任何成果都沒有推動作用的全國性專案,則是已經被檢驗過、並被證明不起作用。把這兩者混為一談,是一位公共領導者可能犯下的後果最嚴重的錯誤之一:像專案已經失敗了一樣扼殺一個未經檢驗、但有希望的試點,或是像還沒有人足夠仔細地研究過一樣,繼續資助一個被反覆證偽的專案。

循證政策是一場更廣泛的運動與一項規範性主張,認為公共決策應建立在嚴謹確立的證據之上,而不僅僅是意識形態、軼事或直覺(見循證政策)。它的批評者、以及越來越多它自身的支持者,更傾向於使用"證據知情政策"這一說法,這一說法承認證據只是眾多輸入之一——價值觀、授權、成本,以及本書視為根本的合法性問題——而不是一條僅憑證據本身就能解決一切的機械決策規則。

從這場運動中,發展出了"有效實踐"中心或資訊交流中心這一模式:一個獨立機構,系統性地評審某個政策領域內各種干預措施的證據,並公佈易於理解、可比較的評級,而不是任由每一位地方委託方自行開展評審。考科藍自1993年起在醫療保健領域率先建立了這一模式,維護著一部活的系統評價方法學手冊,其應用範圍遠超醫學領域(見考科藍(組織))。坎貝爾協作網把同一套方法學擴充套件到了社會政策、刑事司法、教育與國際發展領域(見坎貝爾協作網)。國家層面的資訊交流中心隨之出現:美國的有效實踐資訊交流中心,自2002年起由其教育科學研究所運營,依照明確的設計標準審查教育研究(見有效實踐資訊交流中心);英格蘭的教育捐贈基金會釋出了一份被廣泛使用的《教學與學習工具包》,以一種可比較的統一格式,按成本、證據強度與典型影響力對課堂干預措施加以評級(見教育捐贈基金會)。類似的中心也存在於減少犯罪、早期干預、無家可歸與健康老齡化等領域——這是一個建立在同一種方法之上的小型國際家族:系統評價、透明評級,以及一份不需要方法學家就能讀懂的、面向從業者的摘要。

最佳實踐

1. 在關注單項研究之前,先尋求綜合證據。 當一項引人注目的結果擺到你的案頭時,先問一問,是否已經存在一份針對這項干預措施的系統評價或"有效實踐"評級,而不是先問這項研究單獨看起來是否有說服力。
2. 把基礎評價與任何工具包評級一併閱讀,而不是隻讀後者。 一行評級或一個鎖形圖示,概括的是一項判斷;它不能替代你去理解這項判斷建立在什麼證據之上、以及它與你的情境有多麼直接的相關性。
3. 明確地把證據的質量與你所提建議的強度區分開來。 即便是非正式地借用GRADE的邏輯:先說明證據有多確定,再單獨說明這種確定性,結合利害關係與等待成本,在多大程度上證成現在就採取行動。
4. 在做出決定之前,先說明你面對的是"尚無證據"還是"證據表明無效"。 把這一區分寫進每一份證據簡報之中,因為這兩種情形所要求的應對方式幾乎截然相反——謹慎試點,與停止或重新設計。
5. 在假設某項效應會遷移過來之前,先核查這份評價的情境與你自己的情境是否匹配。 一項來自別處研究的彙總效應量是一個平均值,而不是一個承諾;追問一下最初是什麼因素調節了這項效應,以及這些調節因素在這裡是否存在。
6. 當一份完整的系統評價無法趕上你的時間表時,委託一份快速證據評估。 一份有結構、有時限的現有文獻評審——數天或數週,而非數月——是在開展新的一手研究與完全不進行評審之間一條合理的中間路徑。
7. 無論結果如何,都公佈你自己的評估。 無效與負面的發現,對於下一次綜合來說,與正面發現同樣有價值;隱瞞它們會加劇發表偏倚,而發表偏倚會破壞你所在領域此後每一次評價的根基。
8. 在需要之前,先與你所在領域的一個"有效實踐"中心或資訊交流中心建立一種常設關係。 在一場正在發生的危機中,第一次冷啟動式地搜尋一個綜合機構的工具包,比事先就知道它涵蓋什麼、缺口出現時該問誰,要慢得多。
9. 在結果出來之前、而不是之後,設定你的證據門檻。 事先就哪種程度的證據能夠證成擴大規模、進一步試點,還是停止,達成一致,以減少那種為了迎合一項已經做出的決策,而重新解讀含糊結果的誘惑。
10. 為尋找一項能消除一切疑慮的研究設定時限。 等待一個完美、毫無歧義的證據基礎,本身就是一項決策——通常意味著繼續做你已經在做的事;設定一個既尊重拖延成本、也尊重依據薄弱證據行動之成本的截止日期。
11. 把綜合證據當作價值主張的一項輸入,而不是它的替代品。 一旦把成本、分配效應與合法性一併納入權衡,支援證據最充分的干預措施,並不會自動成為正確的選擇(見主題2.1——公共價值記分卡與成果框架)。
12. 記錄你考慮過哪些證據,以及你為什麼這樣權衡它們。 一份對已評審研究與最終判斷背後推理的書面記錄,既能保護這項決策的合法性,也能讓下一位評審者從中學習。

與團隊討論的問題

我們上一次因為一份系統評價或一項"有效實踐"評級,與我們已經計劃要做的事相矛盾、而改變一項正在進行的決策,是什麼時候? 如果誠實的答案是"從來沒有",這一點值得深思,因為這暗示著證據審查在這裡的作用可能只是一次確認演練,而不是一次真正的檢驗。討論一次證據基礎存在分歧的近期決策,梳理一下這份證據究竟是真正塑造了這項選擇,還是主要是為了支援一個事先已經達成的結論而收集來的。想一想,要讓證據真正擁有影響力、而非僅僅象徵性的分量,證據抵達決策者的方式與時機需要做出什麼改變。

我們是否在什麼地方把"沒有效應的證據"當成了"證據表明沒有效應",或者反過來? 梳理你當前的專案組合,找出任何一個因為"沒有證據"而被你悄悄降低優先順序的專案,核查一下這究竟意味著它真的未經檢驗,還是真的已被證偽。反過來也這樣檢查:任何一個因為"沒有人證明它無效"而你繼續資助的專案,而事實上根本沒有人研究過它。討論一下,要糾正其中最具後果性的兩三個例子,需要付出什麼,又該由誰來負責這項糾正。

如果一項決策需要在週五之前拿到證據,我們真的有一套快速證據評估流程,還是會在壓力之下臨時拼湊一個? 時間壓力不是一種假設情形;它是大多數真實的循證決策得以做出時的常態條件。討論一下你的組織是否有一套常設方法——一個指定的團隊、一份模板、一份應優先查閱的"有效實踐"中心清單——還是每一次緊急請求都從一張白紙開始。如果是後者,討論一下一套最低可行的快速評估流程應該是什麼樣子,又該由誰負責。

我們實際上使用的是誰的證據等級體系,它是否與這項決策的利害關係及可逆性相匹配? 不同領域應用其證據標準的方式各不相同,一套為不可逆、高利害關係決策校準的等級體系,並不總是適合一個成本低、可逆、易於監測的試點專案的正確門檻。討論一下你的組織是否無論利害關係如何,都統一應用同一套證據標準,以及這是保護你免受糟糕決策之害,還是僅僅拖慢了好的決策。作為一個團隊,在你知道證據說了什麼之前,先就你議程上接下來三項決策應要求什麼標準達成一致。

我們具體做了什麼,來阻止自己的評估消失在檔案抽屜裡? 你的組織擱置的每一個未發表的無效結果,都是某個其他組織日後不得不艱難地重新發現的一個空白。誠實地討論你的既往記錄:你最近十次評估中,有多少次被對外分享,而未被分享的那些又發生了什麼。就一項具體的、有資源支援的承諾——一項發表政策、一個共享登記庫——達成一致,而不僅僅是一種要更加透明的籠統願望。

我們使用"我們需要更多證據"這句話,是誠實的,還是作為一種迴避我們不想做出的決策的方式? 這是本主題中最令人不安的問題,也值得被直接提出來。找出一專案前正因證據原因而擱置的具體決策,坦率地討論一下,真正能改變你想法的是什麼,以及你所等待的證據是否現實地會在期限之內到來。如果不會,討論一下,在真正的不確定性之下做出一項誠實的決策,應該是什麼樣子,而不是繼續等待,以及誰有權力去做出它。

實踐中的公共價值案例

一個區域就業機構,隸屬於負責勞動力市場專案的一個國家政府部門,面臨著必須在一個預算週期內決定,是否要把一項就業培訓試點從三個轄區擴大到整個地區的壓力。這項試點把補貼性工作崗位安置與結構化的輔導相結合,該機構自己在三個試點轄區開展的隨機試驗發現,在12個月時,持續就業率出現了適度但具有統計顯著性的提升。一個相互矛盾的證據來源使情況變得複雜:前一年發表的一份系統評價,彙總了幾個國家的九個類似專案,發現平均效應接近於零,各項研究之間差異巨大,也沒有明確的模式能夠解釋哪些專案有效。

該機構的證據小組在預算提交截止日期之前有六週時間來協調這兩項發現。一位初級分析師的第一反應,是僅僅因為彙總評價綜合了更多研究,就認為它更具權威性,並建議放棄這個試點。該小組的首席證據顧問提出了不同意見:在真正各不相同的專案之間得出一個接近於零的彙總平均值,並不是這個具體的、執行良好的地方專案會失敗的有力證據——它是就業培訓專案普遍在質量與契合度上存在異質性的證據,而這一點原本就已經為人所知。評價中所彙報的高異質性本身,才是比彙總平均值更重要的發現。

這位顧問提出了一條中間路徑,而不是一個二元選擇。她建議分階段擴大到半個地區,擴充套件轄區隨機選定,使這次推行本身產出進一步的證據,而不僅僅是依據一項假設花錢(關於一次分階段推行如何能夠被設計為一次進一步的評估,見主題2.4——公共部門計量經濟學與專案評估)。她還建議把最初的試驗完整地發表出來,包括方法與原始資料,以便它能夠被下一次系統評價所採納,而不是被擱置在一份機構外沒有人會看到的內部報告裡。

該部門的領導層批准了這種分階段方案,並在商業論證中明確將其定性為一項在中等確定性證據下做出的決策,內建了一套在18個月內解決不確定性的機制(見主題2.5——商業論證與物有所值),而不是一項因為證據已成定論而做出的決策。18個月之後,擴充套件轄區顯示出與最初試點接近的效應,該部門以一個比任何單一來源都更強勁的證據基礎,進一步擴大了這個專案——並留下了一份清晰的書面記錄,說明了它為什麼選擇行動、而不是等待。

這一情形是說明性的、虛構的;它不描述任何真實部門的專案或評估。

四種部門視角

地方政府

地方政府很少有預算或案件量去委託自己的系統評價,因此它實踐中的技藝,在於在真實的時間壓力之下,把國家與國際層面的綜合證據翻譯到一個具體的地方情境之中——在假設一項被工具包評級的干預措施的評級效應會真正遷移過來之前,先核查它的證據基礎是否與自己的人群、服務體系與資金水平相似。地方領導者也最接近本主題所警告的兩種錯誤各自的成本:依據一項綜合早已證明無效的干預措施採取行動,以及因為還沒有任何"有效實踐"中心對其加以評級,就拒絕一項真正有希望、但尚未被充分評估的地方創新。

國家政府

大多數"有效實踐"中心與正式的證據等級體系指導都位於國家政府層面,這讓國家部門與綜合基礎設施擁有更近的距離,但也讓它們面臨最大的風險,即把一套證據等級體系當作一道官僚關卡、而非一件決策輔助工具來對待。國家層面的特有任務,是委託並維護這套基礎設施——資助一個資訊交流中心、設定它的證據標準,並確保它的評級真正抵達那些正在撰寫商業論證的官員手中(見主題2.5——商業論證與物有所值),而不是僅僅作為一個政策團隊在截止日期壓力下很少去查閱的、名聲不錯的網站而存在。

社會部門與非營利組織

非營利組織與慈善機構通常缺乏資源來大規模開展嚴謹的評估,這使它們高度依賴外部綜合機構,並越來越多地依賴那些把符合某個證據評級層級作為資助條件的資助方。這造成了一種特有的風險:處於財務壓力之下的組織,可能會被誘使誇大自己的專案與一項有利評級的契合程度——這是一種"證據洗白"的形式——或者反過來,規模較小、但真正有效的地方慈善機構,可能因為規模從未大到足以產出一個國家資訊交流中心會給予高評級的證據,而被擠出資助之外(關於這種壓力背後的資金結構,見主題3.8——社會部門與非營利組織管理)。

多邊與國際

多邊與國際機構以最尖銳的形式面對可推廣性問題:一項在某個國家的衛生系統、農業部門或勞動力市場中被證明有效的干預措施,常常被提議應用於一個截然不同的經濟與制度情境,而綜合文獻更擅長在事後、而非事前標記出這種沒有依據的遷移。為彌合這一差距而建立的研究網路,例如阿卜杜勒·拉蒂夫·賈米爾貧困行動實驗室,已經推動發展政策轉向針對具體情境的復現研究,而非單一國家的概念驗證,但全球可比證據與情境依賴效應之間的張力,仍然是這一規模上證據綜合工作的一個決定性特徵。

常見失敗模式

把證據等級體系當作不作為的藉口。 一個面對一項艱難、有爭議決策的團隊,以"證據不足"或"還沒有隨機試驗"為由,無限期地推遲決策,而拖延真正的驅動因素其實是政治上的不適,或是想要回避問責的願望。這不僅讓這個組織失去了機會本身,也讓證據基礎失去了一次原本可以解決這種不確定性的現實檢驗,讓下一位決策者面對完全相同的空白。

把證據缺失與證據表明無效混為一談。 一項有希望、但未經檢驗的地方創新,像是已經被嘗試過並失敗了一樣被扼殺,而一個被反覆證偽的全國性專案,卻因為沒有人把這一證據表述為一項負面發現、而非一個空白,而繼續獲得資助。這兩種錯誤都代價高昂:一種提前關閉了有希望的選項,另一種保護了一個清醒的綜合評價早在多年前就本會淘汰的專案。

把一項工具包評級當作全部分析。 一位決策者讀到一個單一的鎖形圖示或星級評定就止步於此,卻不去核查這背後的研究是否與自己的情境、人群或規模相匹配。評級為了便於理解而被刻意壓縮;若脫離基礎評價單獨使用,它們可能會產出一種建立在比評級的簡單外觀所暗示的、更薄弱的證據基礎之上的自信決策。

為了頭條彙總結果而忽視異質性。 一份簡報中引用了一項薈萃分析單一的平均效應量,而產出這個數字的各項研究之間的巨大差異——往往是更具資訊量的發現——卻被丟棄了。這產出了一種虛假的精確性:一位決策者的行動方式,彷彿每一次實施都表現相同,而實際上實施質量與情境所起的作用,幾乎與這項干預措施本身一樣大。

任由發表偏倚悄悄塑造證據基礎。 一個組織在評估一項干預措施時,只閱讀已發表的學術文獻,錯過了那些從未發表的負面試驗與內部評估。由此形成的"什麼有效"的圖景,會系統性地偏向正面,而建立在這個圖景之上的決策,也會在沒有任何人有意選擇的情況下,繼承這種偏斜。

成熟度模型

檢查清單

• 在依賴單項研究之前,已核查過系統評價或"有效實踐"評級。
• 閱讀了基礎證據評價本身,而不僅僅是摘要評級或圖示。
• 把證據的質量與建議的強度,作為兩項獨立的判斷分別說明。
• 在書面簡報中,明確區分了"沒有效應的證據"與"證據表明沒有效應"。
• 核查了被評審研究的情境與當前決策之間的匹配程度(人群、規模、服務體系)。
• 當一份完整評價無法趕上時間表時,已具備並使用了一套快速證據評估流程。
• 在檢視結果之前,已就這項決策的證據門檻達成一致。
• 已制定計劃,無論結果如何都發布本組織自己的評估。
• 已與一個相關的"有效實踐"中心或資訊交流中心建立常設關係,而非在壓力之下臨時搭建。
• 記錄了最終判斷背後的推理,包括被考慮過、也包括被拒絕的證據。
• 對照價值主張與合法性方面的考量、而不僅僅是證據強度,複核了這項決策。

關鍵資料來源

• 由考科藍維護的《干預措施系統評價考科藍手冊》——各行業系統評價實踐所依據的基礎方法學。
• 坎貝爾協作閘道器於社會、行為與犯罪學政策系統評價與證據綜合的指導——該方法學向衛生領域之外的公共政策領域的直接延伸。
• 有效實踐資訊交流中心的《標準手冊》(美國教育科學研究所)——一個國家資訊交流中心如何設定明確的研究設計標準、並據此評級證據的例項。
• 教育捐贈基金會的《教學與學習工具包》——把彙總證據轉化為可比較的成本、影響力與證據強度評級的一個實用的、面向從業者的例證。
• 經濟合作與發展組織(OECD)關於構建循證決策能力的工作——一份關於各國政府如何組織證據使用的需求與供給兩端的跨國記述。
• 警務學院(College of Policing)的減少犯罪"有效實踐"中心及其減少犯罪工具包——資訊交流中心模式應用於衛生與教育領域之外的又一個例項。

參考文獻

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Centre for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-centre-crime-reduction