エビデンス統合と効果の実証

公共価値にとってなぜ重要か

大臣、市長、あるいは慈善団体のプログラム責任者が、行動の根拠とすべき単一の明快な研究という贅沢を持つことはめったにない。より多くの場合、机の上には、互いに矛盾する三つの評価、それらを選択的に引用する文献レビュー、自分たちの主張に都合の良い一つの試験を振りかざす圧力団体、そして研究の歩調ではなく予算サイクルによって定められた締め切りが置かれている。エビデンス統合が存在するのは、個々の研究が雑音に満ちているからである。標本サイズは小さく、文脈は異なり、いかなる単一の結果も、まぐれか、他には通用しない局所的な適合か、それとも真の効果か、いずれでもありうる。指導者が答えを必要とする問いは、「この一つの研究は何を発見したか」ではなく、「これまでに試みられた信頼に足るすべてのものを横断して、私がここで、今これを行えば、何を期待すべきか」であることがほとんどである。

公共価値理論は、これを単なる技術的な些末事以上のものにする。集合的な資源で資金を投じられるプログラムは、市民が総体として認可するであろう価値提案に基づいている(その提案がどう述べられ追跡されるかについてはトピック2.1「公共価値スコアカードと成果フレームワーク」を参照)。一つの都合よく選ばれた研究の上に、あるいはエビデンスの見直しをまったく行わずに構築された提案は、注意深い統合の上に構築された提案よりも、正当性に対する弱い主張であり、また実行能力にとってもより弱い基盤である。なぜなら、その力を根拠に職員と予算が投じられるからである。政策エビデンスの質と強さを評価する独立機関のネットワークである「効果実証」運動は、まさにこの問題から直接生まれた。あまりに多くの公共の決定が、最も支持された研究ではなく、最も声の大きい研究に基づいて下されてきたのである。

このトピックが扱うより困難な問題は、統合そのものが決定的でなく、論争を呼び、あるいは単に時間内に入手できないとき、指導者は何をすべきかである。エビデンスの階層は、乱雑なエビデンス基盤に秩序をもたらすために構築されたが、不注意に用いられれば、「まだエビデンスは十分に強くない」が、現実がそれを待ってはくれない決定を避けるための永続的な言い訳になってしまう。統合がどう機能し、その限界がどこにあるかを理解する指導者は、注意を要する真の不確実性と、不作為の隠れ蓑として使われている階層とを見分けることができる。

このトピックは、統合が依拠する因果推論の手法の自然な続編であり(トピック2.4「公共部門の計量経済学とプログラム評価」を参照)、統合が最終的に仕えることになる成果フレームワークに取って代わるのではなく、それと並んで位置する(トピック2.1「公共価値スコアカードと成果フレームワーク」を参照)。体系的レビューを読み、効果実証の評価を理解し、エビデンスの不在と否定的なエビデンスとを明確に推論できる指導者は、「もっとエビデンスを」と求めるだけの、あるいは手渡された最初の研究を受け入れるだけの指導者よりも、より良い現場の決定を下す。

中核概念

体系的レビューとは、定義された問いについてのエビデンスの統合であり、著者の裁量で情報源を選ぶ物語的な文献レビューとは対照的に、明示的で、事前に規定され、再現可能な方法を用いて研究を見つけ、評価し、統合するものである(体系的レビューを参照)。その決定的な特徴は、検索が始まる前に書かれた登録済みのプロトコル、未公表の灰色文献を含む検索戦略、明示的な組み入れ基準、そして各研究のバイアスのリスクを評価するための標準的な方法である。これこそが、体系的レビューを、脚注のついたよく書かれたエッセイから区別するものである。同じプロトコルに従う別のチームは、おおむね同じエビデンスを見つけ、おおむね同様の結論に達するはずである。

メタアナリシスは、体系的レビューと最も頻繁に組み合わされる統計的手法である。それは、複数の独立した研究からの定量的な効果量を、通常はそれぞれの標本サイズと質で重みづけしながら、単一のより精密な推定値へと統合する(メタアナリシスを参照)。メタアナリシスは、それに投入される研究の質次第でしかない。五つの弱い研究を統合することは、おそらく偏った効果についてより精密な推定値を生み出すのであって、より信頼できる推定値を生み出すのではない。そのためアナリストは異質性――偶然が予測する以上に研究結果がどれだけばらついているか――を報告する。なぜなら、高い異質性は、その研究が実際には同じものを検証していなかったことを示すシグナルであり、単一の統合された数値は誤解を招きうるからである。

出版バイアスとは、肯定的で有意な結果を持つ研究が出版される一方で、null(効果なし)や否定的な結果が研究者の引き出しの中に眠り続ける傾向であり、これは、ある介入を、文献の中で実際よりも一貫して効果的であるかのように見せてしまう(出版バイアスを参照)。厳密なレビューは、学術誌の論文だけでなく、試験登録簿や未公表の評価を検索することによってこれを是正する。統合を読む指導者は、レビュー担当者が、決して印刷に至らなかった研究を見つけるために何をしたかを問うべきである。

エビデンスの階層は、研究デザインを、それらがどれだけよく交絡とバイアスを制御しているかによって順位づけるものであり、通常、ランダム化試験のメタアナリシスを最上位に、次に個々のランダム化比較試験を、次に準実験的・観察的デザインを、そして専門家の意見を最下位に置く(エビデンスの階層を参照)。ランダム化比較試験は、参加者を無作為に介入群または比較群に割り当てるものであり、因果効果を、その周囲で起きている他のすべてのことから切り分けるための、単一の最も強力な道具である(ランダム化比較試験を参照。このようなデザインがどう構築され分析されるかについてはトピック2.4「公共部門の計量経済学とプログラム評価」を参照)。この階層は真に有用な発見的手法であるが、それはあくまで発見的手法であって法則ではない。まれな、あるいは動きの緩やかな政策についてのよく実施された観察研究は、質の低い、検出力不足の試験を上回ることがあり、これを絶対的な順位づけとして扱う指導者は、時に、より権威あるデザインのために、より関連性の高いエビデンスを捨ててしまう。

GRADEアプローチ――推奨の格付け、評価、作成、評定――は、階層だけでは下されない、第二の別個の判断を形式化する。それは、エビデンスの確実性と、それに行動する推奨の強さの両方を、独立して評価する。なぜなら、強いエビデンスが常に強い推奨を正当化するわけではなく、弱いエビデンスが常に、深刻で緊急の害に対する不作為を正当化するわけでもないからである(GRADEアプローチを参照)。この分離は、時間に追われた決定者にとって、このトピックで最も有用な単一の考え方である。それによって指導者は、正直に、「ここでのエビデンスは中程度であるが、利害と待つことの費用を踏まえ、私たちは進むことを推奨する」と、待つことと証拠を完全に無視することとの間の偽りの二者択一ではなく、弁護可能で文書化された判断として言うことができる。

現実の政策論争で絶えず繰り返される区別は、エビデンスの不在と不在のエビデンスの間にある。ある介入の効果についての研究の不足(「効果のエビデンスがない」)は、十分な検出力を持つ研究群が積極的に効果がないことを発見したこと(「効果がないというエビデンスがある」)と同じ主張ではない(不在のエビデンスを参照)。まだ評価を受けていない新しい地域プログラムは、単に検証されていないだけである。何度も研究され、繰り返しいかなる成果も動かさないと発見された全国規模のプログラムは、検証され、機能しないことが示されたのである。この二つを混同することは、公共の指導者が犯しうる最も重大な誤りの一つである。すなわち、まだ検証されていないが有望な試行を、あたかも失敗したかのように打ち切ること、あるいは、誰もまだ十分に詳しく見ていないかのように、繰り返し反証されたプログラムに資金を出し続けることである。

エビデンスに基づく政策は、公共の決定がイデオロギー、逸話、あるいは直感だけではなく、厳密に確立されたエビデンスに根ざすべきだという、より広い運動と規範的な主張である(エビデンスに基づく政策を参照)。その批判者たち、そしてますますその提唱者たち自身も、「エビデンスに情報を与えられた政策」という言葉を好むようになっている。これは、エビデンスが、エビデンスだけで決着をつけられる機械的な決定規則ではなく、価値観、マンデート、費用、そして本書が基礎的なものとして扱う正当性の問いといった、複数ある入力の一つにすぎないことを認めるものである。

この運動から、効果実証センターまたはクリアリングハウスというパターンが生まれた。それは、ある政策領域における介入のエビデンスを体系的にレビューし、個々の地元の委託機関がそれぞれ独自のレビューを実施することに任せるのではなく、アクセスしやすく比較可能な評価を公表する独立機関である。コクランは、1993年から医療分野でこのモデルの先駆けとなり、医療をはるかに超えて用いられる体系的レビュー方法論の生きたハンドブックを維持している(コクランを参照)。キャンベル共同計画は同じ方法論を社会政策、刑事司法、教育、国際開発に拡張した(キャンベル共同計画を参照)。国レベルのクリアリングハウスがそれに続いた。米国のWhat Works Clearinghouseは、2002年以来その教育科学研究所によって運営されており、教育研究を明示的なデザイン基準に照らしてレビューする(What Works Clearinghouseを参照)。イングランドの教育寄付財団は、教室での介入を費用、エビデンスの強さ、典型的なインパクトについて一つの比較可能な形式で評価する、広く用いられている教育・学習ツールキットを公表している(Education Endowment Foundationを参照)。同等のセンターが、犯罪削減、早期介入、ホームレス、健やかな加齢のために存在している――これは、同じ手法――体系的レビュー、透明な評価、そして方法論の専門家でなくても読める実践者向けの要約――の上に構築された、小さな国際的な集まりである。

ベストプラクティス

1. 単一の研究の前に統合を求めよ。 印象的な結果が机の上に届いたとき、まず、その研究が単独で説得力があるように見えるかどうかではなく、その介入について体系的レビューや効果実証の評価がすでに存在するかどうかを問え。
2. 背後にあるレビューを、いかなるツールキットの評価ともあわせて読め、それに代えてではなく。 一行の評価や鍵のアイコンは、判断を要約したものであって、それがどのようなエビデンスに基づいており、あなたの文脈にどれだけ直接的に当てはまるかを理解する代わりにはならない。
3. エビデンスの質と、あなたの推奨の強さを、明示的に切り分けよ。 非公式にでもGRADEの論理を借用せよ。エビデンスがどれだけ確実かを述べ、その上で、その確実性が、利害と費用とあわせて、今行動することをどれだけ強く正当化するかを別個に述べよ。
4. 決定を下す前に、あなたが直面しているのが「まだエビデンスがない」なのか「効果がないというエビデンスがある」なのかを名指しせよ。 この区別をすべてのエビデンス要綱に書き記せ。なぜなら、この二つの状況はほとんど正反対の対応――慎重な試行対、停止または再設計――を要求するからである。
5. 効果が移転すると想定する前に、レビューの文脈とあなたの文脈の一致を確認せよ。 他の場所で実施された研究からの統合された効果量は平均であって約束ではない。何がもともとその効果を調整していたのか、そしてその調整因子がここに存在するかを問え。
6. 完全な体系的レビューがあなたの時間軸に収まらないとき、迅速なエビデンス評価を委託せよ。 既存の文献の構造化された、期限を区切ったレビュー――数か月ではなく数日から数週間――は、新たな一次研究とレビューなしとの間の、正当な中間の道である。
7. 結果がどうであれ、あなた自身の評価を公表せよ。 nullや否定的な発見は、肯定的な発見と同じくらい次の統合にとって価値がある。それらを差し控えることは、あなたの分野における将来のすべてのレビューを損なう出版バイアスを悪化させる。
8. それが必要になる前に、あなたの領域の効果実証センターやクリアリングハウスとの常設の関係を構築せよ。 現実の危機のさなかに、統合機関のツールキットを初めて手探りで検索することは、それが何をカバーしているか、そしてギャップについて誰に尋ねればよいかをすでに知っていることよりも、はるかに遅い。
9. 結果が届く前に、あなたのエビデンスの閾値を設定せよ、後にではなく。 拡大、さらなる試行、あるいは停止を正当化するエビデンスの水準を事前に合意し、すでに下された決定に合わせて曖昧な発見を再解釈したくなる誘惑を減らせ。
10. あらゆる疑いを取り除く研究を探す作業には期限を区切れ。 完璧で曖昧さのないエビデンス基盤を待つこと自体が一つの決定であり、通常は、すでに行っていることを続けるという決定である。遅延の費用と、弱いエビデンスに基づいて行動する費用の両方を尊重する期限を設定せよ。
11. 統合を、価値提案への一つの入力として扱え、それに取って代わるものとしてではなく。 最もよく支持された介入が、費用、分配上の効果、そして正当性があわせて考慮された時点で、自動的に正しい選択になるわけではない(トピック2.1「公共価値スコアカードと成果フレームワーク」を参照)。
12. どのエビデンスを検討したか、そしてなぜそのように重みづけたかを文書化せよ。 レビューした研究と、最終的な判断の背後にある推論の書面による記録は、その決定の正当性と、次のレビュー担当者がそこから学ぶ能力の両方を守る。

チームで話し合うべき問い

体系的レビューや効果実証の評価が、私たちがすでに行うと計画していたことと矛盾したために、現実の決定を変えた最後はいつだったか? もし正直な答えが「一度もない」であれば、それは向き合う価値がある。なぜなら、それは、エビデンスのレビューが、真の検証としてではなく、確認の演習として機能しているかもしれないことを示唆するからである。エビデンス基盤が入り混じっていた直近の決定を取り上げ、それが実際に選択を形づくったのか、それとも主に事前に到達していた結論を支えるために集められたのかを確認せよ。それが象徴的な重みではなく真の影響力を持つために、エビデンスが決定者に届く方法と時期について何が変わる必要があるかを検討せよ。

私たちはどこかで、「効果のエビデンスがない」を「効果がないというエビデンスがある」であるかのように扱っていないか、あるいはその逆をしていないか? あなたの現行のプログラムのポートフォリオを見直し、「エビデンスがそこにない」という理由で静かに優先順位を下げたプログラムを特定し、それが真に未検証を意味するのか、それとも真に反証されているのかを確認せよ。反対方向でも同じことをせよ。「誰もそれが機能しないことを示していない」という理由で資金を出し続けているプログラムで、実際には誰もそれを見ていないものはあるか。最も重大な影響を持つ二つか三つの事例を是正するには何が必要か、そしてその是正を誰が担うべきかを議論せよ。

もし金曜日までに決定にエビデンスが必要になったら、私たちは実際に迅速なエビデンス評価のプロセスを持っているか、それとも圧力の下で即興で作ることになるか? 時間の圧力は仮説ではない。それは、ほとんどの現実のエビデンスに基づく決定が下される通常の条件である。あなたの組織に、常設の方法――名指しされたチーム、テンプレート、最初に確認すべき効果実証センターの短いリスト――があるか、それとも、すべての緊急の要求が白紙から始まるかを議論せよ。後者であれば、実行可能な最小限の迅速評価プロセスがどのようなものになるか、そして誰がそれを担うべきかを議論せよ。

私たちが実際に用いているのは誰のエビデンスの階層であり、それはこの決定の利害と可逆性に合っているか? 異なる領域は異なる方法でエビデンス基準を適用しており、不可逆的でリスクの高い決定のために調整された階層は、安価で可逆的で容易に監視できる試行にとって、常に正しい基準というわけではない。あなたの組織が、利害にかかわらず一律に一つのエビデンス基準を適用しているか、そしてそれが悪い決定からあなたを守っているのか、それとも単に良い決定を遅らせているだけなのかを議論せよ。チームとして、エビデンスが何を示すかを知る前に、あなたの議題にある次の三つの決定にどのような基準が要求されるべきかを合意せよ。

私たち自身の評価が引き出しの中に消えないようにするために、私たちは具体的に何をしてきたか? あなたの組織が抱える未公表のnull(効果なし)の結果一つひとつが、他の組織がいずれ困難な形で再発見しなければならないギャップである。あなたの実績を正直に議論せよ。直近の10件の評価のうち、外部と共有されたのは何件で、共有されなかったものはどうなったか。より透明になるという一般的な願望ではなく、公表方針や共有登録簿といった、具体的で資源の裏づけのある約束を合意せよ。

私たちは「もっとエビデンスが必要だ」という言葉を正直に使っているか、それとも、下したくない決定を避ける方法として使っているか? これはこのトピックで最も居心地の悪い問いであり、率直に問う価値がある。現在エビデンスを理由に停滞している特定の決定を特定し、実際には何があなたの考えを変えるのか、そして待っているエビデンスが現実的に間に合って届くのかを率直に議論せよ。もし届かないなら、待ち続けることの代わりに、真の不確実性のもとでの正直な決定がどのようなものになるか、そして誰がそれを下す権限を持つかを議論せよ。

実践において:公共価値の事例

労働市場プログラムを担当する国の省庁の一部門である地域雇用機関は、一つの予算サイクルの中で、職業訓練の試行プログラムを三つの地区から地域全体へと拡大するかどうかを決めるよう迫られていた。この試行は、補助金つきの就労配置と構造化されたメンタリングを組み合わせたものであり、機関自身が三つの試行地区で実施したランダム化試験は、十二か月時点での持続的な雇用において、控えめではあるが統計的に有意な増加を発見していた。競合するエビデンスの情報源がこの状況を複雑にした。前年に公表された体系的レビューは、複数の国にまたがる九つの類似のプログラムを統合し、研究間の広いばらつきを伴う、ほぼゼロの平均効果を発見しており、どのプログラムが機能したかを説明する明確なパターンはなかった。

機関のエビデンス部門には、予算提出の締め切りまでに、この二つの発見を統合するための六週間があった。ある若手アナリストの最初の直感は、単により多くの研究を統合したという理由だけで、統合されたレビューをより権威あるものとして扱い、試行の打ち切りを推奨することだった。部門の主席エビデンス顧問はこれに異議を唱えた。真に異なるプログラムを横断したほぼゼロの統合平均は、この特定の、よく実施された地元のプログラムが失敗するであろうという強いエビデンスではない――それは、職業訓練プログラムが一般に質と適合性において不均一であるという、すでに知られていたことのエビデンスだった。レビューで報告された高い異質性そのものが、統合平均よりも重要な発見だった。

その顧問は、二者択一ではなく中間の道を提案した。彼女は、地域の半分への段階的な拡大を推奨し、拡大地区を無作為に選ぶことで、展開そのものが、単に想定に基づいて支出するのではなく、さらなるエビデンスを生み出すようにした(段階的な展開をさらなる評価としてどう設計できるかについてはトピック2.4「公共部門の計量経済学とプログラム評価」を参照)。彼女はまた、元の試験を、手法と生データを含めて完全に公表することを推奨し、機関の外の誰も決して目にすることのない内部報告書の中に眠らせるのではなく、次の体系的レビューに取り込まれるようにした。

省の指導部はこの段階的なアプローチを承認し、事業計画書の中で(トピック2.5「事業計画書とバリュー・フォー・マネー」を参照)、エビデンスが決定的だったから下された決定としてではなく、中程度の確実性を持つエビデンスのもとで、十八か月以内に不確実性を解消する組み込みのメカニズムを伴って下された決定として、明示的に位置づけた。十八か月後、拡大地区は元の試行に近い効果を示し、省は、いずれかの情報源が単独で提供したよりも強いエビデンス基盤をもってさらに拡大し、なぜ待つのではなく行動することを選んだのかを示す明確な文書の跡を残した。

このシナリオは例示であり架空のものであって、実在するいかなる省庁のプログラムや評価も描写するものではない。

四つのセクター別視点

地方自治体

地方自治体は、独自の体系的レビューを委託するだけの予算や案件数をめったに持たないため、その実践的な技能は、国や国際的な統合エビデンスを、現実の時間的圧力のもとで特定の地域の文脈に翻訳することにある――ツールキットで評価された介入のエビデンス基盤が、評価された効果が移転すると想定する前に、自分たち自身の人口、サービス制度、資金水準に似ているかどうかを確認することである。地方の指導者はまた、このトピックが警告する両方の誤りの代償に最も近い位置にいる。すなわち、統合がすでに機能しないと示している介入に基づいて行動すること、そして、効果実証センターがまだ評価していないという理由だけで、真に有望だが十分に評価されていない地域の革新を拒絶することである。

国の政府

国の政府は、ほとんどの効果実証センターと正式なエビデンスの階層に関する指針が位置する場所であり、国の省庁に統合のインフラへの近接性を与えるが、同時に、エビデンスの階層を意思決定の助けとしてではなく官僚的な関門として扱うことへの最大の露出も与える。国に特有の課題は、そのインフラを委託し維持すること――クリアリングハウスに資金を出し、そのエビデンス基準を設定し、その評価が、締め切りの圧力のもとではめったに参照されない評判の良いウェブサイトとして存在するのではなく、実際に事業計画書を書く職員に届くようにすることである(トピック2.5「事業計画書とバリュー・フォー・マネー」を参照)。

社会セクターと非営利団体

非営利団体や慈善団体は通常、大規模な厳密な評価を実施する資源を欠いており、そのため外部の統合機関に大きく依存し、また、助成条件として評価済みのエビデンス階層への適合を求める資金提供者にますます依存するようになっている。これは特有のリスクを生む。財政的な圧力のもとにある組織は、自分たちのプログラムが好ましい評価にどれだけ合致しているかを誇張したくなる誘惑にかられうる――これはエビデンス・ウォッシングの一形態である――あるいは逆に、国のクリアリングハウスが高く評価するエビデンスを生み出すのに十分な規模を一度も持ったことがないという理由だけで、小規模だが真に効果的な地域の慈善団体が資金から締め出されることもある(この圧力の背後にある資金構造についてはトピック3.8「社会セクターと非営利団体のマネジメント」を参照)。

多国間・国際機関

多国間・国際機関は、一般化可能性の問題に最も先鋭な形で直面する。ある国の保健制度、農業セクター、あるいは労働市場で証明された介入が、まったく異なる経済的・制度的文脈に日常的に提案されるが、統合の文献は、この裏づけのない移転を事後にではなく事前に指摘することにはあまり長けていない。アブドゥル・ラティフ・ジャミール貧困アクション・ラボのような、このギャップを埋めるために構築された研究ネットワークは、開発政策を、単一国での概念実証ではなく、文脈特有の再現へと押し進めてきたが、世界規模で比較可能なエビデンスと文脈依存の効果との間の緊張関係は、この規模における統合の決定的な特徴であり続けている。

よくある失敗パターン

• 不作為の言い訳としてのエビデンスの階層。 困難で論争を呼ぶ決定に直面したチームが、「エビデンスが不十分」あるいは「まだランダム化試験がない」を無期限に先送りする理由として引用するが、遅延の正直な原動力は政治的な居心地の悪さや説明責任を避けたいという願望である。これは組織からその機会そのものを奪い、またエビデンス基盤からも、不確実性を解消できたはずの現実世界での検証の機会を奪う。そして次の決定者は、まったく同じギャップに直面することになる。
• エビデンスの不在を不在のエビデンスと混同すること。 有望だが未検証の地域の革新が、あたかも試みられて失敗したかのように打ち切られる一方で、誰もそのエビデンスをギャップとしてではなく否定的な発見として枠づけていないという理由だけで、繰り返し反証された全国規模のプログラムに資金が出され続ける。どちらの誤りも高くつく。一方は有望な選択肢を閉ざし、もう一方は、明晰な統合であれば何年も前に廃止していたはずのプログラムを保護する。
• ツールキットの評価を分析の全体として扱うこと。 決定者が単一の鍵のアイコンや星の評価を読んでそこで止まり、根底にある研究が自分たちの文脈、人口、規模に合っているかどうかを確認しない。評価はアクセスしやすさのために意図的に圧縮されている。根底にあるレビューなしに用いられると、その評価の単純さが示唆するよりも薄いエビデンス基盤の上に築かれた自信満々の決定を生み出しうる。
• 見出しの統合結果を優先して異質性を無視すること。 メタアナリシスの単一の平均効果量が説明資料の中で引用される一方で、それを生み出した研究間の広いばらつき――しばしばより多くの情報を与える発見――が省かれる。これは偽りの精密さを生み出す。決定者は、あたかもすべての実施が同じように振る舞うかのように行動するが、実際には実施の質と文脈が介入そのものと同じくらい多くの働きをしている。
• 出版バイアスが静かにエビデンス基盤を形づくるのを許すこと。 ある組織が、ある介入を評価する際に公表された学術文献だけを読み、学術誌に一度も掲載されなかった未公表の否定的な試験や内部評価を見逃す。その結果生じる「何が効果的か」の像は体系的に肯定的な方向に偏り、それに基づく決定は、誰もそれを意図的に選んだわけではないまま、その偏りを受け継ぐ。

成熟度モデル

チェックリスト

• 単一の研究に頼る前に、体系的レビューや効果実証の評価を確認する。
• 要約の評価やアイコンだけでなく、背後にあるエビデンスのレビューを読む。
• エビデンスの質と推奨の強さを、二つの別個の判断として述べる。
• 書面の要綱の中で、「効果のエビデンスがない」と「効果がないというエビデンスがある」を明示的に区別する。
• レビューされた研究と当面の決定との文脈の一致(人口、規模、サービス制度)を確認する。
• 完全なレビューが時間軸に収まらないとき、迅速なエビデンス評価のプロセスを利用できるようにし、実際に用いる。
• 結果が見直される前に、その決定のためのエビデンスの閾値を合意する。
• 結果がどうであれ、この組織自身の評価を公表する計画を整える。
• 圧力のもとでゼロから構築するのではなく、関連する効果実証センターやクリアリングハウスとの常設の関係を確立する。
• 検討され却下されたエビデンスを含め、最終的な判断の背後にある推論を文書化する。
• エビデンスの強さだけでなく、価値提案と正当性の考慮事項に照らして決定を見直す。

主要情報源

• コクランが維持する『The Cochrane Handbook for Systematic Reviews of Interventions』 — セクターを横断して体系的レビューの実践が構築されている基礎的な方法論について。
• 社会、行動、犯罪学の政策のための体系的レビューとエビデンス統合に関するキャンベル共同計画の指針 — その方法論を保健を超えた公共政策の領域へ直接拡張したものについて。
• What Works Clearinghouseの標準ハンドブック(米国教育科学研究所) — 国のクリアリングハウスが明示的な研究デザインの基準をどう設定し、それに照らしてエビデンスを評価するかについての、実例に基づく解説。
• 教育寄付財団の教育・学習ツールキット — 統合されたエビデンスを比較可能な費用、インパクト、エビデンスの強さの評価に翻訳する、実践的で実践者向けの実例。
• 経済協力開発機構(OECD)による、エビデンスに情報を与えられた政策立案のための能力構築についての研究 — 各国政府がエビデンス利用の需要側と供給側をどう組織化しているかについての、国を横断した説明。
• カレッジ・オブ・ポリシングの犯罪削減のためのWhat Works Centreとその犯罪削減ツールキット — 保健と教育の外に適用されたクリアリングハウスのパターンの、さらなる実例。

参考文献

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Centre for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-centre-crime-reduction