公共部門の計量経済学とプログラム評価

公共価値にとってなぜ重要か

毎年、公共機関は、成果の比較の力を根拠に、プログラムを更新し、拡大し、あるいは打ち切る。就労支援プログラムの参加者は非参加者よりも早く仕事を見つけた。個別指導を受けた生徒は受けなかった生徒よりも高い点数を取った。それぞれの比較は記述としては真実であり、論証としては危険である。なぜなら、そのいずれも、それだけではプログラムがその差を引き起こしたかどうかを教えてくれないからである。就労支援プログラムに登録する人々は、そうしない人々よりも意欲が高いことが多く、個別指導に選ばれた生徒は、教師がすでにその生徒が良く反応すると予想しているために選ばれることが多い。「処置群のほうが成績が良かった」と「その処置が彼らをより良くさせた」との間のギャップこそ、因果推論がまさに埋めようとしているギャップである。

これは学術的な些末事ではない。あるプログラムの資金更新を求められる財政委員会は、室内の誰かがその言葉を使うかどうかにかかわらず、暗黙のうちに、因果関係の主張に公金を支出することを認可するよう求められている。トピック2.1は、あるプログラムが何を変えるはずかを述べる成果フレームワークを提供した(トピック2.1「公共価値スコアカードと成果フレームワーク」を参照)。このトピックは、それが実際に何をどれだけ変えたかを検証する手法を提供する。費用便益分析と費用効果分析(トピック2.2「社会的費用便益分析と費用効果分析」を参照)も社会的投資収益率(トピック2.3「社会的投資収益率とインパクト測定」を参照)も、いずれも、弁護可能な効果量を必要とする。このトピックは、その効果量がどこから来るのか、あるいは、すでに手元にある数値がそれに課されている重みに耐えられないことをどう知るかを扱う。

利害は財政的なものだけではない。欠陥のある評価がある無効なプログラムを効果的に見せかけたために、それを拡大した政府は、資金を浪費し、しばしばそれよりも悪いことに、本当に効果的だったかもしれない代替案の機会を奪ってしまう。単純すぎる比較がある効果的なプログラムを無益に見せかけたために、それを打ち切った政府は、よりよく設計された評価であれば守られたはずの価値を破壊してしまっている。因果関係の特定を正しく行うこと、そして正しく行えないときにそれを知ることそのものが、専門家の余技ではなく、公共価値の能力である。

中核概念

因果推論とは、ある変数の変化が別の変数の変化を実際に引き起こしているのかどうか、そしてどれだけ引き起こしているのかを、二つの変数が単に連動して動いているだけの場合と区別して確立することに関わる、統計学の一分野である。それは、反実仮想の推論、処置群と対照群の言葉、そして因果の主張に対する具体的な脅威の一覧という、このトピックのすべての手法が依拠する概念的基盤を提供する。Wikipedia: 因果推論。

反実仮想とは、ある人や単位が、そのプログラムを受けていなかったら経験していたであろう成果のことであり、あらゆる因果的手法が近似しようとする、中心的で観察不可能な量である。ある参加者に何が起きたかを見ることはできるが、その同じ人が支援を受けずにいたらどうなっていたかを見ることは決してできない。以下のそれぞれの手法は、その欠落した観測値に対する信頼できる代わりを構築するための、異なる戦略である。主として統計学者ドナルド・ルービンによって開発されたルービン因果モデルは、これを「潜在的結果」の枠組みとして形式化する。すなわち、各単位は、処置を受けた場合の潜在的結果と、対照である場合の潜在的結果を持ち、因果効果はこの二つの差であるが、そのうちの一方しか決して観測されない。Wikipedia: ルービン因果モデル。

交絡とは、第三の要因が、ある単位がプログラムを受けるかどうかと、そのプログラムが変えるはずの成果との両方に影響を与え、その結果、実際には交絡因子が生み出した効果を、あたかもプログラムが引き起こしたかのように見せてしまうことである。意欲、事前の能力、地域の経済状況、世帯の資産は、公共プログラムの評価において繰り返し現れる交絡因子である。なぜなら、それらは、誰がサービスを利用するかと、その後その人や地域がどうなるかの両方に日常的に影響を与えるからである。Wikipedia: 交絡。

選択バイアスとは、自己選択、職員による紹介、あるいは資格要件を通じて、参加者がそもそもどのようにして処置群に入ることになったかから生じる、交絡の特定のケースであり、処置群と非処置群は、プログラムが彼らに触れるよりも前から体系的に異なっている。最も意欲の高い求職者だけが登録する就労支援プログラムは、たとえそれが何の効果もなくても、効果的に見えるだろう。なぜなら、比較対象となる集団は、参加者が支援なしにしていたであろうことの公正な代わりでは決してなかったからである。Wikipedia: 選択バイアス。

相関は因果関係を意味しないとは、このトピックが運用可能にする一般的な警告である。二つの変数が連動して動くことは、一方が他方を引き起こしていることとも、その逆とも、共通の原因を共有していることとも、あるいは単なる偶然とも整合的であり、そのパターンだけではこれらを区別できない。アイスクリームの売上と溺死者数は、どちらも毎夏増加するが、互いを引き起こしているわけではない。暖かい天候が両方を引き起こしているのである。公共プログラムの評価は、同じ罠のより微妙な変種に満ちている。Wikipedia: 相関は因果関係を意味しない。

ランダム化比較試験(RCT)は、政策評価の文献ではランダム化評価とも呼ばれ、対象となる適格な単位を、プログラムを受ける処置群と受けない対照群に無作為に割り当て、平均して両群が処置を受けたかどうかの点でのみ異なるようにする。ランダム化が強力なのは、交絡を一括して処理できるからである。測定できる交絡因子も、測定できない交絡因子も、事前にそれらを名指しする必要なく、バランスさせる。Wikipedia: ランダム化比較試験。

差分の差分法(DiD)は、処置群における時間経過に伴う成果の変化を、同じ期間にプログラムを受けなかった比較群における変化と比較するものであり、プログラムがなければ両群は平行したトレンドをたどったはずだと仮定する。これは、あるプログラムがある法域には別の法域よりも先に到達し、ランダム化が一度も選択肢になかった場合の定番の手法である。なぜなら、目的のために構築された試験ではなく、日常的に収集されている行政データを利用できるからである。Wikipedia: 差分の差分法。

回帰不連続デザイン(RDD)は、測定されたスコアが固定された閾値を超えたかどうかに基づいて処置を割り当てるプログラム上の規則――所得の閾値ちょうどで始まる給付、合格点のわずか下のスコアを取った生徒に割り当てられる補習クラス――を利用し、閾値のすぐ上とすぐ下にいる、他の点では似通った単位間の成果を比較する。ある単位が閾値のどちら側に落ちるかは、その狭い帯域の中では事実上恣意的であるため、この比較は、誰も何もランダム化していないにもかかわらず、局所的なランダム化実験を近似する。Wikipedia: 回帰不連続デザイン。

操作変数法(IV)推定は、プログラムの利用には影響を与えるが、その利用を通じてしか成果には直接的な影響を与えない第三の変数である「操作変数」を用いて、交絡がそうでなければ汚染してしまう処置・成果関係の部分を取り除く。公共政策における古典的な操作変数は、施設までの距離や、抽選で割り当てられた枠であり、これらは、独立に成果を引き起こすことなく参加を左右する。この手法の難しさの大半は、その操作変数がプログラムを通じてのみ成果に影響を与えるということを弁護することにある。Wikipedia: 操作変数法。

自然実験とは、研究者の設計によってではなく、政策、地理、あるいは状況から生じる状況であり、一部の人々がプログラムにさらされ、比較可能な他の人々はさらされない――あたかも誰も実験を実施していないのに実験が行われたかのような状況である。ある誕生日を基準に発効する政策変更、ほぼ同一の世帯を異なる法域に分ける境界線、あるいは応募超過の枠を配分する抽選は、その後RDD、IV、あるいはDiDが分析できる自然実験である。Wikipedia: 自然実験。

ホーソン効果は、人々が観察されていることを知っているというだけで、プログラムの実際の内容とは無関係に行動を変えてしまうリスクを指す。これは、対照群が同等の強度で観察されていない場合に推定された効果を膨らませうる――測定という行為そのものが処置の一部になってしまうのである。Wikipedia: ホーソン効果。

統計的検出力とは、もし真の効果が存在するなら、ある評価がその特定の大きさの真の効果を検出する確率であり、主に標本サイズ、求める効果量、そして群内での成果のばらつきの大きさに依存する。「有意な効果は見られなかった」という結果を出した検出力不足の評価は、多くの場合、プログラムが何もしていないことを示したのではなく、その評価がどちらとも言えないほど小さすぎたことを示したにすぎない。この区別は、結論を出せという圧力のもとで指導者がしばしば見逃すものである。Wikipedia: 検出力(統計学)。

ベストプラクティス

1. 評価デザインは、プログラムが始まった後ではなく、始まる前に決めよ。 ランダム化評価、差分の差分法に適した段階的な展開、あるいは回帰不連続デザインに適した資格の閾値は、いずれも、提供がすでにその場しのぎで始まった後に後付けで組み込むよりも、最初から組み込むほうがはるかに容易である。
2. すべての評価要綱において反実仮想を明示的に述べよ。 参加者を何と比較しているのか――プログラムがまったくない場合、以前のプログラム、別の介入――を一文で書き出せ。なぜなら、述べられていない反実仮想こそが、最も鋭い評価上の論争がしばしば潜んでいる場所だからである。
3. 単純な前後比較は、出発点となる仮説として扱い、決して発見として扱うな。 成果は、あなたのプログラムとは無関係な多くの理由――景気循環、季節的な要因、同時期に生じた他の政策変更――によって変動する。前後比較のデザインは、あなたのプログラムの寄与を、これら他の要因から切り分けることができない。
4. 手法を、あなたが最も馴染みのある手法にではなく、実際にプログラムを割り当てた規則に合わせよ。 抽選で配給されるプログラムは、それを試験と呼ぶことがなくても、ランダム化評価の論理を求める。スコアの閾値によって割り当てられるプログラムは回帰不連続デザインを求める。ある地域には他の地域より先に展開されたプログラムは差分の差分法を求める。
5. 結果を見る前に、成果指標と分析計画を事前登録せよ。 どの指標が動いたかを見てから「成功」とみなす指標を決めることは、偽陽性への十分に文書化された経路であり、事前登録はそれに対する標準的な防御策である。
6. 評価は、便宜のためではなく、プログラムの費用を正当化するのに十分な最小の効果量を検出できるように検出力を設計せよ。 政策的に意味のある効果を検出するには小さすぎる評価は、情報量のない「有意差なし」という結果を生み出し、それが失敗の証拠として誤読されることになる。
7. 比較群の特性を、見出しの効果とあわせて報告せよ。 信頼に足る評価は、懐疑的な読み手が、処置前の両群が似通っていたことを確認できるようにする。これを隠す評価は、読み手にバランスの取れた比較だったことを信じるしかなくさせる。
8. 評価を提供チームから独立した情報源に委託せよ。それができないなら分析にファイアウォールを設けよ。 プログラムの成功に利害を持つチームは、多くの場合無意識のうちに、曖昧な証拠をプログラムに有利に解釈する構造的なインセンティブを持つ。
9. すべての報告において、統計的有意性を実務上・財政上の重要性から切り分けよ。 精密に推定された微小な効果と、不正確に推定された大きな効果は異なる発見であり、異なる決定を要求する。両方を「有意」か「有意でない」かに畳み込んでしまうことは、資金の決定が実際に必要とする区別を消してしまう。
10. 評価のための予算は、余ったものではなく、設計段階でプログラム費用の固定の割合として組め。 公共価値にとって重要な規模のプログラムは、通常、信頼に足るインパクト評価に資金を出せるだけの規模であり、評価を任意のものとして扱うことは、弱い証拠が常態化する原因となる。
11. null(効果なし)や負の結果を、肯定的な結果と同じ可視性で公表せよ。 成功した評価だけを公表する委託環境は、公表される証拠基盤そのものに選択バイアスを生み出し、後の「何が効果的か」という誰もの判断を楽観のほうへと偏らせる。
12. 完了したすべての評価を、自分自身のアーカイブだけでなく、あなたのセクターが維持するより広い証拠基盤にも投入せよ。 どれほどよく設計された単一の評価も一つのデータ点にすぎない。多くの評価にわたる体系的な統合こそが、プログラムの発見を移転可能な知識に変える(トピック2.6「エビデンス統合と効果の実証」を参照)。

チームで話し合うべき問い

私たちはこのプログラムを実際には何と比較しているのか、そしてそれを声に出して述べたことがあるか? あらゆるインパクトの主張は比較を暗示しているが、チームはしばしばそれを暗黙のままにし、「これはうまくいった」を、「何もしないよりはまし」「以前私たちがしていたことよりはまし」「私たちが資金を出せた最良の代替案よりはまし」の間で静かに滑らせてしまう。評価責任者に、平易な言葉で反実仮想を一文として述べさせ、その上で、手元の証拠が実際にその特定の比較についての主張を支持しているかを確認せよ。正直な反実仮想が「それ以外の場合に何が起きたかはわからない」であるなら、現在のインパクトの主張を発見としてではなく仮説として扱い、そのギャップを埋めるには何が必要かを議論せよ。

このプログラムを利用した人々や地域は、成果にも影響を与えるような形で、利用しなかった人々や地域と体系的に異なっていないか? これは選択バイアスの問いであり、答えが明らかに「いいえ」に見えるときこそ――とりわけそういうときこそ――問う価値がある。意欲、事前の状況、地域の能力、職員による紹介のパターンは、大きく注意深く見える標本であっても、誤解を招くインパクト推定を生み出す、一般的な隠れた差異の源泉である。チームが、参加者がどのようにしてそのプログラムに至ったかを説明できないなら、彼らはこれを排除できておらず、そのギャップは、小さな標本サイズよりもあなたを心配させるべきものである。

私たちの評価デザインはプログラムに組み込まれていたのか、それとも後から取ってつけられたのか、そしてそれは私たちに何の代償を払わせたか? ランダム化評価、段階的な展開、あるいはスコア化された資格閾値は、立ち上げの前に計画された場合のほうが、たまたま生き残った行政データから事後的に再構築される場合よりも、はるかに安価で信頼に足る。プログラムの設計段階でどのような評価デザインの選択肢が検討されたかを問い、もし何も検討されていなかったなら、それを、このプログラム一つの限界としてではなく、次のプログラムの前に埋めるべきプロセス上のギャップとして扱え。次の主要なプログラムが信頼に足る因果推定を支えるために、初日からどのようなデータが存在する必要があるかを議論せよ。

私たちの標本は、知る価値のある効果を検出するのに十分な大きさか、そして、もし検出力不足の「効果なし」という発見を目にしたら、それを見分けられるか? 統計的に有意な効果がないと報告する評価は、正しくプログラムが機能しないことを教えている場合もあれば、真に存在する効果を見るには評価が単に小さすぎたことしか教えていない場合もある。アナリストに、その評価が検出できるよう検出力を設計された最小の効果量を述べさせ、それを、実際にプログラムの費用を正当化する効果量と比較せよ。もしこの二つの数値が大きくかけ離れているなら、「効果なし」という発見は、決定的な断罪ではなく情報量のないものかもしれず、チームは、沈黙が失敗として読まれるままにするのではなく、それを明確に述べるべきである。

この評価が肯定的な結果になれば、職業上あるいは評判上、誰が得をするのか、そしてそれは、必要とされる独立した精査の度合いをどう変えるか? これは不正直さの非難ではない。プログラムを設計あるいは提供した人々は、それに気づかないことも多いまま、曖昧な結果を好意的に解釈する構造的な可能性が高いという認識である。この評価が、提供チームから独立した誰かによって委託され、分析され、あるいはレビューされたかどうかを議論し、そうでないなら、この規模のプログラムにとって釣り合いの取れたファイアウォールがどのようなものになるかを議論せよ。目標は、あなた自身のチームが弁護するのを心地よく感じる結果ではなく、あなたの最も懐疑的な資金提供者もまた信頼するであろう結果である。

もしこの評価の発見が頑健であれば、私たちは実際に何を違うやり方でするのか、そしてそれを実行する準備はできているか? 決定を変えることを意図せずに委託された評価は、デューデリジェンスの装いをまとった埋没費用である。この結果が届く前に、この後でではなく、そのリスクを名指しする価値がある。強い肯定的な発見が何を正当化するか(拡大、そしてどれだけ)、そして、nullまたは否定的な発見が何を引き起こすか(再設計、あるいは打ち切り、そしてどのようなスケジュールで)を、事前に議論せよ。結果を見る前にこれに誰も答えられないなら、その評価は決定機能ではなく正当性機能を果たしているだけかもしれず、それについては正直であるべきである(トピック2.1「公共価値スコアカードと成果フレームワーク」を参照)。

実践において:公共価値の事例

架空の例示。ある中規模の、名前を伏せた国の雇用サービス省は、既存の標準的なサービスと並行して、長期失業中の求職者向けの集中コーチング・サービスの一年間の試行を実施した。試行の終わりに、内部報告書は、集中コーチングを受けた群を、同じ期間に失業を脱した他のすべての人々と比較した。コーチングを受けた群は六か月以内に38%の就職率を示したのに対し、残りの担当件数では24%だった。大臣たちは、このプログラムが「機能した」と伝えられ、これを全国展開する事業計画が進められた。

資金を承認する前に、財政委員会は単純な問いを投げかけた。求職者はそもそもどのようにしてコーチングを受ける群に入ることになったのか。その答えは、非常に重要な意味を持つことが判明した。ケースワーカーは、彼らが「恩恵を受ける可能性が最も高い」と判断した求職者をコーチングの試行に紹介しており、これは善意のトリアージの判断ではあったが、実質的には、最初から就労準備の整った、より意欲の高い集団を処置群に選び入れていた。38%対24%という比較は、このトピックが警告するまさにその選択バイアスによって汚染されていた。コーチングを受けた群が、まったくコーチングがなくても残りの担当件数より優れた成績を収めた可能性は十分にあった。

その比較に基づいて展開を承認または却下するのではなく、省の評価部門は、抽選を用いた第二段階を提案した。コーチング・サービスへの需要は、すでに利用可能な枠を上回っていたため、同部門は、同等に資格を持つ申請者の間で枠を無作為に配分し、抽選の当選者と落選者の間で就職率を比較した。これは、そうでなければサービスを受けられなかったであろう誰からもサービスを差し控える必要のない、ランダム化評価の論理の応用だった。十二か月後、抽選による比較は、より小さいが実在する効果を示した。すなわち、当初の比較が示唆していた14ポイントの差ではなく、六か月時点の就職率における9パーセントポイントの改善だった。省はこの抽選に基づく推定値を、自らの費用データとあわせて用い、欠陥のある当初の比較が正当化したであろうより大規模で実行不可能な拡大ではなく、規模を拡大しつつも資源に制約のある展開のための弁護可能な費用効果の論拠(トピック2.2「社会的費用便益分析と費用効果分析」を参照)を構築した。

四つのセクター別視点

地方自治体

地方自治体は通常、少数の非常に大規模なプログラムではなく、多くの小規模・中規模のプログラムを運営しており、これは目的のために構築されたランダム化評価をプログラムの規模に対して高価なものにし、地方の評価者を、すでに収集されている行政データを再利用する準実験的手法――異なる時期に変更を採用したサービス地域間での差分の差分法や、地元の資格閾値をめぐる回帰不連続デザイン――へと向かわせる。他の場所では厄介事とされるような境界や法域の違いは、しばしば地方の評価者にとって最良の自然実験である。なぜなら、隣接する二つの区や地区は、政策において異なりながら、他のほとんどの点では似通ったままでいられるからである。

国の政府

国の政府は、目的のために構築されたランダム化評価に資金を出す規模と、税、給付、保健、教育の記録にまたがってしばしば連結された行政データセットを持ち、低い限界費用で信頼に足る準実験的デザインを実行できる。「何が効果的か」を評価するタスクフォースや、財務省の標準的な評価ハンドブックのような中央集権的な評価指針も、この規模に位置する傾向がある。なぜなら、常設の評価インフラと、多くの省庁にまたがる共通の方法論上の基準を維持する固定費用を正当化できるのは、国の政府だけだからである。

社会セクターと非営利団体

非営利団体や非政府組織は、十分な検出力を持つランダム化評価が必要とする標本サイズや予算をめったに持たず、そのプログラムはしばしば現場職員が観察したことに応じて適応的に変化するため、安定した明確に定義された処置を前提とするいかなるデザインも複雑になる。国際開発におけるランダム化評価の運動の周辺で発展してきたような、学術的な研究グループや専門の評価仲介機関とのパートナーシップは、厳密な因果推定への唯一の現実的な経路であることが多く、資金提供者は、複数年の助成金を約束する前に、まさにこの種の外部パートナーシップをますます求めるようになっている。

多国間・国際機関

多国間機関は、異なるデータシステム、行政能力、倫理審査の規範を持つ多くの国にまたがってプログラムに資金を提供しており、これは標準化された因果的手法を一律に適用することをより難しくする一方で、ある政策が一部の加盟国で他の国より先に採用された場合に、それ自体が自然実験となりうる、国をまたぐ自然な変動も生み出す。開発経済学におけるランダム化評価は、この規模で特に影響力を持ってきており、国際開発資金の配分方法を形づくった証拠を生み出してきたが、それらはまた、外的妥当性の失敗という文書化されたリスクも伴う。すなわち、研究された国や文脈で成り立つ結果が、自動的に別の文脈に移転するわけではなく、この留保事項は、多国間のプログラム設計においてあまりにも頻繁に軽視されている。

よくある失敗パターン

• 素朴な前後比較。 あるプログラムが、開始前の成果と開始後の成果を比較するだけで、比較群をまったく持たずに判断され、経済の回復、人口動態の変化、別の政策変更といった、すでに進行中だったいかなるトレンドも、プログラムの功績として誤って帰属させられる。その代償は、実際にはプログラムの効果を同時期に起きた他のすべてのことから切り分けることのできないデザインの上に構築された、自信満々の因果の物語である。
• プログラムの効果と取り違えられた選択バイアス。 自ら選んで参加した、あるいは成功しそうだと思われたために紹介された参加者が、他のすべての人々と比較され、実際にはプログラムが彼らに何をしたかではなく、プログラムが誰を引きつけたかの測定にすぎないインパクト推定を生み出す。その代償は、より自己選択されていない人口に届いたときに、より効果が薄く見える、時にはるかに薄く見える、拡大されたプログラムである。
• null(効果なし)の発見として報告される検出力不足の評価。 小規模な試行が「統計的に有意な効果は見られなかった」ことを発見し、それがプログラムは機能しないという証拠として読まれるが、実際には、標本が、重要な意味を持つはずの大きさの効果を検出するには小さすぎただけである。その代償は両方向に及ぶ。真に効果的なプログラムが、それが機能することを示せるはずのなかった証拠の力で打ち切られることもあれば、当初の要綱が正しく検出力を設計されていれば不要だったはずの、より大規模な試験に資源が回されることもある。
• 文脈を超えて局所的な推定を外挿すること。 回帰不連続デザインは資格閾値付近の単位についての効果を正しく推定し、操作変数の推定はその操作変数が実際に処置状態を変えた単位についての効果を正しく推定するが、その両方の発見が、あたかもその推定がどこでも成り立つかのように、その後人口全体に適用されてしまう。その代償は、局所的にしか真でなかったはずの数値の力で拡大された政策である。
• 演劇としての評価。 ある評価が、証拠に基づく意思決定の外観を作り出すために委託されるが、決定はすでに事実上下されており、いかなるもっともらしい発見もそれを変えなかったであろう。その代償は、無駄になった評価予算であり、さらに深刻なのは、結果が決して成果を変えないように見えると職員が気づいたときに生じる、評価そのものへの信頼の緩やかな侵食である。

成熟度モデル

チェックリスト

• 各主要プログラムの評価について、反実仮想を平易な言葉の一文で述べる。
• 参加者がどのようにして処置群に入ることになったかを確認し、そのプロセス自体が成果の差を説明しうるかどうかを評価する。
• 実際の割り当て規則に合わせて評価手法(ランダム化評価、差分の差分法、回帰不連続デザイン、操作変数法、あるいは自然実験)を選び、可能な限り提供が始まる前にこれを行う。
• プログラムの費用を正当化するのに十分な最小の効果量を検出するために必要な統計的検出力を計算する。
• 結果を見る前に、成果指標と分析計画を事前登録する。
• 処置群と比較群の比較可能性を、見出しの効果とあわせて報告する。
• 提供チームから独立した機能を通じて評価を委託またはレビューする。
• 決定者へのすべての報告において、統計的有意性を財政上・実務上の重要性から切り分ける。
• 設計段階で、評価のための予算をプログラム費用の固定の割合として組む。
• null(効果なし)や否定的な発見を、肯定的な発見と同じ可視性で公表する。
• 肯定的な局所的推定(回帰不連続デザインや操作変数法によるもの)が、それが実際にカバーする人口を超えて外挿されていないかを確認する。
• 完了した評価を、自分自身のアーカイブだけでなく、あなたのセクターが維持するより広い証拠基盤に反映させる。

主要情報源

このトピックの方法論の核心は、ジョシュア・D・アングリストとヨルン=ステフェン・ピスケに結びつく応用計量経済学の伝統、およびドナルド・ルービンによって形式化された潜在的結果の枠組みに依拠している。アブドゥル・ラティフ・ジャミール貧困アクション・ラボ(J-PAL)とその学術ネットワークに結びつく、公共政策と開発経済学におけるランダム化評価の運動は、セクター別視点で参照した応用実践の多くを供給している。政府の評価基準は英国財務省のマゼンタ・ブックの指針に依拠しており、エビデンス統合の実践は社会政策における体系的レビューのためのキャンベル共同計画の基準に依拠している(トピック2.6「エビデンス統合と効果の実証」を参照)。

参考文献

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network