공공부문 계량경제학과 프로그램 평가

공공가치에서 이것이 중요한 이유

해마다 공공 기관은 성과 비교에 힘입어 프로그램을 갱신하고, 확대하고, 폐지한다. 취업 프로그램의 참여자가 비참여자보다 더 빨리 일자리를 찾았다. 개인 지도 사업의 학생이 지도받지 않은 학생보다 점수가 높았다. 각각의 비교는 기술로서는 참이고 논거로서는 위험한데, 그 어느 것도 그 자체로는 프로그램이 그 차이를 일으켰는지 알려 주지 않기 때문이다. 취업 프로그램에 등록하는 사람은 그렇지 않은 사람보다 동기가 더 높은 경우가 많고, 개인 지도에 선발된 학생은 교사가 이미 잘 반응하리라 기대하기 때문에 뽑히는 경우가 많다. '처치를 받은 집단이 더 잘했다'와 '처치가 그들을 더 잘하게 만들었다' 사이의 간극이 바로 인과 추론이 메우려고 존재하는 간극이다.

이는 학술적 세련됨이 아니다. 프로그램의 재원 갱신을 요청받은 재무 위원회는 그 방에서 누가 그 단어를 쓰든 쓰지 않든 인과에 대한 주장에 공공 자금을 쓰도록 승인해 달라는 요청을 암묵적으로 받고 있다. 주제 2.1은 프로그램이 무엇을 바꾸려 하는지를 진술하는 성과 프레임워크를 제공했다(주제 2.1 — 공공가치 스코어카드와 성과 프레임워크 참조). 이 주제는 그것이 실제로 바꾸었는지, 그리고 얼마나 바꾸었는지를 시험하는 방법을 제공한다. 비용편익분석과 비용효과분석(주제 2.2 — 사회적 비용편익분석과 비용효과분석 참조), 그리고 사회적 투자수익률(주제 2.3 — 사회적 투자수익률과 영향 측정 참조)은 모두 다룰 만한 방어 가능한 효과 크기를 필요로 한다. 이 주제는 그 효과 크기가 나오는 곳, 또는 이미 가진 숫자가 그것에 실리는 무게를 견딜 수 없음을 배우는 곳이다.

이해관계는 재정적인 것만이 아니다. 결함 있는 평가가 효과적으로 보이게 만들었기 때문에 비효과적인 프로그램을 확대하는 정부는 돈을 낭비했을 뿐 아니라, 더 나쁘게는 기회를 얻지 못한 진정으로 효과적인 대안을 밀어낸 것이다. 순진한 비교가 쓸모없어 보이게 만들었기 때문에 효과적인 프로그램을 폐지하는 정부는 더 잘 설계된 평가가 지켜 주었을 가치를 파괴한 것이다. 인과 식별을 올바르게 하는 것, 그리고 올바르게 할 수 없을 때를 아는 것은 그 자체로 전문가의 부업적 관심사가 아니라 공공가치 역량이다.

핵심 개념

인과 추론은 한 변수의 변화가 다른 변수의 변화를 일으키는지, 그리고 얼마나 일으키는지를, 두 변수가 단지 함께 움직이는 것과 구별하여 확립하는 데 관여하는 통계학의 분야다. 이 주제의 모든 방법이 끌어다 쓰는 개념적 토대, 곧 반사실적 추론, 처치와 통제의 언어, 인과 주장에 대한 구체적 위협의 목록을 제공한다. 위키백과: 인과 추론.

반사실은 어떤 사람이나 단위가 프로그램을 받지 않았다면 겪었을 성과이며, 모든 인과 방법이 근사하려 하는 핵심적이고 관찰할 수 없는 양이다. 참여자에게 일어난 일은 볼 수 있지만, 같은 사람이 도움 없이 있었다면 어떻게 되었을지는 결코 볼 수 없다. 아래의 모든 방법은 그 빠진 관찰을 대신할 믿을 만한 대역을 구성하는 서로 다른 전략이다. 주로 통계학자 도널드 루빈(Donald Rubin)이 개발한 루빈 인과 모형은 이를 '잠재적 결과' 틀로 정식화한다. 각 단위는 처치 아래의 잠재적 결과와 통제 아래의 잠재적 결과를 가지며, 인과 효과는 그 둘의 차이인데 그중 하나만 관찰된다. 위키백과: 루빈 인과 모형.

교란은 제3의 요인이 단위가 프로그램을 받는지와 프로그램이 바꾸려는 성과 모두에 영향을 미쳐, 교란 요인이 실제로 만든 효과를 프로그램이 일으킨 것처럼 보이게 할 때 일어난다. 동기, 이전의 능력, 지역 경제 상황, 가구 재산은 공공 프로그램 평가에서 되풀이되는 교란 요인이다. 이들은 누가 서비스를 이용하는지와 그 사람이나 지역이 이후 어떻게 되는지에 모두 일상적으로 영향을 미치기 때문이다. 위키백과: 교란.

선택 편향은 참여자가 애초에 처치 집단에 들어가게 되는 방식, 곧 자기 선택, 직원의 의뢰, 자격 규칙에서 생기는 교란의 구체적인 경우로, 처치 집단과 비처치 집단이 프로그램이 닿기 전부터 체계적으로 다르다. 가장 동기가 높은 구직자만 등록하는 취업 프로그램은 아무것도 하지 않더라도 효과적으로 보일 것이다. 비교 집단이 참여자가 도움 없이 했을 일의 공정한 대역이었던 적이 없기 때문이다. 위키백과: 선택 편향.

상관관계는 인과관계를 함의하지 않는다는 이 주제가 실행에 옮기는 일반적 경고다. 두 변수가 함께 움직이는 것은 한쪽이 다른 쪽을 일으키는 것, 그 반대, 공통의 원인을 공유하는 것, 또는 우연과 모두 부합하며, 패턴만으로는 이를 구별할 수 없다. 아이스크림 판매와 익사 사고는 여름마다 함께 늘지만 어느 쪽도 다른 쪽을 일으키지 않는다. 더운 날씨가 둘 다 이끌기 때문이다. 공공 프로그램 평가에는 같은 함정의 더 미묘한 판본이 가득하다. 위키백과: 상관관계는 인과관계를 함의하지 않는다.

무작위 대조 시험(RCT)은 정책 평가 문헌에서 무작위 평가라고 불리며, 자격이 있는 단위를 프로그램을 받는 처치 집단과 받지 않는 통제 집단에 무작위로 배정하여, 평균적으로 두 집단이 처치를 받았는지에서만 다르도록 한다. 무작위 배정이 강력한 것은 교란을 일괄적으로 다루기 때문이다. 측정할 수 있는 교란 요인과 측정할 수 없는 교란 요인을 모두 균형 잡으며, 미리 이름 붙일 필요가 없다. 위키백과: 무작위 대조 시험.

이중차분법(DiD)은 처치 집단의 시간에 따른 성과 변화를 같은 기간 프로그램을 받지 않은 비교 집단의 변화와 비교하며, 프로그램이 없었다면 두 집단이 평행한 추세를 따랐으리라고 가정한다. 프로그램이 한 관할권에 다른 곳보다 먼저 닿았고 무작위 배정이 선택지가 아니었을 때 쓰는 주력 방법이며, 특별히 설계된 시험 대신 일상적으로 수집된 행정 자료를 쓸 수 있기 때문이다. 위키백과: 이중차분법.

회귀불연속 설계(RDD)는 측정된 점수가 고정된 기준선을 넘는 것에 따라 처치를 배정하는 프로그램 규칙, 곧 정확히 소득 기준선에서 시작되는 급여나 합격선 바로 아래 점수를 받은 학생에게 배정되는 보충 수업을 활용하여, 그 위와 아래에 있어 그 밖에는 비슷한 단위의 성과를 비교한다. 기준선 둘레의 좁은 구간에서는 단위가 기준선의 어느 쪽에 떨어지는지가 사실상 임의적이므로, 이 비교는 아무도 무작위 배정을 하지 않고도 국소적인 무작위 실험을 근사한다. 위키백과: 회귀불연속 설계.

도구변수(IV) 추정은 프로그램의 이용에는 영향을 미치지만 그 이용을 통하는 경우를 제외하면 성과에는 직접적 효과가 없는 제3의 변수, 곧 '도구'를 사용하여, 교란이 달리 오염시킬 처치-성과 관계의 부분을 걸러 낸다. 고전적인 공공정책 도구는 시설까지의 거리나 추첨으로 배정된 자리로, 성과를 독립적으로 일으키지 않고 참여를 움직인다. 이 방법의 어려움 대부분은 도구가 프로그램을 통해서만 성과에 영향을 미친다는 점을 방어하는 데 있다. 위키백과: 도구변수 추정.

자연 실험은 연구자의 설계가 아니라 정책, 지리, 상황에서 비롯된 상황으로, 일부 사람은 프로그램에 노출되고 비교 가능한 다른 사람은 노출되지 않아, 아무도 실험을 하지 않았는데 실험이 이루어진 것과 같다. 생일 기준선에서 시행되는 정책 변경, 거의 같은 가구를 서로 다른 관할권에 놓는 경계, 신청이 초과된 자리를 배급하는 추첨은 RDD, IV, 또는 DiD가 분석할 수 있는 자연 실험이다. 위키백과: 자연 실험.

호손 효과는 프로그램의 실제 내용과 무관하게 사람들이 단지 관찰받고 있음을 알기 때문에 행동을 바꾸는 위험을 가리키며, 통제 집단이 같은 강도로 관찰되지 않으면 추정된 효과를 부풀릴 수 있다. 측정 행위 자체가 처치의 일부가 될 수 있다. 위키백과: 호손 효과.

통계적 검정력은 주어진 크기의 참된 효과가 있다면 평가가 그것을 탐지할 확률로, 주로 표본 크기, 찾는 효과 크기, 집단 내 성과의 변동 정도에 달려 있다. '유의한 효과 없음'을 발견하는 검정력이 부족한 평가는 프로그램이 아무것도 하지 않는다는 것을 보인 경우보다는 평가가 어느 쪽이든 알려 주기에는 너무 작았음을 보인 경우가 많으며, 지도자가 평결에 도달해야 한다는 압박 아래 자주 놓치는 구별이다. 위키백과: 검정력(통계학).

모범 사례

1. 평가 설계를 프로그램 출범 이후가 아니라 출범 전에 결정하라. 무작위 평가, 이중차분법에 맞는 단계적 도입, 회귀불연속 설계에 맞는 자격 기준선은 모두 전달이 임시방편으로 이미 시작된 뒤에 소급해 끼워 넣는 것보다 처음부터 내장하는 편이 훨씬 쉽다.
2. 모든 평가 지침서에 반사실을 명시적으로 진술하라. 참여자를 무엇과 비교하는지, 곧 프로그램이 아예 없는 경우, 이전 프로그램, 다른 개입 가운데 무엇인지를 한 문장으로 적어라. 명시되지 않은 반사실이 가장 날카로운 평가 논쟁이 숨어 있는 곳인 경우가 많기 때문이다.
3. 단순한 사전-사후 비교를 발견이 아니라 출발점의 가설로 다뤄라. 성과는 경기 순환, 계절 효과, 같은 시기에 도착한 다른 정책 변경처럼 프로그램과 무관한 많은 이유로 표류하며, 사전-사후 설계는 프로그램의 기여를 그것들의 기여와 분리할 수 없다.
4. 방법을 가장 친숙한 방법이 아니라 프로그램을 실제로 배정한 규칙에 맞추라. 추첨으로 배급되는 프로그램은 시험이라고 부르지 않더라도 무작위 평가의 논리를 요구하고, 점수 기준선으로 배정되는 프로그램은 회귀불연속 설계를, 일부 지역에 먼저 도입된 프로그램은 이중차분법을 요구한다.
5. 결과를 보기 전에 성과 척도와 분석 계획을 사전 등록하라. 어떤 성과가 움직였는지 본 뒤에 어떤 성과가 '성공'인지 정하는 것은 거짓 양성으로 가는 잘 알려진 경로이며, 사전 등록은 그에 대한 표준적 방어다.
6. 평가의 검정력을 편의가 아니라 프로그램의 비용을 여전히 정당화할 가장 작은 효과 크기에 맞춰라. 정책적으로 의미 있는 효과를 탐지하기에 너무 작은 평가는 실패의 증거로 오독되는, 정보가 없는 '유의한 차이 없음' 결과를 낳는다.
7. 헤드라인 효과만이 아니라 처치 집단의 특성과 함께 비교 집단의 특성도 보고하라. 믿을 만한 평가는 회의적인 독자가 두 집단이 처치 전에 비슷했는지 점검하게 해 준다. 이를 숨기는 평가는 독자가 균형을 믿음으로 받아들이게 만든다.
8. 평가를 전달 팀으로부터 독립적인 곳에 의뢰하거나, 그럴 수 없다면 분석을 방화벽으로 분리하라. 프로그램의 성공에 이해관계가 있는 팀은 모호한 증거를 프로그램에 유리하게 해석할 구조적 유인을, 흔히 무의식적으로 지닌다.
9. 모든 보고서에서 통계적 유의성을 실질적이고 재정적인 유의성과 분리하라. 정밀하게 추정된 아주 작은 효과와 부정확하게 추정된 큰 효과는 서로 다른 결정을 요구하는 서로 다른 발견이며, 둘을 '유의함'이나 '유의하지 않음'으로 뭉뚱그리면 재원 결정이 실제로 필요로 하는 구별이 지워진다.
10. 평가 예산을 남는 것이 아니라 설계 단계에서 프로그램 비용의 고정된 비율로 책정하라. 공공가치에 중요할 만큼 큰 프로그램은 대개 믿을 만한 영향 평가에 재원을 댈 만큼 크며, 평가를 재량 사항으로 취급하는 것이 약한 증거가 일상이 되는 방식이다.
11. 중립적이거나 부정적인 결과를 긍정적인 결과와 같은 가시성으로 공표하라. 성공한 평가만 공표하는 위탁 환경은 공표된 증거 기반 자체에 선택 편향을 만들어, 모두의 이후의 '무엇이 효과적인가' 판단을 낙관 쪽으로 치우치게 한다.
12. 완료된 모든 평가를 자신의 보관소만이 아니라 부문이 유지하는 더 넓은 증거 기반에 반영하라. 아무리 잘 설계한 평가라도 하나의 데이터 지점이며, 프로그램의 발견을 이전 가능한 지식으로 바꾸는 것은 많은 평가에 걸친 체계적 종합이다(주제 2.6 — 근거 종합과 무엇이 효과적인가 참조).

팀과 논의할 질문

이 프로그램을 실제로 무엇과 비교하는 반사실은 무엇이며, 우리는 그것을 소리 내어 말한 적이 있는가? 모든 영향 주장은 하나의 비교를 함의하지만, 팀은 흔히 그것을 암묵적으로 둔 채, '이것이 효과가 있었다'가 '아무것도 하지 않은 것보다 낫다', '이전에 하던 것보다 낫다', '재원을 댈 수 있었던 최선의 대안보다 낫다' 사이를 조용히 미끄러지게 둔다. 평가 책임자에게 반사실을 쉬운 말로 한 문장으로 진술하라고 요청한 뒤, 가진 증거가 실제로 그 특정한 비교에 대한 주장을 뒷받침하는지 점검하라. 정직한 반사실이 '다른 경우에 무슨 일이 일어났을지 모른다'라면 현재의 영향 주장을 발견이 아니라 가설로 다루고, 그 간극을 메우려면 무엇이 필요한지 논의하라.

이 프로그램을 이용한 사람이나 지역은 그렇지 않은 사람이나 지역과 성과에도 영향을 미칠 방식으로 체계적으로 다를 수 있는가? 이는 선택 편향의 질문이며, 답이 분명히 '아니오'로 보일 때에도, 특히 그럴 때 물어볼 가치가 있다. 동기, 이전의 상황, 지역의 역량, 직원 의뢰 유형은 크고 신중해 보이는 표본에서도 오해를 낳는 영향 추정치를 만드는 흔한 숨은 차이의 원천이다. 팀이 참여자가 어떻게 프로그램에 들어오게 되었는지 기술하지 못한다면 이를 배제할 수 없으며, 그 간극은 작은 표본 크기보다 더 걱정스러워야 한다.

우리의 평가 설계는 프로그램에 내장되었는가, 아니면 나중에 덧붙여졌는가, 그리고 그것은 우리에게 무엇을 치르게 했는가? 무작위 평가, 단계적 도입, 점수 기준 자격 기준선은 모두 어쩌다 남은 행정 자료로 재구성하는 것보다 출범 전에 계획할 때 훨씬 저렴하고 믿을 만하다. 프로그램 설계 단계에서 어떤 평가 설계 선택지가 검토되었는지 묻고, 아무것도 없었다면 이를 이 프로그램의 한계만이 아니라 다음 프로그램 전에 메워야 할 과정상의 간극으로 다뤄라. 다음 주요 프로그램이 믿을 만한 인과 추정치를 뒷받침하려면 첫날부터 어떤 자료가 존재해야 하는지 논의하라.

우리의 표본은 알 가치가 있는 효과를 탐지할 만큼 큰가, 그리고 검정력이 부족한 '효과 없음' 결과를 본다면 알아볼 수 있겠는가? 통계적으로 유의한 효과가 없다고 보고하는 평가는 때로는 프로그램이 작동하지 않는다고 올바르게 알려 주고, 때로는 평가가 진정으로 존재하는 효과를 보기엔 너무 작았다고만 알려 준다. 분석가에게 평가가 탐지하도록 검정력을 갖춘 최소 효과 크기를 진술하라고 요청하고, 이를 프로그램 비용을 실제로 정당화할 효과 크기와 비교하라. 두 숫자가 크게 벌어져 있다면 '효과 없음' 결과는 결정적인 것이 아니라 정보가 없는 것일 수 있으며, 팀은 침묵이 실패로 읽히게 두지 말고 그렇다고 분명히 말해야 한다.

이 평가가 긍정적으로 나오면 직업적으로나 평판 면에서 누가 이익을 보며, 그것이 얼마나 독립적인 검증이 필요한지를 바꾸는가? 이는 부정직하다는 비난이 아니라, 프로그램을 설계하거나 전달하는 사람들이 모호한 결과를 호의적으로, 흔히 자신이 그러고 있음을 알아채지 못한 채 해석할 구조적 가능성이 더 높다는 인식이다. 평가가 전달 팀으로부터 독립적인 누군가에 의해 의뢰되거나, 분석되거나, 검토되었는지, 그렇지 않았다면 이 규모의 프로그램에 비례적인 방화벽이 어떤 모습일지 논의하라. 목표는 가장 회의적인 재원 제공자도 신뢰할 결과이지, 팀 자신이 편안하게 방어할 수 있는 결과만이 아니다.

이 평가의 발견이 견고하다면 우리는 실제로 무엇을 다르게 할 것이며, 그것을 할 준비가 되어 있는가? 결정을 바꾸려는 의도가 한 번도 없이 의뢰된 평가는 실사로 위장한 매몰 비용이며, 결과가 도착한 뒤가 아니라 도착하기 전에 그 위험을 명명할 가치가 있다. 강한 긍정적 발견이 무엇을 정당화할지(확대, 그리고 얼마나), 중립적이거나 부정적인 발견이 무엇을 촉발할지(재설계, 또는 폐지, 그리고 어떤 일정으로)를 미리 논의하라. 방에 있는 누구도 결과를 보기 전에 이에 답할 수 없다면, 평가는 결정 기능이 아니라 정당성 기능을 수행하고 있을 수 있으며, 그에 대해 솔직해질 가치가 있다(주제 2.1 — 공공가치 스코어카드와 성과 프레임워크 참조).

실제 사례: 공공가치 사례

허구의 예시다. 이름이 없는 중간 규모 국가의 고용서비스부는 기존의 표준 서비스와 나란히 장기 실업 구직자를 위한 집중 코칭 서비스를 1년간 시범 운영했다. 시범 사업이 끝났을 때 내부 보고서는 집중 코칭을 받은 집단을 같은 기간 실업에서 벗어난 나머지 모든 사람과 비교했다. 코칭을 받은 집단은 6개월 안의 취업 알선률이 38%였고, 나머지 담당 구직자는 24%였다. 장관들은 프로그램이 '효과가 있었다'고 보고받았고, 전국 도입을 위한 비즈니스 케이스가 올라갔다.

재원을 결재하기 전에 재무 위원회는 간단한 질문을 던졌다. 구직자들은 애초에 어떻게 코칭 집단에 들어가게 되었는가? 답은 대단히 중요한 것으로 드러났다. 사례 담당자들은 '가장 도움을 받을 가능성이 높다'고 판단한 구직자들을 코칭 시범 사업에 의뢰했으며, 이는 선의의 분류 결정이었지만 사실상 더 취업 준비가 된 집단을 처음부터 처치로 선택한 것이었다. 38% 대 24%의 비교는 이 주제가 경고하는 바로 그 선택 편향으로 오염되어 있었다. 코칭 집단은 코칭이 전혀 없었더라도 나머지 담당 구직자보다 더 좋은 성과를 냈을 수 있었다.

그 비교로 도입을 승인하거나 거부하는 대신, 부처의 평가 부서는 추첨을 사용한 두 번째 단계를 제안했다. 코칭 서비스에 대한 수요는 이미 이용 가능한 자리를 초과하고 있었으므로, 부서는 동등한 자격을 가진 신청자들 사이에 자리를 무작위로 배정하고 추첨 당첨자와 낙첨자의 취업 알선률을 비교했다. 달리 서비스를 받지 못했을 누구에게도 서비스를 보류할 필요 없이 무작위 평가의 논리를 적용한 것이다. 12개월 뒤 추첨 비교는 더 작지만 실재하는 효과를 보여 주었다. 6개월 알선율이 9퍼센트포인트 개선된 것으로, 원래의 비교가 시사한 14포인트의 격차가 아니었다. 부처는 추첨에 기반한 추정치를 자체 비용 자료와 함께 써서 결함 있는 초기 비교가 정당화했을 더 크고 전달할 수 없는 확대가 아니라, 규모를 키우되 자원이 제한된 도입에 대한 방어 가능한 비용효과 논거(주제 2.2 — 사회적 비용편익분석과 비용효과분석 참조)를 만들었다.

네 가지 부문 관점

지방정부

지방정부는 대개 몇 개의 매우 큰 프로그램보다 많은 소규모 및 중규모 프로그램을 운영하며, 이는 프로그램 규모에 비해 특별 설계된 무작위 평가를 비싸게 만들고, 지방 평가자를 이미 수집되고 있는 행정 자료를 재사용하는 준실험적 방법 쪽으로 밀어 넣는다. 변화를 서로 다른 시점에 채택한 서비스 지역에 걸친 이중차분법이나 지역 자격 기준선 둘레의 회귀불연속 설계가 그것이다. 다른 곳에서는 골칫거리일 경계와 관할권의 차이가 지방 평가자에게는 최고의 자연 실험인 경우가 많다. 이웃한 두 선거구나 행정구가 정책은 다르면서도 그 밖의 대부분에서는 비슷할 수 있기 때문이다.

중앙정부

중앙정부는 특별 설계된 무작위 평가에 재원을 댈 규모와, 세금, 급여, 보건, 교육 기록에 걸쳐 연결된 경우가 많은 행정 데이터 집합을 갖추어 낮은 한계 비용으로 믿을 만한 준실험적 설계를 수행할 수 있다. 이 규모는 또한 '무엇이 효과적인가' 평가 태스크포스와, 재무 부처의 표준 평가 편람 같은 중앙화된 평가 지침이 자리하는 경향이 있는 곳이기도 하다. 상설 평가 기반과 여러 부처에 걸친 공통의 방법론 기준을 유지하는 고정 비용을 정당화할 수 있는 것은 중앙정부뿐이기 때문이다.

사회 부문과 비영리

비영리조직과 비정부기구는 검정력을 충분히 갖춘 무작위 평가가 필요로 하는 표본 크기나 예산을 갖추는 경우가 드물고, 이들의 프로그램은 일선 직원이 관찰하는 것에 대응하여 적응적으로 바뀌는 경우가 많아서 안정적이고 잘 정의된 처치를 가정하는 어떤 설계든 복잡해진다. 국제 개발에서 무작위 평가 운동 주변에서 자라난 종류의 학술 연구 그룹이나 전문 평가 중개 기관과의 파트너십은 엄밀한 인과 추정치에 이르는 유일하게 현실적인 경로인 경우가 많으며, 재원 제공자는 다년간 보조금을 약속하기 전에 바로 이런 외부 파트너십을 점점 더 많이 요구한다.

다자 및 국제기구

다자기구는 데이터 체계, 행정 역량, 윤리 심의 규범이 서로 다른 많은 나라에 걸쳐 프로그램에 재원을 대며, 이는 표준화된 인과 방법을 균일하게 적용하기 어렵게 만들지만, 정책이 일부 회원국에서 다른 나라보다 먼저 채택될 때는 그 자체로 자연 실험이 될 수 있는 국가 간 변이를 만들어 내기도 한다. 개발경제학의 무작위 평가는 이 규모에서 특히 영향력이 컸으며 국제 개발 재원이 배분되는 방식을 형성한 증거를 낳았지만, 외적 타당성 실패의 기록된 위험도 안고 있다. 연구된 나라와 맥락에서 성립하는 결과가 다른 맥락으로 자동으로 이전되지는 않으며, 다자기구의 프로그램 설계는 이 단서를 너무 자주 얼버무린다.

흔한 실패 유형

순진한 사전-사후 비교. 프로그램이 비교 집단 없이 시작 전의 성과와 이후의 성과를 비교하는 것만으로 평가되어, 이미 진행 중이던 추세, 곧 경기 회복, 인구 변화, 별도의 정책 변경이 프로그램의 공으로 잘못 귀속된다. 비용은 프로그램의 효과를 같은 시기에 일어난 다른 모든 것과 실제로 구별할 수 없는 설계에 세워진 자신만만한 인과 서사다.

프로그램 효과로 오인된 선택 편향. 스스로 신청했거나 성공할 것 같아 보여 의뢰된 참여자를 나머지 모두와 비교하여, 프로그램이 그들에게 한 일이 아니라 프로그램이 누구를 끌어들였는지를 사실상 측정하는 영향 추정치를 낳는다. 비용은 덜 자기 선택적인 인구에 이르렀을 때 덜, 때로는 훨씬 덜 효과적으로 보이는 확대된 프로그램이다.

중립적 발견으로 보고된 검정력 부족 평가. 소규모 시범 사업이 '통계적으로 유의한 효과 없음'을 발견하고 프로그램이 작동하지 않는다는 증거로 읽히지만, 표본은 사실 중요할 크기의 효과를 탐지하기에 너무 작았다. 비용은 양방향으로 발생한다. 진정으로 효과적인 프로그램이 그것이 작동함을 보일 능력이 애초에 없었던 증거에 근거해 폐지될 수 있고, 또는 원래의 지침서가 올바르게 검정력을 갖추었다면 필요 없었을 더 큰 시험에 자원이 옮겨 간다.

지역적 추정치를 맥락 너머로 외삽하기. 회귀불연속 설계는 자격 기준선 근처의 단위에 대한 효과를 올바르게 추정하고, 도구변수 추정은 도구가 실제로 처치 상태를 움직인 단위에 대한 효과를 올바르게 추정하지만, 두 발견 모두 추정치가 어디서나 성립하는 것처럼 전체 인구에 적용된다. 비용은 국소적으로만 참이었던 숫자에 힘입어 확대된 정책이다.

연극으로서의 평가. 증거 기반 의사결정의 외양을 만들기 위해 평가가 의뢰되지만 결정은 사실상 이미 내려졌고, 어떤 그럴듯한 발견도 그것을 바꾸지 못했을 것이다. 비용은 낭비된 평가 예산이며, 더 부식적으로는 결과가 성과를 바꾸는 것 같지 않다는 것을 직원이 알아차릴 때 평가 자체에 대한 신뢰가 서서히 침식된다는 것이다.

성숙도 모델

체크리스트

• 각 주요 프로그램 평가에 대해 반사실을 쉬운 말 한 문장으로 진술한다.
• 참여자가 처치 집단에 들어오게 된 경위를 확인하고, 그 과정 자체가 성과 차이를 설명할 수 있는지 평가한다.
• 평가 방법(무작위 평가, 이중차분법, 회귀불연속 설계, 도구변수, 자연 실험)을 가능한 한 전달이 시작되기 전에 실제 배정 규칙에 맞게 고른다.
• 프로그램의 비용을 정당화할 가장 작은 효과 크기를 탐지하는 데 필요한 통계적 검정력을 계산한다.
• 결과를 보기 전에 성과 척도와 분석 계획을 사전 등록한다.
• 헤드라인 효과와 함께 처치 집단과 비교 집단의 비교 가능성을 보고한다.
• 평가를 전달 팀으로부터 독립적인 기능을 통해 의뢰하거나 검토한다.
• 의사결정자에 대한 모든 보고에서 통계적 유의성을 재정적이고 실질적인 유의성과 분리한다.
• 설계 단계에서 평가 예산을 프로그램 비용의 고정된 비율로 책정한다.
• 중립적이고 부정적인 발견을 긍정적인 발견과 같은 가시성으로 공표한다.
• 긍정적인 지역적 추정치(회귀불연속 설계나 도구변수에서 나온)가 실제로 포괄하는 인구 너머로 외삽되고 있지 않은지 점검한다.
• 완료된 평가를 자신의 보관소만이 아니라 부문이 유지하는 더 넓은 증거 기반에 반영한다.

주요 출처

이 주제의 방법론적 핵심은 조슈아 D. 앵그리스트(Joshua D. Angrist)와 외른-슈테펜 피시케(Jörn-Steffen Pischke)와 연관된 응용 계량경제학 전통과, 도널드 루빈이 정식화한 잠재적 결과 틀에 기댄다. 공공정책과 개발경제학의 무작위 평가 운동은 압둘 라티프 자밀 빈곤행동연구소(J-PAL)와 그 학술 네트워크와 연관되며, 부문 관점에서 언급한 응용 실무의 상당 부분을 제공한다. 정부 평가 기준은 영국 재무부의 마젠타 북(Magenta Book) 지침에 기대고, 근거 종합 실무는 사회 정책의 체계적 문헌고찰에 대한 캠벨 협력(Campbell Collaboration)의 기준에 기댄다(주제 2.6 — 근거 종합과 무엇이 효과적인가 참조).

참고문헌

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network