근거 종합과 무엇이 효과적인가

공공가치에서 이것이 중요한 이유

장관, 시장, 자선단체의 프로그램 책임자가 행동의 근거로 삼을 단 하나의 깔끔한 연구를 가지는 사치를 누리는 일은 드물다. 책상 위에는 서로 맞지 않는 평가 세 건, 이를 선택적으로 인용하는 문헌 검토, 자기 사건에 맞는 단 하나의 시험을 흔들어 대는 압력 단체, 연구의 속도가 아니라 예산 주기가 정한 마감 시한이 놓여 있는 경우가 더 많다. 근거 종합이 존재하는 것은 개별 연구가 잡음이 많기 때문이다. 표본은 작고, 맥락은 다르며, 어떤 결과든 우연일 수도, 다른 곳으로 옮겨지지 않는 지역적 적합일 수도, 진짜 효과일 수도 있다. 지도자가 답을 얻어야 하는 질문은 '이 연구가 무엇을 발견했는가?'인 경우가 드물고, '시도된 모든 믿을 만한 것을 통틀어, 내가 지금 여기서 이것을 하면 무엇을 기대해야 하는가?'다.

공공가치 이론은 이를 기술적 세련됨 이상의 것으로 만든다. 집합적 자원으로 재원을 댄 프로그램은 시민이 총체적으로 승인할 가치 제안에 기댄다(그 제안이 어떻게 진술되고 추적되는지는 주제 2.1 — 공공가치 스코어카드와 성과 프레임워크 참조). 단 하나의 골라낸 연구, 또는 근거 검토가 전혀 없는 상태에 세운 제안은 신중한 종합에 세운 제안보다 정당성에 대한 주장으로서 더 약하며, 그것에 힘입어 인력과 예산이 투입되므로 운영 역량의 근거로서도 더 약하다. '무엇이 효과적인가' 운동, 곧 정책 근거의 질과 강도를 평가하는 독립 기구의 네트워크는 바로 이 문제에서 자라났다. 너무 많은 공공 결정이 가장 잘 뒷받침된 연구가 아니라 가장 목소리 큰 연구에 근거해 내려졌던 것이다.

이 주제가 다루는 더 어려운 문제는 종합 자체가 결론에 이르지 못하거나, 다투어지거나, 제때 이용할 수 없을 때 지도자가 무엇을 하는가다. 근거의 위계는 어수선한 근거 기반에 질서를 가져오기 위해 만들어졌지만, 부주의하게 쓰이면 '근거가 아직 충분히 강하지 않다'는 말은 현실이 실제로는 기다려 주지 않을 결정을 피하기 위한 영구적 변명이 된다. 종합이 어떻게 작동하며 한계가 어디인지 이해하는 지도자는 신중을 요구하는 진정한 불확실성과 무행동의 구실로 쓰이는 위계를 구별할 수 있다.

이 주제는 종합이 끌어다 쓰는 인과 추론 방법의 당연한 후속이며(주제 2.4 — 공공부문 계량경제학과 프로그램 평가 참조), 종합이 궁극적으로 봉사하는 성과 프레임워크(주제 2.1 — 공공가치 스코어카드와 성과 프레임워크 참조)를 대체하지 않고 그 곁에 놓인다. 체계적 문헌고찰을 읽고, '무엇이 효과적인가' 등급을 이해하고, 부재한 근거와 부정적 근거에 대해 명료하게 추론할 수 있는 지도자는 '더 많은 근거'를 요구하거나 처음 건네받은 연구를 받아들이는 것밖에 못 하는 지도자보다 더 나은 실시간 결정을 내린다.

핵심 개념

체계적 문헌고찰은 정의된 질문에 대한 근거를 찾고, 평가하고, 결합하는 데 명시적이고, 사전에 규정되고, 재현 가능한 방법을 쓰는 종합이며, 저자의 재량으로 출처를 고르는 서술적 문헌 검토와 대조된다(체계적 문헌고찰 참조). 그 결정적 특징은 검색이 시작되기 전에 작성된 등록된 프로토콜, 미출판 문헌과 회색 문헌을 포함하는 검색 전략, 명시적 포함 기준, 각 연구의 편향 위험을 평가하는 표준 방법이다. 이것이 체계적 문헌고찰을 각주가 달린 잘 쓰인 에세이와 구별한다. 같은 프로토콜을 따르는 다른 팀은 대체로 같은 근거를 찾고 대체로 비슷한 결론에 도달할 것이다.

메타분석은 체계적 문헌고찰과 가장 자주 짝을 이루는 통계 기법으로, 여러 독립적 연구의 정량적 효과 크기를 단일하고 더 정밀한 추정치로 합치며, 대개 각 연구를 표본 크기와 질로 가중한다(메타분석 참조). 메타분석은 그것에 들어가는 연구만큼만 좋다. 약한 연구 다섯 개를 합치면 믿을 만한 효과가 아니라 편향되었을 수 있는 효과의 더 정밀한 추정치가 나온다. 그래서 분석가들은 연구 결과가 우연이 예측하는 것 이상으로 얼마나 다양한지를 뜻하는 이질성을 보고한다. 높은 이질성은 연구들이 실제로는 같은 것을 시험하지 않았음을 알리며, 단일한 합산 숫자가 오해를 낳을 수 있기 때문이다.

출판 편향은 긍정적이고 유의한 결과의 연구는 출판되는 반면 중립적이거나 부정적인 결과는 연구자의 서랍 파일에 머무르는 경향으로, 개입이 문헌에서 실제보다 더 일관되게 효과적으로 보이게 한다(출판 편향 참조). 엄밀한 검토는 학술지 논문만이 아니라 시험 등록부와 미출판 평가를 검색하여 이를 바로잡는다. 출판된 논문만으로 만든 종합을 읽는 지도자는 검토자들이 인쇄되지 못한 연구를 찾기 위해 무엇을 했는지 물어야 한다.

근거의 위계는 연구 설계를 교란과 편향을 얼마나 잘 통제하는지에 따라 순위를 매기며, 대개 무작위 시험의 메타분석을 맨 위에, 개별 무작위 대조 시험을 그다음에, 이어서 준실험 및 관찰 설계, 맨 아래에 전문가 의견을 둔다(근거의 위계 참조). 무작위 대조 시험은 참여자를 우연에 따라 개입 집단이나 비교 집단에 배정하며, 인과 효과를 주변의 다른 모든 것으로부터 분리하는 가장 강력한 단일 도구다(무작위 대조 시험 참조. 그러한 설계가 어떻게 만들어지고 분석되는지는 주제 2.4 — 공공부문 계량경제학과 프로그램 평가 참조). 위계는 진정으로 유용한 어림법이지만 법칙이 아니라 어림법이다. 드물거나 느리게 움직이는 정책에 대한 잘 수행된 관찰 연구가 형편없이 수행된 검정력 부족의 시험을 앞설 수 있으며, 위계를 절대적 순위로 취급하는 지도자는 더 권위 있는 설계를 위해 더 관련성 높은 근거를 때로 버리게 된다.

GRADE 접근법, 곧 권고의 등급화, 평가, 개발 및 평가(Grading of Recommendations, Assessment, Development and Evaluations)는 위계만으로는 내리지 못하는 두 번째이자 별개의 판단을 정식화한다. 근거의 확실성과, 이와 독립적으로 그에 따라 행동하라는 권고의 강도를 각각 평가한다. 강한 근거가 늘 강한 권고를 정당화하지는 않으며, 약한 근거가 심각하고 긴급한 해악에 맞서 무행동을 늘 정당화하지도 않기 때문이다(GRADE 접근법 참조). 이 분리는 시간에 쫓기는 의사결정자에게 이 주제에서 가장 유용한 단일한 생각이다. 지도자가 '여기서 근거는 보통 수준이며, 이해관계와 기다리는 비용을 고려하여 진행할 것을 권고한다'고 정직하게 말할 수 있게 해 주며, 이는 확실성을 기다리는 것과 근거를 아예 무시하는 것 사이의 거짓 선택이 아니라 방어 가능하고 문서화된 판단이다.

실시간 정책 논쟁에서 끊임없이 되풀이되는 구별은 근거의 부재와 부재의 근거 사이에 있다. 개입의 효과에 대한 연구의 결여('효과의 근거 없음')는 검정력 있는 연구 다수가 효과가 없음을 긍정적으로 발견한 경우('효과 없음의 근거')와 같은 주장이 아니다(부재의 근거 참조). 아직 평가가 없는 새로운 지역 프로그램은 단지 시험되지 않은 것이고, 어떤 성과도 움직이지 못함이 거듭 확인된 잘 연구된 국가 프로그램은 시험되었고 작동하지 않음이 입증된 것이다. 둘을 혼동하는 것은 공공 지도자가 저지를 수 있는 가장 결과가 큰 오류 가운데 하나다. 시험되지 않았으나 유망한 시범사업을 실패한 것처럼 죽이거나, 거듭 반증된 프로그램에 아직 아무도 충분히 자세히 들여다보지 않은 것처럼 계속 재원을 대는 것이다.

근거 기반 정책은 공공 결정이 이념, 일화, 또는 직관만이 아니라 엄밀하게 확립된 근거에 기초해야 한다는 더 넓은 운동이자 규범적 주장이다(근거 기반 정책 참조). 이를 비판하는 사람들, 그리고 점점 더 그 옹호자 자신들은 '근거 정보형 정책'을 선호하는데, 이는 근거가 근거만으로 해결할 수 있는 기계적 결정 규칙이 아니라 가치, 위임, 비용, 이 책이 기초적이라고 보는 정당성의 질문과 함께 여러 투입 가운데 하나임을 인정한다.

이 운동에서 '무엇이 효과적인가' 센터 또는 정보센터(clearinghouse) 유형이 자라났다. 각 지방 위탁 기관이 자체 검토를 하도록 맡겨 두는 대신, 한 정책 영역의 개입에 대한 근거를 체계적으로 검토하고 접근하기 쉽고 비교 가능한 등급을 공표하는 독립 기구다. 코크란(Cochrane)은 1993년부터 보건 의료 분야에서 이 모델을 개척하여 의학을 훨씬 넘어서 쓰이는 체계적 문헌고찰 방법론의 살아 있는 핸드북을 유지한다(코크란(조직) 참조). 캠벨 협력(Campbell Collaboration)은 같은 방법론을 사회 정책, 형사 사법, 교육, 국제 개발로 확장했다(캠벨 협력 참조). 국가 정보센터가 뒤를 이었다. 미국의 What Works Clearinghouse는 2002년부터 교육과학연구소(Institute of Education Sciences)가 운영하며 교육 연구를 명시적 설계 기준에 비추어 검토한다(What Works Clearinghouse 참조). 영국 잉글랜드의 교육기부재단(Education Endowment Foundation)은 교실 개입을 비용, 근거의 강도, 전형적인 영향에 따라 하나의 비교 가능한 형식으로 등급화하는, 널리 쓰이는 교수·학습 툴킷(Teaching and Learning Toolkit)을 공표한다(교육기부재단 참조). 범죄 감소, 조기 개입, 노숙, 건강한 노화를 위한 동등한 센터가 있으며, 같은 방법인 체계적 문헌고찰, 투명한 등급, 방법론자 없이도 읽을 수 있는 실무자 대상 요약 위에 세워진 작은 국제적 가족이다.

모범 사례

1. 단일 연구보다 먼저 종합을 요청하라. 눈에 띄는 결과가 책상에 오르면, 연구가 그 자체로 설득력 있어 보이는지가 아니라 해당 개입에 대한 체계적 문헌고찰이나 '무엇이 효과적인가' 등급이 이미 있는지를 먼저 물어라.
2. 툴킷 등급을 대신하는 것이 아니라 그와 함께 근저의 검토를 읽어라. 한 줄 등급이나 자물쇠 아이콘은 판단을 요약한 것이며, 그것이 어떤 근거에 기대고 있는지, 자신의 맥락에 얼마나 직접 적용되는지를 이해하는 것의 대체물이 아니다.
3. 근거의 질과 권고의 강도를 명시적으로 분리하라. 비공식적으로라도 GRADE 논리를 빌려라. 근거가 얼마나 확실한지를 진술한 뒤, 그 확실성이 이해관계와 비용과 결합하여 지금 행동하는 것을 얼마나 강하게 정당화하는지를 따로 진술하라.
4. 결정하기 전에 '아직 근거 없음'인지 '효과 없음의 근거'인지 명명하라. 이 구별을 모든 근거 보고서에 서면으로 넣어라. 두 상황은 신중한 시범 운영과 중단 또는 재설계라는 거의 정반대의 대응을 요구하기 때문이다.
5. 효과가 옮겨지리라 가정하기 전에 검토의 맥락과 자신의 맥락의 일치를 점검하라. 다른 곳에서 수행된 연구들에서 합산된 효과 크기는 약속이 아니라 평균이다. 원래 효과를 조절한 것이 무엇이었는지, 그 조절 요인이 여기 있는지 물어라.
6. 전체 체계적 문헌고찰이 일정에 맞지 않을 때는 신속 근거 평가를 의뢰하라. 기존 문헌에 대한 구조화되고 기간이 정해진 검토, 곧 몇 달이 아니라 며칠이나 몇 주가 걸리는 검토는 새로운 일차 연구와 검토가 전혀 없는 상태 사이의 정당한 중간 경로다.
7. 결과와 상관없이 자신의 평가를 공표하라. 중립적이고 부정적인 발견은 다음 종합에 긍정적인 발견만큼 가치가 있다. 이를 숨기면 해당 분야의 모든 향후 검토를 훼손하는 출판 편향이 악화된다.
8. 필요해지기 전에 자신의 영역의 '무엇이 효과적인가' 센터나 정보센터와 상시적 관계를 구축하라. 실제 위기 중에 종합 기구의 툴킷을 처음 냉검색하는 것은 그것이 무엇을 다루는지, 간극에 대해 누구에게 물어야 하는지를 이미 아는 것보다 훨씬 더디다.
9. 근거 기준을 결과가 도착한 뒤가 아니라 도착하기 전에 정하라. 어떤 수준의 근거가 확대, 추가 시범, 중단을 정당화할지 사전에 합의하여, 이미 내려진 결정에 맞춰 모호한 발견을 재해석하려는 유혹을 줄여라.
10. 모든 의심을 없애 줄 연구를 찾는 기간에 시한을 두라. 완벽하고 모호함 없는 근거 기반을 기다리는 것 자체가 하나의 결정이며, 대개 이미 하던 일을 계속하겠다는 결정이다. 약한 근거에 근거해 행동하는 비용만큼 지연의 비용도 존중하는 마감 시한을 정하라.
11. 종합을 가치 제안의 대체물이 아니라 그 투입으로 다뤄라. 가장 잘 뒷받침된 개입이라도 비용, 분배 효과, 정당성이 함께 저울질되면 자동으로 올바른 선택이 되지는 않는다(주제 2.1 — 공공가치 스코어카드와 성과 프레임워크 참조).
12. 어떤 근거를 검토했고 왜 그렇게 가중했는지 문서화하라. 검토한 연구들과 최종 판단의 추론에 대한 서면 기록은 결정의 정당성과 다음 검토자가 그것에서 배울 수 있는 능력을 모두 지켜 준다.

팀과 논의할 질문

우리가 마지막으로 체계적 문헌고찰이나 '무엇이 효과적인가' 등급이 이미 하기로 계획했던 것과 모순되어서 실시간 결정을 바꾼 것은 언제였는가? 정직한 답이 '한 번도 없다'라면 곱씹어 볼 가치가 있다. 근거 검토가 진정한 점검이 아니라 확인 작업으로 기능하고 있을 수 있음을 시사하기 때문이다. 근거 기반이 뒤섞여 있던 최근의 결정 하나를 논의하고, 그것이 실제로 선택을 형성했는지, 아니면 주로 미리 도달한 결론을 뒷받침하기 위해 수집되었는지 따라가 보라. 근거가 상징적 비중이 아니라 실질적 영향력을 가지려면 근거가 의사결정자에게 도달하는 방식과 시점에서 무엇이 바뀌어야 할지 고려하라.

우리는 어디선가 '효과의 근거 없음'을 '효과 없음의 근거'인 것처럼, 또는 그 반대로 취급하고 있는가? 현재의 프로그램 포트폴리오를 훑어보고 '근거가 없다'는 이유로 조용히 우선순위를 낮춘 프로그램을 찾아, 그것이 진정으로 시험되지 않았다는 뜻인지 진정으로 반증되었다는 뜻인지 점검하라. 반대 방향으로도 같은 일을 하라. '아무도 효과가 없음을 보인 적이 없다'는 이유로 계속 재원을 대는 프로그램이 있는데, 사실은 아무도 들여다본 적이 없는 경우다. 가장 결과가 큰 두세 가지 사례를 바로잡으려면 무엇이 필요한지, 그 시정은 누가 맡아야 하는지 논의하라.

금요일까지 근거가 필요한 결정이라면, 우리에게 실제로 신속 근거 평가 과정이 있는가, 아니면 압박 아래 즉흥적으로 만들겠는가? 시간 압박은 가상의 것이 아니다. 그것은 대부분의 실제 근거 기반 결정이 내려지는 정상적인 조건이다. 조직에 상설적인 방법, 곧 지명된 팀, 양식, 먼저 확인할 '무엇이 효과적인가' 센터의 짧은 목록이 있는지, 아니면 모든 긴급 요청이 백지에서 시작하는지 논의하라. 후자라면 최소 실행 가능한 신속 평가 과정이 어떤 모습일지, 누가 이를 맡을지 논의하라.

우리는 실제로 누구의 근거 위계를 사용하고 있으며, 그것이 이 결정의 이해관계와 되돌릴 수 있는 정도에 맞는가? 영역마다 근거 기준을 다르게 적용하며, 되돌릴 수 없고 이해관계가 큰 결정에 맞춰 보정된 위계가 저렴하고 되돌릴 수 있고 쉽게 모니터링되는 시범사업에는 늘 올바른 기준은 아니다. 조직이 이해관계와 상관없이 하나의 근거 기준을 균일하게 적용하는지, 그것이 나쁜 결정으로부터 지켜 주는지 아니면 좋은 결정을 늦추기만 하는지 논의하라. 근거가 무엇을 말하는지 알기 전에, 안건의 다음 세 결정에 어떤 기준이 요구되어야 하는지 팀으로서 합의하라.

우리의 평가가 서랍 파일 속으로 사라지는 것을 막기 위해 우리는 구체적으로 무엇을 했는가? 조직이 깔고 앉은 모든 미공표 중립 결과는 다른 조직이 어렵게 다시 발견해야 할 간극이다. 실적을 솔직하게 논의하라. 최근 평가 10건 가운데 몇 건이 외부와 공유되었고, 공유되지 않은 것들은 어떻게 되었는가? 더 투명해지겠다는 일반적 포부가 아니라, 공표 정책이나 공유 등록부 같은 구체적이고 자원이 투입된 약속에 합의하라.

우리는 '더 많은 근거가 필요하다'는 말을 정직하게 쓰고 있는가, 아니면 내리고 싶지 않은 결정을 피하는 방법으로 쓰고 있는가? 이 주제에서 가장 불편한 질문이며, 직접 던질 가치가 있다. 현재 근거를 이유로 멈춰 있는 구체적인 결정 하나를 찾아, 무엇이 실제로 마음을 바꿀 것인지, 기다리고 있는 근거가 현실적으로 제때 도착할지 솔직하게 논의하라. 그렇지 않다면 계속 기다리는 대신 진정한 불확실성 아래의 정직한 결정이 어떤 모습일지, 누가 그것을 내릴 권한이 있는지 논의하라.

실제 사례: 공공가치 사례

노동시장 프로그램을 담당하는 중앙 부처에 속한 지역 고용 기관은 직업 훈련 시범사업을 세 개 지구에서 지역 전체로 확대할지를 한 예산 주기 안에 결정하라는 압박을 받았다. 시범사업은 보조금을 받는 일자리 배치와 구조화된 멘토링을 결합했으며, 세 시범 지구에 걸친 기관 자체의 무작위 시험은 12개월 시점의 지속 고용이 소폭이지만 통계적으로 유의하게 증가했음을 발견했다. 경쟁하는 근거 출처가 그림을 복잡하게 만들었다. 전년에 출판된 체계적 문헌고찰은 여러 나라의 비슷한 프로그램 아홉 개를 합산하여 평균 효과가 0에 가깝다고 발견했으며, 연구 간 변이가 크고 어떤 프로그램이 효과가 있었는지를 설명하는 뚜렷한 유형은 없었다.

기관의 근거 부서에는 두 발견을 조정할 시간이 예산 제출 마감까지 6주 있었다. 한 주니어 분석가의 첫 본능은 합산 검토가 더 많은 연구를 결합했다는 이유만으로 더 권위 있다고 보고 시범사업을 폐기하라고 권고하는 것이었다. 부서의 수석 근거 자문관은 반박했다. 진정으로 서로 다른 프로그램에 걸친 0에 가까운 합산 평균은 이 구체적이고 잘 실행된 지역 프로그램이 실패하리라는 강한 근거가 아니었다. 그것은 직업 훈련 프로그램이 일반적으로 질과 적합성에서 이질적이라는, 이미 알려진 사실의 근거였다. 검토가 보고한 높은 이질성은 합산 평균보다 그 자체로 더 중요한 발견이었다.

자문관은 이분법적 선택 대신 중간 경로를 제안했다. 지역의 절반으로의 단계적 확대를 권고했는데, 확대 지구를 무작위로 선정하여 도입 자체가 가정에 맞서 지출하는 데 그치지 않고 추가 근거를 만들어 내게 하자는 것이었다(단계적 도입을 추가 평가로 설계하는 방법은 주제 2.4 — 공공부문 계량경제학과 프로그램 평가 참조). 또한 원래의 시험을 방법과 원자료를 포함해 전체로 공표하여, 기관 밖의 누구도 볼 일이 없을 내부 보고서에 머무르지 않고 다음 체계적 문헌고찰이 가져갈 수 있게 하라고 권고했다.

부처 지도부는 단계적 접근을 승인했으며, 비즈니스 케이스(주제 2.5 — 비즈니스 케이스와 비용 대비 가치 참조)에 근거가 결정적이어서 내린 결정이 아니라 보통 수준의 확실성의 근거 아래 내린 결정이며 18개월 안에 불확실성을 해소할 내장된 메커니즘이 있다고 명시적으로 규정했다. 18개월 뒤 확대 지구는 원래 시범사업의 효과에 가까운 효과를 보였고, 부처는 두 출처 어느 쪽도 홀로 제공하지 못한 더 강한 근거 기반으로, 그리고 기다리지 않고 행동하기로 한 이유를 보여 주는 명확한 문서 기록과 함께 더 확대했다.

이 시나리오는 예시이며 허구다. 어떤 실제 부처의 프로그램이나 평가도 기술한 것이 아니다.

네 가지 부문 관점

지방정부

지방정부가 자체 체계적 문헌고찰을 의뢰할 예산이나 사례 건수를 갖는 일은 드물며, 그래서 실질적인 기술은 국가 및 국제 종합 근거를 실제 시간 압박 아래 구체적인 지역 맥락으로 옮기는 것이다. 툴킷으로 등급화된 개입의 근거 기반이 자신의 인구, 서비스 체계, 재원 수준과 닮았는지 점검한 뒤에야 등급화된 효과가 옮겨지리라 가정한다. 지방 지도자는 또한 이 주제가 경고하는 두 오류의 비용에 가장 가까이 있다. 종합이 이미 효과가 없음을 보인 개입에 따라 행동하는 것, 그리고 아직 어떤 '무엇이 효과적인가' 센터도 등급을 매기지 않았다는 이유로 진정으로 유망하지만 평가가 덜 된 지역의 혁신을 거부하는 것이다.

중앙정부

중앙정부는 대부분의 '무엇이 효과적인가' 센터와 공식 근거 위계 지침이 자리한 곳으로, 중앙 부처에 종합 기반에 대한 근접성을 주지만, 근거 위계를 결정 보조가 아니라 관료적 관문으로 취급할 가장 큰 위험에도 노출시킨다. 특징적인 국가 수준의 과제는 그 기반을 의뢰하고 유지하는 것, 곧 정보센터에 재원을 대고, 그 근거 기준을 정하고, 정책 팀이 마감 압박 아래 거의 참고하지 않는 평판 좋은 웹사이트로 존재하는 대신 그 등급이 비즈니스 케이스를 쓰는 공무원에게 실제로 도달하도록 보장하는 것이다(주제 2.5 — 비즈니스 케이스와 비용 대비 가치 참조).

사회 부문과 비영리

비영리조직과 자선단체는 대개 대규모로 엄밀한 평가를 수행할 자원이 없어서 외부 종합 기구에 크게 의존하며, 재원 제공자가 보조금 조건으로 등급화된 근거 단계와의 정렬을 점점 더 요구한다. 이는 고유한 위험을 낳는다. 재정 압박 아래 있는 조직은 자신의 프로그램이 유리한 등급에 얼마나 잘 대응하는지 과장하려는 유혹을, 곧 일종의 근거 세탁(evidence-washing)을 느낄 수 있고, 반대로 작지만 진정으로 효과적인 지역 자선단체는 국가 정보센터가 높이 평가하는 근거를 만들어 낼 만큼 컸던 적이 없다는 이유로 재원에서 밀려날 수 있다(이 압박 뒤의 재원 구조는 주제 3.8 — 사회 부문과 비영리 조직 관리 참조).

다자 및 국제기구

다자 및 국제기구는 일반화 가능성 문제를 가장 극심한 형태로 마주한다. 한 나라의 보건 체계, 농업 부문, 노동시장에서 입증된 개입이 매우 다른 경제적, 제도적 맥락에 일상적으로 제안되며, 종합 문헌은 이러한 근거 없는 이전을 사전보다 사후에 짚는 데 더 능하다. 압둘 라티프 자밀 빈곤행동연구소(Abdul Latif Jameel Poverty Action Lab) 같은 이 간극을 메우려고 만들어진 연구 네트워크는 개발 정책을 단일 국가의 개념 증명이 아니라 맥락별 재현 쪽으로 밀어 왔지만, 전 세계적으로 비교 가능한 근거와 맥락 의존적 효과 사이의 긴장은 이 규모의 종합을 규정하는 특징으로 남아 있다.

흔한 실패 유형

무행동의 변명으로서의 근거 위계. 어렵고 논쟁적인 결정에 직면한 팀이 '근거 불충분'이나 '아직 무작위 시험 없음'을 무기한 미룰 이유로 대지만, 지연의 정직한 원동력은 정치적 불편함이나 책임을 피하려는 바람이다. 이는 조직에서 기회 자체를 앗아 가고, 근거 기반에서 불확실성을 해소했을 실제 시험을 앗아 가서, 다음 의사결정자가 정확히 같은 간극에 직면하게 만든다.

근거의 부재와 부재의 근거의 혼동. 유망하지만 시험되지 않은 지역의 혁신이 시도되어 실패한 것처럼 죽임을 당하는 반면, 거듭 반증된 국가 프로그램은 아무도 근거를 간극이 아니라 부정적 발견으로 규정하지 않았기 때문에 계속 재원을 받는다. 두 오류 모두 비싸다. 하나는 유망한 선택지를 막고, 다른 하나는 맑은 눈의 종합이라면 수년 전에 폐기했을 프로그램을 보호한다.

툴킷 등급을 전체 분석으로 취급하기. 의사결정자가 단일한 자물쇠 아이콘이나 별점 등급을 읽고 거기서 멈추어, 근저의 연구가 자신의 맥락, 인구, 규모에 맞는지 점검하지 않는다. 등급은 접근성을 위해 의도적으로 압축되어 있다. 근저의 검토 없이 쓰이면 등급의 단순함이 시사하는 것보다 더 얇은 근거 기반 위에 자신만만한 결정을 세울 수 있다.

이질성을 무시하고 헤드라인 합산 결과를 택하기. 메타분석의 단일 평균 효과 크기가 브리핑에서 인용되는 반면, 그것을 낳은 연구들 사이의 큰 변이, 곧 더 유익한 발견인 경우가 많은 것은 빠진다. 이는 거짓된 정밀함을 낳는다. 의사결정자는 모든 실행이 같은 방식으로 작동하는 것처럼 행동하지만, 실행의 질과 맥락이 개입 자체만큼의 일을 하고 있다.

출판 편향이 근거 기반을 조용히 형성하게 두기. 조직이 개입을 평가할 때 출판된 학술 문헌만 읽어, 학술지에 실린 적 없는 미출판 부정적 시험과 내부 평가를 놓친다. '무엇이 효과적인가'에 대한 결과적 그림은 체계적으로 긍정 쪽으로 기울며, 그 위에 세운 결정은 아무도 의도적으로 선택하지 않은 그 쏠림을 물려받는다.

성숙도 모델

체크리스트

• 단일 연구에 의존하기 전에 체계적 문헌고찰이나 '무엇이 효과적인가' 등급을 확인한다.
• 요약 등급이나 아이콘만이 아니라 근저의 근거 검토를 읽는다.
• 근거의 질과 권고의 강도를 두 개의 별개 판단으로 진술한다.
• '효과의 근거 없음'과 '효과 없음의 근거'를 서면 보고서에서 명시적으로 구별한다.
• 검토된 연구와 당면한 결정 사이의 맥락 일치(인구, 규모, 서비스 체계)를 점검한다.
• 전체 검토가 일정에 맞지 않을 때 쓸 수 있고 실제로 쓰이는 신속 근거 평가 과정이 있다.
• 결정을 위한 근거 기준을 결과를 검토하기 전에 합의했다.
• 결과와 상관없이 이 조직 자신의 평가를 공표할 계획이 있다.
• 압박 아래 처음부터 만드는 것이 아니라, 관련된 '무엇이 효과적인가' 센터나 정보센터와 상시적 관계를 구축했다.
• 검토하고 기각한 근거를 포함해 최종 판단의 추론을 문서화했다.
• 결정을 근거의 강도만이 아니라 가치 제안과 정당성 고려에 비추어 검토했다.

주요 출처

• 코크란이 유지하는 Cochrane Handbook for Systematic Reviews of Interventions — 부문 전반의 체계적 문헌고찰 실무가 세워진 기초적 방법론.
• 사회, 행동, 범죄학 정책의 체계적 문헌고찰과 근거 종합에 대한 캠벨 협력(Campbell Collaboration)의 지침 — 그 방법론을 보건 너머의 공공정책 영역으로 직접 확장한 것.
• What Works Clearinghouse Standards Handbook(미국 교육과학연구소) — 국가 정보센터가 명시적 연구 설계 기준을 정하고 이에 비추어 근거를 등급화하는 방법의 실제 사례.
• 교육기부재단(Education Endowment Foundation)의 교수·학습 툴킷 — 합산된 근거를 비교 가능한 비용, 영향, 근거 강도 등급으로 옮기는 실용적이고 실무자 대상인 사례.
• 경제협력개발기구(OECD)의 근거 정보형 정책 수립을 위한 역량 구축에 관한 연구 — 정부가 근거 활용의 수요 측면과 공급 측면을 어떻게 조직하는지에 대한 국가 간 설명.
• 영국 경찰대학(College of Policing)의 범죄 감소를 위한 '무엇이 효과적인가' 센터와 그 범죄 감소 툴킷 — 보건과 교육 바깥에 적용된 정보센터 유형의 또 다른 실제 사례.

참고문헌

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Centre for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-centre-crime-reduction