Kanıt Sentezi ve Neyin İşe Yaradığı

Bu neden kamu değeri açısından önemlidir

Bir bakan, bir belediye başkanı ya da bir hayır kurumunun program müdürü, harekete geçecek tek, temiz bir çalışmaya nadiren sahiptir. Daha sık olarak masada birbirleriyle çelişen üç değerlendirme, onları seçici olarak anan bir yazın taraması, davasına uyan tek deneyi sallayan bir baskı grubu ve araştırmanın hızıyla değil bir bütçe döngüsüyle belirlenmiş bir son tarih bulunur. Kanıt sentezi vardır çünkü bireysel çalışmalar gürültülüdür: örneklem büyüklükleri küçüktür, bağlamlar farklıdır ve herhangi bir sonuç bir tesadüf, taşınmayacak yerel bir uyum ya da gerçek bir etki olabilir. Bir liderin yanıtlanmasına ihtiyaç duyduğu soru nadiren "bu tek çalışma ne buldu?" olup, "denenmiş inandırıcı her şeye bakıldığında, bunu burada, şimdi yaparsam ne beklemeliyim?" sorusudur.

Kamu değeri kuramı bunu teknik bir incelikten fazlası yapar. Ortak kaynaklarla fonlanan bir program, yurttaşların toplu olarak yetkilendireceği bir değer önermesine dayanır (bu önermenin nasıl ifade edilip izlendiği için bkz. Konu 2.1 — Kamu Değeri Karnesi ve Sonuç Çerçeveleri). Tek bir seçilmiş çalışmaya ya da hiçbir kanıt incelemesine dayanan bir öneri, dikkatli bir sentezle kurulmuş olandan meşruiyet üzerinde daha zayıf bir iddiadır — ve operasyonel kapasite için de daha zayıf bir temeldir, çünkü personel ve bütçeler onun gücüne dayanarak taahhüt edilir. "Neyin işe yaradığı" hareketi — politika kanıtının kalitesini ve gücünü derecelendiren bağımsız kuruluşlar ağı — doğrudan bu sorundan doğdu: çok fazla kamu kararı en iyi desteklenmiş çalışmaya değil en gürültülü olana dayanarak veriliyordu.

Bu konunun ele aldığı daha zor sorun, sentezin kendisi sonuçsuz, tartışmalı ya da zamanında basitçe mevcut olmadığında bir liderin ne yaptığıdır. Kanıt hiyerarşileri dağınık bir kanıt tabanına düzen getirmek için kuruldu, ama dikkatsiz kullanıldığında, "kanıt henüz yeterince güçlü değil" gerçekliğin gerçekte bekleyemeyeceği bir kararı kaçınmak için kalıcı bir mazerete dönüşür. Sentezin nasıl işlediğini ve sınırlarının nerede olduğunu anlayan bir lider, ihtiyatı hak eden gerçek belirsizliği, hiyerarşinin eylemsizliğe örtü olarak kullanılmasından ayırt edebilir.

Bu konu, bir sentezin yararlandığı nedensel çıkarım yöntemlerinin doğal devamıdır (bkz. Konu 2.4 — Kamu Sektörü Ekonometrisi ve Program Değerlendirmesi) ve bir sentezin nihayetinde hizmet ettiği sonuç çerçevelerinin yerini almaz, yanında durur (bkz. Konu 2.1 — Kamu Değeri Karnesi ve Sonuç Çerçeveleri). Bir sistematik derlemeyi okuyabilen, bir neyin işe yaradığı derecelendirmesini anlayabilen ve yokluk ile olumsuz kanıt hakkında açıkça akıl yürütebilen bir lider, yalnızca "daha fazla kanıt" talep edebilen ya da kendisine verilen ilk çalışmayı kabul eden birinden daha iyi canlı kararlar verir.

Temel kavramlar

Bir sistematik derleme, tanımlı bir soru üzerine kanıtın, çalışmaları bulmak, değerlendirmek ve birleştirmek için açık, önceden belirlenmiş, yeniden üretilebilir bir yöntem kullanan sentezidir; kaynakları yazarın takdirine göre seçen anlatısal bir yazın taramasının aksine (bkz. Sistematik derleme). Tanımlayıcı özellikleri, aramaya başlamadan önce yazılmış kayıtlı bir protokol, yayımlanmamış ve gri yazını içeren bir arama stratejisi, açık dâhil etme ölçütleri ve her çalışmanın yanlılık riskini değerlendirmek için standart bir yöntemdir. Bir sistematik derlemeyi dipnotlu iyi yazılmış bir denemeden ayıran budur: aynı protokolü izleyen başka bir ekip geniş ölçüde aynı kanıtı bulur ve geniş ölçüde benzer bir sonuca varır.

Meta-analiz, çoğunlukla bir sistematik derlemeyle eşleştirilen istatistiksel tekniktir: birden çok bağımsız çalışmanın nicel etki büyüklüklerini, genellikle her çalışmayı örneklem büyüklüğüne ve kalitesine göre ağırlıklandırarak, tek, daha kesin bir tahmine havuzlar (bkz. Meta-analiz). Bir meta-analiz yalnızca onu besleyen çalışmalar kadar iyidir; beş zayıf çalışmayı havuzlamak, olası biçimde yanlı bir etkinin daha kesin bir tahminini üretir, güvenilir olanını değil. Analistler bu nedenle heterojenliği — çalışma sonuçlarının şansın öngöreceğinin ötesinde ne kadar değiştiğini — raporlar, çünkü yüksek heterojenlik çalışmaların gerçekten aynı şeyi sınamadığını ve tek bir havuzlanmış sayının yanıltabileceğini işaret eder.

Yayın yanlılığı, olumlu, anlamlı sonuçları olan çalışmaların yayımlanırken boş ya da olumsuz sonuçların bir araştırmacının çekmecesinde kalma eğilimidir; bu da bir müdahaleyi yazında gerçekte olduğundan daha tutarlı biçimde etkili gösterir (bkz. Yayın yanlılığı). Titiz bir derleme bunu yalnızca dergi makalelerini değil deney kayıtlarını ve yayımlanmamış değerlendirmeleri de arayarak düzeltir. Yalnızca yayımlanmış makalelere dayanan bir sentezi okuyan bir lider, derlemecilerin hiç basılmamış çalışmaları bulmak için ne yaptığını sormalıdır.

Kanıt hiyerarşisi, çalışma tasarımlarını karıştırıcı etkeni ve yanlılığı ne kadar iyi kontrol ettiklerine göre sıralar; tipik olarak rastgele kontrollü deneylerin meta-analizlerini en üste, bireysel rastgele kontrollü deneyleri onların altına, sonra yarı deneysel ve gözlemsel tasarımları ve uzman görüşünü en alta yerleştirir (bkz. Kanıt hiyerarşisi). Bir rastgele kontrollü deney, katılımcıları şansla bir müdahale veya karşılaştırma grubuna atar; nedensel bir etkiyi etrafındaki diğer her şeyden ayırmak için en güçlü tek araçtır (bkz. Rastgele kontrollü deney; bu tür tasarımların nasıl kurulup analiz edildiği için bkz. Konu 2.4 — Kamu Sektörü Ekonometrisi ve Program Değerlendirmesi). Hiyerarşi gerçekten yararlı bir sezgisel yöntemdir, ama bir yasa değil bir sezgisel yöntemdir: nadir ya da yavaş hareket eden bir politikanın iyi yürütülmüş bir gözlemsel çalışması, kötü yürütülmüş, güçsüz bir deneyi geride bırakabilir ve onu mutlak bir sıralama olarak ele alan bir lider bazen daha ilgili kanıtı daha prestijli tasarım uğruna atacaktır.

GRADE yaklaşımı — Önerilerin, Değerlendirmenin, Geliştirmenin ve Değerlendirmelerin Derecelendirilmesi — tek başına hiyerarşinin yapmadığı ikinci, ayrı bir yargıyı biçimselleştirir: hem kanıtın kesinliğini hem de bağımsız olarak, ona göre eyleme geçme önerisinin gücünü derecelendirir, çünkü güçlü kanıt her zaman güçlü bir öneriyi haklı çıkarmaz ve zayıf kanıt ağır, acil bir zarara karşı eylemsizliği her zaman haklı çıkarmaz (bkz. GRADE yaklaşımı). Bu ayrım, zaman baskısı altındaki bir karar verici için bu konudaki en yararlı tek fikirdir: bir liderin dürüstçe "buradaki kanıt orta düzeyde ve riskler ile beklemenin maliyeti göz önüne alındığında ilerlememizi öneriyorum" demesine izin verir — kesinliği beklemek ile kanıtı tamamen görmezden gelmek arasında sahte bir seçim yerine savunulabilir, belgelenmiş bir yargı.

Canlı politika tartışmasında sürekli yinelenen bir ayrım kanıt yokluğu ile yokluk kanıtı arasındadır: bir müdahalenin etkisi üzerine çalışma eksikliği ("etki kanıtı yok") iyi güçlendirilmiş bir çalışmalar bütününün olumlu olarak etki bulunmadığını gösterdiği ("etki yokluğunun kanıtı") ile aynı iddia değildir (bkz. Yokluk kanıtı). Henüz değerlendirmesi olmayan yeni bir yerel program basitçe sınanmamıştır; tekrar tekrar hiçbir sonucu kıpırdatmadığı bulunan iyi incelenmiş bir ulusal program sınanmış ve işe yaramadığı gösterilmiştir. İkisini karıştırmak bir kamu liderinin yapabileceği en sonuç doğurucu hatalardan biridir: sınanmamış ama umut verici bir pilotu sanki başarısız olmuş gibi öldürmek ya da tekrar tekrar çürütülmüş bir programı sanki kimse yeterince yakından bakmamış gibi fonlamayı sürdürmek.

Kanıta dayalı politika, kamu kararlarının ideolojiye, anekdota ya da yalnızca sezgiye değil titizlikle belirlenmiş kanıta dayanması gerektiği yönündeki daha geniş hareket ve normatif iddiadır (bkz. Kanıta dayalı politika). Eleştirmenleri ve giderek kendi savunucuları, kanıtın birkaç girdiden biri olduğunu — değerler, yetki, maliyet ve bu kitabın temel saydığı meşruiyet soruları — ve yalnızca kanıtın çözebileceği mekanik bir karar kuralı olmadığını kabul eden "kanıt bilgili politika"yı tercih eder.

Bu hareketten neyin işe yaradığı merkezi veya bilgi merkezi örüntüsü doğdu: her yerel ısmarlayıcının kendi derlemesini yürütmesine bırakmak yerine, bir politika alanındaki müdahaleler için kanıtı sistematik olarak gözden geçiren ve erişilebilir, karşılaştırılabilir derecelendirmeler yayımlayan bağımsız bir kuruluş. Cochrane, modeli 1993'ten itibaren sağlık hizmetinde öncüledi ve tıbbın çok ötesinde kullanılan sistematik derleme metodolojisinin canlı bir el kitabını sürdürüyor (bkz. Cochrane (kuruluş)). Campbell Collaboration, aynı metodolojiyi sosyal politikaya, ceza adaletine, eğitime ve uluslararası kalkınmaya genişletti (bkz. Campbell Collaboration). Ulusal bilgi merkezleri izledi: Amerika Birleşik Devletleri'nin 2002'den beri Eğitim Bilimleri Enstitüsü tarafından yürütülen What Works Clearinghouse'u eğitim araştırmasını açık tasarım standartlarına karşı gözden geçirir (bkz. What Works Clearinghouse); İngiltere'nin Education Endowment Foundation'ı sınıf müdahalelerini maliyet, kanıt gücü ve tipik etki bakımından tek karşılaştırılabilir biçimde derecelendiren yaygın kullanılan bir Teaching and Learning Toolkit yayımlar (bkz. Education Endowment Foundation). Suçun azaltılması, erken müdahale, evsizlik ve sağlıklı yaşlanma için eşdeğer merkezler vardır — aynı yöntem üzerine kurulu küçük bir uluslararası aile: sistematik derleme, şeffaf derecelendirme ve okumak için bir metodoloğa ihtiyaç duymayan uygulayıcıya yönelik bir özet.

İyi uygulamalar

1. Tek çalışmadan önce sentezi isteyin. Masanıza çarpıcı bir sonuç düştüğünde, çalışmanın tek başına ikna edici görünüp görünmediğini değil, o müdahale için zaten bir sistematik derleme ya da neyin işe yaradığı derecelendirmesi olup olmadığını sorun.
2. Altta yatan derlemeyi herhangi bir araç seti derecelendirmesinin yerine değil yanında okuyun. Tek satırlık bir derecelendirme ya da bir asma kilit simgesi bir yargıyı özetler; hangi kanıta dayandığını ve kendi bağlamınıza ne kadar doğrudan uygulandığını anlamanın yerini tutmaz.
3. Kanıtın kalitesini önerinizin gücünden açıkça ayırın. GRADE mantığını gayriresmî olarak bile ödünç alın: kanıtın ne kadar kesin olduğunu belirtin, sonra bu kesinliğin, riskler ve maliyetle birleştiğinde şimdi eyleme geçmeyi ne kadar güçlü haklı çıkardığını ayrıca belirtin.
4. Karar vermeden önce "henüz kanıt yok" mu yoksa "etki yokluğunun kanıtı" mı ile karşı karşıya olduğunuzu adlandırın. Bu ayrımı her kanıt özetinde yazılı olarak koyun, çünkü iki durum neredeyse zıt yanıtları haklı çıkarır — ihtiyatlı pilot uygulama ile durdurma veya yeniden tasarım.
5. Etkinin aktarılacağını varsaymadan önce derlemenin bağlamı ile sizinkinin eşleşip eşleşmediğini kontrol edin. Başka yerlerde yürütülen çalışmalardan havuzlanmış bir etki büyüklüğü bir ortalamadır, bir vaat değil; etkiyi başlangıçta neyin düzenlediğini ve bu düzenleyicilerin burada mevcut olup olmadığını sorun.
6. Tam bir sistematik derleme zaman çizelgenize sığmayacağında hızlı bir kanıt değerlendirmesi görevlendirin. Mevcut yazının yapılandırılmış, zaman kısıtlı bir incelemesi — aylar değil günler veya haftalar — yeni birincil araştırma ile hiç inceleme olmaması arasında meşru bir orta yoldur.
7. Sonuç ne olursa olsun kendi değerlendirmelerinizi yayımlayın. Boş ve olumsuz bulgular bir sonraki sentez için olumlu olanlar kadar değerlidir; onları saklamak, alanınızdaki her gelecekteki derlemeyi zayıflatan yayın yanlılığını kötüleştirir.
8. Alanınızdaki bir neyin işe yaradığı merkezi veya bilgi merkeziyle, ihtiyaç duymadan önce kalıcı bir ilişki kurun. Bir sentez kuruluşunun araç setini canlı bir krizde ilk kez soğuk soğuk aramak, neyi kapsadığını ve bir boşluk hakkında kime soracağınızı zaten bilmekten çok daha yavaştır.
9. Kanıt eşiğinizi sonuçlar gelmeden önce belirleyin, sonra değil. Neyin ölçeklemeyi, daha fazla pilot uygulamayı ya da durdurmayı haklı çıkaracağı konusunda önceden uzlaşın; böylece belirsiz bulguları zaten verilmiş bir karara uyacak biçimde yeniden yorumlama cazibesi azalır.
10. Tüm şüpheyi ortadan kaldıracak bir çalışma arayışını zamanla sınırlayın. Mükemmel, belirsizliksiz bir kanıt tabanını beklemek başlı başına bir karardır, genellikle zaten yaptığınız her neyse onu sürdürme kararıdır; gecikmenin maliyetine olduğu kadar zayıf kanıta göre eylemin maliyetine de saygı gösteren bir son tarih belirleyin.
11. Sentezi değer önermesinin yerine geçecek bir şey değil, ona bir girdi olarak ele alın. En iyi desteklenen müdahale, maliyet, dağılım etkisi ve meşruiyet de birlikte tartıldığında otomatik olarak doğru seçim değildir (bkz. Konu 2.1 — Kamu Değeri Karnesi ve Sonuç Çerçeveleri).
12. Hangi kanıtı değerlendirdiğinizi ve onu neden öyle ağırlıklandırdığınızı belgeleyin. İncelenen çalışmaların ve nihai yargının ardındaki akıl yürütmenin yazılı bir kaydı hem kararın meşruiyetini hem de bir sonraki gözden geçiricinin ondan öğrenme yeteneğini korur.

Ekibinizle tartışılacak sorular

En son ne zaman, bir sistematik derleme ya da neyin işe yaradığı derecelendirmesi zaten yapmayı planladığımızla çeliştiği için canlı bir kararı değiştirdik? Dürüst yanıt "hiç" ise, bu üzerinde durmaya değer, çünkü kanıt incelemesinin gerçek bir kontrol yerine bir doğrulama alıştırması olarak işlev gördüğünü düşündürür. Kanıt tabanının karışık olduğu yakın tarihli bir kararı tartışın ve onun seçimi gerçekten şekillendirip şekillendirmediğini ya da esas olarak önceden varılmış bir sonucu desteklemek için toplanıp toplanmadığını gözden geçirin. Kanıtın karar vericilere sembolik ağırlık yerine gerçek etkiyle ulaşması için kanıtın onlara nasıl ve ne zaman ulaştığında neyin değişmesi gerektiğini düşünün.

Herhangi bir yerde "etki kanıtı yok"u "etki yokluğunun kanıtı" gibi ya da tersi olarak mı ele alıyoruz? Mevcut program portföyünüzü gözden geçirin ve "kanıt yok" diyerek sessizce önceliğini düşürdüğünüz her programı belirleyin ve bunun gerçekten sınanmamış mı yoksa gerçekten çürütülmüş mü anlamına geldiğini kontrol edin. Aynısını diğer yönde yapın: "kimse işe yaramadığını göstermedi" diye fonlamayı sürdürdüğünüz her program, aslında kimsenin bakmamış olduğu durumda. En sonuç doğurucu iki ya da üç örneği düzeltmek için neyin gerekeceğini ve bu düzeltmenin kime ait olması gerektiğini tartışın.

Bir karar için Cuma gününe kadar kanıt gerekseydi, gerçekten hızlı bir kanıt değerlendirmesi sürecimiz var mı yoksa baskı altında doğaçlama mı yapardık? Zaman baskısı varsayımsal değildir; gerçek kanıta dayalı kararların çoğunun alındığı normal koşuldur. Kuruluşunuzun sürekli bir yöntemi olup olmadığını — adı belli bir ekip, bir şablon, önce kontrol edilecek kısa bir neyin işe yaradığı merkezleri listesi — ya da her acil talebin boş bir sayfadan başlayıp başlamadığını tartışın. İkincisiyse, asgari uygulanabilir bir hızlı değerlendirme sürecinin neye benzeyeceğini ve kimin ona sahip olacağını tartışın.

Gerçekte kimin kanıt hiyerarşisini kullanıyoruz ve bu kararın risklerine ve geri alınabilirliğine uyuyor mu? Farklı alanlar kanıt standartlarını farklı uygular ve geri döndürülemez, yüksek riskli kararlar için kalibre edilmiş bir hiyerarşi, ucuz, geri alınabilir, kolayca izlenen bir pilot için her zaman doğru çıta değildir. Kuruluşunuzun risklerden bağımsız olarak tek bir kanıt standardını tekdüze uygulayıp uygulamadığını ve bunun sizi kötü kararlardan mı koruduğunu yoksa yalnızca iyi kararları mı yavaşlattığını tartışın. Kanıtın ne dediğini bilmeden önce, gündeminizdeki sonraki üç karar için hangi standardın gerekli olması gerektiği konusunda ekip olarak uzlaşın.

Kendi değerlendirmelerimizin bir dosya çekmecesinde kaybolmasını durdurmak için somut olarak ne yaptık? Kuruluşunuzun üzerinde oturduğu her yayımlanmamış boş sonuç, başka bir kuruluşun zor yoldan yeniden keşfetmek zorunda kalacağı bir boşluktur. Sicilinizi dürüstçe tartışın: son 10 değerlendirmenizden kaçı dışarıyla paylaşıldı ve paylaşılmayanlara ne oldu. Daha şeffaf olma yönünde genel bir özlem yerine somut, kaynaklandırılmış bir taahhüt — bir yayım politikası, paylaşılan bir kayıt — üzerinde uzlaşın.

"Daha fazla kanıta ihtiyacımız var" ifadesini dürüstçe mi kullanıyoruz, yoksa vermek istemediğimiz bir kararı önlemenin bir yolu olarak mı? Bu, bu konudaki en rahatsız edici sorudur ve doğrudan sorulmayı hak eder. Şu anda kanıt gerekçesiyle durmuş belirli bir kararı belirleyin ve fikrinizi gerçekte neyin değiştireceğini ve beklediğiniz kanıtın gerçekçi biçimde zamanında gelip gelmeyeceğini açıkça tartışın. Gelmeyecekse, sürekli beklemek yerine gerçek belirsizlik altında dürüst bir kararın neye benzeyeceğini ve bunu vermeye kimin yetkisi olduğunu tartışın.

Uygulamada: bir kamu değeri örneği

İş gücü piyasası programlarından sorumlu ulusal bir hükümet dairesinin parçası olan bölgesel bir istihdam kurumu, bir iş eğitimi pilotunu üç ilçeden tüm bölgeye ölçekleyip ölçeklememeye tek bir bütçe döngüsü içinde karar verme baskısı altındaydı. Pilot, sübvanse edilmiş iş yerleştirmelerini yapılandırılmış mentorlukla birleştiriyordu ve kurumun üç pilot ilçede kendi yürüttüğü rastgele deney, 12 ayda sürdürülen istihdamda mütevazı ama istatistiksel olarak anlamlı bir artış buldu. Rakip bir kanıt kaynağı tabloyu karmaşıklaştırdı: önceki yıl yayımlanan, birkaç ülkedeki dokuz benzer programı havuzlayan bir sistematik derleme, çalışmalar arasında geniş değişkenlik ve hangi programların işe yaradığını açıklayan açık bir örüntü olmaksızın, sıfıra yakın bir ortalama etki buldu.

Kurumun kanıt biriminin iki bulguyu uzlaştırmak için bütçe sunum son tarihine altı haftası vardı. Genç bir analistin ilk içgüdüsü, havuzlanmış derlemeyi yalnızca daha fazla çalışmayı birleştirdiği için daha yetkili saymak ve pilotun silinmesini önermekti. Biriminin baş kanıt danışmanı karşı çıktı: gerçekten farklı programlar arasında sıfıra yakın havuzlanmış bir ortalama, bu belirli, iyi uygulanmış yerel programın başarısız olacağının güçlü kanıtı değildi — genel olarak iş eğitimi programlarının kalite ve uyum bakımından heterojen olduğunun kanıtıydı; bu zaten biliniyordu. Derlemede raporlanan yüksek heterojenlik başlı başına havuzlanmış ortalamadan daha önemli bir bulguydu.

Danışman ikili bir seçim yerine orta bir yol önerdi. Genişleme ilçelerinin rastgele seçildiği, böylece kullanıma sunmanın yalnızca bir varsayıma karşı harcama yapmak yerine daha fazla kanıt ürettiği, bölgenin yarısına aşamalı bir ölçeklemeyi önerdi (aşamalı bir kullanıma sunmanın daha ileri bir değerlendirme olarak nasıl tasarlanabileceği için bkz. Konu 2.4 — Kamu Sektörü Ekonometrisi ve Program Değerlendirmesi). Ayrıca özgün deneyin yöntemleri ve ham verisi dahil tam olarak yayımlanmasını önerdi, böylece kurum dışında hiç kimsenin görmeyeceği dahili bir raporda kalmak yerine bir sonraki sistematik derleme tarafından alınabilirdi.

Dairenin liderliği aşamalı yaklaşımı onayladı; iş gerekçesinde (bkz. Konu 2.5 — İş Gerekçeleri ve Paranın Karşılığı) açıkça, kanıt kesin olduğu için verilmiş bir karar olarak değil, belirsizliği 18 ay içinde çözecek yerleşik bir mekanizmayla orta kesinlikli kanıt altında verilmiş bir karar olarak çerçevelendi. 18 ay sonra, genişleme ilçeleri özgün pilotunkine yakın bir etki gösterdi ve daire, iki kaynağın tek başına sunduğundan daha güçlü bir kanıt tabanıyla daha fazla ölçekledi — ve beklemek yerine neden harekete geçmeyi seçtiğini gösteren net bir belge izi.

Bu senaryo yalnızca örnektir ve kurgusaldır; herhangi bir gerçek dairenin programını ya da değerlendirmesini tanımlamaz.

Dört sektör bakışı

Yerel yönetim

Bir yerel yönetimin kendi sistematik derlemesini görevlendirecek bütçesi veya vaka yükü nadiren vardır; dolayısıyla pratik becerisi ulusal ve uluslararası sentez kanıtını gerçek zaman baskısı altında belirli bir yerel bağlama çevirmektir — araç seti tarafından derecelendirilen bir müdahalenin kanıt tabanının kendi nüfusuna, hizmet sistemine ve fonlama düzeyine benzeyip benzemediğini, derecelendirilen etkinin aktarılacağını varsaymadan önce kontrol etmek. Yerel liderler ayrıca bu konunun uyardığı her iki hatanın maliyetine en yakın olanlardır: bir sentezin zaten işe yaramadığını gösterdiği bir müdahaleye göre eylemek ve hiçbir neyin işe yaradığı merkezi henüz derecelendirmediği için gerçekten umut verici ama yeterince değerlendirilmemiş yerel bir yeniliği reddetmek.

Merkezi yönetim

Merkezi yönetim, neyin işe yaradığı merkezlerinin ve resmî kanıt hiyerarşisi rehberliğinin çoğunun bulunduğu yerdir; bu, ulusal bölümlere sentez altyapısına yakınlık, ama aynı zamanda bir kanıt hiyerarşisini bir karar yardımcısı yerine bürokratik bir kapı olarak ele alma konusunda en büyük maruziyeti verir. Karakteristik ulusal görev, bu altyapıyı görevlendirmek ve sürdürmektir — bir bilgi merkezini fonlamak, kanıt standartlarını belirlemek ve derecelendirmelerinin son tarih baskısı altında politika ekiplerinin nadiren başvurduğu saygın bir web sitesi olarak var olmak yerine iş gerekçelerini yazan yetkililere gerçekten ulaşmasını sağlamak (bkz. Konu 2.5 — İş Gerekçeleri ve Paranın Karşılığı).

Sosyal sektör ve kâr amacı gütmeyen kuruluşlar

Kâr amacı gütmeyen kuruluşlar ve hayır kurumları tipik olarak ölçekte titiz değerlendirmeler yürütmek için kaynaktan yoksundur; bu da onları dış sentez kuruluşlarına ve giderek bir hibe koşulu olarak derecelendirilmiş bir kanıt düzeyiyle uyum talep eden fon sağlayıcılara büyük ölçüde bağımlı kılar. Bu ayırt edici bir risk yaratır: mali baskı altındaki kuruluşlar programlarının olumlu bir derecelendirmeye ne kadar iyi eşlendiğini abartmak için cezbedilebilir — bir tür kanıt aklama — ya da tersine, küçük ama gerçekten etkili yerel hayır kurumları, ulusal bir bilgi merkezinin yüksek derecelendireceği kanıtı üretecek kadar büyük hiç olmadıkları için fonlamanın dışına sıkıştırılabilir (bu baskının ardındaki fonlama yapıları için bkz. Konu 3.8 — Sosyal Sektör ve Kâr Amacı Gütmeyen Kuruluşların Yönetimi).

Çok taraflı ve uluslararası

Çok taraflı ve uluslararası kuruluşlar genellenebilirlik sorunuyla en keskin biçimiyle karşılaşır: bir ülkenin sağlık sisteminde, tarım sektöründe ya da iş gücü piyasasında kanıtlanmış bir müdahale, çok farklı bir ekonomik ve kurumsal bağlam için rutin olarak önerilir ve sentez yazını bu desteklenmeyen aktarımı öncesinde değil sonrasında işaretlemede daha iyidir. Bu boşluğu kapatmak için kurulan Abdul Latif Jameel Poverty Action Lab gibi araştırma ağları, kalkınma politikasını tek ülkeli kavram kanıtı yerine bağlama özgü kopyalamaya doğru itmiştir, ama küresel olarak karşılaştırılabilir kanıt ile bağlama bağımlı etkiler arasındaki gerilim bu ölçekte sentezin tanımlayıcı özelliği olmaya devam etmektedir.

Sık görülen başarısızlık biçimleri

Eylemsizlik için bir mazeret olarak kanıt hiyerarşisi. Zor, tartışmalı bir kararla karşılaşan bir ekip, gecikmenin gerçek itici gücü siyasi rahatsızlık ya da hesap verebilirlikten kaçınma isteği olduğunda, süresiz ertelemek için "yetersiz kanıt" veya "henüz rastgele deney yok"u gerekçe gösterir. Bu, kuruluşa fırsatın kendisine ve kanıt tabanına belirsizliği çözebilecek gerçek dünya sınavına mal olur; bir sonraki karar vericiyi tam olarak aynı boşlukla karşı karşıya bırakır.

Kanıt yokluğunu yokluk kanıtıyla karıştırmak. Umut verici ama sınanmamış bir yerel yenilik sanki denenmiş ve başarısız olmuş gibi öldürülürken, tekrar tekrar çürütülmüş bir ulusal program, kimse kanıtı bir boşluk yerine olumsuz bir bulgu olarak çerçevelemediği için fonlanmaya devam eder. Her iki hata da pahalıdır: biri umut verici seçenekleri kapatır, diğeri açık görüşlü bir sentezin yıllar önce emekliye ayıracağı programları korur.

Bir araç seti derecelendirmesini tüm analiz saymak. Bir karar verici tek bir asma kilit simgesi ya da yıldız derecelendirmesi okur ve altta yatan çalışmaların kendi bağlamı, nüfusu ya da ölçeğiyle eşleşip eşleşmediğini kontrol etmeden orada durur. Derecelendirmeler erişilebilirlik için kasıtlı olarak sıkıştırılmıştır; altta yatan derleme olmadan kullanıldığında, derecelendirmenin sadeliğinin önerdiğinden daha ince bir kanıt tabanına dayanan kendinden emin kararlar üretebilir.

Başlık havuzlanmış sonuç lehine heterojenliği göz ardı etmek. Bir meta-analizin tek ortalama etki büyüklüğü bir brifingde alıntılanırken, onu üreten çalışmalar arasındaki geniş değişkenlik — çoğu zaman daha bilgilendirici bulgu — atılır. Bu sahte kesinlik üretir: bir karar verici, uygulama kalitesi ve bağlam müdahalenin kendisi kadar iş yaparken, her uygulamanın aynı biçimde davrandığı gibi hareket eder.

Yayın yanlılığının kanıt tabanını sessizce şekillendirmesine izin vermek. Bir kuruluş bir müdahaleyi değerlendirirken yalnızca yayımlanmış akademik yazını okur; bir dergiye hiç girmemiş yayımlanmamış olumsuz deneyleri ve dahili değerlendirmeleri kaçırır. Ortaya çıkan "neyin işe yaradığı" tablosu sistematik olarak olumlu yöne çarpıktır ve onun üzerine kurulan kararlar bu çarpıklığı kimse bilinçli olarak seçmeden devralır.

Olgunluk modeli

Kontrol listesi

• Tek bir çalışmaya güvenmeden önce sistematik derleme veya neyin işe yaradığı derecelendirmesi kontrol edildi.
• Yalnızca özet derecelendirme veya simge değil, altta yatan kanıt incelemesi okundu.
• Kanıtın kalitesi ve önerinin gücü iki ayrı yargı olarak belirtildi.
• "Etki kanıtı yok" ile "etki yokluğunun kanıtı" yazılı özette açıkça ayrıldı.
• İncelenen çalışmalar ile eldeki karar arasındaki bağlam uyumu (nüfus, ölçek, hizmet sistemi) kontrol edildi.
• Tam bir derleme zaman çizelgesine sığmadığında kullanılabilecek bir hızlı kanıt değerlendirmesi süreci mevcut ve kullanıldı.
• Karar için kanıt eşiği, sonuçlar gözden geçirilmeden önce kararlaştırıldı.
• Sonuç ne olursa olsun bu kuruluşun kendi değerlendirmesini yayımlamak için bir plan yerinde.
• İlgili bir neyin işe yaradığı merkezi veya bilgi merkeziyle, baskı altında sıfırdan kurulmadan, kalıcı bir ilişki kuruldu.
• Nihai yargının ardındaki akıl yürütme, değerlendirilen ve reddedilen kanıt dahil belgelendi.
• Karar, yalnızca kanıt gücüne göre değil, değer önermesi ve meşruiyet değerlendirmeleri açısından da gözden geçirildi.

Temel kaynaklar

• Cochrane tarafından sürdürülen The Cochrane Handbook for Systematic Reviews of Interventions, sektörler arası sistematik derleme pratiğinin üzerine kurulduğu temel metodoloji için.
• Campbell Collaboration'ın sosyal, davranışsal ve suç bilimsel politika için sistematik derlemeler ve kanıt sentezi rehberliği, bu metodolojinin sağlığın ötesindeki kamu politikası alanlarına doğrudan genişletilmesi için.
• What Works Clearinghouse'un Standards Handbook'u (Institute of Education Sciences, Amerika Birleşik Devletleri), ulusal bir bilgi merkezinin açık çalışma tasarımı standartlarını nasıl belirlediğine ve kanıtı onlara karşı nasıl derecelendirdiğine dair işlenmiş bir örnek için.
• Education Endowment Foundation'ın Teaching and Learning Toolkit'i, havuzlanmış kanıtı karşılaştırılabilir maliyet, etki ve kanıt gücü derecelendirmelerine çevirmenin pratik, uygulayıcıya yönelik bir örneği için.
• Organisation for Economic Co-operation and Development (OECD)'nin kanıt bilgili politika yapımı için kapasite oluşturma çalışması, hükümetlerin kanıt kullanımının talep ve arz taraflarını nasıl örgütlediğine dair ülkeler arası bir anlatım için.
• College of Policing'in Suç Azaltma için What Works Center'ı ve suç azaltma araç seti, bilgi merkezi örüntüsünün sağlık ve eğitim dışında uygulanmış bir başka işlenmiş örneği için.

Kaynakça

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Center for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-center-crime-reduction