Kamu Sektörü Ekonometrisi ve Program Değerlendirmesi

Bu neden kamu değeri açısından önemlidir

Her yıl kamu kuruluşları programları bir sonuç karşılaştırmasının gücüne dayanarak yeniler, genişletir ya da iptal eder: iş programının katılımcıları katılmayanlardan daha hızlı iş buldu; özel ders programındaki öğrenciler ders almayan öğrencilerden daha yüksek puan aldı. Her karşılaştırma bir betimleme olarak doğrudur ve bir argüman olarak tehlikelidir, çünkü hiçbiri tek başına programın farka neden olup olmadığını söylemez. Bir iş programına kaydolan insanlar çoğu zaman kaydolmayanlardan daha motiveli olur ve özel ders için seçilen öğrenciler çoğu zaman bir öğretmen zaten onların iyi yanıt vermesini beklediği için seçilir. "Müdahale grubu daha iyi yaptı" ile "müdahale onları daha iyi yaptırdı" arasındaki boşluk, tam olarak nedensel çıkarımın kapatmak için var olduğu boşluktur.

Bu akademik bir incelik değildir. Bir programın fonlamasını yenilemesi istenen bir maliye komitesi, odadaki kimse bu sözcüğü kullansa da kullanmasa da zımnen bir nedensellik iddiası üzerine kamu parası harcamayı onaylamak istenmektedir. Konu 2.1 size bir programın neyi değiştirmeyi amaçladığını belirten sonuç çerçevesini verdi (bkz. Konu 2.1 — Kamu Değeri Karnesi ve Sonuç Çerçeveleri); bu konu size onun gerçekten değiştirip değiştirmediğini ve ne kadar değiştirdiğini sınayan yöntemleri verir. Fayda-maliyet ve maliyet-etkililik analizi (bkz. Konu 2.2 — Sosyal Fayda-Maliyet ve Maliyet-Etkililik Analizi) ve sosyal yatırım getirisi (bkz. Konu 2.3 — Sosyal Yatırım Getirisi ve Etki Ölçümü) ikisi de üzerinde çalışacakları savunulabilir bir etki büyüklüğüne ihtiyaç duyar; bu konu o etki büyüklüğünün geldiği yerdir ya da elinizdeki sayının üzerine konan ağırlığı taşıyamayacağını öğrendiğiniz yerdir.

Riskler yalnızca mali değildir. Kusurlu bir değerlendirmenin etkili göstermesi nedeniyle etkisiz bir programı ölçekleyen bir hükümet, para harcamış ve çoğu zaman daha da kötüsü, hiç şansı olmayan gerçekten etkili bir alternatifin yerini almıştır; saf bir karşılaştırmanın işe yaramaz göstermesi nedeniyle etkili bir programı iptal eden bir hükümet, daha iyi tasarlanmış bir değerlendirmenin koruyacağı değeri yok etmiştir. Nedensel tanımlamayı doğru yapmak ve onu doğru yapamayacağınızı bilmek, bir uzmanın yan ilgisi değil başlı başına bir kamu değeri yetkinliğidir.

Temel kavramlar

Nedensel çıkarım, bir değişkenin değişiminin diğerinde bir değişim üretip üretmediğini ve ne kadar ürettiğini, ikisinin yalnızca birlikte hareket etmesinden ayrı olarak belirlemekle ilgilenen istatistik dalıdır. Bu konudaki her yöntemin yararlandığı kavramsal temeli — karşı olgusal akıl yürütme, müdahale ve kontrol dili, bir nedensel iddiaya yönelik belirli tehditlerin kataloğu — sağlar. Wikipedia: Nedensel çıkarım.

Karşı olgusal durum, bir kişi ya da birimin programı almamış olsaydı yaşayacağı sonuçtur ve her nedensel yöntemin yaklaşıklamaya çalıştığı merkezî, gözlemlenemez büyüklüktür: bir katılımcıya ne olduğunu izleyebilirsiniz, ama aynı kişiye yardım almasaydı ne olacağını asla. Aşağıdaki her yöntem, o eksik gözlem için inandırıcı bir vekil kurmanın farklı bir stratejisidir. Başlıca istatistikçi Donald Rubin tarafından geliştirilen Rubin nedensel modeli bunu "potansiyel sonuçlar" çerçevesi olarak biçimselleştirir: her birimin müdahale altında bir ve kontrol altında bir potansiyel sonucu vardır ve nedensel etki ikisi arasındaki farktır; yalnızca biri hiç gözlemlenir. Wikipedia: Rubin nedensel modeli.

Karıştırıcı etken, üçüncü bir faktör hem bir birimin programı alıp almadığını hem de programın değiştirmesi amaçlanan sonucu etkilediğinde ortaya çıkar; programın aslında karıştırıcı etkenin ürettiği bir etkiye neden olmuş gibi görünmesine yol açar. Motivasyon, önceki yetenek, yerel ekonomik koşullar ve hane serveti kamu programı değerlendirmesinde yinelenen karıştırıcı etkenlerdir, çünkü bir hizmeti kimin kullandığını ve o kişinin ya da yerin sonrasında nasıl olduğunu rutin olarak etkilerler. Wikipedia: Karıştırıcı etken.

Seçilim yanlılığı, katılımcıların müdahale grubuna nasıl girdiğinden — kendi kendine seçilim, personel sevki ya da uygunluk kuralları — doğan karıştırıcı etkenin özel durumudur; öyle ki müdahale gören ve görmeyen gruplar program onlara hiç dokunmadan önce sistematik olarak farklıdır. Yalnızca en motiveli iş arayanların kaydolduğu bir iş programı, hiçbir şey yapmasa bile etkili görünür, çünkü karşılaştırma grubu katılımcıların yardımsız olarak yapacağı şey için hiçbir zaman adil bir vekil olmamıştır. Wikipedia: Seçilim yanlılığı.

Korelasyon nedensellik anlamına gelmez, bu konunun uygulamaya döktüğü genel uyarıdır: birlikte hareket eden iki değişken birinin diğerine neden olmasıyla, tersiyle, ortak bir nedenle veya tesadüfle tutarlıdır ve örüntünün kendisi bunları birbirinden ayıramaz. Dondurma satışları ve boğulma ölümleri her yaz, hiçbiri diğerine neden olmadan artar, çünkü sıcak hava ikisini birden yönlendirir; kamu programı değerlendirmesi aynı tuzağın daha ince sürümleriyle doludur. Wikipedia: Korelasyon nedensellik anlamına gelmez.

Politika değerlendirmesi yazınında rastgele değerlendirme olarak da adlandırılan rastgele kontrollü deney (RKD), uygun birimleri rastgele olarak programı alan bir müdahale grubuna ve almayan bir kontrol grubuna atar; böylece ortalama olarak iki grup yalnızca müdahale görüp görmemeleri bakımından farklıdır. Rastgeleleştirme güçlüdür çünkü karıştırıcı etkenle toptan başa çıkar: ölçebildiğiniz ve ölçemediğiniz karıştırıcı etkenleri, önceden adlandırmaya gerek kalmadan dengeler. Wikipedia: Rastgele kontrollü deney.

Farkların farkı (FF), müdahale gören bir grubun sonuçlarındaki zaman içindeki değişimi, programı almayan bir karşılaştırma grubunun aynı dönemdeki değişimiyle karşılaştırır; program olmasa iki grubun paralel eğilimleri izleyeceğini varsayar. Bir program bir yargı alanına diğerinden önce ulaştığında ve rastgeleleştirme hiçbir zaman bir seçenek olmadığında iş atı yöntemdir, çünkü amaca özel kurulmuş bir deney yerine rutin olarak toplanan idari veriyi kullanabilir. Wikipedia: Farkların farkı.

Regresyon süreksizliği tasarımı (RST), müdahaleyi ölçülen bir puanın sabit bir kesme noktasını geçmesine göre atayan bir program kuralından yararlanır — tam bir gelir eşiğinde başlayan bir yardım, geçme notunun hemen altında puan alan öğrencilere atanan bir telafi sınıfı — ve eşiğin hemen üstündeki ve altındaki, aksi hâlde benzer olan birimler için sonuçları karşılaştırır. Bir birimin eşiğin hangi tarafına düştüğü onun çevresindeki dar bir bantta fiilen keyfî olduğundan, karşılaştırma kimse bir şeyi rastgeleleştirmeden yerel bir rastgele deneyi yaklaşıklar. Wikipedia: Regresyon süreksizliği tasarımı.

Araç değişken (AD) tahmini, bir programa katılımı etkileyen ama sonuç üzerinde o katılım dışında doğrudan etkisi olmayan üçüncü bir değişkeni, bir "aracı", müdahale-sonuç ilişkisinin aksi hâlde karıştırıcı etkenin kirleteceği kısmını ayıklamak için kullanır. Klasik bir kamu politikası aracı bir tesise olan mesafe ya da kura ile tahsis edilen bir yerdir; bu, sonuca bağımsız olarak neden olmadan katılımı kaydırır; yöntemin güçlüğünün çoğu aracın sonucu yalnızca program aracılığıyla etkilediğini savunmakta yatar. Wikipedia: Araç değişken tahmini.

Doğal deney, araştırmacı tasarımından değil politikadan, coğrafyadan veya koşuldan doğan, bazı insanların bir programa maruz kaldığı ve karşılaştırılabilir diğerlerinin kalmadığı, sanki kimse yürütmeden bir deney yürütülmüş gibi bir durumdur. Bir doğum tarihi kesme noktasında yürürlüğe giren bir politika değişikliği, neredeyse özdeş hanelerin farklı yargı alanlarına koyan bir sınır ya da aşırı talep gören bir yeri paylaştıran bir kura, RST, AD veya FF'nin sonra analiz edebileceği doğal deneylerdir. Wikipedia: Doğal deney.

Hawthorne etkisi, insanların yalnızca gözlemlendiklerini bildikleri için, programın gerçek içeriğinden bağımsız olarak davranışlarını değiştirme riskini adlandırır; kontrol grubu eşit yoğunlukta gözlemlenmezse tahmin edilen etkiyi şişirebilir — ölçme eylemi kendisi müdahalenin bir parçası olabilir. Wikipedia: Hawthorne etkisi.

İstatistiksel güç, bir değerlendirmenin, varsa, belirli büyüklükteki gerçek bir etkiyi saptama olasılığıdır; esas olarak örneklem büyüklüğüne, aranan etki büyüklüğüne ve sonuçların gruplar içinde ne kadar değiştiğine bağlıdır. "Anlamlı bir etki yok" bulan güçsüz bir değerlendirme çoğu zaman programın hiçbir şey yapmadığını göstermemiştir; değerlendirmenin her iki yönde söylemek için çok küçük olduğunu göstermiştir; liderlerin bir hüküm verme baskısı altında sık sık gözden kaçırdığı bir ayrımdır. Wikipedia: Güç (istatistik).

İyi uygulamalar

1. Değerlendirme tasarımına program başlamadan önce karar verin, sonra değil. Rastgele bir değerlendirme, farkların farkına uygun kademeli bir kullanıma sunma ya da regresyon süreksizliği tasarımına uygun bir uygunluk eşiği, teslim ad hoc olarak zaten başladıktan sonra sonradan eklemekten başlangıçtan yerleştirmek için çok daha kolaydır.
2. Her değerlendirme özetinde karşı olgusal durumu açıkça belirtin. Katılımcıları neyle karşılaştırdığınızı bir cümleyle yazın — hiç program yok, önceki program, farklı bir müdahale — çünkü belirtilmemiş bir karşı olgusal durum, en keskin değerlendirme anlaşmazlıklarının genellikle saklandığı yerdir.
3. Basit bir öncesi-sonrası karşılaştırmasını bir başlangıç hipotezi olarak ele alın, asla bir bulgu olarak değil. Sonuçlar programınızla ilgisiz birçok nedenle sürüklenir — ekonomik döngü, mevsimsel etkiler, aynı zamanda yürürlüğe giren başka politika değişiklikleri — ve bir öncesi-sonrası tasarımı programınızın katkısını onlarınkinden ayıramaz.
4. Yöntemi, en aşina bulduğunuz yönteme değil programı gerçekte atayan kurala uydurun. Kurayla paylaştırılan bir program, siz ona hiç deney demeseniz bile rastgele bir değerlendirmenin mantığını gerektirir; puanlı bir eşikle atanan bir program regresyon süreksizliği tasarımını gerektirir; bazı bölgelere diğerlerinden önce yayılan bir program farkların farkını gerektirir.
5. Sonuçları görmeden önce sonuç ölçülerini ve analiz planını önceden kaydedin. Hangi sonucun "başarı" sayılacağına, hangisinin kıpırdadığını gördükten sonra karar vermek, yanlış pozitiflere giden iyi belgelenmiş bir yoldur ve önceden kayıt buna karşı standart savunmadır.
6. Değerlendirmenin gücünü kolaylık için değil, programın maliyetini hâlâ haklı çıkaracak en küçük etki büyüklüğü için ayarlayın. Politikaca anlamlı bir etkiyi saptayamayacak kadar küçük bir değerlendirme, başarısızlığın kanıtı olarak yanlış okunan bilgilendirici olmayan bir "anlamlı fark yok" sonucu üretir.
7. Yalnızca başlık etkisini değil, karşılaştırma grubunun özelliklerini de müdahale grubununkilerle birlikte raporlayın. İnandırıcı bir değerlendirme şüpheci bir okuyucunun iki grubun müdahaleden önce benzer olup olmadığını kontrol etmesine izin verir; bunu saklayan bir değerlendirme okuyucunun dengeyi inanca dayanarak kabul etmesini sağlar.
8. Değerlendirmeyi teslim ekibinden bağımsız bir kaynaktan görevlendirin ya da yapamıyorsanız analizi duvarla ayırın. Bir programın başarısında payı olan bir ekibin, belirsiz kanıtı programın lehine yorumlamak için çoğu zaman bilinçsiz, yapısal bir teşviki vardır.
9. Her raporda istatistiksel anlamlılığı pratik ve mali anlamlılıktan ayırın. Kesin biçimde tahmin edilmiş küçük bir etki ve belirsiz biçimde tahmin edilmiş büyük bir etki farklı kararlar gerektiren farklı bulgulardır ve ikisini de "anlamlı" ya da "anlamlı değil" içine çökertmek bir fonlama kararının gerçekten ihtiyaç duyduğu ayrımı siler.
10. Değerlendirme için tasarım aşamasında program maliyetinin sabit bir payı kadar bütçe ayırın, artakalan ne ise o değil. Kamu değeri açısından önemli olacak kadar büyük bir program genellikle inandırıcı bir etki değerlendirmesini fonlayacak kadar büyüktür ve değerlendirmeyi isteğe bağlı ele almak zayıf kanıtın rutin hâle gelme biçimidir.
11. Boş ve olumsuz sonuçları olumlu olanlarla aynı görünürlükle yayımlayın. Yalnızca başarılı değerlendirmeleri duyuran bir ısmarlama ortamı, yayımlanmış kanıt tabanının kendisinde bir seçilim yanlılığı yaratır ve herkesin sonraki "neyin işe yaradığı" yargısını iyimserliğe doğru çarpıtır.
12. Tamamlanan her değerlendirmeyi yalnızca kendi arşivinize değil sektörünüzün sürdürdüğü daha geniş kanıt tabanına besleyin. Tek bir değerlendirme, ne kadar iyi tasarlanmış olursa olsun, tek bir veri noktasıdır; birçoğu arasındaki sistematik sentez bir program bulgusunu aktarılabilir bilgiye dönüştürür (bkz. Konu 2.6 — Kanıt Sentezi ve Neyin İşe Yaradığı).

Ekibinizle tartışılacak sorular

Bu programı gerçekte hangi karşı olgusal durumla karşılaştırıyoruz ve bunu yüksek sesle söyledik mi? Her etki iddiası bir karşılaştırma ima eder, ama ekipler sıklıkla onu örtük bırakır ve "bu işe yaradı"nın sessizce "hiçbir şeyden iyi", "daha önce yaptığımızdan iyi" ve "fonlayabileceğimiz en iyi alternatiften iyi" arasında kaymasına izin verir. Değerlendirme sorumlunuzdan karşı olgusal durumu sade dilde tek bir cümle olarak belirtmesini isteyin, sonra elinizdeki kanıtın gerçekten o belirli karşılaştırmayla ilgili bir iddiayı destekleyip desteklemediğini kontrol edin. Dürüst karşı olgusal durum "aksi hâlde ne olacağını bilmiyoruz" ise, mevcut etki iddiasını bir bulgu değil bir hipotez olarak ele alın ve bu boşluğu kapatmanın neyi gerektireceğini tartışın.

Bu programı kullanan insanlar ya da yerler, sonucu da etkileyecek biçimlerde, kullanmayanlardan sistematik olarak farklı olabilir mi? Bu seçilim yanlılığı sorusudur ve yanıt bariz biçimde "hayır" göründüğünde bile — özellikle göründüğünde — sormaya değerdir. Motivasyon, önceki koşullar, yerel kapasite ve personel sevk örüntüleri, büyük, özenli görünen bir örneklemle bile yanıltıcı bir etki tahmini üreten yaygın gizli fark kaynaklarıdır. Ekip katılımcıların programa nasıl girdiğini anlatamıyorsa bunu dışlayamaz ve bu boşluk sizi küçük bir örneklem büyüklüğünden daha çok endişelendirmelidir.

Değerlendirme tasarımımız programa mı yerleştirildi yoksa sonradan mı eklendi ve bu bize neye mal oldu? Rastgele bir değerlendirme, kademeli bir kullanıma sunma ya da puanlı bir uygunluk eşiği, başlatmadan önce planlandığında, hangi idari veri hayatta kaldıysa ondan yeniden kurulduğundan çok daha ucuz ve inandırıcıdır. Programın tasarım aşamasında hangi değerlendirme tasarım seçeneklerinin düşünüldüğünü sorun ve hiçbiri düşünülmediyse, bunu yalnızca bu programın bir sınırlaması olarak değil sonraki programdan önce kapatılacak bir süreç boşluğu olarak ele alın. Bir sonraki büyük programın inandırıcı bir nedensel tahmini destekleyebilmesi için ilk günden hangi verinin var olması gerektiğini tartışın.

Örneklemimiz bilmeye değer bir etkiyi saptayacak kadar büyük mü ve gördüğümüzde güçsüz bir "etki yok" bulgusunu tanır mıydık? Anlamlı bir etki bulmayan bir değerlendirme bazen doğru biçimde programın işe yaramadığını, bazen yalnızca değerlendirmenin gerçekten orada olan bir etkiyi görmek için çok küçük olduğunu söyler. Analistlerinizden değerlendirmenin saptamak için güçlendirildiği en küçük etki büyüklüğünü belirtmelerini isteyin ve bunu programın maliyetini gerçekten haklı çıkaracak etki büyüklüğüyle karşılaştırın. Bu iki sayı birbirinden çok uzaksa, "etki yok" bulgusu mahkûm edici değil bilgilendirici olmayabilir ve ekip sessizliğin başarısızlık olarak okunmasına izin vermek yerine bunu açıkça söylemelidir.

Bu değerlendirme olumlu çıkarsa mesleki ya da itibar açısından kim yararlanır ve bu, ne kadar bağımsız inceleme gerektirdiğini değiştirir mi? Bu bir sahtekârlık suçlaması değildir; bir programı tasarlayan ya da teslim edenlerin belirsiz sonuçları, çoğu zaman bunu yaptıklarını fark etmeden, cömertçe yorumlamaya yapısal olarak daha yatkın olduğunun kabulüdür. Değerlendirmenin teslim ekibinden bağımsız biri tarafından ısmarlanıp, analiz edilip ya da gözden geçirilip geçirilmediğini ve değilse bu büyüklükte bir program için orantılı bir duvarın neye benzeyeceğini tartışın. Amaç, yalnızca kendi ekibinizin savunmaktan rahat olduğu değil, en şüpheci fon sağlayıcınızın da güveneceği bir sonuçtur.

Bu değerlendirmenin bulgusu sağlamsa gerçekte neyi farklı yaparız ve bunu yapmaya hazır mıyız? Görevlendirilmiş ama hiçbir zaman bir kararı değiştirmesi amaçlanmayan bir değerlendirme, gereken özen kılığına girmiş batık bir maliyettir ve sonuçlar gelmeden önce bu riski adlandırmaya değer, sonra değil. Güçlü bir olumlu bulgunun neyi haklı çıkaracağını (ölçekleme ve ne kadar) ve boş veya olumsuz bir bulgunun neyi tetikleyeceğini (yeniden tasarım ya da iptal ve hangi takvimle) önceden tartışın. Odadaki kimse bunu sonuçları görmeden yanıtlayamıyorsa, değerlendirme bir karar işlevinden çok bir meşruiyet işlevi görüyor olabilir ve bu konuda dürüst olmaya değer (bkz. Konu 2.1 — Kamu Değeri Karnesi ve Sonuç Çerçeveleri).

Uygulamada: bir kamu değeri örneği

Kurgusal örnek. Adı belirtilmeyen orta büyüklükte bir ülkede İstihdam Hizmetleri Bakanlığı, mevcut standart hizmetin yanında, uzun süreli işsiz iş arayanlar için yoğun bir koçluk hizmetinin bir yıllık pilot uygulamasını yürüttü. Pilotun sonunda dahili bir rapor, yoğun koçluk alan grubu, aynı dönemde işsizlikten ayrılan herkesle karşılaştırdı: koçluk alan grubun altı ay içinde yüzde 38 işe yerleştirme oranı vardı, vaka yükünün geri kalanında yüzde 24. Bakanlara programın "işe yaradığı" söylendi ve ulusal ölçekte yaygınlaştırmak için bir iş gerekçesi ilerletildi.

Fonlamayı onaylamadan önce maliye komitesi basit bir soru sordu: iş arayanlar koçluk grubuna ilk etapta nasıl girmişti? Yanıtın büyük önem taşıdığı ortaya çıktı. Vaka görevlileri "en çok yararlanması muhtemel" olarak değerlendirdikleri iş arayanları koçluk pilotuna sevk etmişti; bu, fiilen başından beri daha işe hazır bir grubu müdahaleye seçen iyi niyetli bir önceliklendirme kararıydı. Yüzde 38'e karşı yüzde 24 karşılaştırması tam olarak bu konunun uyardığı seçilim yanlılığıyla kirlenmişti: koçluk grubunun hiç koçluk almasa bile vaka yükünün geri kalanından daha iyi performans göstermesi tümüyle mümkündü.

Yaygınlaştırmayı bu karşılaştırmaya dayanarak onaylamak ya da reddetmek yerine, bakanlığın değerlendirme birimi kura kullanan ikinci bir aşama önerdi. Koçluk hizmetine olan talep zaten mevcut yerleri aşıyordu; bu nedenle birim yerleri eşit derecede uygun başvuranlar arasında rastgele dağıttı ve işe yerleştirme oranlarını kura kazananlar ile kura kaybedenler arasında karşılaştırdı; bu, hizmeti aksi hâlde alamayacak hiç kimseden esirgemeye gerek kalmadan rastgele değerlendirme mantığının bir uygulamasıydı. On iki ay sonra kura karşılaştırması daha küçük ama gerçek bir etki gösterdi: altı aylık yerleştirmede 9 puanlık bir iyileşme; özgün karşılaştırmanın ima ettiği 14 puanlık fark değil. Bakanlık, kura temelli tahmini kendi maliyet verileriyle birlikte, kusurlu ilk karşılaştırmanın haklı çıkaracağı daha büyük, teslim edilemez genişleme yerine ölçeklenmiş ama kaynak kısıtlı bir yaygınlaştırma için savunulabilir bir maliyet-etkililik gerekçesi (bkz. Konu 2.2 — Sosyal Fayda-Maliyet ve Maliyet-Etkililik Analizi) kurmak için kullandı.

Dört sektör bakışı

Yerel yönetim

Yerel yönetimler tipik olarak birkaç çok büyük program yerine birçok küçük ve orta ölçekli program yürütür; bu, amaca özel kurulmuş rastgele değerlendirmeleri program boyutuna göre pahalı kılar ve yerel değerlendiricileri halihazırda toplanan idari veriyi yeniden kullanan yarı deneysel yöntemlere iter — bir değişikliği farklı zamanlarda benimseyen hizmet alanları arasında farkların farkı ya da yerel bir uygunluk eşiği etrafında regresyon süreksizliği tasarımı. Başka yerde baş ağrısı olacak sınır ve yargı alanı farkları, çoğu zaman yerel bir değerlendiricinin en iyi doğal deneyidir, çünkü iki komşu mahalle ya da ilçe, diğer çoğu bakımdan benzer kalırken politikada farklılaşabilir.

Merkezi yönetim

Merkezi yönetimler, amaca özel kurulmuş rastgele değerlendirmeleri fonlayacak ölçeğe ve çoğu zaman vergi, yardım, sağlık ve eğitim kayıtları arasında bağlanmış, düşük marjinal maliyetle inandırıcı yarı deneysel tasarımlar yürütecek idari veri kümelerine sahiptir. Bu ölçek aynı zamanda "neyin işe yaradığı" değerlendirme görev gruplarının ve bir hazine dairesinin standart değerlendirme el kitabı gibi merkezî değerlendirme rehberliğinin oturma eğiliminde olduğu yerdir, çünkü yalnızca bir merkezi yönetim, birçok bölüm boyunca sürekli bir değerlendirme altyapısı ve ortak bir yöntemsel standart sürdürmenin sabit maliyetini haklı çıkarabilir.

Sosyal sektör ve kâr amacı gütmeyen kuruluşlar

Kâr amacı gütmeyen kuruluşlar ve sivil toplum kuruluşları nadiren iyi güçlendirilmiş bir rastgele değerlendirmenin ihtiyaç duyduğu örneklem büyüklüklerine veya bütçelere sahiptir ve programları çoğu zaman saha personelinin gözlemlediklerine uyarlamalı olarak değişir; bu, kararlı, iyi tanımlanmış bir müdahale varsayan her tasarımı karmaşıklaştırır. Uluslararası kalkınmada rastgele değerlendirme hareketi etrafında büyümüş türden bir akademik araştırma grubuyla ya da uzman bir değerlendirme aracısıyla ortaklık, titiz bir nedensel tahmine giden çoğu zaman tek gerçekçi yoldur ve fon sağlayıcılar çok yıllı hibeleri taahhüt etmeden önce giderek tam olarak bu tür bir dış ortaklık talep etmektedir.

Çok taraflı ve uluslararası

Çok taraflı kuruluşlar, farklı veri sistemlerine, idari kapasiteye ve etik inceleme normlarına sahip birçok ülkede programlar fonlar; bu, standartlaştırılmış nedensel yöntemlerin tekdüze uygulanmasını zorlaştırır ama aynı zamanda bir politika bazı üye devletlerde diğerlerinden önce benimsendiğinde kendisi bir doğal deneye dönüşebilecek doğal ülkeler arası çeşitlilik yaratır. Kalkınma iktisadında rastgele değerlendirmeler bu ölçekte özellikle etkili olmuş, uluslararası kalkınma fonlamasının nasıl tahsis edildiğini şekillendiren kanıt üretmiştir, ama aynı zamanda belgelenmiş bir dış geçerlilik başarısızlığı riski taşır: incelenen ülke ve bağlamda geçerli olan bir sonuç farklı bir bağlama otomatik olarak aktarılmaz; çok taraflı program tasarımının çok sık üstünü örttüğü bir çekince.

Sık görülen başarısızlık biçimleri

Saf öncesi-sonrası. Bir program yalnızca başlamadan önceki sonuçlarla başladıktan sonraki sonuçlar karşılaştırılarak, hiç karşılaştırma grubu olmadan yargılanır; böylece zaten devam eden herhangi bir eğilim — ekonomik toparlanma, demografik bir kayma, ayrı bir politika değişikliği — programa yanlış atfedilir. Maliyet, programın etkisini aynı anda olan diğer her şeyden aslında ayıramayan bir tasarım üzerine kurulu kendinden emin bir nedensel hikâyedir.

Program etkisi sanılan seçilim yanlılığı. Kendi isteğiyle katılan ya da başarılı olacak göründükleri için sevk edilen katılımcılar herkesle karşılaştırılır; programın onlara ne yaptığından çok ne tür insanları çektiğinin ölçüsü olan bir etki tahmini üretir. Maliyet, daha az kendi kendini seçmiş bir nüfusa ulaştığında daha az etkili, bazen çok daha az etkili görünen ölçeklenmiş bir programdır.

Boş bulgu olarak raporlanan güçsüz değerlendirme. Küçük bir pilot "istatistiksel olarak anlamlı bir etki yok" bulur ve bu, örneklem aslında önem taşıyacak büyüklükte bir etkiyi saptamak için çok küçükken, programın işe yaramadığının kanıtı olarak okunur. Maliyet her iki yönde işler: gerçekten etkili bir program, hiçbir zaman işe yaradığını gösterme yeteneği olmayan kanıtın gücüyle iptal edilebilir ya da özgün özet doğru güçlendirilmiş olsaydı gerekmeyecek daha büyük bir deneyi fonlamak için kaynaklar kayar.

Yerel bir tahmini bağlamının ötesine genelleştirmek. Bir regresyon süreksizliği tasarımı uygunluk kesme noktasına yakın birimler için etkiyi doğru biçimde tahmin eder ve bir araç değişken tahmini aracın tedavi durumunu gerçekten kaydırdığı birimler için etkiyi doğru biçimde tahmin eder, ama her iki bulgu da sonra tahmin her yerde geçerliymiş gibi tüm nüfusa uygulanır. Maliyet, yalnızca yerel olarak doğru olan bir sayının gücüyle ölçeklenen bir politikadır.

Tiyatro olarak değerlendirme. Kanıta dayalı karar almanın görünümünü yaratmak için bir değerlendirme ısmarlanır, ama karar fiilen zaten verilmiştir ve hiçbir makul bulgu onu değiştirmezdi. Maliyet, boşa giden bir değerlendirme bütçesi ve daha aşındırıcı biçimde, personel sonuçların hiçbir zaman çıktıları değiştirmediğini fark ettiğinde değerlendirmenin kendisine olan güvenin yavaş erimesidir.

Olgunluk modeli

Kontrol listesi

• Her büyük program değerlendirmesi için karşı olgusal durumu tek bir sade dil cümlesiyle belirtin.
• Katılımcıların müdahale grubuna nasıl girdiğini doğrulayın ve bu sürecin sonuç farkını kendisinin açıklayıp açıklayamayacağını değerlendirin.
• Değerlendirme yöntemini (rastgele değerlendirme, farkların farkı, regresyon süreksizliği tasarımı, araç değişkenler ya da doğal deney) mümkün olan yerde teslim başlamadan önce gerçek atama kuralına uygun seçin.
• Programın maliyetini haklı çıkaracak en küçük etki büyüklüğünü saptamak için gereken istatistiksel gücü hesaplayın.
• Sonuçlar görülmeden önce sonuç ölçülerini ve analiz planını önceden kaydedin.
• Müdahale ve karşılaştırma gruplarının karşılaştırılabilirliğini başlık etkisiyle birlikte raporlayın.
• Değerlendirmeyi teslim ekibinden bağımsız bir işlev aracılığıyla görevlendirin ya da gözden geçirin.
• Karar vericilere sunulan her raporda istatistiksel anlamlılığı mali ve pratik anlamlılıktan ayırın.
• Değerlendirme için tasarım aşamasında program maliyetinin sabit bir payı kadar bütçe ayırın.
• Boş ve olumsuz bulguları olumlu olanlara verilen görünürlükle yayımlayın.
• Olumlu bir yerel tahminin (regresyon süreksizliği tasarımından veya araç değişkenlerden) gerçekte kapsadığı nüfusun ötesine genelleştirilip genelleştirilmediğini kontrol edin.
• Tamamlanan değerlendirmeleri yalnızca kendi arşivinize değil sektörünüzün sürdürdüğü daha geniş kanıt tabanına yönlendirin.

Temel kaynaklar

Bu konunun yöntemsel çekirdeği, Joshua D. Angrist ve Jörn-Steffen Pischke ile ilişkilendirilen uygulamalı ekonometri geleneğinden ve Donald Rubin tarafından biçimselleştirilen potansiyel sonuçlar çerçevesinden yararlanır. Kamu politikasında ve kalkınma iktisadında Abdul Latif Jameel Poverty Action Lab (J-PAL) ve akademik ağıyla ilişkilendirilen rastgele değerlendirme hareketi, sektör bakışlarında anılan uygulamalı pratiğin çoğunu sağlar. Hükümet değerlendirme standartları Birleşik Krallık Hazinesi'nin Magenta Book rehberliğinden, kanıt sentezi pratiği ise Campbell Collaboration'ın sosyal politikada sistematik derleme standartlarından yararlanır (bkz. Konu 2.6 — Kanıt Sentezi ve Neyin İşe Yaradığı).

Kaynakça

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network