Ekonometrika Sektor Publik dan Evaluasi Program

Mengapa ini penting dalam nilai publik

Setiap tahun, badan publik memperbarui, memperluas, atau membatalkan program atas dasar perbandingan hasil: peserta program ketenagakerjaan menemukan pekerjaan lebih cepat daripada bukan peserta; murid dalam skema bimbingan belajar berskor lebih tinggi daripada murid yang tidak dibimbing. Setiap perbandingan benar sebagai deskripsi dan berbahaya sebagai argumen, karena tak satu pun, sendirian, memberi tahu Anda apakah program itu menyebabkan perbedaannya. Orang yang mendaftar dalam program ketenagakerjaan sering lebih termotivasi daripada yang tidak, dan murid yang dipilih untuk bimbingan sering dipilih karena guru sudah mengharapkan mereka merespons dengan baik. Jurang antara "kelompok yang diberi perlakuan lebih baik" dan "perlakuan itu membuat mereka lebih baik" tepat adalah jurang yang hendak ditutup oleh inferensi kausal.

Ini bukan kehalusan akademis. Komite keuangan yang diminta memperbarui pendanaan sebuah program secara implisit diminta mengizinkan pembelanjaan uang publik atas klaim sebab-akibat, entah ada atau tidak ada orang di ruangan yang memakai kata itu. Topik 2.1 memberi Anda kerangka hasil yang menyatakan apa yang dimaksudkan diubah oleh sebuah program (lihat Topik 2.1 — Kartu Skor Nilai Publik dan Kerangka Hasil); topik ini memberi Anda metode yang menguji apakah ia benar-benar mengubahnya, dan seberapa besar. Analisis biaya-manfaat dan efektivitas biaya (lihat Topik 2.2 — Analisis Biaya-Manfaat Sosial dan Efektivitas Biaya) serta pengembalian sosial atas investasi (lihat Topik 2.3 — Pengembalian Sosial atas Investasi dan Pengukuran Dampak) keduanya membutuhkan ukuran efek yang dapat dipertahankan untuk dikerjakan; topik ini tempat ukuran efek itu berasal, atau tempat Anda mengetahui bahwa angka yang sudah Anda miliki tidak sanggup menanggung beban yang ditimpakan padanya.

Taruhannya bukan hanya keuangan. Pemerintah yang memperluas program yang tidak efektif karena evaluasi cacat membuatnya tampak efektif telah menyia-nyiakan uang dan, sering lebih buruk, menyingkirkan alternatif yang benar-benar efektif yang tidak pernah mendapat kesempatan; pemerintah yang membatalkan program efektif karena perbandingan naif membuatnya tampak tak berguna telah menghancurkan nilai yang akan dilindungi evaluasi yang dirancang lebih baik. Menetapkan identifikasi kausal dengan benar, dan mengetahui kapan Anda tidak dapat menetapkannya dengan benar, adalah kompetensi nilai publik tersendiri, bukan minat sampingan seorang spesialis.

Konsep inti

Inferensi kausal adalah cabang statistika yang berurusan dengan menetapkan apakah, dan seberapa besar, perubahan satu variabel menghasilkan perubahan pada variabel lain, berbeda dari kedua variabel yang sekadar bergerak bersama. Ia menyediakan fondasi konseptual — penalaran kontrafaktual, bahasa perlakuan dan kontrol, katalog ancaman spesifik terhadap klaim kausal — yang dipakai setiap metode dalam topik ini. Wikipedia: Causal inference.

Kontrafaktual adalah hasil yang akan dialami seseorang atau suatu unit seandainya tidak menerima program, dan ia adalah besaran sentral yang tak teramati yang berusaha didekati setiap metode kausal: Anda dapat menyaksikan apa yang terjadi pada peserta, tetapi tidak pernah apa yang akan terjadi pada orang yang sama tanpa bantuan. Setiap metode di bawah ini adalah strategi berbeda untuk membangun pengganti yang kredibel bagi pengamatan yang hilang itu. Model kausal Rubin, yang dikembangkan terutama oleh statistikawan Donald Rubin, memformalkan ini sebagai kerangka "hasil potensial": setiap unit memiliki hasil potensial di bawah perlakuan dan satu di bawah kontrol, dan efek kausal adalah selisih di antara keduanya, yang hanya satu darinya yang pernah teramati. Wikipedia: Rubin causal model.

Perancu (confounding) terjadi ketika faktor ketiga memengaruhi baik apakah suatu unit menerima program maupun hasil yang dimaksudkan diubah program, membuatnya tampak seolah program menyebabkan efek yang sebenarnya dihasilkan oleh perancu itu. Motivasi, kemampuan sebelumnya, kondisi ekonomi lokal, dan kekayaan rumah tangga adalah perancu yang berulang dalam evaluasi program publik, karena rutin memengaruhi siapa yang memanfaatkan layanan dan bagaimana keadaan orang atau tempat itu sesudahnya. Wikipedia: Confounding.

Bias seleksi adalah kasus khusus perancu yang muncul dari bagaimana peserta sampai berada dalam kelompok perlakuan sejak awal — seleksi diri, rujukan staf, atau aturan kelayakan — sehingga kelompok yang diberi perlakuan dan yang tidak berbeda secara sistematis sebelum program menyentuh mereka. Program ketenagakerjaan yang hanya diikuti pencari kerja yang paling termotivasi akan tampak efektif bahkan jika tidak berbuat apa-apa, karena kelompok pembanding tidak pernah menjadi pengganti yang adil bagi apa yang akan dilakukan peserta tanpa bantuan. Wikipedia: Selection bias.

Korelasi tidak berarti kausalitas adalah peringatan umum yang dioperasionalkan topik ini: dua variabel yang bergerak bersama konsisten dengan yang satu menyebabkan yang lain, dengan sebaliknya, dengan penyebab bersama, atau dengan kebetulan, dan pola itu saja tidak dapat membedakan di antaranya. Penjualan es krim dan kematian akibat tenggelam sama-sama naik setiap musim panas tanpa yang satu menyebabkan yang lain, karena cuaca hangat menggerakkan keduanya; evaluasi program publik penuh dengan versi yang lebih halus dari jebakan yang sama. Wikipedia: Correlation does not imply causation.

Uji coba terkontrol acak (randomized controlled trial, RCT), yang disebut evaluasi acak dalam literatur evaluasi kebijakan, menugaskan unit yang memenuhi syarat secara acak ke kelompok perlakuan yang menerima program dan kelompok kontrol yang tidak, sehingga secara rata-rata kedua kelompok hanya berbeda dalam apakah mereka diberi perlakuan. Pengacakan kuat karena menangani perancu secara borongan: ia menyeimbangkan baik perancu yang dapat Anda ukur maupun yang tidak, tanpa perlu menamainya sebelumnya. Wikipedia: Randomized controlled trial.

Selisih-dalam-selisih (difference-in-differences, DiD) membandingkan perubahan hasil dari waktu ke waktu untuk kelompok yang diberi perlakuan dengan perubahan selama periode yang sama untuk kelompok pembanding yang tidak menerima program, dengan mengasumsikan bahwa, tanpa program, kedua kelompok akan mengikuti tren sejajar. Ini metode andalan ketika program menjangkau satu yurisdiksi sebelum yang lain dan pengacakan tidak pernah menjadi pilihan, karena ia dapat memakai data administratif yang dikumpulkan rutin alih-alih uji coba yang dibangun khusus. Wikipedia: Difference in differences.

Rancangan diskontinuitas regresi (regression discontinuity design, RDD) memanfaatkan aturan program yang menugaskan perlakuan berdasarkan skor terukur yang melewati batas tetap — tunjangan yang dimulai tepat pada ambang pendapatan, kelas remedial yang diberikan kepada murid yang berskor tepat di bawah nilai lulus — dan membandingkan hasil unit tepat di atas dan tepat di bawahnya, yang selebihnya serupa. Karena di sisi mana suatu unit jatuh pada ambang pada dasarnya sembarang dalam pita sempit di sekitarnya, perbandingannya mendekati eksperimen acak lokal tanpa ada yang mengacak apa pun. Wikipedia: Regression discontinuity design.

Estimasi variabel instrumental (instrumental variables, IV) memakai variabel ketiga, sebuah "instrumen", yang memengaruhi keikutsertaan dalam program tetapi tidak memiliki efek langsung pada hasil kecuali melalui keikutsertaan itu, untuk menyingkirkan bagian hubungan perlakuan-hasil yang akan dicemari perancu. Instrumen kebijakan publik klasik adalah jarak ke suatu fasilitas, atau tempat yang dialokasikan lewat undian, yang menggeser partisipasi tanpa menyebabkan hasil secara independen; sebagian besar kesulitan metode ini terletak pada mempertahankan bahwa instrumen memengaruhi hasil hanya melalui program. Wikipedia: Instrumental variables estimation.

Eksperimen alami adalah situasi, yang timbul dari kebijakan, geografi, atau keadaan dan bukan rancangan peneliti, ketika sebagian orang terpapar program dan yang lain yang sebanding tidak, seolah-olah eksperimen telah dijalankan tanpa ada yang menjalankannya. Perubahan kebijakan yang berlaku pada batas tanggal lahir, batas wilayah yang menempatkan rumah tangga yang nyaris identik di yurisdiksi berbeda, atau undian yang menjatahkan tempat yang kelebihan peminat adalah eksperimen alami yang kemudian dapat dianalisis dengan RDD, IV, atau DiD. Wikipedia: Natural experiment.

Efek Hawthorne menamai risiko bahwa orang mengubah perilaku mereka hanya karena tahu sedang diamati, terlepas dari isi sebenarnya program, yang dapat menggelembungkan efek yang diperkirakan jika kelompok kontrol tidak diamati dengan intensitas yang sama — tindakan mengukur sendiri dapat menjadi bagian dari perlakuan. Wikipedia: Hawthorne effect.

Daya statistik adalah probabilitas bahwa suatu evaluasi akan mendeteksi efek sejati berukuran tertentu jika ada, yang bergantung terutama pada ukuran sampel, ukuran efek yang dicari, dan seberapa besar hasil bervariasi di dalam kelompok. Evaluasi berdaya rendah yang menemukan "tidak ada efek signifikan" sering belum menunjukkan bahwa program tidak berbuat apa-apa; ia menunjukkan bahwa evaluasi terlalu kecil untuk mengatakan ke arah mana pun, pembedaan yang sering terlewat pemimpin di bawah tekanan untuk mencapai vonis. Wikipedia: Power (statistics).

Praktik terbaik

1. Putuskan rancangan evaluasi sebelum program diluncurkan, bukan sesudahnya. Evaluasi acak, peluncuran bertahap yang cocok untuk selisih-dalam-selisih, atau ambang kelayakan yang cocok untuk rancangan diskontinuitas regresi semuanya jauh lebih mudah dibangun sejak awal daripada dipasang belakangan setelah penyampaian berjalan secara ad hoc.
2. Nyatakan kontrafaktual secara eksplisit dalam setiap ringkasan evaluasi. Tuliskan, dalam satu kalimat, terhadap apa Anda membandingkan peserta — tanpa program sama sekali, program sebelumnya, intervensi berbeda — karena kontrafaktual yang tak dinyatakan adalah tempat perselisihan evaluasi paling tajam biasanya bersembunyi.
3. Perlakukan perbandingan sebelum-dan-sesudah sederhana sebagai hipotesis awal, jangan pernah sebagai temuan. Hasil bergeser karena banyak alasan yang tak berkaitan dengan program Anda — siklus ekonomi, efek musiman, perubahan kebijakan lain yang berlaku bersamaan — dan rancangan sebelum-dan-sesudah tidak dapat memisahkan kontribusi program Anda dari kontribusi mereka.
4. Cocokkan metode dengan aturan yang benar-benar menugaskan program, bukan dengan metode yang paling Anda kenal. Program yang dijatah lewat undian menuntut logika evaluasi acak meskipun Anda tidak pernah menyebutnya uji coba; program yang ditugaskan lewat ambang berskor menuntut rancangan diskontinuitas regresi; program yang diluncurkan ke sebagian wilayah sebelum yang lain menuntut selisih-dalam-selisih.
5. Pra-registrasikan ukuran hasil dan rencana analisis sebelum melihat hasilnya. Memutuskan hasil mana yang dianggap "keberhasilan" setelah melihat mana yang bergerak adalah jalur yang terdokumentasi baik menuju positif palsu, dan pra-registrasi adalah pertahanan baku terhadapnya.
6. Beri daya pada evaluasi untuk ukuran efek terkecil yang masih akan membenarkan biaya program, bukan demi kemudahan. Evaluasi yang terlalu kecil untuk mendeteksi efek yang relevan bagi kebijakan akan menghasilkan hasil "tidak ada perbedaan signifikan" yang tidak informatif dan salah dibaca sebagai bukti kegagalan.
7. Laporkan karakteristik kelompok pembanding bersama kelompok perlakuan, bukan hanya efek utama. Evaluasi yang kredibel memungkinkan pembaca skeptis memeriksa bahwa kedua kelompok serupa sebelum perlakuan; evaluasi yang menyembunyikan ini membuat pembaca menerima keseimbangan atas dasar kepercayaan.
8. Komisikan evaluasi dari sumber yang independen dari tim penyampaian, atau pagari analisisnya jika tidak bisa. Tim yang berkepentingan atas keberhasilan program memiliki insentif struktural, sering tidak disadari, untuk menafsirkan bukti yang ambigu demi keuntungan program.
9. Pisahkan signifikansi statistik dari signifikansi praktis dan fiskal dalam setiap laporan. Efek kecil yang diperkirakan dengan presisi dan efek besar yang diperkirakan tidak presisi adalah temuan berbeda yang menuntut keputusan berbeda, dan meringkas keduanya menjadi "signifikan" atau "tidak signifikan" menghapus pembedaan yang sebenarnya dibutuhkan keputusan pendanaan.
10. Anggarkan evaluasi sebagai bagian tetap dari biaya program pada tahap perancangan, bukan sebagai sisa. Program yang cukup besar untuk berarti bagi nilai publik biasanya cukup besar untuk mendanai evaluasi dampak yang kredibel, dan memperlakukan evaluasi sebagai diskresioner adalah cara bukti yang lemah menjadi rutin.
11. Publikasikan hasil nol dan negatif dengan keterlihatan yang sama seperti hasil positif. Lingkungan komisioning yang hanya mempublikasikan evaluasi yang berhasil menciptakan bias seleksi dalam basis bukti yang dipublikasikan itu sendiri, membiaskan penilaian "apa yang berhasil" semua orang kemudian ke arah optimisme.
12. Masukkan setiap evaluasi yang selesai ke dalam basis bukti yang lebih luas yang dipelihara sektor Anda, bukan hanya arsip Anda sendiri. Satu evaluasi, secermat apa pun dirancang, hanyalah satu titik data; sintesis sistematis lintas banyak evaluasilah yang mengubah temuan program menjadi pengetahuan yang dapat dipindahkan (lihat Topik 2.6 — Sintesis Bukti dan Apa yang Berhasil).

Pertanyaan untuk didiskusikan dengan tim Anda

Terhadap kontrafaktual apa kita sebenarnya membandingkan program ini, dan sudahkah kita mengatakannya dengan lantang? Setiap klaim dampak menyiratkan perbandingan, tetapi tim sering membiarkannya implisit, membiarkan "ini berhasil" diam-diam meluncur antara "lebih baik daripada tidak ada", "lebih baik daripada yang kita lakukan sebelumnya", dan "lebih baik daripada alternatif terbaik yang dapat kita danai". Mintalah pimpinan evaluasi Anda menyatakan kontrafaktual dalam satu kalimat berbahasa sederhana, lalu periksa apakah bukti yang Anda miliki benar-benar mendukung klaim tentang perbandingan spesifik itu. Jika kontrafaktual jujurnya adalah "kami tidak tahu apa yang akan terjadi sebaliknya", perlakukan klaim dampak saat ini sebagai hipotesis, bukan temuan, dan diskusikan apa yang diperlukan untuk menutup celah itu.

Mungkinkah orang atau tempat yang memanfaatkan program ini berbeda secara sistematis dari yang tidak, dengan cara yang juga akan memengaruhi hasil? Ini pertanyaan bias seleksi, dan layak diajukan bahkan ketika — terutama ketika — jawabannya tampak jelas "tidak". Motivasi, keadaan sebelumnya, kapasitas lokal, dan pola rujukan staf adalah sumber perbedaan tersembunyi yang lazim yang menghasilkan perkiraan dampak yang menyesatkan bahkan dengan sampel besar yang tampak cermat. Jika tim tidak dapat menggambarkan bagaimana peserta sampai berada dalam program, mereka tidak dapat menyingkirkan hal ini, dan celah itu seharusnya membuat Anda lebih khawatir daripada ukuran sampel yang kecil.

Apakah rancangan evaluasi kita dibangun ke dalam program, atau dipasang belakangan, dan apa harganya bagi kita? Evaluasi acak, peluncuran bertahap, atau ambang kelayakan berskor semuanya jauh lebih murah dan lebih kredibel jika direncanakan sebelum peluncuran daripada direkonstruksi dari data administratif apa pun yang kebetulan bertahan. Tanyakan opsi rancangan evaluasi apa yang dipertimbangkan pada tahap perancangan program, dan jika tidak ada, perlakukan itu sebagai celah proses yang harus ditutup sebelum program berikutnya, bukan sekadar keterbatasan program ini. Diskusikan data apa yang perlu ada sejak hari pertama agar program besar berikutnya mendukung perkiraan kausal yang kredibel.

Apakah sampel kita cukup besar untuk mendeteksi efek yang layak diketahui, dan apakah kita akan mengenali temuan "tidak ada efek" yang berdaya rendah jika melihatnya? Evaluasi yang melaporkan tidak ada efek signifikan secara statistik kadang dengan benar memberi tahu Anda bahwa program tidak berhasil, dan kadang hanya memberi tahu bahwa evaluasi terlalu kecil untuk melihat efek yang sungguh ada. Mintalah analis Anda menyatakan ukuran efek minimum yang dibuat berdaya untuk dideteksi evaluasi, dan bandingkan dengan ukuran efek yang benar-benar akan membenarkan biaya program. Jika kedua angka itu berjauhan, temuan "tidak ada efek" mungkin tidak informatif ketimbang memberatkan, dan tim hendaknya mengatakannya terus terang alih-alih membiarkan kebisuan dibaca sebagai kegagalan.

Siapa yang diuntungkan, secara profesional atau reputasi, jika evaluasi ini kembali positif, dan apakah itu mengubah seberapa besar pengawasan independen yang dibutuhkannya? Ini bukan tuduhan ketidakjujuran; ini pengakuan bahwa orang yang merancang atau menyampaikan program secara struktural lebih mungkin menafsirkan hasil yang ambigu dengan lunak, sering tanpa menyadari melakukannya. Diskusikan apakah evaluasi itu ditugaskan, dianalisis, atau ditinjau oleh siapa pun yang independen dari tim penyampaian, dan jika tidak, seperti apa pagar yang proporsional untuk program sebesar ini. Tujuannya adalah hasil yang juga akan dipercaya penyandang dana Anda yang paling skeptis, bukan sekadar yang nyaman dipertahankan tim Anda sendiri.

Jika temuan evaluasi ini kokoh, apa yang akan kita lakukan secara berbeda, dan siapkah kita melakukannya? Evaluasi yang ditugaskan tetapi tidak pernah dimaksudkan mengubah keputusan adalah biaya hangus yang berpakaian ketekunan, dan layak menyebutkan risiko itu sebelum hasil tiba, bukan sesudahnya. Diskusikan, sebelumnya, apa yang akan dibenarkan oleh temuan positif yang kuat (perluasan, dan seberapa besar) dan apa yang akan dipicu oleh temuan nol atau negatif (perancangan ulang, atau pembatalan, dan dengan garis waktu apa). Jika tak seorang pun di ruangan dapat menjawab ini sebelum melihat hasilnya, evaluasi itu mungkin melayani fungsi legitimasi, bukan fungsi keputusan, dan itu layak diakui dengan jujur (lihat Topik 2.1 — Kartu Skor Nilai Publik dan Kerangka Hasil).

Dalam praktik: contoh nilai publik

Ilustrasi fiktif. Kementerian Layanan Ketenagakerjaan di sebuah negara berukuran sedang yang tidak disebutkan namanya menjalankan percontohan satu tahun layanan pembinaan intensif bagi pencari kerja penganggur jangka panjang, berdampingan dengan layanan standar yang ada. Pada akhir percontohan, laporan internal membandingkan kelompok yang menerima pembinaan intensif dengan semua orang lain yang keluar dari pengangguran selama periode yang sama: kelompok yang dibina memiliki tingkat penempatan kerja 38% dalam enam bulan, dibandingkan 24% untuk sisa beban kasus. Para menteri diberi tahu program itu "berhasil" dan kajian bisnis diajukan untuk meluncurkannya secara nasional.

Sebelum menyetujui pendanaan, komite keuangan mengajukan pertanyaan lugas: bagaimana pencari kerja sampai berada dalam kelompok yang dibina sejak awal? Jawabannya ternyata sangat penting. Petugas kasus merujuk pencari kerja yang mereka nilai "paling mungkin mendapat manfaat" ke percontohan pembinaan, keputusan triase yang bermaksud baik yang secara efektif memilih kelompok yang lebih siap kerja ke dalam perlakuan sejak awal. Perbandingan 38% versus 24% dicemari persis oleh bias seleksi yang diperingatkan topik ini: sangat mungkin kelompok yang dibina akan mengungguli sisa beban kasus bahkan tanpa pembinaan sama sekali.

Alih-alih menyetujui atau menolak peluncuran atas perbandingan itu, unit evaluasi kementerian mengusulkan fase kedua memakai undian. Permintaan layanan pembinaan sudah melampaui tempat yang tersedia, sehingga unit itu mengalokasikan tempat secara acak di antara pelamar yang sama-sama memenuhi syarat dan membandingkan tingkat penempatan kerja antara pemenang dan pecundang undian, penerapan logika evaluasi acak tanpa perlu menahan layanan dari siapa pun yang sebelumnya tidak akan menerimanya. Dua belas bulan kemudian, perbandingan undian menunjukkan efek yang lebih kecil namun nyata: perbaikan 9 poin persentase dalam penempatan enam bulan, bukan selisih 14 poin yang disiratkan perbandingan awal. Kementerian memakai perkiraan berbasis undian itu, bersama data biayanya sendiri, untuk membangun argumen efektivitas biaya yang dapat dipertahankan (lihat Topik 2.2 — Analisis Biaya-Manfaat Sosial dan Efektivitas Biaya) bagi peluncuran yang berskala namun terbatas sumber daya, bukan perluasan lebih besar dan tak terlaksana yang akan dibenarkan oleh perbandingan awal yang cacat.

Empat lensa sektoral

Pemerintah daerah

Pemerintah daerah biasanya menjalankan banyak program kecil dan menengah, bukan segelintir program yang sangat besar, yang membuat evaluasi acak yang dibangun khusus mahal relatif terhadap ukuran program dan mendorong evaluator lokal ke metode kuasi-eksperimental yang memakai ulang data administratif yang sudah dikumpulkan — selisih-dalam-selisih lintas wilayah layanan yang mengadopsi perubahan pada waktu berbeda, atau rancangan diskontinuitas regresi di sekitar ambang kelayakan lokal. Perbedaan batas dan yurisdiksi yang di tempat lain akan menjadi gangguan sering menjadi eksperimen alami terbaik evaluator lokal, sebab dua kelurahan atau distrik bertetangga dapat berbeda dalam kebijakan sambil tetap serupa dalam sebagian besar hal lain.

Pemerintah nasional

Pemerintah nasional memiliki skala untuk mendanai evaluasi acak yang dibangun khusus dan kumpulan data administratif, sering ditautkan lintas catatan pajak, tunjangan, kesehatan, dan pendidikan, untuk menjalankan rancangan kuasi-eksperimental yang kredibel dengan biaya marjinal rendah. Skala ini juga tempat gugus tugas evaluasi "apa yang berhasil" dan panduan evaluasi terpusat, seperti buku pegangan evaluasi baku departemen keuangan, cenderung berada, sebab hanya pemerintah nasional yang dapat membenarkan biaya tetap memelihara infrastruktur evaluasi tetap dan standar metodologis bersama lintas banyak departemen.

Sektor sosial dan nirlaba

Organisasi nirlaba dan nonpemerintah jarang memiliki ukuran sampel atau anggaran yang dibutuhkan evaluasi acak berdaya baik, dan program mereka sering berubah secara adaptif sebagai tanggapan atas apa yang diamati staf garis depan, yang mempersulit rancangan apa pun yang mengasumsikan perlakuan yang stabil dan terdefinisi. Kemitraan dengan kelompok riset akademik atau perantara evaluasi spesialis, dari jenis yang tumbuh di sekitar gerakan evaluasi acak dalam pembangunan internasional, sering menjadi satu-satunya jalur realistis menuju perkiraan kausal yang ketat, dan penyandang dana semakin meminta kemitraan eksternal semacam ini sebelum mengomitmenkan hibah multitahun.

Multilateral dan internasional

Badan multilateral mendanai program lintas banyak negara dengan sistem data, kapasitas administratif, dan norma tinjauan etik yang berbeda, yang membuat metode kausal terstandar lebih sulit diterapkan seragam tetapi juga menciptakan variasi lintas negara alami yang dapat sendiri menjadi eksperimen alami ketika kebijakan diadopsi di sebagian negara anggota sebelum yang lain. Evaluasi acak dalam ekonomi pembangunan sangat berpengaruh pada skala ini, menghasilkan bukti yang membentuk bagaimana pendanaan pembangunan internasional dialokasikan, tetapi juga membawa risiko terdokumentasi kegagalan validitas eksternal: hasil yang berlaku di negara dan konteks yang dipelajari tidak otomatis berpindah ke konteks berbeda, catatan peringatan yang terlalu sering diabaikan perancangan program multilateral.

Ragam kegagalan yang umum

Sebelum-dan-sesudah yang naif. Program dinilai semata dengan membandingkan hasil sebelum dimulai dengan hasil sesudahnya, tanpa kelompok pembanding sama sekali, sehingga tren apa pun yang sudah berjalan — pemulihan ekonomi, pergeseran demografi, perubahan kebijakan terpisah — salah diatribusikan kepada program. Biayanya adalah cerita kausal yang meyakinkan yang dibangun di atas rancangan yang tidak dapat benar-benar membedakan efek program dari segala hal lain yang terjadi pada saat yang sama.

Bias seleksi disangka efek program. Peserta yang mendaftar sendiri, atau dirujuk karena tampak mungkin berhasil, dibandingkan dengan semua orang lain, menghasilkan perkiraan dampak yang sebenarnya adalah ukuran siapa yang ditarik program dan bukan apa yang dilakukannya kepada mereka. Biayanya adalah program yang diperluas yang tampak kurang efektif, kadang jauh kurang, begitu mencapai populasi yang kurang memilih diri sendiri.

Evaluasi berdaya rendah yang dilaporkan sebagai temuan nol. Percontohan kecil menemukan "tidak ada efek signifikan secara statistik" dan dibaca sebagai bukti bahwa program tidak berhasil, padahal sampelnya terlalu kecil untuk mendeteksi efek sebesar yang akan berarti. Biayanya berjalan ke dua arah: program yang sungguh efektif dapat dibatalkan atas kekuatan bukti yang tidak pernah mampu menunjukkan bahwa ia berhasil, atau sumber daya berpindah untuk mendanai uji coba lebih besar yang tidak perlu diadakan jika ringkasan aslinya diberi daya dengan benar.

Mengekstrapolasi perkiraan lokal melampaui konteksnya. Rancangan diskontinuitas regresi dengan benar memperkirakan efek bagi unit di dekat batas kelayakan, dan perkiraan variabel instrumental dengan benar memperkirakan efek bagi unit yang status perlakuannya benar-benar digeser instrumen, tetapi kedua temuan itu kemudian diterapkan pada seluruh populasi seolah perkiraan berlaku di mana-mana. Biayanya adalah kebijakan yang diperluas atas kekuatan angka yang hanya pernah benar secara lokal.

Evaluasi sebagai sandiwara. Evaluasi ditugaskan untuk menciptakan kesan pengambilan keputusan berbasis bukti, tetapi keputusan secara efektif sudah dibuat, dan tidak ada temuan yang masuk akal yang akan mengubahnya. Biayanya adalah anggaran evaluasi yang terbuang dan, yang lebih mengikis, terkikisnya kepercayaan pada evaluasi itu sendiri begitu staf menyadari bahwa hasil tampaknya tidak pernah mengubah apa pun.

Model kematangan

Daftar periksa

• Nyatakan kontrafaktual untuk setiap evaluasi program besar dalam satu kalimat berbahasa sederhana.
• Pastikan bagaimana peserta sampai berada dalam kelompok perlakuan, dan nilai apakah proses itu sendiri dapat menjelaskan perbedaan hasil.
• Pilih metode evaluasi (evaluasi acak, selisih-dalam-selisih, rancangan diskontinuitas regresi, variabel instrumental, atau eksperimen alami) agar sesuai dengan aturan penugasan yang sebenarnya, sebelum penyampaian dimulai bila mungkin.
• Hitung daya statistik yang dibutuhkan untuk mendeteksi ukuran efek terkecil yang akan membenarkan biaya program.
• Pra-registrasikan ukuran hasil dan rencana analisis sebelum hasil dilihat.
• Laporkan keterbandingan kelompok perlakuan dan pembanding bersama efek utama.
• Komisikan atau tinjau evaluasi melalui fungsi yang independen dari tim penyampaian.
• Pisahkan signifikansi statistik dari signifikansi fiskal dan praktis dalam setiap laporan kepada pengambil keputusan.
• Anggarkan evaluasi sebagai bagian tetap dari biaya program pada tahap perancangan.
• Publikasikan temuan nol dan negatif dengan keterlihatan yang sama seperti temuan positif.
• Periksa apakah perkiraan lokal yang positif (dari rancangan diskontinuitas regresi atau variabel instrumental) diekstrapolasi melampaui populasi yang sebenarnya dicakupnya.
• Salurkan evaluasi yang selesai ke basis bukti yang lebih luas yang dipelihara sektor Anda, bukan hanya arsip Anda sendiri.

Sumber utama

Inti metodologis topik ini bersumber dari tradisi ekonometrika terapan yang diasosiasikan dengan Joshua D. Angrist dan Jörn-Steffen Pischke, serta kerangka hasil potensial yang diformalkan oleh Donald Rubin. Gerakan evaluasi acak dalam kebijakan publik dan ekonomi pembangunan, yang diasosiasikan dengan Abdul Latif Jameel Poverty Action Lab (J-PAL) dan jaringan akademisnya, menyediakan banyak praktik terapan yang dirujuk dalam lensa sektoral. Standar evaluasi pemerintah bersumber dari panduan Magenta Book Departemen Keuangan Inggris, dan praktik sintesis bukti bersumber dari standar Campbell Collaboration untuk tinjauan sistematis dalam kebijakan sosial (lihat Topik 2.6 — Sintesis Bukti dan Apa yang Berhasil).

Referensi

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network