Sintesis Bukti dan Apa yang Berhasil

Mengapa ini penting dalam nilai publik

Seorang menteri, wali kota, atau direktur program lembaga amal jarang punya kemewahan satu studi yang bersih untuk dijadikan dasar bertindak. Lebih sering di mejanya ada tiga evaluasi yang saling bertentangan, tinjauan pustaka yang mengutipnya secara selektif, kelompok penekan yang mengacungkan satu uji coba yang sesuai dengan kasusnya, dan tenggat yang ditetapkan siklus anggaran, bukan kecepatan riset. Sintesis bukti ada karena studi tunggal bersifat bising: ukuran sampel kecil, konteks berbeda, dan hasil apa pun bisa jadi kebetulan, kecocokan lokal yang tidak akan berpindah, atau efek sejati. Pertanyaan yang perlu dijawab pemimpin jarang "apa yang ditemukan studi ini?" melainkan "dari semua yang kredibel yang pernah dicoba, apa yang harus saya harapkan jika saya melakukan ini di sini, sekarang?"

Teori nilai publik menjadikan ini lebih dari kehalusan teknis. Program yang didanai sumber daya kolektif bertumpu pada proposisi nilai yang akan diizinkan warga secara agregat (lihat Topik 2.1 — Kartu Skor Nilai Publik dan Kerangka Hasil untuk bagaimana proposisi itu dinyatakan dan dilacak). Proposisi yang dibangun di atas satu studi yang dipilih-pilih, atau tanpa tinjauan bukti sama sekali, adalah klaim legitimasi yang lebih lemah daripada yang dibangun di atas sintesis yang cermat — dan landasan yang lebih lemah bagi kapasitas operasional, sebab staf dan anggaran dikomitmenkan atas dasar itu. Gerakan "apa yang berhasil" — jaringan badan independen yang menilai mutu dan kekuatan bukti kebijakan — tumbuh langsung dari masalah ini: terlalu banyak keputusan publik dibuat atas dasar studi yang paling nyaring, bukan yang paling didukung.

Masalah yang lebih sulit yang dibahas topik ini adalah apa yang dilakukan pemimpin ketika sintesis itu sendiri tidak meyakinkan, diperdebatkan, atau sekadar tidak tersedia tepat waktu. Hierarki bukti dibangun untuk menertibkan basis bukti yang berantakan, tetapi bila dipakai sembarangan, "buktinya belum cukup kuat" menjadi dalih permanen untuk menghindari keputusan yang tidak akan ditunggu oleh kenyataan. Pemimpin yang memahami cara kerja sintesis, dan di mana batasnya, dapat membedakan ketidakpastian sejati yang menuntut kehati-hatian dari hierarki yang dipakai sebagai kedok untuk tidak bertindak.

Topik ini adalah lanjutan alami dari metode inferensi kausal yang ditimba sebuah sintesis (lihat Topik 2.4 — Ekonometrika Sektor Publik dan Evaluasi Program) dan berdiri di samping, bukan menggantikan, kerangka hasil yang pada akhirnya dilayani sintesis (lihat Topik 2.1 — Kartu Skor Nilai Publik dan Kerangka Hasil). Pemimpin yang dapat membaca tinjauan sistematis, memahami peringkat apa-yang-berhasil, dan bernalar jernih tentang bukti yang absen versus negatif mengambil keputusan hidup yang lebih baik daripada yang hanya bisa menuntut "lebih banyak bukti" atau menerima studi pertama yang disodorkan.

Konsep inti

Tinjauan sistematis adalah sintesis bukti atas pertanyaan yang didefinisikan yang memakai metode eksplisit, ditetapkan sebelumnya, dan dapat direproduksi untuk menemukan, menilai, dan menggabungkan studi, berbeda dari tinjauan pustaka naratif, yang memilih sumber atas kebijaksanaan penulisnya (lihat Systematic review). Ciri penentunya adalah protokol terdaftar yang ditulis sebelum pencarian dimulai, strategi pencarian yang mencakup literatur tak terbit dan literatur kelabu, kriteria inklusi eksplisit, dan metode baku untuk menilai risiko bias tiap studi. Inilah yang memisahkan tinjauan sistematis dari esai yang ditulis baik dengan catatan kaki: tim lain yang mengikuti protokol yang sama akan menemukan bukti yang secara garis besar sama dan mencapai kesimpulan yang secara garis besar serupa.

Meta-analisis adalah teknik statistik yang paling sering dipasangkan dengan tinjauan sistematis: ia menggabungkan ukuran efek kuantitatif dari beberapa studi independen menjadi satu perkiraan yang lebih presisi, biasanya membobot tiap studi menurut ukuran sampel dan mutunya (lihat Meta-analysis). Meta-analisis hanya sebaik studi yang menyuplainya; menggabungkan lima studi lemah menghasilkan perkiraan yang lebih presisi atas efek yang mungkin bias, bukan perkiraan yang layak dipercaya. Analis karena itu melaporkan heterogenitas — seberapa besar hasil studi bervariasi melampaui yang diprediksi kebetulan — sebab heterogenitas tinggi menandakan studi-studi itu sebenarnya tidak menguji hal yang sama, dan satu angka gabungan dapat menyesatkan.

Bias publikasi adalah kecenderungan studi dengan hasil positif dan signifikan diterbitkan sementara hasil nol atau negatif mengendap di laci arsip peneliti, membuat suatu intervensi tampak lebih konsisten efektif dalam literatur daripada kenyataannya (lihat Publication bias). Tinjauan yang ketat mengoreksinya dengan mencari registri uji coba dan evaluasi yang tidak diterbitkan, bukan hanya artikel jurnal. Pemimpin yang membaca sintesis yang hanya dibangun dari makalah terbit hendaknya bertanya apa yang dilakukan para peninjau untuk menemukan studi yang tidak pernah sampai ke cetakan.

Hierarki bukti meranking rancangan studi menurut seberapa baik mengendalikan perancu dan bias, biasanya menempatkan meta-analisis uji acak di puncak, uji terkontrol acak individual berikutnya, lalu rancangan kuasi-eksperimental dan observasional, dan pendapat pakar di dasar (lihat Hierarchy of evidence). Uji terkontrol acak mengalokasikan peserta ke intervensi atau kelompok pembanding secara kebetulan, satu-satunya alat paling kuat untuk memisahkan efek kausal dari segala hal lain yang terjadi di sekitarnya (lihat Randomized controlled trial; lihat Topik 2.4 — Ekonometrika Sektor Publik dan Evaluasi Program untuk bagaimana rancangan semacam itu dibangun dan dianalisis). Hierarki adalah heuristik yang sungguh berguna, tetapi heuristik, bukan hukum: studi observasional yang dilakukan dengan baik atas kebijakan yang langka atau bergerak lambat dapat mengungguli uji coba yang dilaksanakan buruk dan berdaya rendah, dan pemimpin yang memperlakukannya sebagai peringkat mutlak kadang akan membuang bukti yang lebih relevan demi rancangan yang lebih bergengsi.

Pendekatan GRADE — Grading of Recommendations, Assessment, Development and Evaluations — memformalkan penilaian kedua yang terpisah yang tidak dibuat oleh hierarki saja: ia menilai baik kepastian bukti maupun, secara independen, kekuatan rekomendasi untuk bertindak atasnya, sebab bukti yang kuat tidak selalu membenarkan rekomendasi yang kuat, dan bukti yang lemah tidak selalu membenarkan tidak bertindak terhadap bahaya yang parah dan mendesak (lihat GRADE approach). Pemisahan ini adalah gagasan paling berguna dalam topik ini bagi pengambil keputusan yang dikejar waktu: ia memungkinkan pemimpin mengatakan dengan jujur, "buktinya di sini sedang, dan mengingat taruhan dan biaya menunggu, saya merekomendasikan kita maju" — penilaian yang dapat dipertahankan dan terdokumentasi, bukan pilihan palsu antara menunggu kepastian dan mengabaikan bukti sama sekali.

Pembedaan yang berulang terus dalam perdebatan kebijakan hidup adalah antara ketiadaan bukti dan bukti ketiadaan: kurangnya studi tentang efek suatu intervensi ("tidak ada bukti efek") bukan klaim yang sama dengan kumpulan studi berdaya baik yang secara positif menemukan tidak ada efek ("bukti tidak ada efek") (lihat Evidence of absence). Program lokal baru yang belum punya evaluasi sekadar belum diuji; program nasional yang telah banyak dipelajari dan berulang kali ditemukan tidak menggerakkan hasil apa pun telah diuji dan terbukti tidak berhasil. Mencampuradukkan keduanya adalah salah satu kesalahan paling berkonsekuensi yang dapat dibuat pemimpin publik: mematikan percontohan yang belum teruji tetapi menjanjikan seolah-olah telah gagal, atau terus mendanai program yang berulang kali disangkal seolah-olah belum ada yang melihat cukup cermat.

Kebijakan berbasis bukti adalah gerakan yang lebih luas dan klaim normatif bahwa keputusan publik hendaknya didasarkan pada bukti yang ditetapkan secara ketat, bukan ideologi, anekdot, atau intuisi saja (lihat Evidence-based policy). Para pengkritiknya, dan semakin banyak pendukungnya sendiri, lebih menyukai "kebijakan yang diinformasikan bukti", yang mengakui bahwa bukti adalah satu masukan di antara beberapa — nilai, mandat, biaya, dan pertanyaan legitimasi yang diperlakukan buku ini sebagai fondasional — bukan aturan keputusan mekanis yang dapat diselesaikan bukti saja.

Dari gerakan ini tumbuh pola pusat atau lembaga kliring apa-yang-berhasil: badan independen yang secara sistematis meninjau bukti untuk intervensi dalam suatu ranah kebijakan dan menerbitkan peringkat yang mudah diakses dan sebanding, alih-alih membiarkan setiap komisioner lokal menjalankan tinjauannya sendiri. Cochrane memelopori model ini di bidang kesehatan sejak 1993, memelihara buku pegangan hidup metodologi tinjauan sistematis yang dipakai jauh melampaui kedokteran (lihat Cochrane (organisation)). Campbell Collaboration memperluas metodologi yang sama ke kebijakan sosial, peradilan pidana, pendidikan, dan pembangunan internasional (lihat Campbell Collaboration). Lembaga kliring nasional menyusul: What Works Clearinghouse Amerika Serikat, dijalankan Institute of Education Sciences sejak 2002, meninjau riset pendidikan terhadap standar rancangan eksplisit (lihat What Works Clearinghouse); Education Endowment Foundation Inggris menerbitkan Teaching and Learning Toolkit yang banyak dipakai yang meranking intervensi kelas menurut biaya, kekuatan bukti, dan dampak tipikal dalam satu format yang sebanding (lihat Education Endowment Foundation). Pusat serupa ada untuk pengurangan kejahatan, intervensi dini, tunawisma, dan penuaan yang baik — keluarga internasional kecil yang dibangun di atas metode yang sama: tinjauan sistematis, peringkat transparan, dan ringkasan yang ditujukan bagi praktisi yang tidak memerlukan ahli metodologi untuk membacanya.

Praktik terbaik

1. Mintalah sintesis sebelum studi tunggal. Ketika hasil yang mencolok mendarat di meja Anda, tanyakan lebih dulu apakah tinjauan sistematis atau peringkat apa-yang-berhasil sudah ada untuk intervensi itu, bukan apakah studi itu tampak meyakinkan sendirian.
2. Baca tinjauan yang mendasarinya bersama peringkat toolkit apa pun, bukan sebagai gantinya. Peringkat satu baris atau ikon gembok meringkas suatu penilaian; ia bukan pengganti memahami bukti apa yang menjadi dasarnya dan seberapa langsung ia berlaku pada konteks Anda.
3. Pisahkan mutu bukti dari kekuatan rekomendasi Anda, secara eksplisit. Pinjam logika GRADE bahkan secara informal: nyatakan seberapa pasti buktinya, lalu nyatakan terpisah seberapa kuat kepastian itu, dipadukan dengan taruhan dan biaya, membenarkan bertindak sekarang.
4. Sebutkan apakah Anda menghadapi "belum ada bukti" atau "bukti tidak ada efek" sebelum memutuskan. Tuliskan pembedaan ini dalam setiap ringkasan bukti, sebab kedua situasi menuntut tanggapan yang hampir berlawanan — percontohan yang hati-hati versus menghentikan atau merancang ulang.
5. Periksa kecocokan antara konteks tinjauan dan konteks Anda sebelum mengasumsikan efek akan berpindah. Ukuran efek gabungan dari studi yang dijalankan di tempat lain adalah rata-rata, bukan janji; tanyakan apa yang memoderasi efek semula dan apakah moderator itu ada di sini.
6. Komisikan penilaian bukti cepat ketika tinjauan sistematis penuh tidak muat dalam garis waktu Anda. Tinjauan terstruktur dan berbatas waktu atas literatur yang ada — hari atau minggu, bukan bulan — adalah jalan tengah yang sah antara riset primer baru dan tidak ada tinjauan sama sekali.
7. Publikasikan evaluasi Anda sendiri apa pun hasilnya. Temuan nol dan negatif sama berharganya bagi sintesis berikutnya seperti yang positif; menahannya memperburuk bias publikasi yang merusak setiap tinjauan mendatang di bidang Anda.
8. Bangun hubungan tetap dengan pusat apa-yang-berhasil atau lembaga kliring di ranah Anda sebelum Anda memerlukannya. Mencari dingin di toolkit badan sintesis untuk pertama kalinya saat krisis berjalan jauh lebih lambat daripada sudah mengetahui apa cakupannya dan siapa yang ditanyai tentang celah.
9. Tetapkan ambang bukti Anda sebelum hasil tiba, bukan sesudahnya. Sepakati sebelumnya tingkat bukti apa yang akan membenarkan perluasan, percontohan lebih lanjut, atau penghentian, untuk mengurangi godaan menafsirkan ulang temuan yang ambigu agar cocok dengan keputusan yang sudah diambil.
10. Batasi waktu pencarian studi yang akan menghilangkan semua keraguan. Menunggu basis bukti yang sempurna dan tidak ambigu adalah keputusan itu sendiri, biasanya untuk terus melakukan apa pun yang sudah Anda lakukan; tetapkan tenggat yang menghormati biaya penundaan sama seperti biaya bertindak atas bukti yang lemah.
11. Perlakukan sintesis sebagai masukan bagi proposisi nilai, bukan penggantinya. Intervensi yang paling didukung bukti tidak otomatis pilihan yang tepat begitu biaya, efek distributif, dan legitimasi ditimbang bersamanya (lihat Topik 2.1 — Kartu Skor Nilai Publik dan Kerangka Hasil).
12. Dokumentasikan bukti mana yang Anda pertimbangkan, dan mengapa Anda membobotnya demikian. Catatan tertulis tentang studi yang ditinjau dan penalaran di balik penilaian akhir melindungi legitimasi keputusan dan kemampuan peninjau berikutnya untuk belajar darinya.

Pertanyaan untuk didiskusikan dengan tim Anda

Kapan terakhir kali kita mengubah keputusan yang sedang berjalan karena tinjauan sistematis atau peringkat apa-yang-berhasil bertentangan dengan yang sudah kita rencanakan? Jika jawaban jujurnya "tidak pernah", itu layak direnungkan, sebab menunjukkan bahwa tinjauan bukti mungkin berfungsi sebagai latihan konfirmasi alih-alih pemeriksaan sejati. Diskusikan keputusan terbaru yang basis buktinya campur aduk dan telusuri apakah ia benar-benar membentuk pilihan atau dikumpulkan terutama untuk mendukung kesimpulan yang dicapai sebelumnya. Pertimbangkan apa yang perlu berubah dalam bagaimana bukti sampai ke pengambil keputusan, dan kapan, agar ia berpengaruh nyata dan bukan bobot simbolis.

Adakah tempat di mana kita memperlakukan "tidak ada bukti efek" seolah-olah "bukti tidak ada efek", atau sebaliknya? Telusuri portofolio program Anda saat ini dan identifikasi program apa pun yang diam-diam Anda turunkan prioritasnya karena "buktinya tidak ada", dan periksa apakah itu berarti sungguh belum teruji atau sungguh disangkal. Lakukan hal yang sama ke arah sebaliknya: program apa pun yang tetap Anda danai karena "tidak ada yang menunjukkan ia tidak berhasil", padahal sebenarnya tidak ada yang melihat. Diskusikan apa yang diperlukan untuk mengoreksi dua atau tiga contoh yang paling berkonsekuensi, dan siapa yang seharusnya memiliki koreksi itu.

Jika sebuah keputusan membutuhkan bukti pada hari Jumat, apakah kita sungguh punya proses penilaian bukti cepat, atau akan berimprovisasi di bawah tekanan? Tekanan waktu bukan hipotetis; itu kondisi normal di mana sebagian besar keputusan berbasis bukti yang nyata dibuat. Diskusikan apakah organisasi Anda memiliki metode tetap — tim bernama, templat, daftar pendek pusat apa-yang-berhasil untuk diperiksa lebih dulu — atau setiap permintaan mendesak dimulai dari halaman kosong. Jika yang terakhir, diskusikan seperti apa proses penilaian cepat minimum yang layak dan siapa yang memilikinya.

Hierarki bukti siapa yang sebenarnya kita pakai, dan apakah ia sesuai dengan taruhan dan kemampuan dibalik keputusan ini? Ranah berbeda menerapkan standar bukti mereka secara berbeda, dan hierarki yang dikalibrasi untuk keputusan yang tak dapat dibalik dan berisiko tinggi tidak selalu menjadi batas yang tepat untuk percontohan murah, dapat dibalik, dan mudah dipantau. Diskusikan apakah organisasi Anda menerapkan satu standar bukti secara seragam tanpa memandang taruhan, dan apakah itu melindungi Anda dari keputusan buruk atau sekadar memperlambat keputusan baik. Sepakati, sebagai tim, standar apa yang harus disyaratkan untuk tiga keputusan berikutnya dalam agenda Anda, sebelum Anda tahu apa yang dikatakan bukti.

Apa yang telah kita lakukan, secara konkret, untuk menghentikan evaluasi kita sendiri lenyap ke laci arsip? Setiap hasil nol tak terbit yang diduduki organisasi Anda adalah celah yang harus ditemukan kembali dengan cara sulit oleh organisasi lain. Diskusikan rekam jejak Anda dengan jujur: berapa dari 10 evaluasi terakhir Anda yang dibagikan ke luar, dan apa yang terjadi pada yang tidak. Sepakati komitmen konkret dan terbiayai — kebijakan publikasi, registri bersama — alih-alih aspirasi umum untuk lebih transparan.

Apakah kita memakai ungkapan "kita butuh lebih banyak bukti" dengan jujur, atau sebagai cara menghindari keputusan yang tidak ingin kita ambil? Ini pertanyaan paling tidak nyaman dalam topik ini, dan layak diajukan langsung. Identifikasi keputusan spesifik yang saat ini macet karena alasan bukti dan diskusikan, dengan terus terang, apa yang sebenarnya akan mengubah pikiran Anda, dan apakah bukti yang Anda tunggu secara realistis akan tiba tepat waktu. Jika tidak, diskusikan seperti apa keputusan yang jujur di bawah ketidakpastian sejati sebagai ganti penantian yang berlanjut, dan siapa yang berwenang mengambilnya.

Dalam praktik: contoh nilai publik

Badan ketenagakerjaan regional, bagian dari departemen pemerintah nasional yang bertanggung jawab atas program pasar tenaga kerja, berada di bawah tekanan untuk memutuskan dalam satu siklus anggaran apakah akan memperluas percontohan pelatihan kerja dari tiga distrik ke seluruh wilayah. Percontohan itu memadukan penempatan kerja bersubsidi dengan bimbingan terstruktur, dan uji acak milik badan itu sendiri di tiga distrik percontohan menemukan peningkatan sederhana namun signifikan secara statistik pada pekerjaan berkelanjutan pada bulan ke-12. Sumber bukti saingan memperumit gambaran: tinjauan sistematis yang diterbitkan tahun sebelumnya, menggabungkan sembilan program serupa di beberapa negara, menemukan efek rata-rata mendekati nol, dengan variasi lebar antarstudi dan tanpa pola jelas yang menjelaskan program mana yang berhasil.

Unit bukti badan itu punya enam minggu sebelum tenggat pengajuan anggaran untuk merekonsiliasi kedua temuan. Naluri pertama seorang analis junior adalah memperlakukan tinjauan gabungan sebagai lebih otoritatif hanya karena menggabungkan lebih banyak studi, dan merekomendasikan pembatalan percontohan. Penasihat bukti utama unit itu menolak: rata-rata gabungan mendekati nol di berbagai program yang sungguh berbeda bukanlah bukti kuat bahwa program lokal yang spesifik dan dilaksanakan dengan baik ini akan gagal — itu bukti bahwa program pelatihan kerja pada umumnya heterogen dalam mutu dan kecocokan, yang sudah diketahui. Heterogenitas tinggi yang dilaporkan dalam tinjauan itu sendiri adalah temuan yang lebih penting daripada rata-rata gabungan.

Penasihat itu mengusulkan jalan tengah alih-alih pilihan biner. Ia merekomendasikan perluasan bertahap ke separuh wilayah, dengan distrik perluasan dipilih secara acak sehingga peluncuran itu sendiri menghasilkan bukti lebih lanjut, bukan sekadar membelanjakan terhadap suatu asumsi (lihat Topik 2.4 — Ekonometrika Sektor Publik dan Evaluasi Program untuk bagaimana peluncuran bertahap dapat dirancang sebagai evaluasi lanjutan). Ia juga merekomendasikan menerbitkan uji coba asli secara penuh, metode dan data mentah disertakan, agar dapat diambil oleh tinjauan sistematis berikutnya alih-alih mengendap dalam laporan internal yang tidak akan pernah dilihat siapa pun di luar badan itu.

Pimpinan departemen menyetujui pendekatan bertahap, dibingkai secara eksplisit dalam kajian bisnis (lihat Topik 2.5 — Kajian Bisnis dan Nilai Uang) sebagai keputusan yang dibuat di bawah bukti berkepastian sedang dengan mekanisme bawaan untuk menyelesaikan ketidakpastian dalam 18 bulan, bukan sebagai keputusan yang dibuat karena buktinya meyakinkan. Setelah 18 bulan, distrik perluasan menunjukkan efek yang mendekati percontohan asli, dan departemen memperluas lebih lanjut dengan basis bukti yang lebih kuat daripada yang ditawarkan kedua sumber sendirian — dan jejak dokumen yang jelas yang menunjukkan mengapa ia memilih bertindak alih-alih menunggu.

Skenario ini ilustratif dan fiktif; ia tidak menggambarkan program atau evaluasi departemen sungguhan mana pun.

Empat lensa sektoral

Pemerintah daerah

Pemerintah daerah jarang memiliki anggaran atau beban kasus untuk menugaskan tinjauan sistematisnya sendiri, sehingga keahlian praktisnya adalah menerjemahkan bukti sintesis nasional dan internasional ke dalam konteks lokal tertentu di bawah tekanan waktu nyata — memeriksa apakah basis bukti intervensi yang diperingkat toolkit menyerupai populasi, sistem layanan, dan tingkat pendanaan mereka sendiri sebelum mengasumsikan efek yang diperingkat akan berpindah. Pemimpin daerah juga paling dekat dengan biaya kedua kesalahan yang diperingatkan topik ini: bertindak atas intervensi yang sudah ditunjukkan sintesis tidak berhasil, dan menolak inovasi lokal yang sungguh menjanjikan tetapi kurang dievaluasi karena belum ada pusat apa-yang-berhasil yang memeringkatnya.

Pemerintah nasional

Pemerintah nasional adalah tempat sebagian besar pusat apa-yang-berhasil dan panduan hierarki bukti formal berada, memberi departemen nasional kedekatan dengan infrastruktur sintesis tetapi juga paparan terbesar pada memperlakukan hierarki bukti sebagai gerbang birokratis alih-alih alat bantu keputusan. Tugas nasional yang khas adalah menugaskan dan memelihara infrastruktur itu — mendanai lembaga kliring, menetapkan standar buktinya, dan memastikan peringkatnya benar-benar sampai ke pejabat yang menulis kajian bisnis (lihat Topik 2.5 — Kajian Bisnis dan Nilai Uang), alih-alih ada sebagai situs web yang dihormati yang jarang dikonsultasikan tim kebijakan di bawah tekanan tenggat.

Sektor sosial dan nirlaba

Organisasi nirlaba dan lembaga amal biasanya kekurangan sumber daya untuk menjalankan evaluasi ketat pada skala besar, membuat mereka sangat bergantung pada badan sintesis eksternal dan semakin pada penyandang dana yang mensyaratkan keselarasan dengan tingkat bukti yang diperingkat sebagai syarat hibah. Ini menciptakan risiko khas: organisasi di bawah tekanan keuangan dapat tergoda melebih-lebihkan seberapa baik programnya terpetakan pada peringkat yang menguntungkan — bentuk pencucian bukti — atau, sebaliknya, lembaga amal lokal kecil yang sungguh efektif dapat terdesak dari pendanaan karena tidak pernah cukup besar untuk menghasilkan bukti yang diperingkat tinggi oleh lembaga kliring nasional (lihat Topik 3.8 — Manajemen Sektor Sosial dan Nirlaba untuk struktur pendanaan di balik tekanan ini).

Multilateral dan internasional

Badan multilateral dan internasional menghadapi masalah keumuman dalam bentuknya yang paling akut: intervensi yang terbukti di sistem kesehatan, sektor pertanian, atau pasar tenaga kerja satu negara rutin diusulkan untuk konteks ekonomi dan kelembagaan yang sangat berbeda, dan literatur sintesis lebih baik dalam menandai perpindahan yang tak didukung ini setelah kejadian daripada sebelumnya. Jaringan riset yang dibangun untuk menutup celah ini, seperti Abdul Latif Jameel Poverty Action Lab, telah mendorong kebijakan pembangunan ke arah replikasi khusus konteks alih-alih bukti konsep satu negara, tetapi ketegangan antara bukti yang sebanding secara global dan efek yang bergantung konteks tetap menjadi ciri penentu sintesis pada skala ini.

Ragam kegagalan yang umum

Hierarki bukti sebagai dalih untuk tidak bertindak. Tim yang menghadapi keputusan sulit dan diperdebatkan mengutip "bukti tidak memadai" atau "belum ada uji acak" sebagai alasan menunda tanpa batas, padahal pendorong jujur dari penundaan itu adalah ketidaknyamanan politik atau keinginan menghindari akuntabilitas. Ini merugikan organisasi peluang itu sendiri, dan merugikan basis bukti ujian dunia nyata yang dapat menyelesaikan ketidakpastian, meninggalkan pengambil keputusan berikutnya menghadapi celah yang persis sama.

Mencampuradukkan ketiadaan bukti dengan bukti ketiadaan. Inovasi lokal yang menjanjikan tetapi belum teruji dimatikan seolah-olah telah dicoba dan gagal, sementara program nasional yang berulang kali disangkal terus didanai karena tak seorang pun membingkai bukti itu sebagai temuan negatif, bukan celah. Kedua kesalahan itu mahal: yang satu menutup opsi menjanjikan, yang lain melindungi program yang akan dipensiunkan sintesis yang jernih bertahun-tahun sebelumnya.

Memperlakukan peringkat toolkit sebagai seluruh analisis. Pengambil keputusan membaca satu ikon gembok atau peringkat bintang dan berhenti di situ, tanpa memeriksa apakah studi yang mendasarinya cocok dengan konteks, populasi, atau skalanya. Peringkat sengaja dipadatkan agar mudah diakses; bila dipakai tanpa tinjauan yang mendasarinya, ia dapat menghasilkan keputusan yang percaya diri yang dibangun di atas basis bukti yang lebih tipis daripada yang disiratkan kesederhanaan peringkat itu.

Mengabaikan heterogenitas demi hasil gabungan utama. Satu ukuran efek rata-rata dari meta-analisis dikutip dalam pengarahan sementara variasi lebar antarstudi yang menghasilkannya — sering temuan yang lebih informatif — dibuang. Ini menghasilkan presisi semu: pengambil keputusan bertindak seolah setiap pelaksanaan berperilaku sama, padahal mutu pelaksanaan dan konteks bekerja sama banyaknya dengan intervensi itu sendiri.

Membiarkan bias publikasi diam-diam membentuk basis bukti. Organisasi hanya membaca literatur akademik terbit ketika menilai suatu intervensi, melewatkan uji coba negatif tak terbit dan evaluasi internal yang tidak pernah sampai ke jurnal. Gambaran "apa yang berhasil" yang dihasilkan condong positif secara sistematis, dan keputusan yang dibangun di atasnya mewarisi kemiringan itu tanpa ada yang memilihnya dengan sengaja.

Model kematangan

Daftar periksa

• Tinjauan sistematis atau peringkat apa-yang-berhasil diperiksa sebelum mengandalkan satu studi.
• Tinjauan bukti yang mendasari dibaca, bukan hanya peringkat atau ikon ringkasannya.
• Mutu bukti dan kekuatan rekomendasi dinyatakan sebagai dua penilaian terpisah.
• "Tidak ada bukti efek" versus "bukti tidak ada efek" dibedakan secara eksplisit dalam ringkasan tertulis.
• Kecocokan konteks antara studi yang ditinjau dan keputusan yang dihadapi diperiksa (populasi, skala, sistem layanan).
• Proses penilaian bukti cepat tersedia dan dipakai ketika tinjauan penuh tidak muat dalam garis waktu.
• Ambang bukti untuk keputusan disepakati sebelum hasil ditinjau.
• Rencana tersedia untuk menerbitkan evaluasi organisasi ini sendiri, apa pun hasilnya.
• Hubungan tetap dengan pusat apa-yang-berhasil atau lembaga kliring yang relevan dibangun, bukan dibangun dari nol di bawah tekanan.
• Penalaran di balik penilaian akhir didokumentasikan, termasuk bukti yang dipertimbangkan dan ditolak.
• Keputusan ditinjau terhadap proposisi nilai dan pertimbangan legitimasi, bukan kekuatan bukti saja.

Sumber utama

• Cochrane Handbook for Systematic Reviews of Interventions, dipelihara oleh Cochrane, untuk metodologi fondasional yang menjadi dasar praktik tinjauan sistematis lintas sektor.
• Panduan Campbell Collaboration tentang tinjauan sistematis dan sintesis bukti untuk kebijakan sosial, perilaku, dan kriminologi, untuk perluasan langsung metodologi itu ke ranah kebijakan publik di luar kesehatan.
• Standards Handbook What Works Clearinghouse (Institute of Education Sciences, Amerika Serikat), sebagai contoh kerja bagaimana lembaga kliring nasional menetapkan standar rancangan studi eksplisit dan meranking bukti terhadapnya.
• Teaching and Learning Toolkit Education Endowment Foundation, sebagai contoh praktis yang ditujukan bagi praktisi tentang menerjemahkan bukti gabungan menjadi peringkat biaya, dampak, dan kekuatan bukti yang sebanding.
• Karya Organisasi untuk Kerja Sama dan Pembangunan Ekonomi (OECD) tentang membangun kapasitas pembuatan kebijakan yang diinformasikan bukti, sebagai paparan lintas negara tentang bagaimana pemerintah mengorganisasi sisi permintaan dan penawaran penggunaan bukti.
• What Works Center for Crime Reduction College of Policing dan toolkit pengurangan kejahatannya, sebagai contoh kerja lebih lanjut pola lembaga kliring yang diterapkan di luar kesehatan dan pendidikan.

Referensi

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Center for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-center-crime-reduction