Kartu Skor Nilai Publik dan Kerangka Hasil

Mengapa ini penting dalam nilai publik

Sebagian besar pemimpin sektor publik dan sektor sosial dapat menghasilkan dokumen strategi yang fasih berbicara tentang hasil. Jauh lebih sedikit yang dapat menghasilkan, setahun kemudian, bukti yang menunjukkan apakah hasil-hasil itu benar-benar bergerak. Kesenjangan di antara keduanya biasanya bukan kekurangan data — kebanyakan organisasi mengumpulkan data dalam jumlah sangat besar — melainkan kekurangan struktur disiplin yang mengubah hitungan aktivitas mentah menjadi klaim yang dapat dipertahankan tentang nilai yang tercipta. Topik 1.2 — Segitiga Strategis: Legitimasi, Nilai, dan Kapasitas memaparkan legitimasi dan dukungan, proposisi nilai, dan kapasitas operasional sebagai tiga sisi yang harus dipenuhi sekaligus oleh strategi sebuah organisasi (lihat Topik 1.2 — Segitiga Strategis: Legitimasi, Nilai, dan Kapasitas). Topik ini membahas perangkat yang membuat ketiga sisi itu terukur, bukan sekadar ditegaskan.

Taruhannya langsung dan berulang. Penyandang dana atau legislatif bertanya, pada putaran anggaran berikutnya, "apa yang kami peroleh dari uang ini" — dan organisasi yang hanya memiliki hitungan keluaran (klinik dibuka, kasus diproses, sesi pelatihan dijalankan) tidak punya jawaban atas pertanyaan hasil di baliknya. Tim program mengira dirinya berhasil karena aktivitas tinggi dan sibuk, tanpa memisahkan aktivitas dari perubahan di dunia yang hendak ditimbulkan aktivitas itu. Dewan menyetujui inisiatif baru atas kekuatan narasi yang meyakinkan, lalu setahun kemudian tidak memiliki dasar yang disepakati untuk memutuskan apakah akan melanjutkan, memperluas, atau menghentikannya. Masing-masing adalah kegagalan pengukuran dengan konsekuensi strategis, bukan ketidaknyamanan teknis.

Perangkat dalam topik ini — Kartu Skor Nilai Publik milik Mark Moore, model logika, dan akuntabilitas berbasis hasil beserta kerabatnya — tidak menyelesaikan setiap masalah pengukuran yang dihadapi organisasi sektor publik atau sektor sosial. Topik-topik berikutnya membahas lapisan yang lebih sulit dan teknis: memonetisasi hasil lewat analisis biaya-manfaat dan efektivitas biaya (lihat Topik 2.2 — Analisis Biaya-Manfaat Sosial dan Efektivitas Biaya), menilai hasil yang sulit dimonetisasi lewat pengembalian sosial atas investasi (lihat Topik 2.3 — Pengembalian Sosial atas Investasi dan Pengukuran Dampak), dan menetapkan bahwa suatu program benar-benar menyebabkan perubahan yang teramati lewat evaluasi program formal (lihat Topik 2.4 — Ekonometrika Sektor Publik dan Evaluasi Program). Yang disediakan topik ini adalah lapisan di bawah ketiganya: kosakata bersama dan sejumlah kecil kerangka tahan lama untuk menyatakan, sebelum pekerjaan teknis apa pun dimulai, apa sebenarnya yang hendak diubah organisasi, bagi siapa, dan bagaimana ia akan mengetahuinya.

Konsep inti

Kartu Skor Nilai Publik adalah usulan Mark H. Moore untuk melacak setiap sisi segitiga strategis dengan seperangkat indikatornya sendiri, alih-alih bergantung pada ukuran keuangan dan operasional yang akan dipakai balanced scorecard sektor swasta. Moore mengadaptasi balanced scorecard — perangkat Robert Kaplan dan David Norton untuk melacak bisnis dari perspektif keuangan, pelanggan, proses internal, dan pembelajaran — karena satu garis dasar keuangan tidak dapat mewakili organisasi yang klaim utama keberadaannya adalah menciptakan nilai yang tidak tertangkap oleh harga pasar mana pun. Kartu Skor Nilai Publik sebaliknya meminta organisasi menetapkan ukuran di bawah tiga judul yang mencerminkan segitiga: akun legitimasi dan dukungan (apakah lingkungan pemberi otorisasi puas — penyandang dana, pengawas, publik), akun nilai publik (apakah proposisi nilai terwujud — hasil bagi warga dan klien), dan akun kapasitas operasional (apakah organisasi mampu mempertahankan dan meningkatkan penyampaian — staf, sistem, keuangan, kemitraan). Disiplinnya terletak pada penolakan membiarkan satu akun mewakili keseluruhan; organisasi yang hanya melaporkan efisiensi keuangan, atau hanya kepuasan klien, belum melaporkan terhadap segitiga sama sekali.

Model logika memberi akun nilai pada kartu skor struktur internalnya. Model logika memaparkan rantai sebab-akibat yang diklaim dijalankan sebuah program: masukan (uang, staf, dan sumber daya lain yang dikomitmenkan), aktivitas (apa yang dilakukan organisasi dengannya), keluaran (produk langsung yang dapat dihitung dari aktivitas itu — sesi yang disampaikan, izin yang diterbitkan, rumah tangga yang dikunjungi), hasil (perubahan dalam pengetahuan, perilaku, kondisi, atau status yang dimaksudkan ditimbulkan oleh keluaran, biasanya dalam beberapa bulan atau beberapa tahun), dan dampak (perubahan jangka lebih panjang, sering di tingkat populasi, yang dimaksudkan disumbang hasil, biasanya dibagi dengan aktor lain dan lebih sulit diatribusikan ke satu program). Pembedaan antara keluaran dan hasil adalah yang paling berkonsekuensi dalam topik ini: keluaran adalah sesuatu yang dilakukan organisasi; hasil adalah sesuatu yang berubah bagi orang lain sebagai akibatnya. Keluaran program pelatihan adalah jumlah orang yang dilatih; hasilnya adalah apa yang kemudian dapat dilakukan orang-orang itu, atau bagaimana keadaan mereka berubah, yang tidak dapat mereka lakukan sebelumnya.

Teori perubahan adalah disiplin yang berkerabat erat untuk membuat asumsi di balik model logika eksplisit alih-alih implisit — mengapa organisasi percaya aktivitas A akan benar-benar menghasilkan hasil B, dan dalam kondisi apa klaim sebab-akibat itu bisa gagal. Teori perubahan bukan sekadar model logika yang lebih rinci; ia menonjolkan penalaran "jika... maka... karena" dan asumsi kontekstual yang cenderung dibiarkan tak dinyatakan oleh diagram kotak-dan-panah model logika. Topik 2.3 memakai teori perubahan sebagai titik awal pengukuran dampak di sektor sosial secara lebih mendalam (lihat Topik 2.3 — Pengembalian Sosial atas Investasi dan Pengukuran Dampak); di sini, ia penting terutama sebagai disiplin yang menjaga model logika tetap jujur tentang apa yang sebenarnya diklaim ditimbulkannya, berbeda dari apa yang sekadar diharapkan mengikuti.

Akuntabilitas berbasis hasil (results-based accountability, RBA) adalah anggota paling terkenal dari keluarga kerangka berbasis hasil yang dipakai lintas pemerintah dan sektor sosial untuk menghubungkan hasil tingkat populasi dengan kinerja program tertentu. Dikembangkan oleh Mark Friedman dan dipaparkan dalam bukunya Trying Hard Is Not Good Enough, RBA memisahkan dua jenis akuntabilitas berbeda yang rutin dicampuradukkan organisasi. Akuntabilitas populasi bertanya bagaimana keadaan seluruh komunitas atau yurisdiksi pada suatu kondisi kesejahteraan — kemiskinan anak, keamanan komunitas, pencapaian pendidikan — dengan sejumlah kecil indikator utama yang tidak dimiliki atau dikendalikan sepenuhnya oleh satu lembaga pun. Akuntabilitas kinerja bertanya seberapa baik program atau lembaga tertentu bekerja, memakai tiga jenis indikator kinerja yang ditegaskan kerangka Friedman untuk dibedakan: seberapa banyak yang dilakukan (upaya — hitungan keluaran), seberapa baik dilakukan (mutu), dan apakah ada yang menjadi lebih baik (efek — hasil). Metode praktis RBA, yang kadang disebut analisis "membalik kurva", bekerja mundur dari indikator yang dipilih — bertanya cerita apa yang diceritakan data, apa penyebab cerita itu, siapa mitra yang berperan mengubahnya, apa yang akan berhasil, dan apa yang diusulkan organisasi untuk dilakukan — versi terstruktur dari penalaran yang diformalkan secara terpisah oleh model logika dan teori perubahan. RBA adalah satu contoh dari pola yang lebih luas manajemen berbasis hasil, berkerabat erat dengan praktik rutin pemantauan dan evaluasi yang dipakai di seluruh pembangunan internasional dan administrasi publik, dipromosikan dalam berbagai bentuk oleh pemerintah nasional, penyandang dana filantropi, dan badan multilateral sebagai disiplin bersama untuk menghubungkan belanja dengan hasil, bukan hanya dengan keluaran.

Keluaran, hasil, dan kartu skor bersama-sama. Alasan kerangka-kerangka ini berada dalam satu topik, bukan tiga, adalah karena mereka menjawab pertanyaan mendasar yang sama pada titik berbeda dalam siklus perencanaan dan pelaporan organisasi. Model logika digambar pada saat perancangan, untuk menyatakan klaim sebab-akibat. Akuntabilitas berbasis hasil dan kerangka sebanding diterapkan pada saat pelaporan, untuk menjaga ukuran kinerja jujur tentang perbedaan antara upaya dan efek. Kartu Skor Nilai Publik berada di atas keduanya, sebagai struktur tetap yang memastikan bukti hasil — bagaimanapun dihasilkan — benar-benar mencapai percakapan legitimasi dan kapasitas tempat keputusan anggaran dan mandat diambil, alih-alih tetap berada di dalam pelaporan tim program sendiri. Bersama-sama, ketiga kerangka itulah yang mengubah nilai publik dari klaim yang dibuat organisasi tentang dirinya menjadi klaim yang dapat dipertahankannya dengan bukti.

Praktik terbaik

1. Gambar model logika sebelum indikator, bukan sesudahnya. Memilih apa yang diukur sebelum menyepakati apa yang diklaim ditimbulkan menghasilkan daftar apa pun yang mudah dihitung; gambar rantai masukan-ke-dampak lebih dulu, lalu pilih ukuran yang menguji tiap mata rantainya.
2. Laporkan terhadap ketiga akun kartu skor bersamaan, bukan satu per satu. Pembaruan legitimasi tanpa bukti hasil, atau laporan hasil tanpa akun kapasitas tentang apa biaya mempertahankannya, masing-masing hanya menceritakan sebagian cerita yang dibutuhkan penyandang dana atau pengawas untuk mengambil keputusan nyata.
3. Pisahkan upaya, mutu, dan efek secara eksplisit dalam setiap laporan kinerja. Pinjam pembagian tiga arah Friedman bahkan di luar penerapan RBA formal; laporan yang mencampur "sesi yang disampaikan" dengan "kehidupan yang membaik" tanpa membedakannya akan selalu condong ke mana pun yang lebih mudah digelembungkan.
4. Pilih sejumlah kecil indikator populasi utama dan pertahankan selama bertahun-tahun, bukan triwulan. Kondisi tingkat populasi bergerak lambat dan dipengaruhi banyak aktor; mengganti ukuran utama pada setiap siklus pelaporan membuat mustahil mengetahui apakah kurvanya benar-benar berbalik.
5. Sebutkan lantang apa yang tidak dikendalikan organisasi. Model logika yang mengesankan satu program sepenuhnya menyebabkan hasil tingkat populasi mengundang skeptisisme yang justru melemahkan legitimasi ketika hasil tidak bergerak sesuai jadwal; nyatakan faktor penyumbang lain sejak awal.
6. Publikasikan kerangka hasil sebelum putaran anggaran, bukan sesudahnya. Kerangka hasil yang dibuat untuk membenarkan keputusan anggaran yang sudah diambil terbaca sebagai rasionalisasi pascakejadian; yang dipublikasikan sebelum putaran adalah bukti bahwa keputusan nyata sedang diuji terhadapnya.
7. Jaga kartu skor dan model logika sebagai dokumen hidup, ditinjau ulang ketika konteks berubah, bukan artefak tahunan. Model logika yang digambar untuk satu lingkungan kebijakan dapat diam-diam berhenti sesuai realitas — undang-undang baru, pergeseran demografi, perubahan pendanaan — jauh sebelum tinjauan terjadwal menangkapnya; perlakukan keduanya sebagai milik tim penyampaian, bukan latihan kepatuhan bagi kantor pusat.
8. Jaga ukuran akun kinerja dekat dengan orang yang dapat bertindak atasnya. Tim program dapat memperbaiki ukuran mutu dan upaya secara langsung; berikan target hasil tingkat populasi yang tidak dapat mereka gerakkan sendirian, dan pengukuran menjadi sumber demoralisasi, bukan arahan.
9. Perlakukan target hasil yang terlewat sebagai dorongan untuk bertanya mengapa, bukan vonis untuk disembunyikan. Kebiasaan "membalik kurva" untuk bertanya apa penyebab tren sebelum menimpakan kesalahan menjaga pelaporan hasil tetap berguna; budaya yang menghukum target yang terlewat mengajarkan staf melindungi angkanya, bukan hasilnya.
10. Buat asumsi dalam teori perubahan dapat difalsifikasi. Asumsi yang ditulis begitu samar sehingga tidak ada bukti yang dapat membantahnya tidak menambah ketelitian pada model logika; tulis asumsi cukup spesifik sehingga evaluasi di masa depan dapat menunjukkan bahwa ia salah.

Pertanyaan untuk didiskusikan dengan tim Anda

Dapatkah kita saat ini membedakan, untuk program terpenting kita, keluaran dari hasil — dan apakah staf kita sendiri memakai kedua kata itu dengan benar? Banyak organisasi melaporkan hitungan aktivitas dengan bahasa hasil tanpa menyadari penggantian itu, yang diam-diam mengikis perbedaan yang diperlakukan topik ini sebagai fondasional. Gunakan pertanyaan ini untuk mengambil laporan terkini yang sebenarnya dan memeriksa, baris demi baris, angka mana yang menggambarkan apa yang dilakukan organisasi versus apa yang berubah bagi orang lain. Diskusikan di mana bahasa itu telah bergeser, dan apakah pergeseran itu mencerminkan kebingungan sejati tentang logika program atau sekadar bahwa data hasil lebih sulit diperoleh daripada data keluaran. Jika jawaban jujurnya yang terakhir, itu sendiri temuan yang layak dicatat, bukan alasan untuk terus memakai bahasa keluaran yang berpakaian hasil.

Di mana pelaporan kita saat ini meringkas upaya, mutu, dan efek menjadi satu angka, dan apa sebenarnya yang dikatakan angka itu kepada pembaca? Pembagian tiga arah Friedman ada karena organisasi rutin cenderung melaporkan upaya — yang termudah dihitung dari ketiganya — sambil mengesankan telah melaporkan efek. Gunakan pertanyaan ini untuk mengidentifikasi satu metrik unggulan yang saat ini dilaporkan organisasi dan menentukan, bersama sebagai kelompok, yang mana dari ketiganya yang sebenarnya diukur. Diskusikan apa yang diperlukan untuk melaporkan ketiganya secara terpisah untuk metrik itu, dan apakah melakukannya akan mengubah bagaimana organisasi dipersepsikan oleh orang yang saat ini hanya melihat angka yang bercampur.

Jika hasil populasi utama kita tidak bergerak selama dua siklus pelaporan lagi, apa yang akan kita lakukan secara berbeda, dan apa yang tidak akan kita ubah? Pertanyaan ini menguji apakah organisasi sungguh memakai kerangka hasilnya untuk mengarahkan, atau sekadar menghasilkannya sebagai kewajiban pelaporan. Gunakan ia untuk membedakan bagian strategi saat ini yang bergantung pada data hasil dan yang tetap apa pun yang ditunjukkan data. Diskusikan dengan jujur apakah ada bagian program saat ini yang akan bertahan tanpa perubahan bahkan jika bukti berbalik tegas melawannya, sebab itulah bagian yang sebenarnya tidak dikelola oleh kerangka.

Apakah Kartu Skor Nilai Publik kita, jika ada, melaporkan ketiga sisi segitiga, atau diam-diam telah menjadi kartu skor untuk satu sisi saja? Lazim sebuah kerangka hasil dimulai dengan ambisi tiga sisi yang tulus dan bergeser, di bawah tekanan pelaporan, menjadi dokumen hasil saja atau keuangan saja. Gunakan pertanyaan ini untuk mengaudit dua atau tiga laporan formal terakhir terhadap struktur tiga akun yang dijelaskan topik ini. Diskusikan sisi mana yang cenderung dijatuhkan lebih dulu di bawah tekanan waktu, dan apa yang dikatakan hal itu tentang sisi mana yang secara implisit diperlakukan organisasi sebagai opsional.

Siapa di luar organisasi ini yang perlu setuju dengan model logika kita agar ia kredibel, dan sudahkah kita benar-benar menanyai mereka? Model logika yang digambar sepenuhnya oleh tim program yang merancang intervensi dapat diam-diam menyandikan asumsi optimistis yang tidak ada orang di luar ruangan itu yang berada pada posisi menantangnya. Gunakan pertanyaan ini untuk mengidentifikasi aktor eksternal mana — penyandang dana, mitra penyampaian, orang yang dilayani program — yang berkepentingan dalam benar-tidaknya rantai sebab-akibat, dan apakah ada di antara mereka yang benar-benar telah meninjaunya. Diskusikan apa yang berubah, jika ada, terakhir kali perspektif luar diundang ke dalam tinjauan itu.

Apa himpunan indikator populasi dan kinerja terkecil yang dapat kita laporkan yang masih memungkinkan orang luar menilai apakah organisasi ini menciptakan nilai publik? Sistem pengukuran cenderung menumpuk indikator jauh lebih cepat daripada menghentikannya, sampai kerangka menjadi terlalu besar untuk benar-benar dipakai siapa pun dalam keputusan. Gunakan pertanyaan ini untuk mencoba, sebagai latihan, memangkas himpunan indikator saat ini hingga separuh tanpa kehilangan kemampuan menjawab pertanyaan akuntabilitas populasi dan akuntabilitas kinerja yang dijelaskan topik ini. Diskusikan resistensi apa yang dimunculkan latihan itu, sebab resistensi terhadap pemangkasan indikator tertentu sering menjadi tanda dari apa yang sebenarnya diminta pertanggungjawabannya dari organisasi, cocok atau tidak dengan strategi yang dinyatakannya.

Dalam praktik: contoh nilai publik

Jaringan regional lembaga amal dukungan keluarga — fiktif, ilustratif atas sebuah pola dan bukan laporan tentang organisasi sungguhan mana pun — telah menghabiskan satu dekade menjalankan program kunjungan rumah bagi orang tua baru di lingkungan berpenghasilan rendah. Laporan tahunannya kepada penyandang dana rinci dan, menurut ukuran keluaran, mengesankan: ribuan kunjungan rumah diselesaikan tiap tahun, kehadiran tinggi pada lokakarya pengasuhan, skor kepuasan yang kuat dari keluarga yang berpartisipasi. Atas dasar rekam jejak itu, jaringan terus tumbuh, menambah cabang lokal baru kira-kira setiap dua tahun.

Penyandang dana nasional baru, yang mempertimbangkan hibah multitahun yang cukup besar untuk melipatgandakan jangkauan jaringan, mengajukan pertanyaan yang tidak pernah secara formal diajukan dewan jaringan itu kepada manajemen: bukti apa yang menunjukkan bahwa anak-anak dalam keluarga yang menerima kunjungan rumah sungguh lebih baik keadaannya, kemudian, daripada anak-anak sebanding yang keluarganya tidak menerima. Pimpinan jaringan menyadari, sambil menelaah pertanyaan itu, bahwa pelaporannya tidak pernah memisahkan upaya dari efek. Hitungan kunjungan dan skor kepuasan adalah bukti sejati bahwa program disampaikan dan diterima dengan baik; keduanya bukan bukti bahwa program mengubah hasil perkembangan anak, klaim yang tertanam dalam pernyataan misi jaringan sendiri dan, secara implisit, dalam setiap permohonan hibah yang pernah ditulisnya.

Jaringan itu membangun model logika dari nol, bermula dari hasil yang benar-benar diinginkannya — indikator perkembangan anak usia dini yang membaik, berkurangnya kasus penelantaran anak yang terbukti, kepercayaan diri orang tua yang lebih kuat — dan bekerja mundur ke aktivitas dan keluaran yang dimaksudkan menjadi sandaran masing-masing, menamai asumsi di antaranya secara eksplisit. Ia mengadopsi struktur akuntabilitas berbasis hasil yang disederhanakan: indikator populasi dilacak di tingkat lingkungan dan dibagikan dengan sekolah serta layanan kesehatan setempat, bersama indikator kinerja yang dapat langsung ditindaklanjuti timnya sendiri — frekuensi kunjungan, penyelesaian lokakarya, dan kepercayaan diri pengasuhan yang dinilai staf pada bulan ketiga dan kedua belas. Dua dari lima indikator hasil tidak bergerak seperti diharapkan di satu lingkungan pada siklus pelaporan pertama. Alih-alih menekan hasilnya, jaringan memakai proses "membalik kurva" miliknya sendiri untuk menyelidiki, menemukan bahwa perubahan penempatan petugas kunjungan kesehatan setempat telah mengganggu jalur rujukan, dan menyesuaikan pengaturan kemitraannya alih-alih model intinya. Penyandang dana memperbarui dan memperluas hibah, mengutip kejujuran pelaporan, bukan ketiadaan kekurangan, sebagai alasan keyakinannya.

Empat lensa sektoral

Pemerintah daerah

Kerangka hasil pemerintah daerah biasanya berada di dalam seperangkat indikator yang ditetapkan secara nasional yang tidak dipilihnya tetapi harus dilaporkannya, di samping ukuran yang dipilih secara lokal yang mencerminkan prioritas dewannya sendiri. Struktur ganda ini berarti kartu skor lokal sering harus merekonsiliasi dua khalayak dengan pertanyaan berbeda — inspektur nasional yang bertanya tentang kepatuhan pada himpunan indikator baku, dan penduduk setempat yang bertanya tentang kondisi lokal yang spesifik dan terlihat, seperti jalan atau layanan tertentu. Model logika pada skala pemerintah daerah biasanya paling mudah dibangun untuk satu layanan (perubahan pengumpulan daur ulang, perancangan ulang perpustakaan) dan paling sulit dibangun secara kredibel untuk hasil lintas sektor seperti kohesi komunitas, di mana banyak aktor di luar kendali dewan juga berkontribusi.

Pemerintah nasional

Kerangka hasil nasional beroperasi pada skala di mana perbedaan akuntabilitas populasi dan akuntabilitas kinerja dari akuntabilitas berbasis hasil menjadi esensial, bukan opsional: indikator kesehatan atau pendidikan nasional dipengaruhi ratusan program, hanya sedikit di antaranya yang didanai langsung oleh satu departemen, sehingga satu kementerian yang mengklaim sendirian pujian atau kesalahan atas tren nasional jarang dapat dipertahankan. Pemerintah nasional juga sumber paling umum kerangka hasil besar yang diwajibkan secara terpusat yang harus diadopsi badan penyampaian di bawahnya dalam rantai, yang menciptakan risiko berulang bahwa kerangka dirancang untuk agregasi dan perbandingan antardepartemen alih-alih benar-benar mengarahkan penyampaian satu program.

Sektor sosial dan nirlaba

Organisasi nirlaba dan nonpemerintah (LSM) lebih sering membangun model logika dan teori perubahan mereka sendiri dari prinsip dasar daripada mengadopsi kerangka yang diturunkan pemberi otorisasi, karena penyandang dana mereka sering yang meminta argumen sebab-akibat alih-alih menyediakan templat baku. Ini memberi organisasi sektor sosial lebih banyak kebebasan merancang kerangka hasil yang sesuai dengan logika program sebenarnya, tetapi juga lebih banyak paparan pada kelelahan pengukuran yang didorong penyandang dana, di mana setiap hibah membawa persyaratan pelaporannya sendiri dan organisasi akhirnya memelihara beberapa kerangka hasil paralel untuk pekerjaan mendasar yang sama. Pemisahan populasi-versus-kinerja dalam akuntabilitas berbasis hasil sangat berguna di sini, sebab memberi organisasi nirlaba bahasa untuk mengatakan terus terang kepada penyandang dana bahwa ia dapat dimintai pertanggungjawaban atas ukuran kinerjanya sendiri tetapi tidak, sendirian, atas indikator populasi yang juga dipengaruhi banyak aktor lain.

Multilateral dan internasional

Badan multilateral menjalankan manajemen berbasis hasil pada skala di mana asumsi model logika menempuh lusinan konteks nasional sekaligus, sehingga logika intervensi yang berlaku di satu negara dapat gagal diam-diam di negara lain tanpa indikator global utama mengungkap konteks mana yang bermasalah. Kerangka hasil dalam latar ini sering dibangun untuk memuaskan beberapa pemerintah donor sekaligus, masing-masing dengan preferensi pelaporannya sendiri, yang mendorong ke himpunan indikator terstandar (dari jenis yang dipromosikan melalui panduan manajemen berbasis hasil internasional) dengan mengorbankan kekhususan lokal. Jurang antara keluaran yang dapat dilaporkan mitra pelaksana dengan cepat — pelatihan yang disampaikan, klinik yang dipasok — dan hasil yang baru muncul dalam survei nasional bertahun-tahun kemudian paling lebar di sini, sehingga disiplin menyatakan rantai sebab-akibat yang diasumsikan secara eksplisit, alih-alih mengasumsikannya, menjadi sangat penting.

Ragam kegagalan yang umum

Keluaran yang menyamar sebagai hasil. Organisasi melaporkan hitungan aktivitas dengan bahasa hasil — "keamanan komunitas yang membaik" padahal ukuran sebenarnya adalah patroli yang dilakukan — entah karena pencampuradukan sejati atau karena data hasil lebih sulit dan lambat dikumpulkan. Biayanya muncul ketika peninjau eksternal meminta bukti hasil secara langsung dan hanya menemukan keluaran di balik klaim itu, merusak kredibilitas organisasi lebih daripada hasil yang sederhana namun dilaporkan jujur.

Proliferasi indikator. Kartu skor atau model logika menumpuk ukuran lebih cepat daripada menghentikannya, didorong oleh setiap permintaan pemangku kepentingan baru yang menambah satu baris alih-alih menggantikan yang ada. Akibat akhirnya adalah kerangka yang terlalu besar untuk benar-benar dipakai manajer mana pun dalam keputusan, yang diam-diam mengembalikan organisasi ke pertimbangan informal sementara kerangka resmi menjadi artefak pelaporan yang tidak dirujuk siapa pun.

Penangkapan target. Ukuran kinerja, begitu dikaitkan dengan pendanaan atau imbalan, menjadi hal yang langsung dioptimalkan staf alih-alih hasil yang dimaksudkan diwakilinya — pola yang digambarkan hukum Goodhart, di mana ukuran yang dipakai sebagai target berhenti menjadi ukuran yang andal. Rumah topik ini untuk dinamika itu dalam sektor publik secara khusus, termasuk bagaimana rezim mutu mencoba mendeteksi dan membatasinya, ada di tempat lain (lihat Topik 3.11 — Manajemen Mutu, Keselamatan, dan Kinerja); di sini ia penting sebagai alasan untuk menjaga ukuran upaya, mutu, dan efek tetap terpisah dan meninjau target sebelum mendistorsi perilaku.

Overjangkauan atribusi. Pelaporan program mengesankan tanggung jawab sebab-akibat tunggal atas hasil tingkat populasi yang juga dipengaruhi banyak aktor lain, entah lewat bahasa yang ceroboh atau keyakinan sejati. Ketika hasil gagal bergerak — sering karena alasan di luar kendali program — organisasi menyerap kesalahan yang tidak proporsional dengan kontribusi sebenarnya, yang kemudian mengecilkan hati pelaporan kekurangan yang jujur pada siklus mendatang.

Kerangka tanpa umpan balik. Organisasi membangun model logika dan kerangka hasil yang dirancang sangat baik, lalu tidak pernah meninjaunya terhadap hasil sebenarnya, sehingga ia mengeras menjadi dokumen tetap, bukan perangkat manajemen hidup. Strategi di bawahnya terus berjalan atas asumsi semula bertahun-tahun setelah bukti membenarkan revisi, dengan mengorbankan kemampuan beradaptasi yang justru hendak dimungkinkan kerangka itu.

Model kematangan

Daftar periksa

• Gambar model logika (masukan, aktivitas, keluaran, hasil, dampak) untuk setiap program besar sebelum memfinalkan indikatornya.
• Tulis asumsi sebab-akibat teori perubahan cukup spesifik agar bukti dapat membantahnya.
• Pisahkan ukuran upaya, mutu, dan efek dalam setiap laporan kinerja, bahkan di luar penerapan akuntabilitas berbasis hasil formal.
• Bangun atau perbarui Kartu Skor Nilai Publik agar ketiga sisi — legitimasi, nilai, kapasitas — dilaporkan bersama, tidak terpisah.
• Pilih himpunan kecil dan stabil indikator utama tingkat populasi dan berkomitmen mempertahankannya selama beberapa siklus pelaporan.
• Periksa laporan saat ini untuk bahasa yang menggambarkan keluaran dengan kata-kata hasil, dan koreksi.
• Publikasikan kerangka hasil sebelum putaran anggaran atau pendanaan berikutnya, bukan sebagai akibatnya.
• Sebutkan secara eksplisit apa yang tidak dikendalikan organisasi sendirian untuk setiap klaim tingkat populasi yang dilaporkannya.
• Tetapkan siklus tetap untuk meninjau model logika terhadap bukti sebenarnya, bukan hanya pada evaluasi formal terjadwal.
• Identifikasi setidaknya satu pemangku kepentingan eksternal untuk meninjau asumsi model logika sebelum difinalkan.
• Audit himpunan indikator saat ini untuk peluang menghentikan ukuran yang tidak dipakai siapa pun dalam keputusan nyata.
• Sepakati sebelumnya apa yang akan dilakukan organisasi secara berbeda jika hasil utama gagal bergerak selama dua siklus pelaporan.

Sumber utama

• Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) dan Recognizing Public Value (2013) — teks asal Kartu Skor Nilai Publik, mengadaptasi tradisi balanced scorecard ke ketiga sisi segitiga strategis.
• Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities — teks asal akuntabilitas berbasis hasil, termasuk perbedaan akuntabilitas populasi/akuntabilitas kinerja dan analisis "membalik kurva".
• Literatur balanced scorecard Robert Kaplan dan David Norton — sumber sektor swasta yang diadaptasi Moore untuk konteks nilai publik.
• Panduan OECD tentang manajemen berbasis hasil dan terminologi evaluasi, dipakai lintas praktik pembangunan dan administrasi publik untuk membakukan bahasa hasil dan dampak.
• Panduan Independent Evaluation Group Bank Dunia tentang kerangka hasil dan teori perubahan untuk operasi pembangunan.
• Paparan publik Agency of Human Services Vermont tentang penerapan akuntabilitas berbasis hasil di tingkat negara bagian dan komunitas — satu contoh kerangka dalam penggunaan pemerintahan nyata.

Referensi

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf