Manajemen Mutu, Keselamatan, dan Kinerja

Mengapa ini penting dalam nilai publik

Setiap organisasi sektor publik dan sektor sosial berukuran apa pun kini berjalan di atas angka: waktu tunggu, kasus yang ditutup, menit respons, tingkat kelulusan, skor kepuasan, peringkat inspeksi. Target yang dibangun dari angka-angka ini bukan paksaan dari luar manajemen publik; itulah cara legitimasi dan dukungan ditunjukkan kepada penyandang dana, legislatif, dewan, dan warga yang tidak dapat melihat ke dalam operasi harian dengan cara lain (lihat Topik 1.2 — Segitiga Strategis: Legitimasi, Nilai, dan Kapasitas). Pemimpin yang tidak dapat menunjuk angka yang bergerak ke arah benar kesulitan mempertahankan anggaran, mandat, atau reformasi.

Kesulitannya adalah bahwa angka yang dibangun untuk mewakili mutu tidak sama dengan mutu itu sendiri, dan keduanya diam-diam berpisah begitu angka itu mulai lebih penting daripada kenyataan di baliknya. Kepolisian dapat menurunkan kejahatan tercatat dengan mengubah cara petugas mengklasifikasikan insiden alih-alih mengurangi kerugian. Rumah sakit dapat mencapai target waktu tunggu dengan mengklasifikasikan ulang pasien mana yang dikenai jam hitung alih-alih merawat orang lebih cepat. Tidak satu pun perubahan tampak dalam angka yang dipublikasikan, dan itulah persis masalah yang ada topik ini untuk menanganinya.

Topik ini adalah perlakuan rumah atas masalah itu di sektor publik: indikator kinerja dan insentif perverse yang diciptakannya, rezim penjaminan mutu yang dibangun untuk menjaga standar tetap konsisten terlepas dari apa yang dikatakan target tunggal mana pun, dan badan inspeksi serta peringkat independen yang memeriksa kenyataan di balik angka dari luar rantai komando yang menghasilkannya. Topik 2.1 membahas dari mana indikator seharusnya berasal sejak awal — kerangka hasil dan model logika yang menghubungkan ukuran kembali ke klaim sebab-akibat sejati tentang nilai (lihat Topik 2.1 — Kartu Skor Nilai Publik dan Kerangka Hasil). Topik ini membahas apa yang terjadi begitu indikator itu diubah menjadi target hidup yang dipakai untuk mengelola staf, dan bagaimana organisasi menjaga sistem pengukurannya sendiri tetap jujur.

Taruhannya naik bersama seberapa publik suatu angka dipakai. Metrik internal privat yang menyimpang dari kenyataan menyia-nyiakan waktu seorang manajer. Target kinerja publik, peringkat inspeksi utama, atau statistik keselamatan yang menyimpang dari kenyataan dapat merenggut nyawa, salah mengalokasikan sumber daya selama bertahun-tahun, dan — ketika jurang antara angka yang dilaporkan dan pengalaman yang dihayati akhirnya terlihat — menghancurkan persis legitimasi yang hendak dibangun oleh angka yang dipublikasikan itu (lihat Topik 3.4 — Akuntabilitas, Transparansi, dan Legitimasi).

Konsep inti

Indikator kinerja adalah variabel terukur yang dipilih untuk mewakili suatu aspek kinerja organisasi yang tidak dapat diamati secara langsung dan terus-menerus (lihat performance indicator). Indikator adalah proksi secara konstruksi: tak seorang pun dapat mengukur "mutu perawatan" atau "keamanan komunitas" secara langsung, sehingga organisasi mengukur sesuatu yang lebih sempit dan lebih dapat dihitung — waktu tunggu, tingkat kejahatan tercatat — dan memperlakukan pergerakan di dalamnya sebagai bukti pergerakan dalam hal yang lebih luas yang diwakilinya. Jurang antara proksi dan kenyataan itu tidak pernah tertutup; topik ini membahas cara mengelolanya alih-alih melupakan bahwa ia ada.

Hukum Goodhart menyatakan, dalam rumusan sektor publik yang paling umum, bahwa ketika suatu ukuran menjadi target, ia berhenti menjadi ukuran yang baik. Hukum ini dinamai menurut ekonom Inggris Charles Goodhart, yang merumuskan wawasan mendasarnya pada 1975 dalam konteks kebijakan moneter: begitu bank sentral mulai menargetkan ukuran tertentu dari jumlah uang beredar, hubungan statistik yang membuat ukuran itu berguna mulai runtuh, karena orang mengubah perilaku mereka sebagai tanggapan atas target itu sendiri. Antropolog Marilyn Strathern menyatakan ulang gagasan itu untuk khalayak sektor publik dalam studi 1997 yang banyak dikutip tentang budaya audit universitas Inggris, memberinya rumusan ringkas yang kini paling sering dikutip: "ketika suatu ukuran menjadi target, ia berhenti menjadi ukuran yang baik." Topik 3.1 memperkenalkan dinamika ini secara singkat dalam konteks ketergantungan Manajemen Publik Baru pada target eksplisit; topik ini adalah perlakuan rumahnya yang penuh (lihat Topik 3.1 — Sistem dan Model Administrasi Publik). Hukum Goodhart bukan argumen menentang pengukuran — ia argumen bahwa pengukuran dan imbalan tidak dapat dilebur secara ceroboh tanpa mengubah apa yang diukur.

Insentif perverse adalah mekanisme yang melaluinya hukum Goodhart menimbulkan kerusakan: struktur insentif yang menghasilkan hasil yang bertentangan dengan maksud perancangnya, karena orang yang menanggapinya mengoptimalkan huruf imbalan alih-alih tujuan di baliknya (lihat perverse incentive). Target yang dikaitkan dengan pendanaan, reputasi, atau karier menciptakan insentif perverse setiap kali ada cara memperbaiki angka yang dilaporkan tanpa memperbaiki hasil yang mendasarinya — dan dalam layanan yang disampaikan melalui ribuan pertimbangan individual, cara semacam itu hampir selalu ada begitu orang mulai mencarinya.

Tipologi tanggapan disfungsional terhadap target. Ekonom Peter Smith, dalam studi berpengaruh 1995 tentang data kinerja sektor publik, mengkatalogkan cara target yang dipublikasikan mendistorsi perilaku, yang beberapa di antaranya tetap menjadi kosakata baku untuk mendiagnosis sistem indikator yang bermasalah. Pandangan terowongan (tunnel vision) adalah memusatkan upaya pada apa yang diukur dengan mengorbankan apa yang tidak, bahkan ketika aspek yang tidak terukur sama pentingnya atau lebih. Fiksasi ukuran adalah memperlakukan keberhasilan pada indikator sebagai keberhasilan pada tujuan yang mendasarinya, sehingga proksi diam-diam menggantikan hal yang dimaksudkan diwakilinya dalam perhatian semua orang — pola di balik mengajar untuk ujian dalam sistem pendidikan, di mana pengajaran menyempit pada apa pun yang dicakup penilaian terstandar alih-alih pembelajaran lebih luas yang dimaksudkan ditandai penilaian itu. Misrepresentasi adalah manipulasi data yang dilaporkan dengan sengaja — mengklasifikasikan ulang kasus, menyesuaikan jam, memilih penyebut yang lebih menguntungkan — sehingga angka membaik tanpa kenyataan berubah sama sekali. Osifikasi adalah peluruhan lambat target menjadi tidak relevan ketika dibiarkan tak direvisi lama setelah lingkungan operasi yang dirancang untuknya berubah. Studi 2006 yang berkaitan erat tentang target dalam sistem perawatan kesehatan publik Inggris oleh Gwyn Bevan dan Christopher Hood menunjukkan seberapa jauh dinamika ini dapat berjalan ketika target dipasangkan dengan konsekuensi berat bagi yang gagal memenuhinya, menciptakan frasa "target dan teror" untuk rezim yang menghasilkan persis perilaku pengakalan yang dirancang untuk dihapusnya.

Penjaminan mutu adalah disiplin sistematis, dimiliki organisasi, untuk memastikan bahwa produk atau layanan secara konsisten memenuhi standar yang ditetapkan, melalui pencegahan cacat yang dibangun ke dalam proses alih-alih pemeriksaan keluaran jadi saja (lihat quality assurance). Di mana target kinerja mengukur hasil sesudah kejadian, penjaminan mutu dirancang agar hasil buruk lebih kecil kemungkinannya terjadi sejak awal, biasanya melalui prosedur terstandar, daftar periksa, tinjauan sejawat, dan analisis akar penyebab kegagalan. Manajemen mutu terpadu adalah filosofi manajemen yang lebih luas yang dibangun di atas disiplin ini, memperlakukan perbaikan mutu berkelanjutan sebagai tanggung jawab semua orang alih-alih fungsi spesialis yang ditempelkan di ujung proses (lihat total quality management), dan keluarga ISO 9000 dari standar internasional yang diterbitkan Organisasi Internasional untuk Standardisasi (ISO), pertama kali diterbitkan 1987, memberi organisasi kerangka tersertifikasi untuk menunjukkan bahwa sistem manajemen semacam itu ada. Badan dapat disertifikasi pada standar manajemen mutu, dan lolos setiap pemeriksaan penjaminan mutu internal, sambil tetap mengakali target kinerja yang dilaporkan secara eksternal; kedua sistem menjawab pertanyaan berbeda dan tak satu pun menggantikan yang lain.

Indikator keselamatan dan budaya keselamatan layak diperlakukan terpisah dari indikator kinerja biasa karena kerugian dari insentif perverse sering tak dapat dipulihkan. Dalam perawatan kesehatan, praktik keselamatan pasien telah belajar, sering dengan harga tinggi, bahwa menghukum staf karena melaporkan kesalahan menekan persis informasi yang dibutuhkan sistem keselamatan untuk mencegah kesalahan berikutnya — wawasan yang telah menyebar dari latar klinis ke penerbangan, transportasi, dan layanan publik berkonsekuensi tinggi lainnya. Lingkungan pelaporan "tanpa menyalahkan" atau "budaya adil" memperlakukan nyaris-celaka yang dilaporkan dengan jujur sebagai titik data berharga alih-alih pengakuan bersalah, yang berlawanan dengan cara kebanyakan target kinerja biasa dirancang bekerja: rezim kinerja mengganjar angka yang baik, sedangkan rezim keselamatan harus mengganjar angka yang jujur bahkan ketika buruk.

Badan inspeksi dan peringkat independen menyediakan pemeriksaan atas semua hal di atas yang datang dari luar rantai komando yang dinilai. Inspektorat — seperti Ofsted Inggris, yang menginspeksi penyedia pendidikan dan layanan anak, atau Care Quality Commission, yang menginspeksi dan memeringkat penyedia kesehatan dan perawatan sosial — mengirim penilai yang mengamati praktik langsung, menjalankan pertimbangan profesional, dan menerbitkan peringkat yang tidak dikendalikan badan yang diinspeksi. Ini secara struktural berbeda dari manajemen kinerja internal: angka waktu tunggu yang dilaporkan sendiri dapat diakali oleh orang yang berinsentif mengakalinya, tetapi inspektur yang berjalan di bangsal atau mengamati kelas sedang melihat kenyataan yang dimaksudkan diwakili angka itu. Inspeksi adalah bentuk akuntabilitas horizontal — penelaahan oleh badan berkedudukan independen alih-alih oleh pemilih atau pasar (lihat Topik 3.4 — Akuntabilitas, Transparansi, dan Legitimasi) — dan ia memperoleh peran itu hanya sejauh independensinya, dalam pendanaan, penunjukan, dan publikasi, sungguh dilindungi.

Praktik terbaik

1. Turunkan indikator dari model logika, bukan dari apa yang sudah mudah dihitung. Memilih ukuran karena datanya sudah ada, bukan karena ia melacak mata rantai sejati dalam rantai sebab-akibat, adalah cara fiksasi ukuran dan pandangan terowongan dimulai (lihat Topik 2.1 — Kartu Skor Nilai Publik dan Kerangka Hasil).
2. Pasangkan setiap target keluaran atau aktivitas dengan setidaknya satu ukuran penyeimbang yang akan mengungkap strategi pengakalan yang paling mungkin. Jika target waktu tunggu dapat diakali dengan mengklasifikasikan ulang kasus, lacak tingkat klasifikasi ulang di samping angka utama, bukan sebagai renungan belakangan setelah skandal memaksa pertanyaannya.
3. Perlakukan target yang telah tercapai beberapa periode berturut-turut sebagai dorongan untuk menyelidiki, bukan sekadar merayakan. Angka yang berhenti membedakan kinerja baik dan buruk entah telah benar-benar menyelesaikan masalah atau telah diakali hingga tidak relevan, dan keduanya tampak identik dari dasbor saja.
4. Pisahkan siapa yang menetapkan target dari siapa yang diukur terhadapnya dari siapa yang secara independen memeriksa hasilnya. Menyatukan ketiga peran ini dalam satu bagian organisasi menghapus ketegangan struktural yang menjaga sistem pengukuran tetap jujur.
5. Revisi atau pensiunkan target pada siklus tetap, bukan hanya setelah kegagalan yang terlihat. Osifikasi adalah nasib bawaan target; tinjauan terjadwal yang bertanya apakah target masih melacak sesuatu yang bermakna menangkap peluruhan itu sebelum krisis melakukannya.
6. Bangun saluran pelaporan tanpa menyalahkan untuk nyaris-celaka dan kesalahan terkait keselamatan, yang dijaga terpisah secara struktural dari keputusan imbalan kinerja. Sistem keselamatan yang menghukum pelaporan jujur akan tetap memiliki tingkat kesalahan mendasar yang sama — ia hanya akan berhenti mengetahuinya sampai kerugiannya lebih besar dan lebih sulit disembunyikan.
7. Beri inspektur dan badan peringkat independen akses sejati, pendanaan terlindungi, dan hak publikasi yang tidak dapat diveto badan yang diinspeksi. Inspektorat yang bergantung pada kebaikan hati organisasi yang diperingkatnya untuk anggaran atau aksesnya sedang mempertunjukkan penelaahan, bukan menyediakannya.
8. Gunakan pertimbangan profesional untuk menafsirkan skor kuantitatif, alih-alih membiarkan skor berdiri sendiri. Satu peringkat komposit memadatkan kenyataan yang kaya dan tak merata menjadi satu angka; publikasikan narasi kualitatif di balik peringkat inspeksi bersama peringkat itu sendiri, agar pembaca dapat melihat apa yang diringkas angka itu.
9. Rancang target bersama staf garis depan yang akan diukur terhadapnya, bukan hanya untuk mereka. Orang yang paling dekat dengan pekerjaan biasanya mengetahui strategi pengakalan termudah sebelum analis mana pun; melibatkan mereka dalam perancangan memunculkan risiko itu lebih awal, bukan setelah target sudah hidup.
10. Sertifikasi proses manajemen mutu yang sistematis, seperti yang dibangun di atas keluarga standar ISO 9000, sebagai lantai, bukan pengganti pengukuran hasil. Sertifikasi menunjukkan bahwa proses yang konsisten ada; ia tidak dengan sendirinya menunjukkan bahwa proses itu menghasilkan hasil yang baik, dan memperlakukan sertifikat sebagai bukti mutu yang cukup adalah bentuk fiksasi ukuran tersendiri.
11. Publikasikan keterbatasan target yang diketahui bersama target itu sendiri. Menyebut, dalam laporan yang sama dengan angka, apa yang tidak ditangkap ukuran itu dan bagaimana ia dapat diakali mendahului penemuan yang kalau tidak merusak legitimasi kemudian (lihat Topik 3.4 — Akuntabilitas, Transparansi, dan Legitimasi).

Pertanyaan untuk didiskusikan dengan tim Anda

Target terpublikasi kita yang mana saat ini yang dapat dicapai tanpa hasil yang mendasarinya membaik sama sekali? Ini penerapan hukum Goodhart yang paling langsung yang tersedia bagi tim mana pun, dan hampir setiap organisasi yang telah menjalankan target numerik lebih dari beberapa tahun membawa setidaknya satu contoh hidup. Telusuri indikator utama Anda satu per satu dan tanyakan, secara konkret, perilaku apa yang diganjar masing-masing alih-alih apa yang dirancang untuk diukurnya. Diskusikan apakah staf garis depan sudah tahu cara lebih mudah menggerakkan angka daripada yang dimaksudkan, sebab mereka biasanya tahu jauh sebelum sampai ke pimpinan senior. Perlakukan "tak seorang pun akan melakukan itu di sini" yang percaya diri dan tak teruji sebagai hal yang layak diselidiki, bukan sebagai jaminan.

Di mana kita membiarkan keluaran yang mudah dihitung diam-diam menggantikan penilaian mutu atau keselamatan yang sejati? Keluaran hampir selalu lebih murah dan lebih cepat dikumpulkan daripada hasil, yang menciptakan godaan permanen untuk melaporkan yang pertama dengan bahasa yang terakhir. Identifikasi satu indikator unggulan yang saat ini dilaporkan organisasi Anda dan tanyakan, sebagai kelompok, apakah ia benar-benar mengukur mutu apa yang terjadi atau hanya volume aktivitas yang berlangsung. Diskusikan apa yang dibutuhkan untuk mengumpulkan ukuran mutu sejati bagi aktivitas yang sama, dan apa yang selama ini menghalangi organisasi mengumpulkannya. Pertanyaan ini sering mengungkap bahwa hambatannya adalah sumber daya alih-alih kesulitan definisi.

Jika seorang anggota staf melaporkan nyaris-celaka atau kesalahannya sendiri dengan jujur hari ini, apa yang sebenarnya akan terjadi padanya? Adanya kebijakan tanpa menyalahkan bukan bukti bahwa orang percaya itu berlaku bagi mereka secara pribadi. Diskusikan kasus terbaru, nyata atau hipotetis, ketika pengungkapan jujur atas suatu kesalahan akan menguji kebijakan itu, dan spesifik tentang apa konsekuensinya atau kemungkinan konsekuensinya. Pertimbangkan apakah pelaporan terkait keselamatan Anda berada dalam sistem yang sama dengan keputusan imbalan kinerja Anda, sebab mencampurkan keduanya adalah cara paling umum budaya yang nominal tanpa menyalahkan tetap diam-diam menghukum kejujuran. Pertanyaan ini sengaja tidak nyaman; tim yang tidak dapat membahasnya dengan terbuka sudah menjawabnya.

Apakah badan inspeksi atau peringkat kita memiliki independensi sejati dari organisasi yang dinilainya, atau hanya independensi formal? Independensi dalam nama lazim; independensi dalam pendanaan, akses, dan hak mempublikasikan temuan yang tidak diinginkan lebih jarang dan lebih mudah terkikis bertahap. Daftarkan hubungan inspeksi atau peringkat yang membawahi organisasi Anda dan nilai masing-masing dengan jujur pada apakah ia dapat bertahan dari upaya gigih badan yang diinspeksi untuk membentuk hasilnya. Diskusikan apa yang terjadi terakhir kali inspeksi menghasilkan hasil yang sungguh tidak diinginkan, dan apakah tanggapannya adalah memperbaiki masalah mendasar atau mengelola hubungan dengan inspektur.

Tanggapan disfungsional Smith yang mana — pandangan terowongan, fiksasi ukuran, misrepresentasi, osifikasi — yang saat ini paling terlihat dalam pelaporan kita sendiri? Menamai ragam kegagalan spesifik, alih-alih membahas pengakalan secara abstrak, membuat percakapan cukup konkret untuk ditindaklanjuti. Telusuri keempat pola dan tanyakan mana yang dikenali tim dalam pengalaman terbarunya sendiri, alih-alih mengasumsikan organisasi kebal karena belum ada skandal. Diskusikan seperti apa langkah korektif untuk pola spesifik itu dalam siklus pelaporan berikutnya, bukan sebagai komitmen umum untuk "berbuat lebih baik dalam pengukuran."

Jika kita berhenti melaporkan target utama kita saat ini secara publik selama setahun, apa yang sebenarnya akan hilang dari kita, dan apa yang mungkin kita peroleh? Pertanyaan ini menguji apakah target sungguh mengarahkan keputusan atau telah menjadi tujuan itu sendiri yang tidak akan dipertahankan siapa pun jika diminta membenarkannya dari prinsip dasar. Diskusikan dengan jujur keputusan apa, jika ada, yang berubah dalam setahun terakhir karena angka spesifik ini, berbeda dari keputusan yang akan dibuat bagaimanapun juga. Pertimbangkan waktu staf dan distorsi perilaku yang saat ini dibebankan target itu, dan apakah ukuran lain yang lebih sulit diakali akan melayani tujuan akuntabilitas yang sama lebih baik. Ini bukan argumen untuk meninggalkan pengukuran — ini disiplin untuk hanya menyimpan pengukuran yang layak mendapat tempatnya.

Dalam praktik: contoh nilai publik

Dinas ambulans sebuah wilayah metropolitan berukuran sedang — fiktif, ilustratif atas sebuah pola dan bukan laporan tentang badan sungguhan mana pun — telah beroperasi selama bertahun-tahun di bawah target terpublikasi yang mewajibkan respons darurat dalam delapan menit untuk panggilan yang paling mengancam nyawa. Target itu ditetapkan dengan niat baik, ditopang bukti klinis bahwa kecepatan respons benar-benar memengaruhi kelangsungan hidup untuk kategori darurat yang ditetapkan, dan dewan dinas memperlakukan persentase terpublikasi panggilan yang memenuhi target sebagai indikator tunggal terpenting keberhasilan organisasi.

Selama tiga tahun, angka yang dilaporkan membaik terus-menerus, dari sedikit di atas separuh panggilan yang memenuhi syarat hingga hampir sembilan dari sepuluh, dan pimpinan senior menyajikan tren itu pada setiap rapat dewan sebagai bukti jelas bahwa reformasi operasional berhasil. Yang tidak ditunjukkan angka utama adalah bagaimana perbaikan itu sebenarnya dicapai. Petugas penerima panggilan, yang sadar kinerja mereka sendiri dinilai sebagian dari berapa banyak panggilan yang mereka klasifikasikan ke dalam kategori pembawa target, mulai — bertahap, tanpa satu keputusan pun untuk melakukannya — menurunkan sebagian besar panggilan yang sungguh serius ke kategori prioritas lebih rendah yang tidak dikenai jam delapan menit, semata karena kolam panggilan yang lebih kecil dan lebih ketat didefinisikan lebih mudah memenuhi target. Terpisah, awak telah belajar bahwa jam berhenti begitu kendaraan tiba di lokasi, bukan ketika pasien sebenarnya dijangkau, yang menciptakan insentif kecil namun nyata untuk parkir di batas alih-alih menjangkau pasien secepatnya.

Tak satu pun praktik itu penipuan dalam arti memalsukan catatan; masing-masing adalah tanggapan rasional lokal terhadap target yang definisinya menciptakan ruang bagi persis pergeseran ini — contoh buku teks fiksasi ukuran dan misrepresentasi yang beroperasi bersama. Masalah itu muncul bukan melalui pelaporan dinas sendiri, yang terus menunjukkan perbaikan, tetapi melalui inspeksi rutin inspektorat kesehatan regional independen, yang memadukan tinjauan berkas kasus dengan pengamatan langsung atas penanganan panggilan dan menemukan klasifikasi yang diturunkan tidak konsisten dengan rincian klinis yang tercatat dalam panggilan yang sama. Peringkat inspektorat turun tajam, dari deskripsi setara "baik" menjadi "memerlukan perbaikan", meskipun angka waktu respons terpublikasi dinas sendiri lebih baik daripada sebelumnya.

Tanggapan awal dinas — menunjuk angkanya sendiri yang membaik — memperburuk masalah kredibilitas, sebab menjawab pertanyaan yang tidak diajukan inspektorat; inspeksi itu tidak pernah mempersoalkan aritmetikanya, hanya apa yang diukur aritmetika itu. Tanggapannya yang lebih efektif adalah merancang ulang rangkaian indikator dari model logika yang mendasarinya alih-alih menambal target yang ada: waktu respons didefinisikan ulang menjadi saat kontak pasien alih-alih kedatangan kendaraan, klasifikasi panggilan diaudit secara independen pada sampel bergulir alih-alih dipercayakan pada catatan petugas sendiri, dan ukuran hasil klinis paralel — kelangsungan hidup hingga masuk rumah sakit — diperkenalkan karena jauh lebih sulit diakali oleh klasifikasi ulang saja. Persentase waktu respons yang dilaporkan turun pada tahun pertama di bawah definisi baru, yang telah dipersiapkan dewan untuk diharapkan para penyandang dananya; ukuran hasil klinis, yang dilacak pertama kali pada dasar sebanding, menunjukkan perbaikan lebih kecil namun sejati yang tidak pernah benar-benar ditunjukkan target asli ke arah mana pun.

Empat lensa sektoral

Pemerintah daerah

Layanan daerah seperti pemadam kebakaran dan penyelamatan, perawatan sosial dewasa, dan pengumpulan sampah biasanya diukur terhadap campuran indikator yang diwajibkan secara nasional yang tidak dipilih pemerintah daerah dan ukuran yang dipilih secara lokal yang mencerminkan prioritas dewan tertentu sendiri, sehingga satu layanan dapat dinilai berhasil terhadap satu himpunan indikator dan mengkhawatirkan terhadap yang lain. Inspeksi di tingkat daerah sering disampaikan oleh badan nasional atau regional dengan lingkup undang-undang yang mencakup banyak pemerintah daerah sekaligus, yang memberi perspektif komparatif yang berguna tetapi konteks lokal yang kurang rinci daripada organisasi yang diinspeksinya. Anggota terpilih daerah dan komite penelaah menambah lapisan akuntabilitas yang lebih cepat dan lebih langsung, dan sering yang pertama mendengar dari penduduk ketika angka terpublikasi dan pengalaman yang dihayati menyimpang.

Pemerintah nasional

Pemerintah nasional biasanya menjalankan rezim kinerja terbesar dan paling terlihat secara politik, sebab target nasional — standar waktu tunggu, tujuan pengurangan kejahatan, sasaran tingkat kelulusan ujian — menjadi proksi dalam perdebatan publik bagi kompetensi pemerintah yang sedang berkuasa, yang menaikkan taruhan pengakalan jauh melampaui tingkat operasional. Inilah latar tempat dinamika "target dan teror" Bevan dan Hood paling terwujud penuh, karena target nasional sering dipasangkan dengan konsekuensi politik yang terlihat bagi yang gagal memenuhinya, mempertajam insentif untuk mengelola angka alih-alih kenyataan di baliknya. Inspektorat nasional, justru karena beroperasi berjarak dari kementerian yang nasib politiknya dapat dipengaruhi peringkat, memikul bagian beban yang tidak proporsional untuk menyingkap jurang antara kinerja yang dilaporkan dan aktual (lihat Topik 3.4 — Akuntabilitas, Transparansi, dan Legitimasi).

Sektor sosial dan nirlaba

Organisasi nirlaba dan nonpemerintah lebih sering menghadapi penjaminan mutu dan akreditasi sebagai disiplin sukarela atau yang dikenakan penyandang dana daripada sebagai rezim inspeksi undang-undang, sebab sedikit yurisdiksi menjalankan inspektorat independen khusus untuk sektor secara keseluruhan. Ini membuat penjaminan mutu sektor sosial lebih terfragmentasi — penyandang dana berbeda mengenakan persyaratan berbeda pada organisasi yang sama — tetapi juga lebih fleksibel, sebab organisasi nirlaba sering dapat merancang rangkaian indikatornya sendiri di sekitar teori perubahan yang sebenarnya alih-alih seperangkat ukuran yang dikenakan dari luar. Ketiadaan inspektur eksternal wajib menaikkan kepentingan relatif dewan independen dan audit eksternal sebagai pengganti akuntabilitas horizontal sektor itu sendiri (lihat Topik 3.4 — Akuntabilitas, Transparansi, dan Legitimasi), sebab kepemimpinan organisasi nirlaba sendiri kalau tidak adalah pengukur sekaligus yang diukur.

Multilateral dan internasional

Badan multilateral dan indeks komparatif yang mereka terbitkan atau andalkan — peringkat lintas negara atas mutu tata kelola, kemudahan berusaha, atau kinerja layanan publik — menghadapi hukum Goodhart pada skala seluruh pemerintah nasional, di mana suatu negara dapat memperbaiki peringkatnya melalui reformasi yang disasarkan sempit pada kriteria yang diukur alih-alih kondisi lebih luas yang diklaim diwakili indeks. Inspeksi independen dalam pengertian domestik yang dipakai di tempat lain dalam topik ini tidak memiliki padanan nyata lintas batas berdaulat, sebab tidak ada negara yang menerima inspektorat eksternal dengan kedudukan koersif yang dimiliki badan nasional atas lembaga yang diawasinya; penjaminan mutu multilateral sebaliknya bersandar pada tinjauan sejawat, pelaporan mandiri yang divalidasi misi teknis, dan biaya reputasi dari peringkat yang dipublikasikan. Ini membuat independensi dan kredibilitas teknis badan yang menyusun indikator lintas negara mana pun sangat penting, sebab ia sering satu-satunya pemeriksaan yang tersedia.

Ragam kegagalan yang umum

Pandangan terowongan. Organisasi memusatkan upaya dan sumber daya pada apa pun yang diukur, dengan mengorbankan langsung aspek tak terukur dari layanan yang sama yang sama pentingnya bagi orang yang dilayaninya. Biayanya adalah layanan yang tampak membaik di setiap laporan terpublikasi sementara dimensi tak terukur — martabat pasien, kompleksitas kasus, hasil jangka panjang — diam-diam memburuk, tak disadari sampai menjadi krisis yang cukup besar untuk memaksa pengukuran baru.

Fiksasi ukuran. Keberhasilan pada indikator mulai diperlakukan, di dalam organisasi, setara dengan keberhasilan pada tujuan mendasar, sehingga proksi menggantikan tujuan dalam perhatian sebenarnya semua orang bahkan ketika pernyataan misi formal masih menyebut tujuan itu. Biayanya adalah jurang yang melebar dan menguatkan diri antara kinerja yang dilaporkan dan realitas yang dihayati, karena tak seorang pun di dalam organisasi lagi mengamati realitas itu secara langsung.

Misrepresentasi. Data disesuaikan — jam dihentikan lebih awal, kasus diklasifikasikan ulang, penyebut dipilih demi efek menguntungkan — sehingga angka yang dilaporkan membaik tanpa kenyataan di baliknya berubah sama sekali, seperti dalam contoh kasus di atas. Biayanya, begitu ditemukan, tidak proporsional dengan distorsi aslinya, sebab misrepresentasi merusak bukan hanya angka spesifik itu tetapi kredibilitas setiap angka lain yang pernah dipublikasikan organisasi yang sama (lihat Topik 3.4 — Akuntabilitas, Transparansi, dan Legitimasi).

Osifikasi. Target yang ditetapkan untuk konteks operasi tertentu dibiarkan tak direvisi lama setelah konteks itu berubah, sehingga terus dilaporkan dan dikelola meski tidak lagi membedakan kinerja yang sungguh baik dan sungguh buruk. Biayanya tidak terlihat selama bertahun-tahun, sebab target yang terosifikasi tetap menghasilkan angka; angka itu hanya berhenti bermakna, dan perhatian manajemen organisasi yang sebenarnya biasanya sudah berpindah ke tempat lain tanpa ada yang secara formal mempensiunkan ukuran itu.

Penangkapan inspektorat. Badan inspeksi atau peringkat independen lambat laun menjadi bergantung pada kebaikan hati, akses, atau kerja sama berkelanjutan organisasi yang diinspeksinya, entah melalui pengaturan pendanaan, jalur karier yang memindahkan staf antara inspektur dan yang diinspeksi, atau hubungan informal yang dibangun selama inspeksi berulang. Biayanya adalah hilangnya independensi sejati secara lambat yang tidak dicegah piagam atau undang-undang formal dengan sendirinya, dan biasanya baru muncul ketika kegagalan besar melewati sistem peringkat yang seharusnya menangkapnya.

Pelaporan keselamatan yang digerakkan kesalahan. Sistem pelaporan kesalahan atau nyaris-celaka terkait keselamatan secara nominal tanpa menyalahkan tetapi dalam praktik terhubung cukup erat dengan penilaian kinerja atau proses disipliner sehingga staf belajar bahwa melaporkan kesalahan jujur membawa risiko pribadi. Biayanya bukan kesalahan yang lebih sedikit — melainkan laporan yang lebih sedikit atas kesalahan yang terus terjadi, yang menghapus persis sinyal peringatan dini yang ada untuk disediakan sistem keselamatan sebelum insiden berikutnya yang lebih serius terjadi.

Model kematangan

Daftar periksa

• Telusuri setiap indikator kinerja utama kembali ke model logika atau kerangka hasil yang dimaksudkan diwakilinya.
• Identifikasi cara yang paling mungkin setiap target terpublikasi dapat diakali, dan sebut ukuran penyeimbang yang akan mengungkapkannya.
• Pastikan bahwa siapa yang menetapkan target, siapa yang diukur terhadapnya, dan siapa yang memeriksa hasilnya secara independen bukan semuanya bagian organisasi yang sama.
• Jadwalkan tinjauan siklus tetap atas setiap target hidup, terlepas dari kegagalan terlihat apa pun yang memicunya.
• Pastikan saluran pelaporan terkait keselamatan terpisah secara struktural dari keputusan imbalan kinerja dan disipliner.
• Uji apakah staf percaya kesalahan atau nyaris-celaka yang dilaporkan dengan jujur akan diperlakukan tanpa menyalahkan, bukan hanya apakah kebijakan menyatakannya.
• Pastikan badan inspeksi atau peringkat mana pun yang menilai organisasi memiliki pendanaan, akses, dan hak publikasi yang terlindungi.
• Publikasikan keterbatasan yang diketahui dari setiap target utama bersama angka itu sendiri.
• Periksa apakah indikator mana pun telah tercapai secara konsisten selama beberapa periode tanpa penyelidikan yang sesuai tentang mengapa.
• Libatkan staf garis depan dalam perancangan target baru apa pun sebelum ia hidup.
• Pastikan sertifikasi manajemen mutu, di mana ada, diperlakukan sebagai lantai dan tidak dikutip sebagai bukti hasil yang baik dengan sendirinya.

Sumber utama

• Rumusan Charles Goodhart tahun 1975 tentang apa yang kemudian dikenal sebagai hukum Goodhart, dikembangkan dalam konteks penargetan kebijakan moneter.
• Marilyn Strathern, "'Improving ratings': audit in the British university system", European Review, 5(3) (1997), 305–321 — pernyataan ulang sektor publik yang banyak dikutip atas hukum Goodhart.
• Peter Smith, "On the Unintended Consequences of Publishing Performance Data in the Public Sector", International Journal of Public Administration, 18(2–3) (1995), 277–310 — sumber tipologi pandangan terowongan, fiksasi ukuran, misrepresentasi, dan osifikasi yang dipakai topik ini.
• Gwyn Bevan dan Christopher Hood, "What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System", Public Administration, 84(3) (2006), 517–538 — studi "target dan teror" tentang pengakalan di bawah konsekuensi berat.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) — paparan luas tentang kegagalan pengukuran di bidang pendidikan, perawatan kesehatan, bisnis, dan pemerintahan.
• UK National Audit Office, "Performance measurement by regulators", dan panduan US Government Accountability Office yang membedakan ukuran kinerja dari evaluasi program.
• Care Quality Commission dan Ofsted, sebagai contoh badan inspeksi dan peringkat independen yang beroperasi berjarak dari organisasi yang dinilainya.

Referensi

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, "'Improving ratings': audit in the British university system" — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, "On the Unintended Consequences of Publishing Performance Data in the Public Sector" — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, "What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System" — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted