Kalite, Güvenlik ve Performans Yönetimi

Bu neden kamu değeri açısından önemlidir

Her büyüklükteki kamu ve sosyal sektör kuruluşu artık sayılarla çalışır: bekleme süreleri, kapatılan dosyalar, müdahale dakikaları, başarı oranları, memnuniyet puanları, denetim derecelendirmeleri. Bu sayılardan kurulan hedefler kamu yönetimine dışarıdan dayatılmış bir şey değildir; günlük operasyonların içini başka türlü göremeyen fon sağlayıcılara, yasama organlarına, kurullara ve yurttaşlara meşruiyet ve desteğin gösterilme biçimidir (bkz. Konu 1.2 — Stratejik Üçgen: Meşruiyet, Değer ve Kapasite). Doğru yönde hareket etmiş bir sayıya işaret edemeyen bir lider bir bütçeyi, bir yetkiyi ya da bir reformu savunmakta zorlanır.

Güçlük, kaliteyi temsil etmek için kurulmuş bir sayının kalitenin kendisi olmaması ve sayı arkasındaki gerçeklikten daha önemli hâle gelmeye başladığı anda ikisinin sessizce ayrılmasıdır. Bir polis gücü, zararı azaltarak değil, memurların olayları nasıl sınıflandırdığını değiştirerek kayıtlı suçu düşürebilir. Bir hastane, insanları daha hızlı tedavi ederek değil, saatin hangi hastalara uygulandığını yeniden sınıflandırarak bir bekleme süresi hedefini tutturabilir. İkisi de yayımlanan rakamda görünmez; bu konunun ele almak için var olduğu sorun tam olarak budur.

Bu konu bu sorunun kamu sektöründeki ana ele alınışıdır: performans göstergeleri ve yarattıkları ters teşvikler, herhangi bir tek hedefin ne dediğinden bağımsız olarak standartları tutarlı tutmak için kurulmuş kalite güvence rejimleri ve rakamların arkasındaki gerçekliği onları üreten komuta zincirinin dışından denetleyen bağımsız denetim ve derecelendirme organları. Konu 2.1, göstergelerin ilk etapta nereden gelmesi gerektiğini ele alır — bir ölçüyü değer hakkında gerçek bir nedensel iddiaya geri bağlayan sonuç çerçeveleri ve mantık modelleri (bkz. Konu 2.1 — Kamu Değeri Karnesi ve Sonuç Çerçeveleri). Bu konu, bu göstergelerin personelin karşısında yönetildiği canlı hedeflere dönüştürüldüğünde ne olduğunu ve bir kuruluşun kendi ölçüm sistemini nasıl dürüst tuttuğunu ele alır.

Riskler, bir sayının kamuya ne kadar açık kullanıldığıyla yükselir. Gerçeklikten sapan özel bir iç ölçüt bir yöneticinin zamanını boşa harcar. Gerçeklikten sapan bir kamusal performans hedefi, başlık niteliğinde bir denetim derecesi ya da bir güvenlik istatistiği hayatlara mal olabilir, kaynakları yıllarca yanlış tahsis edebilir ve — raporlanan sayı ile yaşanan deneyim arasındaki boşluk eninde sonunda görünür olduğunda — sayının inşa etmek için yayımlandığı meşruiyeti tam olarak yok edebilir (bkz. Konu 3.4 — Hesap Verebilirlik, Şeffaflık ve Meşruiyet).

Temel kavramlar

Bir performans göstergesi, bir kuruluşun doğrudan ve sürekli gözlemlenemeyen bir performans yönünü temsil etmek için seçilmiş ölçülebilir bir değişkendir (bkz. performans göstergesi). Göstergeler yapıları gereği vekillerdir: kimse "bakımın kalitesini" ya da "toplum güvenliğini" doğrudan ölçemez; bu nedenle bir kuruluş daha dar ve daha sayılabilir bir şeyi — bir bekleme süresi, kayıtlı bir suç oranı — ölçer ve ondaki hareketi temsil ettiği daha geniş şeydeki hareketin kanıtı sayar. Vekil ile gerçeklik arasındaki boşluk asla kapanmaz; bu konu onu unutmak değil yönetmekle ilgilidir.

Goodhart yasası, en yaygın kamu sektörü formülasyonunda, bir ölçü hedef hâline geldiğinde iyi bir ölçü olmaktan çıktığını belirtir. Yasa, temel kavrayışı 1975'te para politikası bağlamında formüle eden İngiliz iktisatçı Charles Goodhart'ın adını taşır: bir merkez bankası para arzının belirli bir ölçüsünü hedeflemeye başladığında, o ölçüyü yararlı kılan istatistiksel ilişkiler bozulmaya başlar, çünkü insanlar davranışlarını hedefin kendisine yanıt olarak değiştirir. Antropolog Marilyn Strathern fikri, İngiliz üniversite denetim kültürüne dair 1997 tarihli geniş atıf almış bir çalışmada kamu sektörü kitlesi için yeniden ifade etti ve ona şimdi en yaygın alıntılanan özlü ifadeyi verdi: "bir ölçü hedef hâline geldiğinde, iyi bir ölçü olmaktan çıkar." Konu 3.1, bu dinamiği Yeni Kamu Yönetimi'nin açık hedeflere dayanması bağlamında kısaca tanıttı; bu konu onun tam ana ele alınışıdır (bkz. Konu 3.1 — Kamu Yönetimi Sistemleri ve Modelleri). Goodhart yasası ölçüme karşı bir argüman değildir — ölçüm ve ödülün, ölçülen şeyi değiştirmeden dikkatsizce kaynaştırılamayacağına dair bir argümandır.

Ters teşvikler, Goodhart yasasının zararını verdiği mekanizmadır: tasarımcılarının amaçladığının tersi sonuçlar üreten bir teşvik yapısı; çünkü ona yanıt veren insanlar, ödülün ardındaki amaç için değil ödülün harfi için optimize eder (bkz. ters teşvik). Fonlamaya, itibara ya da bir kariyere bağlı bir hedef, altta yatan sonucu iyileştirmeden raporlanan sayıyı iyileştirmenin bir yolu olduğu her yerde bir ters teşvik yaratır — ve binlerce bireysel yargı çağrısı yoluyla teslim edilen bir hizmette, insanlar aramaya başladığında böyle bir yol neredeyse her zaman vardır.

Hedeflere işlevsiz yanıtların bir tipolojisi. İktisatçı Peter Smith, kamu sektörü performans verisi üzerine etkili bir 1995 çalışmasında, yayımlanmış hedeflerin davranışı çarpıtma yollarını kataloglamıştır; bunların birkaçı başarısız bir gösterge sistemini teşhis etmek için hâlâ standart sözcük dağarcığıdır. Tünel görüşü, çabayı ölçülene yoğunlaştırıp ölçülmeyen yönler en az ya da daha fazla önemli olsa bile onların aleyhine yönlendirmektir. Ölçü saplantısı, göstergedeki başarıyı altta yatan amaçtaki başarı saymaktır; böylece vekil, temsil etmesi amaçlanan şeyin yerini herkesin dikkatinde sessizce alır — eğitim sistemlerinde, öğretimin standartlaştırılmış bir değerlendirmenin işaret etmek üzere kurulduğu daha geniş öğrenme yerine neyi kapsıyorsa ona daraldığı sınava göre öğretmenin arkasındaki örüntü. Yanlış beyan, raporlanan verinin kasıtlı manipülasyonudur — bir vakayı yeniden sınıflandırmak, bir saati ayarlamak, daha elverişli bir payda seçmek — böylece gerçeklik hiç değişmeden rakamlar iyileşir. Kemikleşme, bir hedefin tasarlandığı işletme ortamı çok daha önce değişmişken gözden geçirilmeden bırakılarak yavaşça önemsizliğe gerilemesidir. Gwyn Bevan ve Christopher Hood'un İngiliz kamu sağlık hizmeti sistemindeki hedefler üzerine yakından ilişkili 2006 tarihli bir çalışması, bir hedef kaçırılması için ağır sonuçlarla eşleştirildiğinde bu dinamiklerin ne kadar ileri gidebileceğini gösterdi ve ortadan kaldırmak için tasarlandığı oyunlaştırma davranışını tam olarak üreten bir rejim için "hedefler ve terör" ifadesini ortaya attı.

Kalite güvence, bir ürün ya da hizmetin tanımlı bir standardı tutarlı biçimde karşıladığından emin olmanın, yalnızca bitmiş çıktının denetimiyle değil sürece yerleştirilmiş kusur önlemeyle yapılan, sistematik, kuruluşa ait disiplinidir (bkz. kalite güvence). Bir performans hedefi bir sonucu sonradan ölçerken, kalite güvence kötü bir sonucun ilk etapta gerçekleşme olasılığını azaltmak üzere tasarlanmıştır; tipik olarak standartlaştırılmış usuller, kontrol listeleri, akran gözden geçirmesi ve başarısızlıkların kök neden analiziyle. Toplam kalite yönetimi, bu disiplin üzerine kurulu, kalitede sürekli iyileştirmeyi bir sürecin sonuna eklenmiş uzman bir işlev yerine herkesin sorumluluğu olarak ele alan daha geniş yönetim felsefesidir (bkz. toplam kalite yönetimi) ve Uluslararası Standardizasyon Örgütü (ISO) tarafından ilk kez 1987'de yayımlanan ISO 9000 ailesi uluslararası standartlar, kuruluşlara böyle bir yönetim sisteminin var olduğunu göstermek için belgelendirilebilir bir çerçeve verir. Bir organ bir kalite yönetimi standardına göre belgelendirilebilir ve her iç kalite güvence kontrolünü geçebilir ve yine de dışarıya raporladığı performans hedeflerini oyunlaştırabilir; iki sistem farklı soruları yanıtlar ve hiçbiri diğerinin yerine geçmez.

Güvenlik göstergeleri ve güvenlik kültürü, sıradan performans göstergelerinden ayrı bir ele alışı hak eder, çünkü bir ters teşvikten kaynaklanan zarar çoğu zaman geri döndürülemezdir. Sağlık hizmetinde, hasta güvenliği pratiği, çoğu zaman yüksek bedelle, bir hatayı bildirdiği için personeli cezalandırmanın bir güvenlik sisteminin bir sonrakini önlemek için ihtiyaç duyduğu bilgiyi tam olarak bastırdığını öğrenmiştir — klinik ortamlardan havacılığa, ulaşıma ve diğer yüksek sonuçlu kamu hizmetlerine yayılmış bir kavrayış. Bir "suçlamasız" ya da "adil kültür" raporlama ortamı, dürüstçe bildirilmiş bir ramak kalayı bir suçun kabulü değil değerli bir veri noktası olarak ele alır; bu, çoğu sıradan performans hedefinin işlemek üzere tasarlandığı biçimin tersidir: bir performans rejimi iyi sayıyı ödüllendirirken, bir güvenlik rejimi kötü olsa bile dürüst sayıyı ödüllendirmek zorundadır.

Bağımsız denetim ve derecelendirme organları, yukarıdakilerin hepsine değerlendirilen komuta zincirinin dışından bir kontrol sağlar. İngiltere'nin eğitim ve çocuk hizmetleri sağlayıcılarını denetleyen Ofsted ya da sağlık ve sosyal bakım sağlayıcılarını denetleyen ve derecelendiren Care Quality Commission gibi bir denetim kurumu, uygulamayı doğrudan gözlemleyen, mesleki yargı kullanan ve denetlenen organın denetlemediği bir derece yayımlayan değerlendiriciler gönderir. Bu, iç performans yönetiminden yapısal olarak farklıdır: kendi bildirdiği bir bekleme süresi rakamı, oyunlaştırmak için teşviki olan insanlarca oyunlaştırılabilir, ama koğuşları gezen ya da sınıfı gözlemleyen bir müfettiş, sayının temsil etmesi gereken gerçekliğe bakıyordur. Denetim bir yatay hesap verebilirlik biçimidir — bir seçmen kitlesi ya da bir piyasa değil bağımsız statüsü olan bir organın incelemesi (bkz. Konu 3.4 — Hesap Verebilirlik, Şeffaflık ve Meşruiyet) — ve bu rolü yalnızca bağımsızlığı, fonlama, atama ve yayımlama bakımından gerçekten korunduğu ölçüde hak eder.

İyi uygulamalar

1. Göstergeleri, sayması zaten kolay olandan değil mantık modelinden türetin. Bir ölçüyü, nedensel zincirdeki gerçek bir halkayı izlediği için değil veri zaten var olduğu için seçmek, ölçü saplantısının ve tünel görüşünün başladığı yoldur (bkz. Konu 2.1 — Kamu Değeri Karnesi ve Sonuç Çerçeveleri).
2. Her çıktı ya da faaliyet hedefini, en olası oyunlaştırma stratejisini ortaya çıkaracak en az bir dengeleyici ölçüyle eşleştirin. Bir bekleme süresi hedefi vakaları yeniden sınıflandırarak oyunlaştırılabiliyorsa, bir skandal soruyu zorlayana kadar beklemeden, yeniden sınıflandırma oranını başlık rakamının yanında izleyin.
3. Birkaç ardışık dönem boyunca tutturulmuş bir hedefi kutlanacak değil araştırılacak bir uyarı olarak ele alın. İyi ve kötü performansı ayırt etmeyi bırakan bir sayı ya sorunu gerçekten çözmüştür ya da önemsizliğe doğru oyunlaştırılmıştır ve ikisi yalnızca panodan bakıldığında özdeş görünür.
4. Bir hedefi kimin belirlediğini, kime karşı ölçüldüğünü ve sonucu bağımsız olarak kimin kontrol ettiğini ayırın. Bu üç rolü kuruluşun tek bir bölümünde çökertmek, bir ölçüm sistemini dürüst tutan yapısal gerilimi ortadan kaldırır.
5. Bir hedefi yalnızca görünür bir başarısızlıktan sonra değil sabit bir döngüde gözden geçirin ya da emekli edin. Kemikleşme bir hedefin varsayılan kaderidir; hedefin hâlâ anlamlı bir şeyi izleyip izlemediğini soran planlı bir gözden geçirme, çürümeyi bir kriz yakalamadan önce yakalar.
6. Güvenlikle ilgili ramak kalalar ve hatalar için, performans–ödül kararlarından yapısal olarak ayrı, suçlamasız bir raporlama kanalı kurun. Dürüst raporlamayı cezalandıran bir güvenlik sistemi aynı altta yatan hata oranına sahip olmayı sürdürür — yalnızca zarar daha büyük ve gizlemesi daha zor hâle gelene kadar bunu öğrenmeyi bırakır.
7. Bağımsız müfettişlere ve derecelendirme organlarına gerçek erişim, korunan fonlama ve denetlenen organın veto edemeyeceği yayımlama hakları verin. Bütçesi ya da erişimi için derecelendirdiği kuruluşun iyi niyetine bağımlı bir denetim kurumu incelemeyi sağlamıyor, icra ediyordur.
8. Nicel bir puanı tek başına durmasına izin vermek yerine mesleki yargı kullanarak yorumlayın. Tek bir bileşik derece zengin, eşitsiz bir gerçekliği tek bir rakama sıkıştırır; bir okuyucunun sayının neyi özetlediğini görebilmesi için bir denetim derecelendirmesinin ardındaki nitel anlatıyı derecenin yanında yayımlayın.
9. Hedefleri yalnızca ölçülecek personel için değil ölçülecek personelle birlikte tasarlayın. İşe en yakın insanlar genellikle en kolay oyunlaştırma stratejisini herhangi bir analistten önce bilir; onları tasarıma dahil etmek, bu riski hedef zaten canlıyken değil erken ortaya çıkarır.
10. ISO 9000 ailesi gibi standartlara dayalı sistematik bir kalite yönetimi sürecini sonuç ölçümünün yerine değil bir taban olarak belgelendirin. Belgelendirme tutarlı bir sürecin var olduğunu gösterir; sürecin iyi bir sonuç ürettiğini tek başına göstermez ve belgeyi kalitenin yeterli kanıtı olarak ele almak başlı başına bir ölçü saplantısı biçimidir.
11. Bir hedefin bilinen sınırlamalarını hedefin kendisiyle birlikte yayımlayın. Aynı raporda, rakamın yanında, ölçünün neyi yakalamadığını ve nasıl makul biçimde oyunlaştırılabileceğini adlandırmak, aksi hâlde daha sonra meşruiyete zarar verecek keşfi önceden karşılar (bkz. Konu 3.4 — Hesap Verebilirlik, Şeffaflık ve Meşruiyet).

Ekibinizle tartışılacak sorular

Şu anda yayımlanmış hedeflerimizden hangileri, altta yatan sonuç hiç iyileşmeden vurulabilir? Bu, herhangi bir ekip için mevcut en doğrudan Goodhart yasası uygulamasıdır ve sayısal hedefleri birkaç yıldan uzun süre yürütmüş neredeyse her kuruluş en az bir canlı örnek taşır. Başlık göstergelerinizi tek tek gözden geçirin ve her birinin ölçmek üzere tasarlandığı şeyi değil hangi davranışı ödüllendirdiğini somut olarak sorun. Saha personelinin sayıyı hareket ettirmenin amaçlanan yoldan daha kolay bir yolunu zaten bilip bilmediğini tartışın, çünkü genellikle üst düzey liderlere ulaşmasından çok önce bilirler. Kendinden emin, incelenmemiş bir "burada bunu kimse yapmaz"ı güvence değil başlı başına araştırmaya değer saymak.

Sayması kolay bir çıktının gerçek bir kalite ya da güvenlik yargısının yerine nerede sessizce geçmesine izin verdik? Çıktıların toplanması neredeyse her zaman sonuçlardan daha ucuz ve hızlıdır; bu, birincisini ikincisinin diliyle raporlama yönünde kalıcı bir cazibe yaratır. Kuruluşunuzun şu anda raporladığı bir amiral gemisi göstergesini belirleyin ve grup olarak onun gerçekte olanın kalitesini mi yoksa yalnızca gerçekleşen faaliyetin hacmini mi ölçtüğünü sorun. Aynı faaliyet için gerçek bir kalite ölçüsünün toplanması için neyin gerekeceğini ve kuruluşun şimdiye kadar bunu toplamasını neyin engellediğini tartışın. Bu soru çoğu zaman engelin tanım güçlüğü değil kaynak sorunu olduğunu ortaya çıkarır.

Bir personel üyesi kendi ramak kalasını ya da hatasını bugün dürüstçe bildirseydi, kendisine gerçekte ne olurdu? Suçlamasız bir politikanın varlığı, insanların onun kişisel olarak kendilerine uygulandığına inandığının kanıtı değildir. Dürüst bir hata ifşasının politikayı sınayacağı yakın tarihli bir vakayı, gerçek ya da varsayımsal, tartışın ve sonuçların ne olduğu ya da büyük olasılıkla ne olacağı konusunda belirli olun. Güvenlikle ilgili raporlamanızın performans–ödül kararlarınızla aynı sistemde durup durmadığını düşünün, çünkü ikisini karıştırmak nominal olarak suçlamasız bir kültürün yine de dürüstlüğü sessizce cezalandırmasının en yaygın yoludur. Bu soru tasarım gereği rahatsız edicidir; onu açıkça tartışamayan bir ekip zaten yanıtlamıştır.

Denetim ya da derecelendirme organımızın değerlendirdiği kuruluştan gerçek bağımsızlığı mı var, yoksa yalnızca biçimsel bağımsızlığı mı? İsimde bağımsızlık yaygındır; fonlama, erişim ve hoş olmayan bir bulguyu yayımlama hakkında bağımsızlık daha nadirdir ve kademeli olarak aşındırması daha kolaydır. Kuruluşunuzun tabi olduğu denetim ya da derecelendirme ilişkilerini listeleyin ve her birini, denetlenen organın sonucu şekillendirmeye yönelik kararlı bir girişiminden sağ çıkıp çıkamayacağına göre dürüstçe derecelendirin. Bir denetimin en son gerçekten hoş olmayan bir sonuç ürettiğinde ne olduğunu ve yanıtın altta yatan sorunu düzeltmek mi yoksa müfettişle ilişkiyi yönetmek mi olduğunu tartışın.

Smith'in hedeflere işlevsiz yanıtlarından — tünel görüşü, ölçü saplantısı, yanlış beyan, kemikleşme — hangisi kendi raporlamamızda şu anda en görünür? Oyunlaştırmayı soyut olarak tartışmak yerine belirli başarısızlık biçimini adlandırmak, konuşmayı harekete geçilecek kadar somut kılar. Dört örüntüyü gözden geçirin ve henüz hiçbir skandal olmadığı için kuruluşun muaf olduğunu varsaymak yerine ekibin kendi yakın deneyiminde hangisini tanıdığını sorun. O belirli örüntü için bir düzeltici adımın, "ölçümde daha iyisini yapmak" yönünde genel bir taahhüt olarak değil bir sonraki raporlama döngüsünde neye benzeyeceğini tartışın.

Mevcut başlık hedefimizi bir yıl kamuya raporlamayı bıraksaydık, gerçekte neyi kaybederdik ve neyi kazanabilirdik? Bu soru, bir hedefin gerçekten kararları mı yönlendirdiğini yoksa ilk ilkelerden gerekçelendirmesi istendiğinde kimsenin savunmayacağı bir amaç hâline mi geldiğini sınar. Son yılda, zaten verilecek kararlardan farklı olarak, bu belirli sayı yüzünden hangi kararın, varsa, değiştiğini dürüstçe tartışın. Hedefin şu anda ne kadar personel zamanına ve davranışsal çarpıtmaya mal olduğunu ve farklı, oyunlaştırması daha zor bir ölçünün aynı hesap verebilirlik amacına daha iyi hizmet edip etmeyeceğini düşünün. Bu, ölçümden vazgeçmek için bir argüman değil, yalnızca yerini hak eden ölçümü tutmak için bir disiplindir.

Uygulamada: bir kamu değeri örneği

Orta büyüklükte bir metropol bölgesinin ambulans hizmeti — kurgusal, gerçek bir kuruluş hakkında rapor değil bir örüntünün örneği — yıllardır en hayati tehlikeli çağrılar için sekiz dakika içinde acil müdahale gerektiren yayımlanmış bir hedef altında çalışmıştı. Hedef iyi niyetle belirlenmişti, müdahale hızının tanımlı bir acil durum kategorisi için hayatta kalmayı gerçekten etkilediğine dair klinik kanıtla desteklenmişti ve hizmetin kurulu, hedefi karşılayan çağrıların yayımlanan yüzdesini kuruluş başarısının tek en önemli göstergesi olarak ele alıyordu.

Üç yıl boyunca raporlanan rakam, nitelikli çağrıların yarısının biraz üzerinden dokuzda birine yakın bir orana istikrarla iyileşti ve üst düzey liderlik eğilimi her kurul toplantısında operasyonel reformların işe yaradığının net kanıtı olarak sundu. Başlık rakamının göstermediği şey, iyileşmenin gerçekte nasıl elde edildiğiydi. Kendi performansı kısmen hedef kategorisine kaç çağrıyı sınıflandırdıklarına göre değerlendirilen çağrı karşılayıcılar, kademeli olarak — bunu yapmaya dair tek bir karar olmadan — gerçekten ciddi çağrıların büyüyen bir payını sekiz dakikalık saatin uygulanmadığı daha düşük öncelikli bir kategoriye indirmeye başlamıştı; yalnızca daha küçük, daha sıkı tanımlı bir çağrı havuzuna karşı hedefi tutturmak daha kolaydı. Ayrı olarak ekipler, saatin bir hasta gerçekte ulaşıldığında değil bir araç olay yerine vardığı anda durduğunu öğrenmişti; bu da hastaya en hızlı ulaşmak yerine sınırda park etmek için küçük ama gerçek bir teşvik yaratıyordu.

Hiçbir uygulama bir kaydı tahrif etmek anlamında sahtekârlık değildi; her biri tanımı tam olarak bu tür kaymaya yer bırakan bir hedefe yerel olarak akılcı bir yanıttı — birlikte işleyen ölçü saplantısının ve yanlış beyanın ders kitabı örneği. Sorun hizmetin iyileşmeyi göstermeyi sürdüren kendi raporlamasıyla değil, vaka dosyası incelemesini çağrı karşılamanın doğrudan gözlemiyle birleştiren ve indirilmiş sınıflandırmaların aynı çağrılarda kayıtlı klinik ayrıntıyla tutarsız olduğunu bulan bağımsız bir bölgesel sağlık müfettişliğinin rutin denetimi aracılığıyla ortaya çıktı. Müfettişliğin derecesi, hizmetin kendi yayımlanmış müdahale süresi rakamı daha önce olduğundan daha iyi olmasına rağmen, "iyi"ye eşdeğer bir tanımdan "iyileştirme gerektirir"e keskin biçimde düştü.

Hizmetin ilk yanıtı — kendi iyileşen rakamlarına işaret etmek — inandırıcılık sorununu kötüleştirdi, çünkü müfettişliğin sormadığı bir soruyu yanıtladı; denetim hiçbir zaman aritmetiğe itiraz etmemişti, yalnızca aritmetiğin neyi ölçtüğüne itiraz etmişti. Daha etkili yanıtı, mevcut hedefi yamamak yerine gösterge takımını altta yatan mantık modelinden yeniden tasarlamaktı: müdahale süresi araç varışı yerine hasta temasının anına yeniden tanımlandı, çağrı sınıflandırması çağrı karşılayıcının kendi kaydına güvenilmek yerine yuvarlanan bir örneklem üzerinde bağımsız olarak denetlendi ve yalnızca yeniden sınıflandırmayla oyunlaştırılması çok daha zor olduğu için hastaneye kabule kadar hayatta kalma gibi paralel bir klinik sonuç ölçüsü getirildi. Raporlanan müdahale süresi yüzdesi yeni tanım altında ilk yılda düştü; bu, kurulun fon sağlayıcılarını beklemeleri için hazırladığı bir şeydi; ilk kez karşılaştırılabilir bir temelde izlenen klinik sonuç ölçüsü, özgün hedefin her iki yönde de gerçekte hiç göstermediği, daha küçük ama gerçek bir iyileşme gösterdi.

Dört sektör bakışı

Yerel yönetim

İtfaiye ve kurtarma, yetişkin sosyal bakım ve atık toplama gibi yerel hizmetler genellikle yerel yönetimin seçmediği ulusal olarak zorunlu kılınmış göstergelerin ve belirli bir meclisin kendi önceliklerini yansıtan yerel olarak seçilmiş ölçülerin bir karışımına karşı ölçülür; böylece tek bir hizmet bir gösterge kümesine karşı başarı, diğerine karşı endişe olarak yargılanabilir. Yerel düzeydeki denetim çoğu zaman aynı anda birçok yerel yönetimi kapsayan yasal görev alanı olan ulusal ya da bölgesel bir organ tarafından yapılır; bu, yararlı karşılaştırmalı bakış açısı verir ama denetlediği kuruluştan daha az ayrıntılı yerel bağlam sağlar. Yerel seçilmiş üyeler ve gözetim komiteleri daha hızlı, daha anlık bir hesap verebilirlik katmanı ekler ve yayımlanmış bir rakam ile yaşanan deneyim ayrıştığında sakinlerden çoğu zaman ilk duyanlardır.

Merkezi yönetim

Merkezi yönetim tipik olarak en büyük ve siyasi olarak en görünür performans rejimlerini yürütür, çünkü ulusal bir hedef — bir bekleme süresi standardı, bir suç azaltma hedefi, bir sınav başarı oranı amacı — kamusal tartışmada iktidardaki hükümetin yetkinliği için bir vekil olur; bu, oyunlaştırmanın riskini operasyonel düzeyin çok ötesine yükseltir. Burası, Bevan ve Hood'un "hedefler ve terör" dinamiğinin en tam gerçekleştiği ortamdır, çünkü ulusal hedefler sıklıkla kaçırılmaları için görünür siyasi sonuçlarla eşleştirilir ve sayıyı arkasındaki gerçeklik yerine yönetme teşvikini keskinleştirir. Ulusal denetim kurumları, tam da derecelendirmenin siyasi kaderlerini etkileyebileceği bakanlıklardan mesafede çalıştıkları için, raporlanan ile gerçek performans arasındaki boşluğu ortaya çıkarma yükünün orantısız bir payını taşır (bkz. Konu 3.4 — Hesap Verebilirlik, Şeffaflık ve Meşruiyet).

Sosyal sektör ve kâr amacı gütmeyen kuruluşlar

Kâr amacı gütmeyen kuruluşlar ve hükümet dışı kuruluşlar kalite güvence ve akreditasyonla, tüm sektör için özel bağımsız bir denetim kurumu işleten az yargı alanı olduğundan, yasal bir denetim rejimi olarak değil gönüllü ya da fon sağlayıcı dayatmalı bir disiplin olarak daha sık karşılaşır. Bu, sosyal sektör kalite güvencesini daha parçalı bırakır — farklı fon sağlayıcılar aynı kuruluşa farklı gereklilikler dayatır — ama aynı zamanda daha esnek kılar, çünkü bir kâr amacı gütmeyen kuruluş çoğu zaman gösterge takımını dışarıdan dayatılan bir ölçüt kümesi yerine gerçek değişim kuramı etrafında tasarlayabilir. Zorunlu bir dış müfettişin yokluğu, bağımsız bir kurulun ve dış denetimin sektörün kendi yatay hesap verebilirlik ikamesi olarak göreli önemini artırır (bkz. Konu 3.4 — Hesap Verebilirlik, Şeffaflık ve Meşruiyet), çünkü bir kâr amacı gütmeyen kuruluşun kendi liderliği aksi hâlde hem ölçen hem ölçülendir.

Çok taraflı ve uluslararası

Çok taraflı kuruluşlar ve yayımladıkları ya da dayandıkları karşılaştırmalı endeksler — yönetişim kalitesi, iş yapma kolaylığı ya da kamu hizmeti performansının ülkeler arası sıralamaları — Goodhart yasasıyla tüm ulusal hükümetler ölçeğinde karşılaşır; burada bir ülke, endeksin temsil ettiğini iddia ettiği daha geniş koşula değil ölçülen ölçütlere dar biçimde hedeflenmiş reformlar yoluyla sıralamasını iyileştirebilir. Bu konuda başka yerde kullanılan yurt içi anlamda bağımsız denetimin egemen sınırlar ötesinde gerçek bir eşdeğeri yoktur, çünkü hiçbir devlet, ulusal bir organın denetlediği bir kurum üzerindeki zorlayıcı statüye sahip bir dış denetim kurumunu kabul etmez; çok taraflı kalite güvence bunun yerine akran gözden geçirmesine, teknik misyonlarca doğrulanan öz raporlamaya ve yayımlanmış bir derecelendirmenin itibar maliyetine dayanır. Bu, herhangi bir ülkeler arası göstergeyi derleyen organın bağımsızlığını ve teknik inandırıcılığını özellikle önemli kılar, çünkü çoğu zaman mevcut tek kontroldür.

Sık görülen başarısızlık biçimleri

Tünel görüşü. Bir kuruluş çabayı ve kaynağı ölçülen her neyse ona yoğunlaştırır; hizmet ettiği insanlar için aynı hizmetin ölçülmeyen, en az o kadar önemli yönlerinin doğrudan aleyhine. Maliyet, her yayımlanmış raporda iyileşiyor görünen ama ölçülmeyen bir boyutu — hasta onuru, vaka karmaşıklığı, uzun vadeli sonuçlar — yeni ölçümü zorlayacak büyüklükte bir krize dönüşene kadar fark edilmeden sessizce kötüleşen bir hizmettir.

Ölçü saplantısı. Göstergedeki başarı, kuruluşun içinde, altta yatan amaçtaki başarıyla eşdeğer ele alınmaya başlar; böylece resmî misyon beyanı hâlâ amacı adlandırırken vekil herkesin gerçek dikkatinde amacın yerini alır. Maliyet, raporlanan performans ile yaşanan gerçeklik arasında genişleyen, kendini pekiştiren bir boşluktur, çünkü kuruluşun içinde artık kimse gerçekliği doğrudan izlemiyordur.

Yanlış beyan. Veri ayarlanır — bir saat erken durdurulur, bir vaka yeniden sınıflandırılır, elverişli etki için bir payda seçilir — böylece yukarıdaki işlenmiş örnekte olduğu gibi altta yatan gerçeklik hiç değişmeden raporlanan rakam iyileşir. Maliyet, keşfedildiğinde özgün çarpıtmayla orantısızdır, çünkü yanlış beyan yalnızca belirli rakama değil aynı kuruluşun hiç yayımladığı diğer her sayının inandırıcılığına zarar verir (bkz. Konu 3.4 — Hesap Verebilirlik, Şeffaflık ve Meşruiyet).

Kemikleşme. Belirli bir işletme bağlamı için belirlenmiş bir hedef, o bağlam değiştikten çok sonra gözden geçirilmeden bırakılır; böylece artık gerçekten iyi ve gerçekten kötü performansı ayırt etmese de raporlanmaya ve karşısında yönetilmeye devam eder. Maliyet yıllarca görünmezdir, çünkü kemikleşmiş bir hedef hâlâ bir sayı üretir; sayı basitçe bir şey anlamayı bırakmıştır ve kuruluşun gerçek yönetim dikkati genellikle ölçüyü resmen kimse emekliye ayırmadan zaten başka yere kaymıştır.

Denetim kurumunun ele geçirilmesi. Bağımsız bir denetim ya da derecelendirme organı, fonlama düzenlemeleri, müfettiş ile denetlenen arasında personeli taşıyan kariyer yolları ya da tekrarlanan denetimler boyunca kurulan gayriresmî ilişkiler yoluyla, denetlediği kuruluşların iyi niyetine, erişimine ya da süregelen işbirliğine kademeli olarak bağımlı hâle gelir. Maliyet, resmî bir şartın ya da kanunun tek başına önlemediği gerçek bağımsızlığın yavaş kaybıdır ve tipik olarak ancak yakalaması gereken bir derecelendirme sisteminden büyük bir başarısızlık geçtiğinde ortaya çıkar.

Suçlama güdümlü güvenlik raporlaması. Güvenlikle ilgili bir hata ya da ramak kala raporlama sistemi nominal olarak suçlamasızdır, ama pratikte performans değerlendirmesine veya disiplin sürecine personelin dürüst bir hatayı bildirmenin kişisel risk taşıdığını öğrenmesi için yeterince yakından bağlıdır. Maliyet daha az hata değil, devam eden hataların daha az raporudur; bu, bir güvenlik sisteminin sonraki, daha ciddi olay gerçekleşmeden önce sağlamak için var olduğu erken uyarı sinyalini tam olarak ortadan kaldırır.

Olgunluk modeli

Kontrol listesi

• Her başlık performans göstergesini temsil etmesi amaçlanan mantık modeline ya da sonuç çerçevesine kadar izleyin.
• Her yayımlanmış hedefin oyunlaştırılabileceği en makul yolu belirleyin ve bunu ortaya çıkaracak bir dengeleyici ölçü adlandırın.
• Bir hedefi kimin belirlediğinin, kime karşı ölçüldüğünün ve sonucu bağımsız olarak kimin kontrol ettiğinin kuruluşun aynı bölümü olmadığını doğrulayın.
• Görünür bir başarısızlığın istemesinden bağımsız olarak, her canlı hedefin sabit döngülü bir gözden geçirmesini planlayın.
• Güvenlikle ilgili raporlama kanalının performans–ödül ve disiplin kararlarından yapısal olarak ayrı olduğunu doğrulayın.
• Yalnızca bir politikanın söylemesini değil, personelin dürüstçe bildirilmiş bir hatanın ya da ramak kalanın suçlamasız ele alınacağına inanıp inanmadığını sınayın.
• Kuruluşu değerlendiren herhangi bir denetim ya da derecelendirme organının korunan fonlama, erişim ve yayımlama haklarına sahip olduğunu doğrulayın.
• Her başlık hedefinin bilinen sınırlamalarını rakamın kendisiyle birlikte yayımlayın.
• Herhangi bir göstergenin nedenine dair karşılık gelen bir araştırma olmadan birkaç dönem tutarlı biçimde tutturulup tutturulmadığını kontrol edin.
• Herhangi bir yeni hedefi canlı hâle gelmeden önce tasarımına saha personelini dahil edin.
• Varsa bir kalite yönetimi belgelendirmesinin bir taban olarak ele alındığını ve tek başına iyi sonuçların kanıtı olarak anılmadığını doğrulayın.

Temel kaynaklar

• Charles Goodhart'ın para politikası hedeflemesi bağlamında geliştirilen, Goodhart yasası olarak bilinen şeye dair 1975 formülasyonu.
• Marilyn Strathern, "'Improving ratings': audit in the British university system", European Review, 5(3) (1997), 305–321 — Goodhart yasasının geniş atıf almış kamu sektörü yeniden ifadesi.
• Peter Smith, "On the Unintended Consequences of Publishing Performance Data in the Public Sector", International Journal of Public Administration, 18(2–3) (1995), 277–310 — bu konunun yararlandığı tünel görüşü, ölçü saplantısı, yanlış beyan ve kemikleşme tipolojisinin kaynağı.
• Gwyn Bevan ve Christopher Hood, "What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System", Public Administration, 84(3) (2006), 517–538 — ağır sonuçlar altında oyunlaştırmaya dair "hedefler ve terör" çalışması.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) — eğitim, sağlık hizmeti, iş dünyası ve hükümet boyunca ölçüm başarısızlığının geniş kapsamlı bir anlatımı.
• UK National Audit Office, "Performance measurement by regulators" ve performans ölçülerini program değerlendirmesinden ayıran US Government Accountability Office rehberliği.
• Care Quality Commission ve Ofsted, değerlendirdikleri kuruluşlardan mesafede çalışan bağımsız denetim ve derecelendirme organlarının örnekleri olarak.

Kaynakça

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, "'Improving ratings': audit in the British university system" — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, "On the Unintended Consequences of Publishing Performance Data in the Public Sector" — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, "What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System" — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted