Kamu Değeri Karnesi ve Sonuç Çerçeveleri

Bu neden kamu değeri açısından önemlidir

Çoğu kamu ve sosyal sektör lideri sonuçlardan akıcı biçimde söz eden bir strateji belgesi üretebilir. Çok daha azı, bir yıl sonra bu sonuçların gerçekten kıpırdayıp kıpırdamadığını gösteren kanıtı üretebilir. İkisi arasındaki boşluk genellikle veri eksikliği değildir — çoğu kuruluş muazzam miktarda veri toplar — ham faaliyet sayılarını yaratılan değer hakkında savunulabilir bir iddiaya çeviren disiplinli bir yapının eksikliğidir. Konu 1.2 — Stratejik Üçgen: Meşruiyet, Değer ve Kapasite, meşruiyet ve desteği, değer önermesini ve operasyonel kapasiteyi bir kuruluşun stratejisinin aynı anda karşılaması gereken üç ayak olarak ortaya koydu (bkz. Konu 1.2 — Stratejik Üçgen: Meşruiyet, Değer ve Kapasite). Bu konu, bu üç ayağı yalnızca ileri sürülen değil ölçülebilir kılan araçlarla ilgilidir.

Riskler anlıktır ve yinelenir. Bir fon sağlayıcı ya da yasama organı bir sonraki bütçe turunda "bu paraya karşılığında ne aldık" diye sorar — ve yalnızca çıktı sayıları olan (açılan klinikler, işlenen dosyalar, yürütülen eğitim oturumları) bir kuruluşun altta yatan sonuç sorusuna yanıtı yoktur. Bir program ekibi, faaliyet yüksek ve yoğun olduğu için başarılı olduğuna inanır; faaliyeti, faaliyetin dünyada neden olması amaçlanan değişimden ayırmamıştır. Bir kurul, ikna edici bir anlatı gücüyle yeni bir girişimi onaylar, sonra bir yıl sonra onu sürdürme, ölçekleme ya da durdurma kararı için üzerinde uzlaşılmış hiçbir temele sahip olmaz. Bunların her biri, stratejik sonuçları olan bir ölçüm başarısızlığıdır, teknik bir rahatsızlık değil.

Bu konudaki araçlar — Mark Moore'un Kamu Değeri Karnesi, mantık modeli ve sonuç temelli hesap verebilirlik ile akrabaları — bir kamu ya da sosyal sektör kuruluşunun karşılaştığı her ölçüm sorununu çözmez. Sonraki konular daha zor, daha teknik katmanları ele alır: sonuçları maliyet-fayda ve maliyet-etkililik analiziyle parasallaştırmak (bkz. Konu 2.2 — Sosyal Fayda-Maliyet ve Maliyet-Etkililik Analizi), parasallaştırmaya direnen sonuçları sosyal yatırım getirisi yoluyla değerlendirmek (bkz. Konu 2.3 — Sosyal Yatırım Getirisi ve Etki Ölçümü) ve bir programın gözlenen bir değişikliğe gerçekten neden olduğunu resmî program değerlendirmesi yoluyla göstermek (bkz. Konu 2.4 — Kamu Sektörü Ekonometrisi ve Program Değerlendirmesi). Bu konunun sağladığı şey, üçünün de altındaki katmandır: herhangi bir teknik çalışma başlamadan önce, bir kuruluşun gerçekte neyi, kimin için değiştirmeye çalıştığını ve bunu nasıl bileceğini ifade etmek için ortak bir sözcük dağarcığı ve az sayıda dayanıklı çerçeve.

Temel kavramlar

Kamu Değeri Karnesi, Mark H. Moore'un stratejik üçgenin her ayağını, özel sektör dengeli karnesinin kullanacağı mali ve operasyonel ölçülere varsayılan olarak dönmek yerine kendi gösterge kümesiyle izleme önerisidir. Moore, dengeli karneyi — Robert Kaplan ve David Norton'ın bir işletmeyi mali, müşteri, iç süreç ve öğrenme perspektifleri boyunca izleyen aracını — uyarladı, çünkü tek bir mali sonuç satırı, varlık nedeninin hiçbir piyasa fiyatının yakalamadığı değer yarattığı olan bir kuruluşu temsil edemez. Kamu Değeri Karnesi bunun yerine bir kuruluştan, üçgeni yansıtan üç başlık altında ölçüler belirlemesini ister: bir meşruiyet ve destek hesabı (yetkilendirme ortamı tatmin edilmiş mi — fon sağlayıcılar, denetçiler, kamu), bir kamu değeri hesabı (değer önermesi gerçekleşiyor mu — yurttaşlar ve müşteriler için sonuçlar) ve bir operasyonel kapasite hesabı (kuruluş teslimi sürdürüp iyileştirebiliyor mu — personel, sistemler, finans, ortaklıklar). Disiplin, hiçbir hesabın bütünün yerine geçmesine izin vermeyi reddetmekte yatar; yalnızca mali verimliliği ya da yalnızca müşteri memnuniyetini raporlayan bir kuruluş, üçgene karşı hiç rapor vermemiştir.

Mantık modelleri karnenin değer hesabına iç yapısını verir. Bir mantık modeli, bir programın yürüttüğünü iddia ettiği nedensel zinciri ortaya koyar: girdiler (taahhüt edilen para, personel ve diğer kaynaklar), faaliyetler (kuruluşun bunlarla yaptığı şey), çıktılar (bu faaliyetlerin anlık, sayılabilir ürünleri — verilen oturumlar, düzenlenen izinler, ziyaret edilen haneler), sonuçlar (çıktıların getirmesi amaçlanan bilgi, davranış, durum ya da statüdeki değişiklikler, tipik olarak aylar ya da birkaç yıl içinde) ve etki (sonuçların katkıda bulunması amaçlanan daha uzun vadeli, çoğu zaman nüfus düzeyindeki değişim; genellikle diğer aktörlerle paylaşılır ve tek bir programa atfetmek daha zordur). Çıktı ile sonuç arasındaki ayrım bu konudaki en sonuç doğurucu olanıdır: çıktı kuruluşun yaptığı bir şeydir; sonuç, bunun sonucunda başkası için değişen bir şeydir. Bir eğitim programının çıktısı eğitilen kişi sayısıdır; sonucu, bu kişilerin daha önce yapamadıkları ne yapabildikleri ya da koşullarının nasıl değiştiğidir.

Değişim kuramı, bir mantık modelinin ardındaki varsayımları örtük bırakmak yerine açık kılma disiplinidir — kuruluşun A faaliyetinin neden B sonucunu üreteceğine inandığı ve bu nedensel iddianın hangi koşullarda başarısız olabileceği. Bir değişim kuramı yalnızca daha ayrıntılı bir mantık modeli değildir; bir mantık modelinin kutular ve oklar diyagramının söylenmemiş bırakma eğiliminde olduğu "eğer... o zaman... çünkü" akıl yürütmesini ve bağlamsal varsayımları ön plana çıkarır. Konu 2.3 değişim kuramını sosyal sektördeki etki ölçümünün başlangıç noktası olarak daha derinlemesine kullanır (bkz. Konu 2.3 — Sosyal Yatırım Getirisi ve Etki Ölçümü); burada esas olarak, bir mantık modelini neyin yalnızca umulduğundan ayrı olarak neye neden olmayı gerçekten iddia ettiği konusunda dürüst tutan disiplin olarak önem taşır.

Sonuç temelli hesap verebilirlik (RBA), nüfus düzeyindeki sonuçları belirli programların performansına bağlamak için hükümetlerde ve sosyal sektörde kullanılan sonuç temelli çerçeveler ailesinin en tanınmış üyesidir. Mark Friedman tarafından geliştirilen ve Trying Hard Is Not Good Enough kitabında ortaya konan RBA, kuruluşların rutin olarak birbirine karıştırdığı iki ayrı hesap verebilirlik türünü ayırır. Nüfus hesap verebilirliği, bütün bir topluluğun ya da yargı alanının bir esenlik koşulunda — çocuk yoksulluğu, toplum güvenliği, eğitim düzeyi — hiçbir tek kurumun sahip olmadığı ya da tam denetlemediği az sayıda başlık göstergesi kullanarak nasıl durduğunu sorar. Performans hesap verebilirliği, belirli bir program ya da kurumun ne kadar iyi gittiğini, Friedman'ın çerçevesinin ayırt etmekte ısrar ettiği üç tür performans göstergesi kullanarak sorar: ne kadar yapıldı (çaba — çıktı sayısı), ne kadar iyi yapıldı (kalite) ve herhangi biri daha iyi durumda mı (etki — sonuç). RBA'nın pratik yöntemi, bazen "eğriyi çevir" analizi denilen, seçilmiş bir göstergeden geriye doğru çalışır — verinin hangi hikâyeyi anlattığını, bu hikâyeye neyin neden olduğunu, değiştirmede rolü olan ortakların kimler olduğunu, neyin işe yarayacağını ve kuruluşun ne yapmayı önerdiğini sorar — bir mantık modelinin ve bir değişim kuramının ayrı ayrı biçimselleştirdiği akıl yürütmenin yapılandırılmış bir sürümü. RBA, uluslararası kalkınma ve kamu yönetimi boyunca kullanılan rutin izleme ve değerlendirme uygulamasıyla yakından ilişkili, daha geniş bir sonuç temelli yönetim örüntüsünün bir örneğidir; harcamayı yalnızca çıktılara değil sonuçlara bağlayan ortak bir disiplin olarak ulusal hükümetler, hayırsever fon sağlayıcılar ve çok taraflı kuruluşlar tarafından çeşitli biçimlerde teşvik edilir.

Çıktılar, sonuçlar ve karne bir arada. Bu çerçevelerin üç ayrı değil tek bir konuda toplanmasının nedeni, bir kuruluşun planlama ve raporlama döngüsünün farklı noktalarında aynı temel soruyu yanıtlamalarıdır. Mantık modeli, nedensel iddiayı belirtmek için tasarım zamanında çizilir. Sonuç temelli hesap verebilirlik ve karşılaştırılabilir çerçeveler, performans ölçülerini çaba ile etki arasındaki farkta dürüst tutmak için raporlama zamanında uygulanır. Kamu Değeri Karnesi her ikisinin üzerinde, sonuç kanıtının — nasıl üretilmiş olursa olsun — bir program ekibinin kendi raporlamasının içinde kalmak yerine bütçe ve yetki kararlarının alındığı meşruiyet ve kapasite görüşmelerine gerçekten ulaşmasını sağlayan kalıcı yapı olarak durur. Üç çerçeve birlikte, kamu değerini bir kuruluşun kendisi hakkında ileri sürdüğü bir iddiadan, kanıtla savunabileceği bir iddiaya çevirir.

İyi uygulamalar

1. Mantık modelini göstergelerden önce çizin, sonra değil. Neye neden olduğunuzu iddia ettiğiniz üzerinde uzlaşmadan önce neyin ölçüleceğini seçmek, sayması kolay olan şeylerin bir listesini üretir; önce girdiden etkiye zinciri çizin, sonra onun her halkasını sınayan ölçüleri seçin.
2. Üç karne hesabına karşı birlikte raporlayın, birer birer değil. Sonuç kanıtı olmayan bir meşruiyet güncellemesi ya da sürdürmenin neye mal olduğuna dair kapasite hesabı olmayan bir sonuç raporu, bir fon sağlayıcının ya da denetçinin gerçek bir karar vermek için ihtiyaç duyduğu hikâyenin yalnızca bir kısmını anlatır.
3. Her performans raporunda çaba, kalite ve etkiyi açıkça ayırın. Resmî bir RBA uygulamasının dışında bile Friedman'ın üçlü ayrımını ödünç alın; "verilen oturumlar" ile "iyileşen hayatları" ayırt etmeden harmanlayan bir rapor her zaman şişirilmesi daha kolay olana kayacaktır.
4. Az sayıda başlık nüfus göstergesi seçin ve onları çeyrek yıllar değil yıllar boyunca koruyun. Nüfus düzeyindeki koşullar yavaş hareket eder ve birçok aktörden etkilenir; başlık ölçüsünü her raporlama döngüsünde değiştirmek, eğrinin gerçekten dönüp dönmediğini söylemeyi imkânsız kılar.
5. Kuruluşun neyi denetlemediğini yüksek sesle adlandırın. Tek bir programın nüfus düzeyindeki bir sonuca tek başına neden olduğunu ima eden bir mantık modeli, sonuç takvime göre kıpırdamadığında meşruiyeti zayıflatan tam o şüpheciliği davet eder; baştan katkıda bulunan diğer etkenleri belirtin.
6. Sonuç çerçevesini bütçe turundan önce yayımlayın, sonra değil. Önceden verilmiş bir bütçe kararını gerekçelendirmek için üretilmiş bir sonuç çerçevesi sonradan yapılmış bir rasyonalizasyon gibi okunur; turdan önce yayımlanan, gerçek bir kararın ona karşı sınandığının kanıtıdır.
7. Karneyi ve mantık modelini bağlam değiştiğinde yeniden gözden geçirilen canlı belgeler olarak tutun, yıllık eserler olarak değil. Bir politika ortamı için çizilmiş bir mantık modeli — yeni bir yasa, bir demografik kayma, bir fonlama değişikliği — planlı bir gözden geçirmenin yakalayacağından çok önce sessizce gerçekliğe uymayı bırakabilir; ikisini de merkezî bir ofis için uyum alıştırması değil, teslim ekiplerinin sahip olduğu belgeler olarak ele alın.
8. Performans hesabı ölçülerini harekete geçebilecek insanlara yakın tutun. Bir program ekibi kalite ve çaba ölçülerini doğrudan iyileştirebilir; onlara tek başlarına kıpırdatamayacakları nüfus düzeyi sonuç hedefleri verin ve ölçüm yön yerine moral bozukluğu kaynağına dönüşür.
9. Kaçırılan bir sonuç hedefini saklanacak bir hüküm değil, neden diye sormak için bir uyarı olarak ele alın. Suçlamadan önce eğilimin neden kaynaklandığını sorma alışkanlığı sonuç raporlamasını yararlı tutar; kaçırılan hedefleri cezalandıran bir kültür, personele sonucu değil sayıyı korumayı öğretir.
10. Değişim kuramındaki varsayımları çürütülebilir kılın. Hiçbir kanıtın asla çürütemeyeceği kadar belirsiz yazılmış bir varsayım mantık modeline titizlik katmaz; varsayımları, gelecekteki bir değerlendirmenin yanlış olduklarını gösterebileceği kadar belirli yazın.

Ekibinizle tartışılacak sorular

En önemli programımız için bir çıktıyı bir sonuçtan şu anda ayırt edebiliyor muyuz — ve kendi personelimiz bu iki sözcüğü doğru kullanıyor mu? Birçok kuruluş, farkına varmadan sonuç diliyle faaliyet sayıları raporlar; bu, bu konunun temel saydığı farkı sessizce aşındırır. Bu soruyu gerçek bir güncel raporu çekmek ve satır satır, hangi sayıların kuruluşun ne yaptığını, hangilerinin başkası için neyin değiştiğini anlattığını kontrol etmek için kullanın. Dilin nerede kaydığını ve bu kaymanın programın mantığı konusunda gerçek bir kafa karışıklığını mı yansıttığını, yoksa yalnızca sonuç verisinin çıktı verisinden daha zor elde edilmesini mi yansıttığını tartışın. Dürüst yanıt ikincisiyse, bu başlı başına kaydedilmeye değer bir bulgudur, sonuç kılığına girmiş çıktı dilini kullanmayı sürdürmek için bir neden değil.

Mevcut raporlamamız çabayı, kaliteyi ve etkiyi nerede tek bir sayıya çökertiyor ve bu sayı bir okuyucuya gerçekte ne söylüyor? Friedman'ın üçlü ayrımı vardır, çünkü kuruluşlar rutin olarak üçünün sayması en kolay olanı olan çabayı raporlamaya, etkiyi raporlamış gibi ima ederken kayarlar. Bu soruyu, kuruluşun şu anda raporladığı bir amiral gemisi ölçüsünü belirlemek ve grup olarak üçünden hangisini gerçekte ölçtüğünü çözmek için kullanın. O ölçü için üçünü ayrı raporlamanın ne gerektireceğini ve bunu yapmanın, şu anda yalnızca harmanlanmış sayıyı görenlerin kuruluşu algılayışını değiştirip değiştirmeyeceğini tartışın.

Başlık nüfus sonucumuz iki raporlama döngüsü daha kıpırdamazsa neyi farklı yapardık ve neyi değiştirmezdik? Bu soru, kuruluşun sonuç çerçevesini gerçekten yön vermek için mi kullandığını yoksa yalnızca bir raporlama yükümlülüğü olarak mı ürettiğini sınar. Bunu, mevcut stratejinin hangi bölümlerinin sonuç verisine bağlı, hangilerinin verinin ne gösterdiğinden bağımsız olarak sabit olduğunu ayırt etmek için kullanın. Mevcut programın herhangi bir bölümünün kanıt kesin olarak aleyhe dönse bile değişmeden hayatta kalıp kalmayacağını dürüstçe tartışın, çünkü çerçeve tarafından gerçekte yönetilmeyen bölüm odur.

Varsa Kamu Değeri Karnemiz üçgenin üç ayağını da raporluyor mu, yoksa sessizce yalnızca tek bir ayağın karnesine mi dönüştü? Bir sonuç çerçevesinin gerçek bir üç ayaklı iddiayla başlayıp, raporlama baskısı altında yalnızca sonuçlardan ya da yalnızca finanstan oluşan bir belgeye kayması yaygındır. Bu soruyu, son iki ya da üç resmî raporu bu konunun tanımladığı üç hesaplı yapıya karşı denetlemek için kullanın. Zaman baskısı altında hangi ayağın ilk düştüğünü ve bunun kuruluşun hangi ayağı örtük olarak isteğe bağlı saydığı hakkında ne söylediğini tartışın.

Mantık modelimizin inandırıcı olması için kuruluş dışında kimlerin onunla hemfikir olması gerekir ve onlara gerçekten sorduk mu? Müdahaleyi tasarlayan program ekibi tarafından tümüyle çizilmiş bir mantık modeli, odanın dışında kimsenin meydan okuyacak konumda olmadığı iyimser varsayımları sessizce kodlayabilir. Bu soruyu, hangi dış aktörlerin — fon sağlayıcılar, teslim ortakları, programın hizmet ettiği insanlar — nedensel zincirin doğru olup olmadığında payı olduğunu ve herhangi birinin onu gerçekten gözden geçirip geçirmediğini belirlemek için kullanın. Bu gözden geçirmeye en son dış bir bakış davet edildiğinde, varsa, neyin değiştiğini tartışın.

Bir dışarıdan kişinin bu kuruluşun kamu değeri yaratıp yaratmadığını yargılamasına yine de izin verecek, raporlayabileceğimiz en küçük nüfus ve performans göstergesi kümesi nedir? Ölçüm sistemleri, göstergeleri emekli etmekten çok daha hızlı biriktirir; çerçeve, hiç kimsenin bir kararda gerçekten kullanamayacağı kadar büyük olana dek. Bu soruyu, bu konunun tanımladığı nüfus hesap verebilirliği ve performans hesap verebilirliği sorularını yanıtlama yeteneğini kaybetmeden mevcut gösterge kümesini yarıya indirmeyi bir alıştırma olarak denemek için kullanın. Bu alıştırmanın hangi direnci ortaya çıkardığını tartışın, çünkü belirli bir göstergeyi kesmeye karşı direnç, çoğu zaman beyan edilen stratejiyle uyuşsun uyuşmasın kuruluşun gerçekte ne için hesap verir tutulduğunun bir işaretidir.

Uygulamada: bir kamu değeri örneği

Bir bölgesel aile destek hayır kuruluşları ağı — kurgusal, gerçek bir kuruluş hakkında rapor değil bir örüntünün örneği — on yıl boyunca düşük gelirli mahallelerde yeni ebeveynlere ev ziyareti programları yürütmüştü. Fon sağlayıcılara yıllık raporları ayrıntılıydı ve çıktı ölçülerine göre etkileyiciydi: her yıl tamamlanan binlerce ev ziyareti, ebeveynlik atölyelerine yüksek katılım, katılan ailelerden güçlü memnuniyet puanları. Bu sicil sayesinde ağ istikrarla büyümüş, kabaca iki yılda bir yeni yerel şubeler eklemişti.

Ağın erişimini ikiye katlamaya yetecek çok yıllı bir hibeyi değerlendiren yeni bir ulusal fon sağlayıcı, ağın kendi kurulunun yönetime hiç resmî olarak sormadığı bir soru sordu: ev ziyareti alan ailelerin çocuklarının, almayan karşılaştırılabilir çocuklara göre sonradan gerçekten daha iyi durumda olduğunu hangi kanıt gösteriyordu. Ağın liderliği soruyu düşünürken, raporlamasının çabayı etkiden hiç ayırmadığını fark etti. Ziyaret sayıları ve memnuniyet puanları programın teslim edildiğine ve iyi karşılandığına dair gerçek kanıttı; hiçbiri çocuğun gelişimsel sonuçlarını değiştirdiğinin kanıtı değildi; bu, ağın kendi misyon beyanında ve zımnen yazdığı her hibe başvurusunda yer alan iddiaydı.

Ağ, bir mantık modelini sıfırdan, gerçekten istediği sonuçlardan başlayarak — iyileşen erken çocukluk gelişim göstergeleri, azalan doğrulanmış çocuk ihmali vakaları, güçlenen ebeveyn özgüveni — ve her birinin bağlı olması amaçlanan faaliyetlere ve çıktılara geriye doğru çalışarak, aradaki varsayımları açıkça adlandırarak inşa etti. Basitleştirilmiş bir sonuç temelli hesap verebilirlik yapısını benimsedi: mahalle düzeyinde izlenen ve yerel okullar ve sağlık hizmetleriyle paylaşılan nüfus göstergeleri ile kendi ekiplerinin doğrudan harekete geçebileceği performans göstergeleri — ziyaret sıklığı, atölye tamamlama ve üçüncü ve on ikinci aylarda personelin değerlendirdiği ebeveyn özgüveni. İlk raporlama döngüsünde bir mahallede beş sonuç göstergesinden ikisi umulduğu gibi kıpırdamadı. Sonucu bastırmak yerine ağ, araştırmak için kendi "eğriyi çevir" sürecini kullandı, yerel sağlık ziyaretçisi kadrolamasındaki bir değişikliğin sevk yollarını bozduğunu buldu ve çekirdek modelini değil ortaklık düzenlemelerini ayarladı. Fon sağlayıcı hibeyi yeniledi ve genişletti; güven gerekçesi olarak bir eksikliğin yokluğunu değil raporlamanın dürüstlüğünü gösterdi.

Dört sektör bakışı

Yerel yönetim

Bir yerel yönetimin sonuç çerçevesi tipik olarak, kendisinin seçmediği ama karşısında rapor vermek zorunda olduğu ulusal olarak tanımlanmış daha geniş bir gösterge kümesinin içinde, kendi meclisinin önceliklerini yansıtan yerel olarak seçilmiş ölçülerle birlikte durur. Bu ikili yapı, yerel bir karnenin çoğu zaman farklı sorular soran iki kitleyi uzlaştırması gerektiği anlamına gelir — standart bir gösterge kümesine uyumu soran ulusal bir müfettiş ve belirli, görünür bir yerel koşul, örneğin belirli bir sokak ya da hizmet hakkında soran yerel sakinler. Yerel yönetim ölçeğindeki mantık modelleri genellikle tek bir hizmet (bir geri dönüşüm toplama değişikliği, bir kütüphane yeniden tasarımı) için kurulması en kolay, meclisin denetimi dışındaki birçok aktörün de katkıda bulunduğu topluluk uyumu gibi kesişen sonuçlar için inandırıcı biçimde kurulması en zor olanlardır.

Merkezi yönetim

Ulusal sonuç çerçeveleri, sonuç temelli hesap verebilirlikteki nüfus hesap verebilirliği ve performans hesap verebilirliği ayrımının isteğe bağlı değil zorunlu hâle geldiği bir ölçekte işler: ulusal bir sağlık ya da eğitim göstergesi yüzlerce programdan etkilenir, bunların yalnızca birkaçını herhangi bir bakanlık doğrudan fonlar; dolayısıyla tek bir bakanlığın ulusal bir eğilimin tek başına kredisini ya da suçunu üstlenmesi nadiren savunulabilir. Merkezi yönetimler aynı zamanda, zincirin aşağısındaki teslim organlarının benimsemesi gereken büyük, merkezî olarak zorunlu kılınan sonuç çerçevelerinin en yaygın kaynağıdır; bu da çerçevenin herhangi bir programın teslimini gerçekten yönlendirmek yerine bölümler arasında toplulaştırma ve karşılaştırma için tasarlanması riskini yineler.

Sosyal sektör ve kâr amacı gütmeyen kuruluşlar

Kâr amacı gütmeyen kuruluşlar ve sivil toplum kuruluşları (STK), mantık modellerini ve değişim kuramlarını bir yetkilendiricinin aşağı ilettiği bir çerçeveyi benimsemekten çok sıfırdan kendileri kurar, çünkü fon sağlayıcıları sıklıkla standart bir şablon sağlayan değil nedensel gerekçeyi isteyenlerdir. Bu, sosyal sektör kuruluşlarına gerçek program mantıklarına uyan bir sonuç çerçevesi tasarlamak için daha fazla özgürlük verir, ama aynı zamanda fon sağlayıcı kaynaklı ölçüm yorgunluğuna daha fazla maruz bırakır; her hibenin kendi raporlama gereklilikleri vardır ve bir kuruluş aynı altta yatan iş için birkaç paralel sonuç çerçevesi sürdürmeye varır. Sonuç temelli hesap verebilirliğin nüfus-performans ayrımı burada özellikle yararlıdır, çünkü kâr amacı gütmeyen bir kuruluşa fon sağlayıcıya, kendi performans ölçülerinden hesap verebileceğini ama tek başına, birçok başka aktörün de etkilediği bir nüfus göstergesinden hesap veremeyeceğini açıkça söylemek için bir dil verir.

Çok taraflı ve uluslararası

Çok taraflı kuruluşlar sonuç temelli yönetimi, mantık modelinin varsayımlarının aynı anda onlarca ulusal bağlama yayıldığı bir ölçekte yürütür; dolayısıyla bir ülkede geçerli olan bir müdahale mantığı, başlık küresel göstergenin hangi bağlamın sorun olduğunu ortaya çıkarmadığı bir biçimde başka bir ülkede sessizce başarısız olabilir. Bu ortamdaki sonuç çerçeveleri çoğu zaman her birinin kendi raporlama tercihleri olan birden çok bağışçı hükümeti aynı anda tatmin etmek için kurulur; bu, yerel özgüllük pahasına standartlaştırılmış gösterge kümelerine (uluslararası sonuç temelli yönetim rehberliği aracılığıyla teşvik edilen türden) doğru iter. Bir uygulayıcı ortağın hızla raporlayabileceği çıktı — verilen eğitimler, donatılan klinikler — ile yıllar sonra yalnızca ulusal bir ankette ortaya çıkan sonuç arasındaki boşluk burada en geniştir; bu da varsaydığı nedensel zinciri varsaymak yerine açıkça ifade etme disiplinini özellikle önemli kılar.

Sık görülen başarısızlık biçimleri

Sonuç kılığına girmiş çıktı. Bir kuruluş faaliyet sayılarını sonuç diliyle raporlar — gerçek ölçü yapılan devriyeler olduğunda "iyileşen toplum güvenliği" — ya gerçek bir karıştırmadan ya da sonuç verisinin toplanması daha zor ve yavaş olduğu için. Maliyet, dış bir gözden geçirici sonuç kanıtını doğrudan istediğinde ve iddianın ardında yalnızca çıktılar bulduğunda ortaya çıkar; bu, mütevazı, dürüstçe raporlanmış bir sonuçtan daha çok kuruluşun itibarına zarar verir.

Gösterge çoğalması. Bir karne ya da mantık modeli, ölçüleri emekli etmekten daha hızlı biriktirir; her yeni paydaş talebi mevcut bir satırın yerine geçmek yerine bir satır daha ekler. Sonuç, hiçbir yöneticinin bir kararda gerçekten kullanamayacağı kadar büyük bir çerçevedir; bu, kuruluşu sessizce gayriresmî yargıya geri döndürürken resmî çerçeve kimsenin başvurmadığı bir raporlama eserine dönüşür.

Hedef ele geçirilmesi. Fonlamaya ya da ödüle bağlanan bir performans ölçüsü, vekili olması amaçlanan sonuç yerine personelin doğrudan optimize ettiği şey olur — Goodhart yasasının tanımladığı örüntü, burada hedef olarak kullanılan bir ölçü güvenilir bir ölçü olmaktan çıkar. Kamu sektöründe özellikle bu dinamiğin, kalite rejimlerinin onu nasıl saptayıp sınırlamaya çalıştığı dahil, yuvası başka yerdedir (bkz. Konu 3.11 — Kalite, Güvenlik ve Performans Yönetimi); burada çaba, kalite ve etki ölçülerini ayrı tutmak ve hedefleri davranışı çarpıtmadan önce yeniden gözden geçirmek için bir neden olarak önem taşır.

Atıf aşırılığı. Bir programın raporlaması, birçok başka aktörün de etkilediği nüfus düzeyindeki bir sonuç için tek nedensel sorumluluk ima eder, bunu ya dikkatsiz dil ya da gerçek inançla yapar. Sonuç — çoğu zaman programın denetimi dışındaki nedenlerle — kıpırdamadığında kuruluş gerçek katkısıyla orantısız bir suçu üstlenir; bu da gelecek döngülerde eksikliklerin dürüstçe raporlanmasını caydırır.

Geri bildirimsiz çerçeve. Bir kuruluş gerçekten iyi tasarlanmış bir mantık modeli ve sonuç çerçevesi kurar, sonra onu gerçek sonuçlara karşı hiç yeniden gözden geçirmez; böylece canlı bir yönetim aracı yerine sabit bir belgeye katılaşır. Altındaki strateji, kanıtın gözden geçirmeyi haklı çıkaracağı yıllar sonra bile özgün varsayımlar üzerinde çalışmayı sürdürür; bedeli, çerçevenin sağlaması amaçlanan uyum yeteneğidir.

Olgunluk modeli

Kontrol listesi

• Göstergeleri kesinleştirmeden önce her büyük program için bir mantık modeli (girdiler, faaliyetler, çıktılar, sonuçlar, etki) çizin.
• Değişim kuramının nedensel varsayımlarını, kanıtın onları çürütebileceği kadar belirli yazın.
• Resmî bir sonuç temelli hesap verebilirlik uygulamasının dışında bile her performans raporunda çaba, kalite ve etki ölçülerini ayırın.
• Kamu Değeri Karnesini, üç ayak — meşruiyet, değer, kapasite — ayrı ayrı değil birlikte raporlanacak biçimde kurun veya güncelleyin.
• Az sayıda, istikrarlı nüfus düzeyi başlık göstergesi seçin ve onları birkaç raporlama döngüsü boyunca korumayı taahhüt edin.
• Mevcut raporları, bir çıktıyı sonuç sözcükleriyle tanımlayan dil açısından denetleyin ve düzeltin.
• Sonuç çerçevesini bir sonraki bütçe ya da fonlama turundan önce yayımlayın, sonradan değil.
• Raporlanan her nüfus düzeyi iddiası için kuruluşun tek başına neyi denetlemediğini açıkça adlandırın.
• Mantık modellerini yalnızca planlı bir resmî değerlendirmede değil, gerçek kanıta karşı yeniden gözden geçirmek için sabit bir döngü belirleyin.
• Mantık modelinin varsayımlarını kesinleştirilmeden önce gözden geçirecek en az bir dış paydaş belirleyin.
• Gerçek bir kararda kimsenin kullanmadığı ölçüleri emekli etme fırsatları için mevcut gösterge kümesini denetleyin.
• Bir başlık sonucu iki raporlama döngüsü kıpırdamazsa kuruluşun neyi farklı yapacağı konusunda önceden uzlaşın.

Temel kaynaklar

• Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) ve Recognizing Public Value (2013) — dengeli karne geleneğini stratejik üçgenin üç ayağına uyarlayan Kamu Değeri Karnesinin kaynak metinleri.
• Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities — nüfus hesap verebilirliği/performans hesap verebilirliği ayrımı ve "eğriyi çevir" analizi dahil sonuç temelli hesap verebilirliğin kaynak metni.
• Robert Kaplan ve David Norton'ın dengeli karne yazını — Moore'un kamu değeri bağlamı için uyarladığı özel sektör kaynağı.
• OECD'nin sonuç temelli yönetim ve değerlendirme terminolojisi rehberliği; sonuç ve etki dilini standartlaştırmak için kalkınma ve kamu yönetimi uygulamasında kullanılır.
• Dünya Bankası Bağımsız Değerlendirme Grubu'nun kalkınma operasyonları için sonuç çerçeveleri ve değişim kuramları rehberliği.
• Vermont Agency of Human Services'ın sonuç temelli hesap verebilirliği eyalet ve topluluk düzeyinde uygulamasına dair kamusal anlatımı — çerçevenin canlı hükümet kullanımındaki bir örneği.

Kaynakça

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf