Avaliku väärtuse tulemuskaart ja tulemusraamistikud

Miks see avaliku väärtuse jaoks oluline on

Enamik avaliku ja sotsiaalsektori juhte suudab koostada strateegiadokumendi, mis räägib tulemustest ladusalt. Palju vähem suudavad aasta hiljem esitada tõendeid selle kohta, kas need tulemused tegelikult liikusid. Lõhe kahe vahel ei ole tavaliselt andmete puudus – enamik organisatsioone kogub tohutuid andmemahtusid –, vaid distsiplineeritud struktuuri puudus, mis muudab toore tegevusarvu kaitstavaks väiteks loodud väärtuse kohta. Teema 1.2 — Strateegiline kolmnurk: legitiimsus, väärtus ja suutlikkus esitas legitiimsuse ja toetuse, väärtuspakkumise ja tegevussuutlikkuse kolme toena, mida organisatsiooni strateegia peab korraga rahuldama (vt Teema 1.2 — Strateegiline kolmnurk: legitiimsus, väärtus ja suutlikkus). See teema räägib tööriistadest, mis muudavad need kolm tuge mõõdetavaks, mitte lihtsalt väidetavaks.

Panused on vahetud ja korduvad. Rahastaja või seadusandja küsib järgmisel eelarvevoorul „mida me selle raha eest saime" – ja organisatsioonil, kellel on ainult väljundiarvud (avatud kliinikud, menetletud juhtumid, korraldatud koolitused), pole vastust selle all olevale tulemuse küsimusele. Programmimeeskond usub, et ta on edukas, sest tegevus on kõrge ja tihe, eristamata tegevust muutusest maailmas, mida tegevus pidi põhjustama. Juhatus kiidab uue algatuse heaks veenva narratiivi alusel ning aasta hiljem puudub kokkulepitud alus otsustamiseks, kas jätkata, skaleerida või lõpetada. Kõik need on mõõtmise ebaõnnestumised strateegiliste tagajärgedega, mitte tehniline ebamugavus.

Selle teema tööriistad – Mark Moore'i avaliku väärtuse tulemuskaart, loogikamudel ning tulemuspõhine vastutus ja selle sugulased – ei lahenda kõiki mõõtmisprobleeme, millega avaliku või sotsiaalsektori organisatsioon silmitsi seisab. Hilisemad teemad käsitlevad raskemaid, tehnilisemaid kihte: tulemuste rahaks teisendamine kulu-tulu ja kulutõhususe analüüsi kaudu (vt Teema 2.2 — Sotsiaalne kulu-tulu ja kulutõhususe analüüs), rahastamisele allumatute tulemuste väärtustamine sotsiaalse investeeringutasuvuse kaudu (vt Teema 2.3 — Sotsiaalne investeeringutasuvus ja mõju mõõtmine) ning tõestamine, et programm tegelikult põhjustas täheldatud muutuse, ametliku programmi hindamise kaudu (vt Teema 2.4 — Avaliku sektori ökonomeetria ja programmide hindamine). See teema pakub kihti kõigi kolme all: ühist sõnavara ja väikest arvu vastupidavaid raamistikke selle väljendamiseks, enne kui sellest tehnilisest tööst midagi algab, mida organisatsioon tegelikult muuta püüab, kelle jaoks ja kuidas ta teada saab.

Põhimõisted

Avaliku väärtuse tulemuskaart on Mark H. Moore'i ettepanek jälgida strateegilise kolmnurga iga tuge oma näitajate komplektiga, mitte vaikimisi kasutada finants- ja operatiivmõõdikuid, mida erasektori tasakaalustatud tulemuskaart kasutaks. Moore kohandas tasakaalustatud tulemuskaardi – Robert Kaplani ja David Nortoni tööriist ettevõtte jälgimiseks finants-, kliendi-, sisemiste protsesside ja õppimise perspektiivides –, sest üksainus finantsiline tulemusrida ei suuda esindada organisatsiooni, mille keskne olemasolu väide on, et ta loob väärtust, mida ükski turuhind ei hõlma. Avaliku väärtuse tulemuskaart palub organisatsioonil selle asemel täpsustada mõõdikud kolme pealkirja all, mis peegeldavad kolmnurka: legitiimsuse ja toetuse arvestus (kas volitav keskkond on rahul – rahastajad, järelevalvajad, avalikkus), avaliku väärtuse arvestus (kas väärtuspakkumist realiseeritakse – tulemused kodanikele ja klientidele) ja tegevussuutlikkuse arvestus (kas organisatsioon suudab tarnet säilitada ja parandada – personal, süsteemid, rahandus, partnerlused). Distsipliin seisneb keeldumises lasta ühel arvestusel kogu asja eest seista; organisatsioon, mis annab aru ainult finantstõhususest või ainult kliendi rahulolust, ei ole kolmnurga suhtes üldse aru andnud.

Loogikamudelid annavad tulemuskaardi väärtusearvestusele selle sisemise struktuuri. Loogikamudel sätestab põhjusliku ahela, mida programm väidab käitavat: sisendid (pühendatud raha, personal ja muud ressursid), tegevused (mida organisatsioon nendega teeb), väljundid (nende tegevuste vahetud, loendatavad tooted – toimunud sessioonid, väljastatud load, külastatud majapidamised), tulemused (teadmiste, käitumise, seisundi või staatuse muutused, mida väljundid peavad esile kutsuma, tavaliselt kuude või mõne aasta jooksul) ja mõju (pikemaajaline, sageli rahvastikutasandi muutus, millele tulemused peavad kaasa aitama, tavaliselt jagatud teiste osalejatega ja raskemini omistatav ühele programmile). Erinevus väljundi ja tulemuse vahel on selle teema ainus kõige tähtsam: väljund on midagi, mida organisatsioon tegi; tulemus on midagi, mis kellegi teise jaoks selle tulemusena muutus. Koolitusprogrammi väljund on koolitatud inimeste arv; selle tulemus on see, mida need inimesed nüüd teha suudavad või kuidas nende olukord muutub, mida nad varem ei suutnud.

Muutuste teooria on lähedalt seotud distsipliin muuta loogikamudeli aluseks olevad eeldused selgesõnaliseks, mitte varjatuks – miks organisatsioon usub, et tegevus A tekitab tegelikult tulemuse B, ja millistel tingimustel see põhjuslik väide võib ebaõnnestuda. Muutuste teooria ei ole lihtsalt üksikasjalikum loogikamudel; see toob esile „kui... siis... sest" arutluse ja kontekstuaalsed eeldused, mida loogikamudeli kastide-ja-nooltega skeem kipub välja ütlemata jätma. Teema 2.3 kasutab muutuste teooriat sotsiaalsektori mõju mõõtmise lähtepunktina sügavamalt (vt Teema 2.3 — Sotsiaalne investeeringutasuvus ja mõju mõõtmine); siin on see oluline peamiselt distsipliinina, mis hoiab loogikamudeli ausana selles, mida see tegelikult väidab põhjustavat, eristatuna sellest, mida see pelgalt loodab järgnevat.

Tulemuspõhine vastutus (RBA) on tuntuim liige tulemustepõhiste raamistike perekonnast, mida kasutatakse valitsustes ja sotsiaalsektoris rahvastikutasandi tulemuste ühendamiseks konkreetsete programmide tulemuslikkusega. Mark Friedmani välja töötatud ja tema raamatus Trying Hard Is Not Good Enough esitatud RBA eraldab kaks eristuvat liiki vastutust, mida organisatsioonid rutiinselt segi ajavad. Rahvastikuvastutus küsib, kuidas kogu kogukonnal või jurisdiktsioonil läheb heaolu seisundi osas – lapsevaesus, kogukonna turvalisus, haridustase –, kasutades väikest arvu peamisi näitajaid, mida ükski üksik amet ei oma ega kontrolli täielikult. Tulemuslikkuse vastutus küsib, kui hästi konkreetsel programmil või ametil läheb, kasutades kolme liiki tulemusnäitajat, mida Friedmani raamistik nõuab eristada: kui palju tehti (pingutus – väljundi arv), kui hästi tehti (kvaliteet) ja kas keegi on paremas olukorras (mõju – tulemus). RBA praktiline meetod, mida mõnikord nimetatakse „kõvera pööramise" analüüsiks, töötab tagurpidi valitud näitajast – küsides, millist lugu andmed räägivad, mis seda põhjustab, kes on partnerid, kellel on selle muutmises roll, mis töötaks ja mida organisatsioon ette paneb teha –, struktureeritud versioon arutlusest, mida loogikamudel ja muutuste teooria eraldi ametlikustavad. RBA on üks näide laiemast tulemuspõhise juhtimise mustrist, mis on tihedalt seotud rutiinse seire ja hindamise praktikaga, mida kasutatakse rahvusvahelises arengus ja avalikus halduses, mida erinevates vormides propageerivad riigivalitsused, filantroopsed rahastajad ja mitmepoolsed organid kui ühist distsipliini kulutuste ühendamiseks tulemustega, mitte ainult väljunditega.

Väljundid, tulemused ja tulemuskaart koos. Põhjus, miks need raamistikud kuuluvad ühte teemasse, mitte kolme, on see, et nad vastavad samale aluseks olevale küsimusele organisatsiooni planeerimis- ja aruandlustsükli erinevates punktides. Loogikamudel joonistatakse kavandamise ajal, et põhjuslikku väidet esitada. Tulemuspõhine vastutus ja võrreldavad raamistikud rakendatakse aruandluse ajal, et hoida tulemusmõõdikud ausana erinevuse suhtes pingutuse ja mõju vahel. Avaliku väärtuse tulemuskaart asub mõlema kohal püsiva struktuurina, mis tagab, et tulemustõendid – olenemata sellest, kuidas need toodeti – jõuavad tegelikult legitiimsuse ja suutlikkuse vestlusteni, kus eelarve- ja mandaadiotsused tehakse, selle asemel et jääda programmimeeskonna enda aruandluse sisse. Koos on kolm raamistikku see, mis muudab avaliku väärtuse väiteks, mida organisatsioon enda kohta esitab, väiteks, mida ta suudab tõenditega kaitsta.

Parimad tavad

1. Joonistage loogikamudel enne näitajaid, mitte pärast. Valida, mida mõõta, enne kui on kokku lepitud, mida väidetakse põhjustavat, toodab nimekirja millestki, mida on lihtne lugeda; joonistage sisendid-mõjuni ahel esmalt, seejärel valige mõõdikud, mis testivad selle iga lüli.
2. Aruandke kõigi kolme tulemuskaardi arvestuse vastu koos, mitte ühekaupa. Legitiimsuse uuendus ilma tulemustõenditeta või tulemusaruanne ilma suutlikkuse arvestuseta selle kohta, mis selle hoidmine maksis, räägivad igaüks ainult osa loost, mida rahastaja või järelevaataja vajab tegeliku otsuse tegemiseks.
3. Eraldage pingutus, kvaliteet ja mõju selgesõnaliselt igas tulemusaruandes. Laenake Friedmani kolmeosaline jaotus ka väljaspool ametlikku RBA rakendamist; aruanne, mis segab „toimunud sessioonid" „paranenud eludega" nende eristamata, läheb alati vaikimisi selle poole, mida on kergem täis puhuda.
4. Valige väike arv rahvastiku peamisi näitajaid ja hoidke neid aastaid, mitte kvartaleid. Rahvastikutasandi tingimused liiguvad aeglaselt ja neid mõjutavad paljud osalejad; peamise mõõdiku vahetamine iga aruandlustsükli järel teeb võimatuks öelda, kas kõver tegelikult pöördub.
5. Nimetage valjusti, mida organisatsioon ei kontrolli. Loogikamudel, mis vihjab, et üks programm põhjustab täielikult rahvastikutasandi tulemust, kutsub esile just selle skeptitsismi, mis õõnestab legitiimsust, kui tulemus ei liigu ajakava järgi; öelge teised kaasaaitavad tegurid algusest peale.
6. Avaldage tulemusraamistik enne eelarvevooru, mitte pärast. Tulemusraamistik, mis on toodetud juba tehtud eelarveotsuse õigustamiseks, loetakse tagantjärele ratsionaliseerimisena; voorueelselt avaldatu on tõend selle kohta, et tegelikku otsust testitakse selle vastu.
7. Hoidke tulemuskaarti ja loogikamudelit elavate dokumentidena, mida vaadatakse üle, kui kontekst muutub, mitte iga-aastaste artefaktidena. Ühe poliitikakeskkonna jaoks joonistatud loogikamudel võib vaikselt lakata tegelikkusele vastamast – uus seadus, demograafiline nihe, rahastamise muutus – kaua enne, kui ajastatud ülevaatus selle tabaks; käsitlege mõlemat kui tarnemeeskondadele kuuluvat, mitte keskkontori vastavuskohustust.
8. Hoidke tulemuslikkuse arvestuse mõõdikud nende inimeste lähedal, kes saavad nende põhjal tegutseda. Programmimeeskond saab parandada kvaliteedi- ja pingutusmõõdikuid otse; andke neile rahvastikutasandi tulemuseesmärgid, mida nad üksi liigutada ei saa, ja mõõtmine muutub demoraliseerimise, mitte suuna allikaks.
9. Käsitlege eesmärgi täitmata jätmist ajendina küsida miks, mitte kohtuotsusena, mida varjata. „Kõvera pööramise" harjumus küsida, mis suundumust põhjustab, enne süü omistamist, hoiab tulemusaruandluse kasulikuna; kultuur, mis karistab eesmärkide täitmata jätmist, õpetab töötajaid kaitsma arvu, mitte tulemust.
10. Tehke muutuste teooria eeldused ümberlükatavaks. Eeldus, mis on kirjutatud nii ebamääraselt, et ükski tõend ei saaks seda kunagi ümber lükata, ei lisa loogikamudelile rangust; kirjutage eeldused piisavalt täpselt, et tulevane hindamine võiks näidata, et need on valed.

Küsimused arutamiseks oma meeskonnaga

Kas me suudame praegu oma kõige olulisema programmi puhul eristada väljundit tulemusest – ja kas meie enda töötajad kasutavad neid kahte sõna õigesti? Paljud organisatsioonid annavad tegevusarvudest aru tulemuskeeles, märkamata asendust, mis vaikselt õõnestab erinevust, mida see teema käsitleb alusena. Kasutage seda küsimust, et tuua välja tegelik praegune aruanne ja kontrollida rida realt, millised arvud kirjeldavad seda, mida organisatsioon tegi, versus seda, mis kellegi teise jaoks muutus. Arutage, kus keel on triivinud ja kas see triiv kajastab tõelist segadust programmi loogika osas või lihtsalt seda, et tulemusandmeid on raskem saada kui väljundiandmeid. Kui aus vastus on viimane, on see ise leid, mida tasub registreerida, mitte põhjus jätkata väljundikeele kasutamist tulemustena riietatuna.

Kus meie praegune aruandlus surub pingutuse, kvaliteedi ja mõju kokku üheks arvuks ja mida see arv lugejale tegelikult ütleb? Friedmani kolmeosaline jaotus eksisteerib seetõttu, et organisatsioonid kalduvad rutiinselt andma aru pingutusest – kolmest kõige lihtsamini loendatavast –, vihjates samal ajal, et on aru andnud mõjust. Kasutage seda küsimust, et tuvastada üks lipulaevamõõdik, millest organisatsioon praegu aru annab, ja selgitada rühmana välja, millist kolmest see tegelikult mõõdab. Arutage, mis oleks vaja kõigi kolme eraldi aruandmiseks selle mõõdiku jaoks ja kas see muudaks seda, kuidas organisatsiooni tajuvad inimesed, kes praegu näevad ainult segatud arvu.

Kui meie peamine rahvastiku tulemus ei liigu veel kahe aruandlustsükli jooksul, mida me teeksime teisiti ja mida me ei muudaks? See küsimus testib, kas organisatsioon tõepoolest kasutab oma tulemusraamistikku juhtimiseks või toodab seda lihtsalt aruandluskohustusena. Kasutage seda, et eristada, millised praeguse strateegia osad sõltuvad tulemusandmetest ja millised on fikseeritud olenemata sellest, mida andmed näitavad. Arutage ausalt, kas mõni praeguse programmi osa jääks muutumatuks isegi siis, kui tõendid pöörduksid kindlalt vastu, kuna see on osa, mida raamistik tegelikult ei halda.

Kas meie avaliku väärtuse tulemuskaart, kui meil see on, annab aru kõigist kolmnurga kolmest toest või on see vaikselt muutunud tulemuskaardiks ainult ühe toe jaoks? On tavaline, et tulemusraamistik algab tõelise kolme toe ambitsiooniga ja triivib aruandluspinge all tulemuste- või ainult rahandusdokumendiks. Kasutage seda küsimust, et auditeerida kahte-kolme viimast ametlikku aruannet selle teema kirjeldatud kolme arvestuse struktuuri vastu. Arutage, milline tugi kipub ajasurve all esimesena välja langema ja mida see ütleb selle kohta, millist tuge organisatsioon vaikimisi valikulisena käsitleb.

Kes väljaspool seda organisatsiooni peaks meie loogikamudeliga nõustuma, et see oleks usaldusväärne, ja kas me oleme neilt tegelikult küsinud? Loogikamudel, mille on täielikult joonistanud sekkumise kavandanud programmimeeskond, võib vaikselt kodeerida optimistlikke eeldusi, mida keegi väljaspool ruumi ei ole positsioonil vaidlustama. Kasutage seda küsimust, et tuvastada, millistel välistel osalejatel – rahastajad, tarnepartnerid, inimesed, keda programm teenib – on huvi selles, kas põhjuslik ahel on õige, ja kas keegi neist on seda tegelikult üle vaadanud. Arutage, mis muutus, kui üldse, viimati, kui välist vaatenurka sellesse ülevaatusse kutsuti.

Mis on väikseim populatsiooni- ja tulemuslikkuse näitajate komplekt, mida me võiksime esitada, mis laseks siiski kõrvalseisjal hinnata, kas see organisatsioon loob avalikku väärtust? Mõõtesüsteemid kipuvad näitajaid aja jooksul kogunema palju kiiremini, kui nad neid pensionile saadavad, kuni raamistik muutub liiga suureks, et keegi seda otsuses tegelikult kasutaks. Kasutage seda küsimust, et proovida harjutusena praegust näitajate komplekti poole võrra lõigata, kaotamata võimet vastata selle teema kirjeldatud rahvastikuvastutuse ja tulemuslikkuse vastutuse küsimustele. Arutage, millist vastuseisu see harjutus esile toob, kuna vastuseis konkreetse näitaja lõikamisele on sageli märk sellest, mille eest organisatsiooni tegelikult vastutusele võetakse, olenemata sellest, kas see vastab selle väljendatud strateegiale.

Praktikas: avaliku väärtuse näide

Perekonna toetuse heategevusorganisatsioonide piirkondlik võrgustik – väljamõeldud, mustri, mitte tegeliku organisatsiooni aruande illustratsioon – oli kümme aastat käitanud kodukülastusprogramme uutele vanematele madala sissetulekuga naabruskondades. Selle iga-aastased aruanded rahastajatele olid üksikasjalikud ja väljundimõõdikute järgi muljetavaldavad: tuhandeid kodukülastusi aastas, kõrge osalemine vanemlusseminaridel, tugevad rahulolu skoorid osalenud peredelt. Selle rekordi põhjal oli võrgustik kasvanud pidevalt, lisades uusi kohalikke harukontoreid ligikaudu iga kahe aasta järel.

Uus riiklik rahastaja, kes kaalus mitmeaastast toetust, mis oli piisavalt suur võrgustiku haarde kahekordistamiseks, küsis küsimuse, mida võrgustiku enda juhatus polnud kunagi juhtkonnale ametlikult esitanud: millised tõendid näitasid, et kodukülastusi saanud perede lapsed olid hiljem tegelikult paremini kui võrreldavad lapsed, kelle pered neid ei saanud. Võrgustiku juhtkond mõistis küsimust läbi töötades, et selle aruandlus ei olnud kunagi pingutust mõjust eraldanud. Külastuste arv ja rahulolu skoorid olid tõelised tõendid, et programm oli tarnitud ja hästi vastu võetud; kumbki ei olnud tõend, et see muutis lapse arengutulemusi, mis oli võrgustiku enda missiooniavalduses sisalduv väide ja kaudselt igas toetustaotluses, mille see oli kunagi kirjutanud.

Võrgustik ehitas nullist loogikamudeli, alustades tulemustest, mida see tegelikult tahtis – paranenud varajase lapsearengu näitajad, vähenenud kinnitatud lapse hooletusse jätmise juhtumid, tugevam vanemate enesekindlus –, ja töötas tagurpidi tegevuste ja väljunditeni, millest igaüks pidi sõltuma, nimetades eeldused vahepeal selgesõnaliselt. See võttis kasutusele lihtsustatud tulemuspõhise vastutuse struktuuri: rahvastiku näitajad, mida jälgiti naabruskonna tasandil ja jagati kohalike koolide ja tervishoiuteenustega, koos tulemuslikkuse näitajatega, mille põhjal selle enda meeskonnad said otse tegutseda – külastuse sagedus, seminari lõpetamine ja töötajate hinnatud vanemate enesekindlus kolme ja kaheteistkümne kuu pärast. Kaks viiest tulemusnäitajast ei liikunud ühes naabruskonnas esimeses aruandlustsüklis soovitud viisil. Selle asemel et tulemust maha suruda, kasutas võrgustik oma „kõvera pööramise" protsessi uurimiseks, leidis, et kohaliku tervisekülastaja personali muutus oli häirinud suunamistee ja kohandas oma partnerlussüsteemi, mitte põhimudelit. Rahastaja uuendas ja laiendas toetust, tuues usalduse põhjusena aruandluse ausust, mitte puudujäägi puudumist.

Neli sektoriläätse

Kohalik omavalitsus

Kohaliku omavalitsuse tulemusraamistik asub tavaliselt laiema riiklikult määratletud näitajate komplekti sees, mida ta ei valinud, kuid mille vastu peab aru andma, koos kohapeal valitud mõõdikutega, mis peegeldavad tema enda volikogu prioriteete. See topeltstruktuur tähendab, et kohalik tulemuskaart peab sageli ühitama kaks auditooriumi erinevate küsimustega – riiklik inspektor, kes küsib vastavuse kohta standardsele näitajate komplektile, ja kohalikud elanikud, kes küsivad konkreetse, nähtava kohaliku seisundi kohta, näiteks konkreetne tänav või teenus. Loogikamudelid kohaliku omavalitsuse tasandil on tavaliselt kõige lihtsamini ehitatavad ühe teenuse jaoks (taaskasutuse kogumise muutus, raamatukogu ümberkorraldus) ja kõige raskemini usutavalt ehitatavad läbivate tulemuste, nagu kogukonna ühtekuuluvus, jaoks, kus paljud osalejad väljaspool volikogu kontrolli samuti panustavad.

Riigivalitsus

Riiklikud tulemusraamistikud tegutsevad mastaabis, kus rahvastikuvastutuse ja tulemuslikkuse vastutuse vahe tulemuspõhisest vastutusest muutub hädavajalikuks, mitte valikuliseks: riiklikku tervise- või haridusnäitajat mõjutavad sajad programmid, millest ainult mõnda rahastab üks osakond otse, nii et üks ministeerium, kes nõuab ainsa tunnustuse või süü riikliku suundumuse eest, on harva kaitstav. Riigivalitsused on ka kõige levinum allikas suurtele, tsentraalselt kohustuslikele tulemusraamistikele, mida tarneorganid ahelas allpool peavad omaks võtma, mis loob korduva riski, et raamistik on kavandatud osakondade vahel agregeerimiseks ja võrdlemiseks, mitte ühegi programmi tarne tegelikuks juhtimiseks.

Sotsiaalsektor ja mittetulundussektor

Mittetulundusühingud ja valitsusvälised organisatsioonid (VVO-d) ehitavad oma loogikamudeleid ja muutuste teooriaid sagedamini nullist, mitte ei võta kasutusele volitaja poolt ettenähtud raamistikku, sest nende rahastajad on sageli need, kes põhjusliku juhtumi järele küsivad, mitte ei paku standardmalli. See annab sotsiaalsektori organisatsioonidele rohkem vabadust kujundada tulemusraamistik, mis sobib nende tegeliku programmiloogikaga, kuid ka rohkem avatust rahastajapõhisele mõõtmisväsimusele, kus iga toetus kannab oma aruandlusnõudeid ja organisatsioon hoiab lõpuks mitut paralleelset tulemusraamistikku sama aluseks oleva töö jaoks. Tulemuspõhise vastutuse rahvastiku-versus-tulemuslikkuse jaotus on siin eriti kasulik, kuna see annab mittetulundusühingule keele rahastajale selgelt öelda, et teda saab vastutusele võtta oma tulemuslikkuse mõõdikute, kuid mitte üksi rahvastikunäitaja eest, mida paljud teised osalejad samuti mõjutavad.

Mitmepoolne ja rahvusvaheline

Mitmepoolsed organid rakendavad tulemuspõhist juhtimist mastaabis, kus loogikamudeli eeldused liiguvad korraga kümnetesse riiklikesse kontekstidesse, nii et sekkumisloogika, mis kehtib ühes riigis, võib vaikselt ebaõnnestuda teises, ilma et üleilmne peamine näitaja paljastaks, milline kontekst on probleem. Tulemusraamistikud selles keskkonnas ehitatakse sageli korraga mitme doonorvalitsuse rahuldamiseks, igaühel oma aruandluseelistused, mis suunab standardiseeritud näitajate komplektide poole (selliste, mida propageeritakse rahvusvahelise tulemuspõhise juhtimise juhistes) kohaliku spetsiifilisuse arvelt. Lõhe väljundi, mida rakenduspartner saab kiiresti esitada – toimunud koolitused, varustatud kliinikud –, ja tulemuse vahel, mis ilmneb alles aastaid hiljem riiklikus uuringus, on siin kõige laiem, muutes kavandatud põhjusliku ahela selgesõnalise väljendamise distsipliini, mitte selle eeldamise, eriti oluliseks.

Levinud ebaõnnestumisviisid

Väljund, mis maskeerub tulemusena. Organisatsioon annab tegevusarvudest aru, kasutades tulemuskeelt – „paranenud kogukonna turvalisus", kui tegelik mõõdik on tehtud patrullid –, kas tõelisest segadusest või seetõttu, et tulemusandmeid on raskem ja aeglasem koguda. Kulu ilmneb, kui väline ülevaataja küsib tulemustõendeid otse ja leiab väite taga ainult väljundeid, kahjustades organisatsiooni usaldusväärsust rohkem kui tagasihoidlik, ausalt aru andev tulemus oleks teinud.

Näitajate vohamine. Tulemuskaart või loogikamudel kogub mõõdikuid kiiremini, kui neid pensionile saadab, ajendatuna iga uue sidusrühma taotlusest, mis lisab veel ühe rea, mitte ei asenda olemasolevat. Lõpptulemus on raamistik, mis on liiga suur, et ükski juht seda otsuses tegelikult kasutaks, mis vaikselt tagastab organisatsiooni mitteametliku otsustusvõime juurde, samal ajal kui ametlik raamistik muutub aruandlusartefaktiks, mida keegi ei konsulteeri.

Sihtmärgi haaramine. Tulemusmõõdik, mis on kord rahastamise või tasuga seotud, muutub asjaks, mida töötajad otse optimeerivad, mitte tulemuseks, mida see pidi asendama – muster, mida kirjeldab Goodharti seadus, kus sihtmärgina kasutatud mõõdik lakkab olemast usaldusväärne mõõdik. Selle dünaamika kodu avalikus sektoris spetsiifiliselt, sealhulgas kuidas kvaliteedirežiimid püüavad seda tuvastada ja piirata, on mujal (vt Teema 3.11 — Kvaliteedi, ohutuse ja tulemuslikkuse juhtimine); siin on see oluline põhjusena hoida pingutuse, kvaliteedi ja mõju mõõdikud eraldi ning vaadata sihtmärgid üle enne, kui need käitumist moonutavad.

Omistamise ülepingutus. Programmi aruandlus vihjab ainsale põhjuslikule vastutusele rahvastikutasandi tulemuse eest, mida paljud teised osalejad samuti mõjutavad, kas hooletu keele või tõelise uskumuse kaudu. Kui tulemus ei liigu – sageli põhjustel, mis on programmi kontrolli alt väljas –, absorbeerib organisatsioon süü, mis on ebaproportsionaalne tema tegeliku panusega, mis seejärel heidutab puudujääkide ausat aruandlust tulevastel tsüklitel.

Raamistik ilma tagasisideta. Organisatsioon ehitab tõeliselt hästi kavandatud loogikamudeli ja tulemusraamistiku, seejärel ei vaata seda kunagi tegelike tulemuste vastu üle, nii et see kõveneb fikseeritud dokumendiks, mitte elavaks juhtimisvahendiks. Selle all olev strateegia jätkab algsetel eeldustel aastaid pärast seda, kui tõendid oleksid õigustanud nende läbivaatamist, kaotades just selle kohanemisvõime, mida raamistik pidi võimaldama.

Küpsusmudel

Kontrollnimekiri

• Joonistage iga suure programmi jaoks loogikamudel (sisendid, tegevused, väljundid, tulemused, mõju) enne selle näitajate lõpetamist.
• Kirjutage muutuste teooria põhjuslikud eeldused piisavalt täpselt, et tõendid võiksid neid ümber lükata.
• Eraldage pingutus, kvaliteet ja mõju igas tulemusaruandes, isegi väljaspool ametlikku tulemuspõhise vastutuse rakendamist.
• Ehitage või uuendage avaliku väärtuse tulemuskaart nii, et kõik kolm tuge – legitiimsus, väärtus, suutlikkus – kohta antakse aru koos, mitte eraldi.
• Valige väike, stabiilne rahvastikutasandi peamiste näitajate komplekt ja kohustuge hoidma neid mitme aruandlustsükli vältel.
• Kontrollige praeguseid aruandeid keele osas, mis kirjeldab väljundit tulemussõnadega, ja parandage see.
• Avaldage tulemusraamistik enne järgmist eelarve- või rahastamisvooru, mitte selle järelmina.
• Nimetage selgesõnaliselt, mida organisatsioon ei kontrolli üksi mis tahes rahvastikutasandi väite osas, millest ta annab aru.
• Seadke kindel tsükkel loogikamudelite ülevaatamiseks tegelike tõendite vastu, mitte ainult ajastatud ametliku hindamise ajal.
• Tuvastage vähemalt üks väline sidusrühm loogikamudeli eelduste ülevaatamiseks enne selle lõpetamist.
• Auditeerige praegust näitajate komplekti võimaluste osas pensionile saata mõõdikuid, mida keegi tegelikus otsuses ei kasuta.
• Leppige ette kokku, mida organisatsioon teeb teisiti, kui peamine tulemus ei liigu kahe aruandlustsükli jooksul.

Põhiallikad

• Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) ja Recognizing Public Value (2013) – avaliku väärtuse tulemuskaardi algtekstid, kohandades tasakaalustatud tulemuskaardi traditsiooni strateegilise kolmnurga kolmele toele.
• Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities – tulemuspõhise vastutuse algtekst, sealhulgas rahvastikuvastutuse/tulemuslikkuse vastutuse eristus ja „kõvera pööramise" analüüs.
• Robert Kaplani ja David Nortoni tasakaalustatud tulemuskaardi kirjandus – erasektori allikas, mida Moore avaliku väärtuse kontekstile kohandas.
• OECD juhised tulemuspõhise juhtimise ja hindamise terminoloogia kohta, mida kasutatakse arengu- ja avaliku halduse praktikas tulemuse ja mõju keele standardiseerimiseks.
• Maailmapanga sõltumatu hindamisrühma juhised tulemusraamistike ja muutuste teooriate kohta arendustegevuste jaoks.
• Vermonti inimteenuste agentuuri avalik aruanne tulemuspõhise vastutuse rakendamisest osariigi ja kogukonna tasandil – üks näide raamistikust elavas valitsuskasutuses.

Viited

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf