Stigatafla almannavirðis og árangursrammar

Hvers vegna þetta skiptir máli fyrir almannavirði

Flestir leiðtogar í opinbera geiranum og félagageiranum geta framleitt stefnuskjal sem talar reiprennandi um árangur. Mun færri geta framleitt, ári síðar, sönnunargögnin sem sýna hvort þessar niðurstöður hreyfðust í raun. Bilið milli þessa tveggja er yfirleitt ekki skortur á gögnum – flestar skipulagsheildir safna gífurlegu magni þeirra – heldur skortur á agaðri uppbyggingu sem breytir hráum talningum á starfsemi í varnarhæfa fullyrðingu um skapað virði. Viðfangsefni 1.2 — Stefnumótandi þríhyrningurinn: lögmæti, virði og geta setti fram lögmæti og stuðning, virðistillöguna og rekstrargetu sem þá þrjá fætur sem stefna skipulagsheildar verður að fullnægja samtímis (sjá Viðfangsefni 1.2 — Stefnumótandi þríhyrningurinn: lögmæti, virði og geta). Þetta viðfangsefni snýst um verkfærin sem gera þessa þrjá fætur mælanlega frekar en aðeins fullyrta.

Hagsmunirnir eru bráðir og endurteknir. Fjármögnunaraðili eða löggjafarþing spyr, í næstu fjárlagalotu, „hvað fengum við fyrir þetta fé“ – og skipulagsheild með aðeins afurðatalningar (heilsugæslustöðvar opnaðar, mál afgreidd, þjálfunarlotur haldnar) á ekkert svar við árangursspurningunni undir niðri. Áætlunarteymi telur sig ná árangri því starfsemi er mikil og annasöm, án þess að hafa aðgreint starfsemina frá breytingunni í heiminum sem starfseminni var ætlað að valda. Stjórn samþykkir nýtt framtak á styrk sannfærandi frásagnar, en hefur svo ári síðar engan samþykktan grundvöll til að ákveða hvort halda skuli áfram, stækka eða hætta. Hvert þessara er mælingarbrestur með stefnumótandi afleiðingar, ekki tæknilegt ónæði.

Verkfærin í þessu viðfangsefni – stigatafla almannavirðis Marks Moore, rökgerðarlíkanið og árangursmiðuð ábyrgðarskylda og náskyld rammaverk – leysa ekki öll mælingarvandamál sem opinber skipulagsheild eða skipulagsheild í félagageiranum stendur frammi fyrir. Síðari viðfangsefni fjalla um erfiðari, tæknilegri lög: að meta árangur til fjár með kostnaðar- og ábatagreiningu og hagkvæmnigreiningu (sjá Viðfangsefni 2.2 — Þjóðhagsleg kostnaðar- og ábatagreining og hagkvæmnigreining), að meta árangur sem stenst ekki peningalegt mat með samfélagslegri ávöxtun fjárfestingar (sjá Viðfangsefni 2.3 — Samfélagsleg ávöxtun fjárfestingar og mæling áhrifa), og að sýna fram á að áætlun hafi í raun valdið breytingu sem sést með formlegu mati á áætlunum (sjá Viðfangsefni 2.4 — Hagmælingar hins opinbera og mat á áætlunum). Það sem þetta viðfangsefni leggur til er lagið undir öllum þremur: sameiginlegur orðaforði og fáir, varanlegir rammar til að segja, áður en nokkur sú tæknilega vinna hefst, hverju skipulagsheild er í raun að reyna að breyta, fyrir hverja og hvernig hún mun vita það.

Lykilhugtök

Stigatafla almannavirðis er tillaga Marks H. Moore um að fylgjast með hverjum fæti stefnumótandi þríhyrningsins með eigin mengi vísa, frekar en að fara sjálfgefið í fjárhags- og rekstrarmælikvarðana sem jafnvægisstigatafla einkageirans myndi nota. Moore aðlagaði jafnvægisstigatöfluna – tæki Roberts Kaplan og Davids Norton til að fylgjast með fyrirtæki út frá fjárhags-, viðskiptavina-, innri ferla- og námssjónarhornum – því ein fjárhagsleg lokaniðurstaða getur ekki táknað skipulagsheild þar sem meginrökin fyrir tilveru eru að hún skapi virði sem ekkert markaðsverð nær utan um. Stigatafla almannavirðis biður þess í stað skipulagsheild að tilgreina mælikvarða undir þremur fyrirsögnum sem endurspegla þríhyrninginn: reikning lögmætis og stuðnings (er umboðsumhverfið ánægt – fjármögnunaraðilar, eftirlitsaðilar, almenningur), reikning almannavirðis (er virðistillagan að rætast – niðurstöður fyrir borgara og skjólstæðinga) og reikning rekstrargetu (getur skipulagsheildin viðhaldið og bætt afhendingu – starfsfólk, kerfi, fjármál, samstarf). Agið felst í að neita að láta einn reikning standa fyrir heildina; skipulagsheild sem greinir aðeins frá fjárhagslegri skilvirkni, eða aðeins ánægju skjólstæðinga, hefur alls ekki skilað skýrslu gegn þríhyrningnum.

Rökgerðarlíkön gefa virðisreikningi stigatöflunnar innri uppbyggingu. Rökgerðarlíkan leggur út orsakakeðjuna sem áætlun fullyrðir að hún keyri: aðföng (féð, starfsfólkið og aðrar auðlindir sem skuldbundnar eru), starfsemi (það sem skipulagsheildin gerir við þau), afurðir (bein, talin afrakstur þeirrar starfsemi – lotur haldnar, leyfi gefin út, heimili heimsótt), árangur (breytingarnar á þekkingu, hegðun, ástandi eða stöðu sem afurðum er ætlað að valda, venjulega á mánuðum eða fáeinum árum) og áhrif (langtímabreytingin, oft á stigi þýðis, sem árangri er ætlað að stuðla að, venjulega sameiginleg með öðrum aðilum og erfiðari að eigna einni áætlun). Munurinn á afurð og árangri er sá mikilvægasti í þessu viðfangsefni: afurð er eitthvað sem skipulagsheildin gerði; árangur er eitthvað sem breyttist fyrir einhvern annan fyrir vikið. Afurð þjálfunaráætlunar er fjöldi þeirra sem voru þjálfaðir; árangur hennar er það sem þetta fólk getur þá gert, eða hvernig aðstæður þess breytast, sem það gat ekki áður.

Breytingakenning (theory of change) er náskyldur agi sem gerir forsendurnar að baki rökgerðarlíkani skýrar frekar en óbeinar – hvers vegna skipulagsheildin trúir að starfsemi A muni í raun framleiða árangur B, og við hvaða aðstæður sú orsakafullyrðing gæti brugðist. Breytingakenning er ekki einfaldlega ítarlegra rökgerðarlíkan; hún dregur fram „ef... þá... vegna þess“ röksemdafærsluna og samhengisforsendurnar sem kassa-og-örvar skýringarmynd rökgerðarlíkans hefur tilhneigingu til að skilja eftir ósagðar. Viðfangsefni 2.3 notar breytingakenningu sem upphafspunkt árangursmælinga í félagageiranum á ítarlegri hátt (sjá Viðfangsefni 2.3 — Samfélagsleg ávöxtun fjárfestingar og mæling áhrifa); hér skiptir hún aðallega máli sem aginn sem heldur rökgerðarlíkani heiðarlegu um hvað það fullyrðir í raun að valdi, aðgreint frá því sem það aðeins vonast til að fylgi.

Árangursmiðuð ábyrgðarskylda (results-based accountability, RBA) er þekktasti fulltrúi fjölskyldu árangursmiðaðra ramma sem notaðir eru í ríkisstjórnum og félagageiranum til að tengja niðurstöður á stigi þýðis við frammistöðu tiltekinna áætlana. Þróuð af Mark Friedman og sett fram í bók hans Trying Hard Is Not Good Enough, aðgreinir RBA tvær ólíkar tegundir ábyrgðarskyldu sem skipulagsheildir rugla reglulega saman. Þýðisábyrgðarskylda spyr hvernig heilt samfélag eða lögsagnarumdæmi stendur að vígi gagnvart velferðarástandi – barnafátækt, öryggi samfélags, menntunarstigi – með fáum aðalvísum sem engin ein stofnun á eða stjórnar að fullu. Frammistöðuábyrgðarskylda spyr hversu vel tiltekin áætlun eða stofnun stendur sig, með þremur tegundum frammistöðuvísa sem rammi Friedmans krefst að séu aðgreindar: hversu mikið var gert (áreynsla – afurðatalningin), hversu vel það var gert (gæði) og hvort einhverjum líði betur (áhrif – árangurinn). Hagnýt aðferð RBA, stundum kölluð „snúum ferlinum“ (turn the curve) greining, vinnur afturábak frá völdum vísi – spyr hvaða sögu gögnin segja, hvað veldur þeirri sögu, hverjir samstarfsaðilarnir eru sem hafa hlutverk í að breyta henni, hvað myndi virka og hvað skipulagsheildin leggur til að gera – skipulögð útgáfa þeirrar röksemdafærslu sem rökgerðarlíkan og breytingakenning formgera hvort um sig. RBA er ein birtingarmynd víðara mynsturs árangursmiðaðrar stjórnunar, náskylt hinni venjubundnu starfsvenju vöktunar og mats sem notuð er í alþjóðlegri þróun og opinberri stjórnsýslu, kynnt í ýmsum myndum af landsstjórnum, góðgerðarfjármögnunaraðilum og fjölþjóðastofnunum sem sameiginlegur agi til að tengja útgjöld við árangur frekar en aðeins við afurðir.

Afurðir, árangur og stigataflan saman. Ástæðan fyrir því að þessir rammar eiga heima í einu viðfangsefni, en ekki þremur, er að þeir svara sömu undirliggjandi spurningunni á ólíkum stöðum í skipulags- og skýrslulotu skipulagsheildar. Rökgerðarlíkanið er teiknað á hönnunartíma, til að setja fram orsakafullyrðinguna. Árangursmiðuð ábyrgðarskylda og sambærilegir rammar eru notaðir á skýrslutíma, til að halda frammistöðumælikvörðum heiðarlegum um muninn á áreynslu og áhrifum. Stigatafla almannavirðis situr ofar báðum, sem fasta uppbyggingin sem tryggir að árangurssönnunargögn – hvernig sem þau voru framleidd – nái í raun til samtalanna um lögmæti og getu þar sem fjárlaga- og umboðsákvarðanir eru teknar, frekar en að vera áfram inni í skýrslugjöf áætlunarteymis. Saman gera rammarnir þrír almannavirði að fullyrðingu sem skipulagsheild getur varið með sönnunargögnum, í stað fullyrðingar sem hún gerir um sjálfa sig.

Bestu starfsvenjur

1. Teiknaðu rökgerðarlíkanið áður en vísarnir eru valdir, ekki eftir. Að velja hvað á að mæla áður en samið er um hvað þú fullyrðir að valdi framleiðir lista yfir hvað sem er auðvelt að telja; teiknaðu keðjuna frá aðföngum til áhrifa fyrst, veldu síðan mælikvarða sem prófa hvern hlekk hennar.
2. Skilaðu skýrslu gegn öllum þremur reikningum stigatöflunnar saman, ekki hverjum í sínu lagi. Lögmætisuppfærsla án árangurssönnunargagna, eða árangursskýrsla án getureiknings um hvað kostaði að viðhalda henni, segir hvor um sig aðeins hluta þeirrar sögu sem fjármögnunaraðili eða eftirlitsaðili þarf til að taka raunverulega ákvörðun.
3. Aðgreindu áreynslu, gæði og áhrif skýrt í hverri frammistöðuskýrslu. Fáðu lánaða þrískiptingu Friedmans jafnvel utan formlegrar RBA-innleiðingar; skýrsla sem blandar „lotum haldnar“ saman við „líf bætt“ án þess að greina þar á milli fer alltaf sjálfgefið í það sem auðveldara er að blása upp.
4. Veldu fáa aðalvísa fyrir þýði og haltu þeim árum saman, ekki ársfjórðungum. Ástand á stigi þýðis hreyfist hægt og hefur áhrif frá mörgum aðilum; að breyta aðalmælikvarðanum í hverri skýrslulotu gerir ómögulegt að sjá hvort ferillinn sé í raun að snúast.
5. Nefndu upphátt hvað skipulagsheildin stjórnar ekki. Rökgerðarlíkan sem gefur í skyn að ein áætlun valdi alfarið niðurstöðu á stigi þýðis býður einmitt þeirri tortryggni sem grefur undan lögmæti þegar niðurstaðan hreyfist ekki á áætlun; segðu frá öðrum þáttum sem leggja til frá byrjun.
6. Birtu árangursrammann fyrir fjárlagalotuna, ekki eftir hana. Árangursrammi framleiddur til að réttlæta fjárlagaákvörðun sem þegar er tekin les sem eftiráskýring; sá sem birtur er fyrir lotuna er sönnun þess að raunveruleg ákvörðun sé prófuð gegn honum.
7. Haltu stigatöflunni og rökgerðarlíkaninu sem lifandi skjölum, endurskoðuðum þegar samhengi breytist, ekki árlegum gripum. Rökgerðarlíkan teiknað fyrir eitt stefnuumhverfi getur hljóðlega hætt að passa við veruleikann – ný lög, lýðfræðibreyting, breyting á fjármögnun – löngu áður en áætluð yfirferð myndi grípa það; líttu á hvort tveggja sem í eigu afhendingarteyma, ekki sem fylgniæfingu fyrir miðlæga skrifstofu.
8. Haltu frammistöðureikningsmælikvörðum nálægt fólkinu sem getur brugðist við þeim. Áætlunarteymi getur bætt gæða- og áreynslumælikvarða beint; réttu því árangursmarkmið á stigi þýðis sem það getur ekki hreyft eitt og mælingin verður uppspretta vonleysis frekar en stefnu.
9. Líttu á missta árangursmarkmið sem hvatningu til að spyrja hvers vegna, ekki dóm til að fela. Venjan „snúum ferlinum“ að spyrja hvað veldur þróuninni áður en sök er úthlutað heldur árangursskýrslugjöf gagnlegri; menning sem refsar misstum markmiðum kennir starfsfólki að vernda töluna frekar en árangurinn.
10. Gerðu forsendur breytingakenningarinnar hrekjanlegar. Forsenda sem er skrifuð svo óljóst að engin sönnunargögn gætu nokkru sinni mótmælt henni bætir engri nákvæmni við rökgerðarlíkanið; skrifaðu forsendur nógu sértækt til að framtíðarmat gæti sýnt að þær séu rangar.

Spurningar til að ræða með teyminu

Getum við nú, fyrir mikilvægustu áætlun okkar, greint afurð frá árangri – og nota okkar eigið starfsfólk þessi tvö orð rétt? Margar skipulagsheildir greina frá starfsemistalningum með orðfæri árangurs án þess að taka eftir skiptunum, sem grefur hljóðlega undan muninum sem þetta viðfangsefni lítur á sem grundvallaratriði. Notaðu þessa spurningu til að draga fram raunverulega núverandi skýrslu og athuga, línu fyrir línu, hvaða tölur lýsa því sem skipulagsheildin gerði á móti því sem breyttist fyrir einhvern annan. Ræðið hvar orðfærið hefur rekið, og hvort það rek endurspegli raunverulegan rugling um rökfræði áætlunarinnar eða einfaldlega að árangursgögn eru erfiðari að fá en afurðagögn. Ef heiðarlega svarið er hið síðara, er það sjálft niðurstaða sem vert er að skrá, ekki ástæða til að halda áfram að nota afurðamál klætt sem árangur.

Hvar sameinar núverandi skýrslugjöf okkar áreynslu, gæði og áhrif í eina tölu, og hvað segir sú tala lesandanum í raun? Þrískipting Friedmans er til því skipulagsheildir fara reglulega sjálfgefið í að greina frá áreynslu – því auðveldasta af þremur að telja – á meðan þær gefa í skyn að þær hafi greint frá áhrifum. Notaðu þessa spurningu til að greina einn flaggskipsmælikvarða sem skipulagsheildin greinir nú frá og finna út, sem hópur, hvert þriggja hann mælir í raun. Ræðið hvað þyrfti til að greina frá öllum þremur sérstaklega fyrir þann mælikvarða, og hvort það myndi breyta því hvernig skipulagsheildin er skynjuð af fólkinu sem sér nú aðeins blönduðu töluna.

Ef aðalárangur okkar á stigi þýðis hreyfist ekki í tvær skýrslulotur í viðbót, hvað myndum við gera öðruvísi, og hvað myndum við ekki breyta? Þessi spurning prófar hvort skipulagsheildin er í raun að nota árangursrammann til að stýra, eða framleiðir hann einfaldlega sem skýrsluskyldu. Notaðu hana til að greina hvaða hlutar núverandi stefnu eru háðir árangursgögnunum og hverjir eru fastir óháð því hvað gögnin sýna. Ræðið heiðarlega hvort einhver hluti núverandi áætlunar myndi lifa óbreyttur af jafnvel þótt sönnunargögn snerust afdráttarlaust gegn honum, því það er hlutinn sem rammanum er í raun ekki stýrt eftir.

Nær stigatafla almannavirðis okkar, ef við höfum hana, yfir alla þrjá fætur þríhyrningsins, eða hefur hún hljóðlega orðið stigatafla fyrir einn fót? Algengt er að árangursrammi byrji með raunverulegan þriggja fóta metnað og reki, undir skýrsluþrýstingi, yfir í skjal sem snýst aðeins um árangur eða aðeins um fjármál. Notaðu þessa spurningu til að endurskoða síðustu tvær eða þrjár formlegu skýrslur gegn þriggja reikninga uppbyggingunni sem þetta viðfangsefni lýsir. Ræðið hvaða fótur dettur fyrst út undir tímaþrýstingi, og hvað það segir um hvaða fót skipulagsheildin lítur óbeint á sem valkvæðan.

Hverjir utan þessarar skipulagsheildar þyrftu að vera sammála rökgerðarlíkani okkar til að það sé trúverðugt, og höfum við í raun spurt þá? Rökgerðarlíkan teiknað alfarið af áætlunarteyminu sem hannaði inngripið getur hljóðlega kóðað bjartsýnar forsendur sem enginn utan herbergisins er í stöðu til að draga í efa. Notaðu þessa spurningu til að greina hvaða ytri aðilar – fjármögnunaraðilar, afhendingarsamstarfsaðilar, fólkið sem áætlunin þjónar – hafa hagsmuni af því hvort orsakakeðjan sé rétt, og hvort einhver þeirra hafi í raun yfirfarið hana. Ræðið hvað breyttist, ef eitthvað, síðast þegar utanaðkomandi sjónarmiði var boðið inn í þá yfirferð.

Hvert er minnsta mengi vísa fyrir þýði og frammistöðu sem við gætum greint frá og sem myndi samt leyfa utanaðkomandi að dæma hvort þessi skipulagsheild skapar almannavirði? Mælikerfi hafa tilhneigingu til að safna vísum mun hraðar en þau leggja þá af, þar til rammi verður of stór til að nokkur geti raunverulega notað hann í ákvörðun. Notaðu þessa spurningu til að reyna, sem æfingu, að skera núverandi vísamengi í tvennt án þess að missa getuna til að svara spurningunum um þýðisábyrgðarskyldu og frammistöðuábyrgðarskyldu sem þetta viðfangsefni lýsir. Ræðið hvaða viðnám sú æfing dregur fram, því viðnám gegn því að skera tiltekinn vísi er oft merki um hvað skipulagsheildin er í raun dregin til ábyrgðar fyrir, hvort sem það passar við yfirlýsta stefnu hennar eða ekki.

Í reynd: dæmi um almannavirði

Svæðisbundið net fjölskyldustuðningsgóðgerðarfélaga – skáldað, lýsandi fyrir mynstur en ekki skýrsla um neina raunverulega skipulagsheild – hafði í áratug rekið heimaheimsóknaráætlanir fyrir nýbakaða foreldra í hverfum með lágar tekjur. Árlegar skýrslur þess til fjármögnunaraðila voru ítarlegar og, samkvæmt afurðamælikvörðum, áhrifamiklar: þúsundir heimsókna kláraðar á ári, mikil mæting á foreldranámskeið, sterkar ánægjueinkunnir frá fjölskyldum sem tóku þátt. Á styrk þess ferils hafði netið vaxið jafnt og þétt og bætt við nýjum staðbundnum útibúum nokkurn veginn á tveggja ára fresti.

Nýr landsbundinn fjármögnunaraðili, sem íhugaði fjölára styrk nógu stóran til að tvöfalda umfang netsins, spurði spurningar sem stjórn netsins sjálfs hafði aldrei formlega beint til stjórnenda: hvaða sönnunargögn sýndu að börnum í fjölskyldum sem fengu heimsóknirnar vegnaði í raun betur, síðar, en sambærilegum börnum þar sem fjölskyldur fengu þær ekki. Forysta netsins gerði sér grein fyrir, þegar hún vann sig í gegnum spurninguna, að skýrslugjöf þess hafði aldrei aðgreint áreynslu frá áhrifum. Heimsóknatalningar og ánægjueinkunnir voru raunveruleg sönnunargögn um að áætlunin væri afhent og vel tekið á móti henni; hvorugt var sönnun þess að hún breytti þroskaniðurstöðum barns, sem var fullyrðingin innbyggð í eigin tilgangsyfirlýsingu netsins og, óbeint, í hverja styrkumsókn sem það hafði nokkru sinni skrifað.

Netið smíðaði rökgerðarlíkan frá grunni, hóf með árangurinn sem það vildi í raun – bætta vísa um snemmþroska barna, fækkun staðfestra tilvika vanrækslu barna, aukið sjálfstraust foreldra – og vann afturábak að starfseminni og afurðunum sem hver átti að velta á, og nefndi forsendurnar á milli skýrt. Það tók upp einfaldaða uppbyggingu árangursmiðaðrar ábyrgðarskyldu: þýðisvísa raktir á hverfisstigi og deilt með staðbundnum skólum og heilbrigðisþjónustu, ásamt frammistöðuvísum sem eigin teymi þess gátu brugðist beint við – tíðni heimsókna, klárun námskeiða og mat starfsfólks á sjálfstrausti foreldra eftir þrjá og tólf mánuði. Tveir af fimm árangursvísum hreyfðust ekki eins og vonast var til í einu hverfi í fyrstu skýrslulotunni. Frekar en að bæla niðurstöðuna notaði netið eigið „snúum ferlinum“ ferli til að rannsaka hana, komst að því að breyting á mönnun heilsuverndarhjúkrunarfræðinga á svæðinu hafði truflað tilvísunarleiðir, og aðlagaði samstarfsfyrirkomulag sitt frekar en kjarnalíkanið. Fjármögnunaraðilinn endurnýjaði og stækkaði styrkinn og vísaði til heiðarleika skýrslugjafarinnar, ekki fjarveru skorts, sem ástæðu trausts.

Fjögur geirasjónarhorn

Sveitarfélög

Árangursrammi sveitarfélags situr venjulega innan víðara mengis landsskilgreindra vísa sem það valdi ekki en verður að greina frá, ásamt staðbundið völdum mælikvörðum sem endurspegla eigin forgangsmál ráðsins. Þessi tvöfalda uppbygging þýðir að staðbundin stigatafla þarf oft að samræma tvo áheyrendahópa með ólíkar spurningar – landsbundinn eftirlitsmann sem spyr um fylgni við staðlað vísamengi, og íbúa sem spyrja um tiltekið, sýnilegt staðbundið ástand, svo sem tiltekna götu eða þjónustu. Rökgerðarlíkön á stigi sveitarfélags eru yfirleitt auðveldust að byggja fyrir eina þjónustu (breytingu á sorphirðu, endurhönnun bókasafns) og erfiðust að byggja trúverðuglega fyrir þverlæga árangur eins og samfélagssamheldni, þar sem margir aðilar utan stjórnar ráðsins leggja líka til.

Ríkisvald

Landsbundnir árangursrammar starfa á þeim skala þar sem munurinn á þýðisábyrgðarskyldu og frammistöðuábyrgðarskyldu úr árangursmiðaðri ábyrgðarskyldu verður nauðsynlegur frekar en valkvæður: landsbundinn heilbrigðis- eða menntavísir verður fyrir áhrifum af hundruðum áætlana, þar sem aðeins fáar eru fjármagnaðar beint af einu ráðuneyti, svo eitt ráðuneyti sem gerir tilkall til eins heiðurs eða einnar sakar fyrir landsbundna þróun er sjaldan varnarhæft. Ríkisvöld eru líka algengasta uppspretta stórra, miðlægt fyrirskipaðra árangurramma sem afhendingaraðilar neðar í keðjunni verða að taka upp, sem skapar endurtekna hættu á að rammi sé hannaður fyrir samlagningu og samanburð milli ráðuneyta frekar en til að stýra afhendingu nokkurrar einnar áætlunar.

Félagageirinn og félagasamtök

Félagasamtök og frjáls félagasamtök smíða oftar eigin rökgerðarlíkön og breytingakenningar frá grunni en að taka upp ramma sem umboðsaðili afhendir, því fjármögnunaraðilar þeirra eru oft þeir sem biðja um orsakarökin frekar en að leggja til staðlað sniðmát. Þetta gefur skipulagsheildum í félagageiranum meira frelsi til að hanna árangursramma sem passar við raunverulega rökfræði áætlunar þeirra, en líka meiri berskjöldun fyrir mælingaþreytu knúinni af fjármögnunaraðilum, þar sem hver styrkur ber eigin skýrslukröfur og skipulagsheild endar á að viðhalda nokkrum samhliða árangurrömmum fyrir sama undirliggjandi starf. Skipting árangursmiðaðrar ábyrgðarskyldu milli þýðis og frammistöðu er sérstaklega gagnleg hér, því hún gefur félagasamtökum orðfæri til að segja fjármögnunaraðila skýrt að hægt sé að draga þau til ábyrgðar fyrir eigin frammistöðumælikvarða en ekki, ein og sér, fyrir þýðisvísi sem margir aðrir aðilar hafa líka áhrif á.

Fjölþjóðlegt og alþjóðlegt

Fjölþjóðlegar stofnanir reka árangursmiðaða stjórnun á þeim skala þar sem forsendur rökgerðarlíkansins ferðast yfir tugi landssamhengja samtímis, svo íhlutunarrökfræði sem heldur í einu landi getur brugðist þegjandi í öðru án þess að hnattræni aðalvísirinn afhjúpi hvaða samhengi er vandamálið. Árangursrammar í þessu umhverfi eru oft byggðir til að fullnægja mörgum gjafaríkisstjórnum samtímis, hver með eigin skýrslustillingar, sem ýtir í átt að stöðluðum vísamengjum (af því tagi sem kynnt eru í alþjóðlegum leiðbeiningum um árangursmiðaða stjórnun) á kostnað staðbundinnar sérstöðu. Bilið milli afurðar sem framkvæmdasamstarfsaðili getur greint frá fljótt – þjálfun haldin, heilsugæslustöðvar útvegaðar – og árangurs sem kemur aðeins fram í landskönnun árum síðar er breiðast hér, sem gerir agann að segja orsakakeðjuna sem gengið er út frá skýrt, frekar en að gera ráð fyrir henni, sérstaklega mikilvægan.

Algeng mistök

Afurð í gervi árangurs. Skipulagsheild greinir frá starfsemistalningum með árangursorðfæri – „bætt öryggi samfélags“ þegar raunverulegi mælikvarðinn er farnar eftirlitsferðir – annaðhvort af raunverulegri samsömun eða vegna þess að árangursgögn eru erfiðari og hægari að safna. Kostnaðurinn kemur í ljós þegar utanaðkomandi yfirferðaraðili biður beint um árangurssönnunargögnin og finnur aðeins afurðir að baki fullyrðingunni, sem skaðar trúverðugleika skipulagsheildarinnar meira en hófleg, heiðarlega tilkynnt niðurstaða hefði gert.

Fjölgun vísa. Stigatafla eða rökgerðarlíkan safnar mælikvörðum hraðar en það leggur þá af, knúið af því að hver ný beiðni hagsmunaaðila bætir við einni línu til viðbótar frekar en að koma í stað fyrirliggjandi. Lokaniðurstaðan er rammi of stór til að nokkur stjórnandi geti raunverulega notað hann í ákvörðun, sem hljóðlega færir skipulagsheildina aftur í óformlega dómgreind á meðan opinberi ramminn verður skýrslugripur sem enginn leitar til.

Markmiðayfirtaka. Frammistöðumælikvarði, þegar hann er tengdur við fjármögnun eða umbun, verður það sem starfsfólk fínstillir beint frekar en árangurinn sem hann átti að vera staðgengill fyrir – mynstrið sem lögmál Goodharts lýsir, þar sem mælikvarði notaður sem markmið hættir að vera áreiðanlegur mælikvarði. Heimili þessarar gangverks í opinbera geiranum sérstaklega, þar á meðal hvernig gæðakerfi reyna að greina og takmarka hana, er annars staðar (sjá Viðfangsefni 3.11 — Gæða-, öryggis- og árangursstjórnun); hér skiptir hún máli sem ástæða til að halda áreynslu-, gæða- og áhrifamælikvörðum aðskildum og endurskoða markmið áður en þau skekkja hegðun.

Eignunarofvöxtur. Skýrslugjöf áætlunar gefur í skyn eina orsakaábyrgð á niðurstöðu á stigi þýðis sem margir aðrir aðilar hafa líka áhrif á, annaðhvort með óvarkárum orðum eða raunverulegri trú. Þegar niðurstaðan hreyfist ekki – oft af ástæðum utan stjórnar áætlunarinnar – tekur skipulagsheildin á sig sök sem er úr hlutfalli við raunverulegt framlag hennar, sem síðan dregur úr heiðarlegri skýrslugjöf um skort í framtíðarlotum.

Rammi án endurgjafar. Skipulagsheild byggir raunverulega vel hannað rökgerðarlíkan og árangursramma, en endurskoðar hann aldrei gegn raunverulegum niðurstöðum, svo hann harðnar í fast skjal frekar en lifandi stjórnunartæki. Stefnan undir honum heldur áfram að keyra á upprunalegum forsendum árum eftir að sönnunargögn hefðu réttlætt endurskoðun, á kostnað einmitt aðlögunarhæfninnar sem ramminn átti að gera kleift.

Þroskalíkan

Gátlisti

• Teiknaðu rökgerðarlíkan (aðföng, starfsemi, afurðir, árangur, áhrif) fyrir hverja stóra áætlun áður en vísar hennar eru endanlegir.
• Skrifaðu orsakaforsendur breytingakenningarinnar nógu sértækt til að sönnunargögn gætu mótmælt þeim.
• Aðgreindu áreynslu-, gæða- og áhrifamælikvarða í hverri frammistöðuskýrslu, jafnvel utan formlegrar innleiðingar árangursmiðaðrar ábyrgðarskyldu.
• Byggðu eða uppfærðu stigatöflu almannavirðis svo allir þrír fætur – lögmæti, virði, geta – séu tilkynntir saman, ekki hver í sínu lagi.
• Veldu lítið, stöðugt mengi aðalvísa á stigi þýðis og skuldbindu þig til að halda þeim yfir nokkrar skýrslulotur.
• Athugaðu núverandi skýrslur fyrir orðfæri sem lýsir afurð með árangursorðum og leiðréttu það.
• Birtu árangursrammann á undan næstu fjárlaga- eða fjármögnunarlotu, ekki sem eftirmála hennar.
• Nefndu skýrt hvað skipulagsheildin stjórnar ekki ein fyrir hverja fullyrðingu á stigi þýðis sem hún tilkynnir.
• Settu fastan hring til að endurskoða rökgerðarlíkön gegn raunverulegum sönnunargögnum, ekki aðeins við áætlað formlegt mat.
• Greindu að minnsta kosti einn ytri hagsmunaaðila til að yfirfara forsendur rökgerðarlíkansins áður en það er endanlegt.
• Endurskoðaðu núverandi vísamengi með tilliti til tækifæra til að leggja af mælikvarða sem enginn notar í raunverulegri ákvörðun.
• Komdu þér fyrirfram saman um hvað skipulagsheildin mun gera öðruvísi ef aðalárangur hreyfist ekki í tvær skýrslulotur.

Helstu heimildir

• Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) og Recognizing Public Value (2013) — upprunatextarnir um stigatöflu almannavirðis, sem aðlaga hefð jafnvægisstigatöflunnar að þremur fótum stefnumótandi þríhyrningsins.
• Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities — upprunatextinn um árangursmiðaða ábyrgðarskyldu, þar á meðal aðgreininguna milli þýðisábyrgðarskyldu og frammistöðuábyrgðarskyldu og „snúum ferlinum“ greiningu.
• Rit Roberts Kaplan og Davids Norton um jafnvægisstigatöfluna — heimild einkageirans sem Moore aðlagaði fyrir samhengi almannavirðis.
• Leiðbeiningar OECD um árangursmiðaða stjórnun og matshugtök, notaðar í þróunar- og opinberri stjórnsýslu til að staðla árangurs- og áhrifamál.
• Leiðbeiningar óháðu matsdeildar Alþjóðabankans (Independent Evaluation Group) um árangursramma og breytingakenningar fyrir þróunaraðgerðir.
• Opinber frásögn velferðarstofnunar Vermont-fylkis (Vermont Agency of Human Services) af notkun árangursmiðaðrar ábyrgðarskyldu á fylkis- og samfélagsstigi — eitt dæmi um rammann í lifandi notkun hjá hinu opinbera.

Tilvísanir

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf