Scorecard for offentlig værdi og resultatrammer

Hvorfor det er vigtigt for offentlig værdi

De fleste ledere i den offentlige og sociale sektor kan fremlægge et strategidokument, der taler flydende om resultater. Langt færre kan et år senere fremlægge den dokumentation, der viser, om disse resultater faktisk rykkede sig. Kløften mellem de to er sjældent mangel på data – de fleste organisationer indsamler enorme mængder – men mangel på en disciplineret struktur, der omsætter rå aktivitetstællinger til en forsvarlig påstand om skabt værdi. Emne 1.2 — Den strategiske trekant: legitimitet, værdi og kapacitet fremlagde legitimitet og opbakning, værdiløftet og operationel kapacitet som de tre ben, en organisations strategi skal opfylde på én gang (se Emne 1.2 — Den strategiske trekant: legitimitet, værdi og kapacitet). Dette emne handler om de redskaber, der gør de tre ben målbare frem for blot påståede.

Indsatsen er umiddelbar og tilbagevendende. En bidragyder eller lovgiver spørger ved næste budgetrunde: «hvad fik vi for disse penge» – og en organisation med kun outputtællinger (åbnede klinikker, behandlede sager, afholdte træningssessioner) har intet svar på det resultatspørgsmål, der ligger nedenunder. Et programhold tror, det lykkes, fordi aktiviteten er høj og travl, uden at have adskilt aktivitet fra den ændring i verden, aktiviteten skulle forårsage. En bestyrelse godkender et nyt initiativ på grundlag af en overbevisende fortælling og har så et år senere intet aftalt grundlag for at afgøre, om det skal fortsætte, skaleres eller stoppes. Hvert af disse er et målingssvigt med strategiske konsekvenser, ikke en teknisk ulempe.

Redskaberne i dette emne – Mark Moores Public Value Scorecard, den logiske model og resultatbaseret ansvarlighed med dens slægtninge – løser ikke alle målingsproblemer, en offentlig eller social organisation står over for. Senere emner dækker de sværere, mere tekniske lag: at omsætte resultater til penge gennem cost-benefit- og omkostningseffektivitetsanalyse (se Emne 2.2 — Samfundsøkonomisk cost-benefit- og omkostningseffektivitetsanalyse), at værdisætte resultater, der modstår pengemæssig omsætning, gennem socialt investeringsafkast (se Emne 2.3 — Socialt investeringsafkast og effektmåling), og at fastslå, at et program faktisk forårsagede en observeret ændring, gennem formel programevaluering (se Emne 2.4 — Økonometri i den offentlige sektor og programevaluering). Det, dette emne leverer, er laget nedenunder alle tre: et fælles ordforråd og et lille antal holdbare rammeværker til at angive, før noget af det tekniske arbejde begynder, hvad en organisation egentlig forsøger at ændre, for hvem, og hvordan den vil vide det.

Kernebegreber

Public Value Scorecard er Mark H. Moores forslag til at følge hvert ben af den strategiske trekant med sit eget sæt indikatorer, frem for at falde tilbage på de finansielle og operationelle mål, et privat balanced scorecard ville bruge. Moore tilpassede balanced scorecard – Robert Kaplans og David Nortons redskab til at følge en virksomhed på tværs af finansielle, kunde-, interne proces- og læringsperspektiver – fordi en enkelt finansiel bundlinje ikke kan repræsentere en organisation, hvis centrale ret til at eksistere er, at den skaber værdi, som ingen markedspris fanger. Public Value Scorecard beder i stedet en organisation specificere mål under tre overskrifter, der spejler trekanten: en legitimitets- og opbakningskonto (er det bemyndigende miljø tilfredsstillet – bidragydere, tilsynsførende, offentligheden), en konto for offentlig værdi (realiseres værdiløftet – resultater for borgere og klienter) og en konto for operationel kapacitet (er organisationen i stand til at opretholde og forbedre leveringen – personale, systemer, økonomi, partnerskaber). Disciplinen ligger i at nægte at lade nogen enkelt konto stå for helheden; en organisation, der kun rapporterer finansiel effektivitet eller kun klienttilfredshed, har slet ikke rapporteret mod trekanten.

Logiske modeller giver værdikontoen i scorecardet dens indre struktur. En logisk model opstiller den kausale kæde, et program påstår at køre: input (de penge, det personale og andre ressourcer, der er afsat), aktiviteter (hvad organisationen gør med dem), output (de umiddelbare, tællelige produkter af disse aktiviteter – afholdte sessioner, udstedte tilladelser, besøgte husstande), resultater (de ændringer i viden, adfærd, tilstand eller status, som output skal bringe i stand, typisk over måneder eller få år) og effekt (den længerevarende, ofte befolkningsniveau-ændring, som resultaterne skal bidrage til, normalt delt med andre aktører og sværere at tilskrive noget enkelt program). Skellet mellem output og resultat er det mest afgørende i dette emne: et output er noget, organisationen gjorde; et resultat er noget, der ændrede sig for en anden som følge heraf. Et træningsprograms output er antallet af uddannede; dets resultat er, hvad disse mennesker derefter kan, eller hvordan deres omstændigheder ændrer sig, som de ikke kunne før.

Forandringsteori er den nært beslægtede disciplin at gøre antagelserne bag en logisk model eksplicitte frem for implicitte – hvorfor organisationen tror, at aktivitet A faktisk vil frembringe resultat B, og under hvilke betingelser den kausale påstand kan svigte. En forandringsteori er ikke blot en mere detaljeret logisk model; den sætter «hvis... så... fordi»-ræsonnementet og de kontekstuelle antagelser i forgrunden, som en logisk models boks-og-pil-diagram har tendens til at lade uudtalte. Emne 2.3 bruger forandringsteori som udgangspunkt for effektmåling i den sociale sektor mere dybtgående (se Emne 2.3 — Socialt investeringsafkast og effektmåling); her er den primært vigtig som den disciplin, der holder en logisk model ærlig over for, hvad den faktisk påstår at forårsage, i modsætning til hvad den blot håber følger.

Resultatbaseret ansvarlighed (results-based accountability, RBA) er det bedst kendte medlem af en familie af resultatbaserede rammeværker, der bruges i regeringer og den sociale sektor til at forbinde resultater på befolkningsniveau med specifikke programmers præstation. Udviklet af Mark Friedman og fremlagt i hans bog Trying Hard Is Not Good Enough adskiller RBA to forskellige slags ansvarlighed, som organisationer rutinemæssigt blander sammen. Befolkningsansvarlighed spørger, hvordan et helt samfund eller en hel jurisdiktion klarer sig på en velfærdstilstand – børnefattigdom, samfundssikkerhed, uddannelsesniveau – ved hjælp af et lille antal overskriftsindikatorer, som ingen enkelt myndighed ejer eller fuldt ud kontrollerer. Præstationsansvarlighed spørger, hvor godt et bestemt program eller en bestemt myndighed klarer sig, ved hjælp af tre slags præstationsindikatorer, som Friedmans rammeværk insisterer på at skelne mellem: hvor meget der blev gjort (indsats – outputtællingen), hvor godt det blev gjort (kvalitet) og om nogen har det bedre (effekt – resultatet). RBA's praktiske metode, af og til kaldet «turn the curve»-analyse, arbejder baglæns fra en valgt indikator – spørger hvilken historie dataene fortæller, hvad der forårsager den historie, hvem partnerne er, der har en rolle i at ændre den, hvad der ville virke, og hvad organisationen foreslår at gøre – en struktureret version af det ræsonnement, en logisk model og en forandringsteori formaliserer hver for sig. RBA er ét tilfælde af et bredere mønster af resultatbaseret ledelse, nært beslægtet med den rutinemæssige praksis med monitorering og evaluering, der bruges i international udvikling og offentlig forvaltning, fremmet i forskellige former af nationale regeringer, filantropiske bidragydere og multilaterale organer som en fælles disciplin til at forbinde udgifter med resultater frem for kun med output.

Output, resultater og scorecardet sammen. Grunden til, at disse rammeværker hører hjemme i ét emne frem for tre, er, at de besvarer det samme underliggende spørgsmål på forskellige punkter i en organisations plan- og rapporteringscyklus. Den logiske model tegnes på designtidspunktet for at angive den kausale påstand. Resultatbaseret ansvarlighed og sammenlignelige rammeværker anvendes på rapporteringstidspunktet for at holde præstationsmål ærlige om forskellen mellem indsats og effekt. Public Value Scorecard sidder over begge som den stående struktur, der sikrer, at resultatdokumentation – uanset hvordan den blev frembragt – faktisk når de legitimitets- og kapacitetssamtaler, hvor budget- og mandatbeslutninger træffes, i stedet for at blive inde i et programholds egen rapportering. Sammen er de tre rammeværker det, der forvandler offentlig værdi fra en påstand, en organisation fremsætter om sig selv, til en påstand, den kan forsvare med dokumentation.

Bedste praksis

1. Tegn den logiske model før indikatorerne, ikke efter. At vælge, hvad der skal måles, før man er enige om, hvad man påstår at forårsage, giver en liste over det, der er nemt at tælle; tegn først kæden fra input til effekt, og vælg derefter mål, der afprøver hvert led i den.
2. Rapportér mod alle tre scorecard-konti sammen, ikke én ad gangen. En legitimitetsopdatering uden resultatdokumentation, eller en resultatrapport uden en kapacitetskonto over, hvad det kostede at opretholde, fortæller hver kun en del af den historie, en bidragyder eller tilsynsførende har brug for til at træffe en reel beslutning.
3. Adskil indsats, kvalitet og effekt eksplicit i hver præstationsrapport. Lån Friedmans tredeling, selv uden for en formel RBA-implementering; en rapport, der blander «leverede sessioner» med «forbedrede liv» uden at skelne mellem dem, vil altid falde tilbage på det, der er lettest at puste op.
4. Vælg et lille antal overskriftsindikatorer for befolkningen og hold fast i dem i år, ikke kvartaler. Tilstande på befolkningsniveau bevæger sig langsomt og påvirkes af mange aktører; at ændre overskriftsmålet hver rapporteringscyklus gør det umuligt at se, om kurven faktisk vender.
5. Sig højt, hvad organisationen ikke kontrollerer. En logisk model, der antyder, at et enkelt program fuldt ud forårsager et resultat på befolkningsniveau, inviterer netop den skepsis, der undergraver legitimiteten, når resultatet ikke rykker sig som planlagt; nævn de øvrige bidragende faktorer fra begyndelsen.
6. Offentliggør resultatrammen før budgetrunden, ikke efter. En resultatramme udarbejdet for at begrunde en allerede truffet budgetbeslutning læses som efterrationalisering; en, der er offentliggjort forud for runden, er dokumentation for, at en reel beslutning afprøves mod den.
7. Hold scorecardet og den logiske model levende, gennemgået når konteksten ændrer sig, ikke årlige artefakter. En logisk model tegnet til ét politisk miljø kan stille og roligt holde op med at svare til virkeligheden – en ny lov, et demografisk skift, en ændring i finansieringen – længe før en planlagt gennemgang ville opdage det; behandl begge som ejet af leveringsteams, ikke en overholdelsesøvelse for et centralt kontor.
8. Hold præstationskontoens mål tæt på de mennesker, der kan handle på dem. Et programhold kan direkte forbedre kvalitets- og indsatsmål; giv dem resultatmål på befolkningsniveau, de ikke kan rykke alene, og målingen bliver en kilde til demoralisering frem for retning.
9. Behandl et overskredet resultatmål som en opfordring til at spørge hvorfor, ikke en dom, der skal skjules. Vanen fra «turn the curve» med at spørge, hvad der forårsager tendensen, før skyld tildeles, holder resultatrapporteringen nyttig; en kultur, der straffer overskredne mål, lærer personalet at beskytte tallet frem for resultatet.
10. Gør antagelserne i forandringsteorien falsificerbare. En antagelse, der er skrevet så vagt, at ingen dokumentation nogensinde kunne modsige den, tilføjer ikke stringens til den logiske model; skriv antagelser specifikt nok til, at en fremtidig evaluering kunne vise dem at være forkerte.

Spørgsmål at drøfte med dit team

Kan vi i øjeblikket, for vores vigtigste program, skelne et output fra et resultat – og bruger vores eget personale de to ord korrekt? Mange organisationer rapporterer aktivitetstællinger med resultaternes sprog uden at bemærke substitutionen, hvilket stille og roligt udhuler den forskel, dette emne behandler som grundlæggende. Brug dette spørgsmål til at hente en faktisk nuværende rapport og tjekke, linje for linje, hvilke tal der beskriver, hvad organisationen gjorde, kontra hvad der ændrede sig for en anden. Drøft, hvor sproget er drevet, og om driften afspejler reel forvirring om programmets logik eller blot at resultatdata er sværere at få end outputdata. Hvis det ærlige svar er det sidste, er det i sig selv et fund, der er værd at registrere, ikke en grund til at blive ved med at bruge outputsprog klædt ud som resultater.

Hvor slår vores nuværende rapportering indsats, kvalitet og effekt sammen til ét tal, og hvad fortæller det tal egentlig en læser? Friedmans tredeling findes, fordi organisationer rutinemæssigt falder tilbage på at rapportere indsats – den letteste af de tre at tælle – mens de antyder, at de har rapporteret effekt. Brug dette spørgsmål til at identificere ét flagskibsmål, organisationen i øjeblikket rapporterer, og find ud af, som gruppe, hvilket af de tre det faktisk måler. Drøft, hvad der skal til for at rapportere alle tre hver for sig for det mål, og om det ville ændre, hvordan organisationen opfattes af de mennesker, der i dag kun ser det blandede tal.

Hvis vores overordnede befolkningsresultat ikke rykker sig i to rapporteringscyklusser mere, hvad ville vi så gøre anderledes, og hvad ville vi ikke ændre? Dette spørgsmål afprøver, om organisationen reelt bruger sin resultatramme til at styre, eller blot producerer den som en rapporteringsforpligtelse. Brug det til at skelne, hvilke dele af den nuværende strategi der er betinget af resultatdata, og hvilke der er faste, uanset hvad dataene viser. Drøft ærligt, om nogen del af det nuværende program ville overleve uændret, selv om dokumentationen vendte sig fast imod det, for det er den del, rammeværket ikke faktisk styrer.

Rapporterer vores Public Value Scorecard, hvis vi har et, alle tre ben af trekanten, eller er det stille og roligt blevet et scorecard for kun ét ben? Det er almindeligt, at en resultatramme starter med reel ambition for tre ben og under rapporteringspres driver over i et dokument kun om resultater eller kun om økonomi. Brug dette spørgsmål til at auditere de sidste to-tre formelle rapporter mod den tre-kontostruktur, dette emne beskriver. Drøft, hvilket ben der som regel droppes først under tidspres, og hvad det siger om, hvilket ben organisationen implicit behandler som valgfrit.

Hvem uden for denne organisation ville skulle være enig i vores logiske model, for at den er troværdig, og har vi faktisk spurgt dem? En logisk model tegnet helt af det programhold, der designede indgrebet, kan stille og roligt indkode optimistiske antagelser, ingen uden for rummet er placeret til at udfordre. Brug dette spørgsmål til at identificere, hvilke eksterne aktører – bidragydere, leveringspartnere, dem programmet tjener – der har en interesse i, om den kausale kæde er rigtig, og om nogen af dem faktisk har gennemgået den. Drøft, hvad der ændrede sig, hvis noget, sidste gang et udefrakommende perspektiv blev inviteret ind i den gennemgang.

Hvad er det mindste sæt af befolknings- og præstationsindikatorer, vi kunne rapportere, der stadig ville lade en udenforstående bedømme, om denne organisation skaber offentlig værdi? Målesystemer har en tendens til at akkumulere indikatorer langt hurtigere, end de afvikler dem, indtil rammeværket bliver for stort til, at nogen faktisk kan bruge det i en beslutning. Brug dette spørgsmål til som øvelse at forsøge at halvere det nuværende indikatorsæt uden at miste evnen til at besvare spørgsmålene om befolkningsansvarlighed og præstationsansvarlighed, dette emne beskriver. Drøft, hvilken modstand øvelsen afdækker, da modstand mod at skære en bestemt indikator ofte er et tegn på, hvad organisationen reelt holdes ansvarlig for, uanset om det svarer til dens erklærede strategi.

I praksis: et eksempel på offentlig værdi

Et regionalt netværk af familiestøtteorganisationer – fiktivt, illustrativt for et mønster frem for en rapport om nogen reel organisation – havde i et årti drevet hjemmebesøgsprogrammer for nybagte forældre i lavindkomstkvarterer. Dets årlige rapporter til bidragydere var detaljerede og, målt på output, imponerende: tusinder af gennemførte hjemmebesøg hvert år, stor deltagelse i forældreworkshops, høje tilfredshedsscorer fra de familier, der deltog. På styrken af den historik var netværket vokset støt og tilføjede nye lokale afdelinger cirka hvert andet år.

En ny national bidragyder, der overvejede en flerårig bevilling stor nok til at fordoble netværkets rækkevidde, stillede et spørgsmål, netværkets egen bestyrelse aldrig formelt havde stillet ledelsen: hvilken dokumentation viste, at børn i familier, der modtog hjemmebesøgene, faktisk klarede sig bedre senere end sammenlignelige børn, hvis familier ikke gjorde. Netværkets ledelse indså, mens den arbejdede sig gennem spørgsmålet, at dens rapportering aldrig havde adskilt indsats fra effekt. Besøgstællinger og tilfredshedsscorer var ægte dokumentation for, at programmet blev leveret og var vel modtaget; ingen af delene var dokumentation for, at det ændrede et barns udviklingsresultater, hvilket var den påstand, der var indlejret i netværkets egen missionserklæring og, implicit, i hver bevillingsansøgning, det nogensinde havde skrevet.

Netværket byggede en logisk model fra bunden, startende fra de resultater, det faktisk ønskede – forbedrede indikatorer for tidlig barnlig udvikling, færre tilfælde af dokumenteret omsorgssvigt, stærkere forældretillid – og arbejdede baglæns til de aktiviteter og output, hver skulle afhænge af, og nævnte antagelserne imellem eksplicit. Det vedtog en forenklet resultatbaseret ansvarlighedsstruktur: befolkningsindikatorer fulgt på kvartersniveau og delt med lokale skoler og sundhedstjenester, ved siden af præstationsindikatorer, dets egne teams kunne handle direkte på – besøgsfrekvens, workshopgennemførelse og personalevurderet forældretillid efter tre og tolv måneder. To af de fem resultatindikatorer rykkede sig ikke som håbet i ét kvarter i den første rapporteringscyklus. I stedet for at undertrykke resultatet brugte netværket sin egen «turn the curve»-proces til at undersøge det, fandt at en ændring i den lokale sundhedsplejebemanding havde forstyrret henvisningsveje, og justerede sine partnerskabsordninger frem for sin kernemodel. Bidragyderen fornyede og udvidede bevillingen og angav ærligheden i rapporteringen, ikke fraværet af en mangel, som grunden til tillid.

Fire sektorlinser

Lokal forvaltning

En lokal myndigheds resultatramme sidder typisk inde i et bredere sæt af nationalt definerede indikatorer, den ikke selv valgte, men skal rapportere mod, ved siden af lokalt valgte mål, der afspejler dens eget råds prioriteter. Denne dobbeltstruktur betyder, at et lokalt scorecard ofte skal forene to målgrupper med forskellige spørgsmål – et nationalt tilsyn, der spørger om overholdelse af et standardindikatorsæt, og lokale beboere, der spørger om en specifik, synlig lokal tilstand, såsom en bestemt gade eller tjeneste. Logiske modeller på kommunalt niveau er som regel lettest at bygge for en enkelt tjeneste (en ændring i genbrugsindsamling, en bibliotekssomlægning) og sværest at bygge troværdigt for tværgående resultater som samfundssammenhængskraft, hvor mange aktører uden for rådets kontrol også bidrager.

National forvaltning

Nationale resultatrammer opererer i en skala, hvor skellet mellem befolkningsansvarlighed og præstationsansvarlighed fra resultatbaseret ansvarlighed bliver væsentligt frem for valgfrit: en national sundheds- eller uddannelsesindikator påvirkes af hundredvis af programmer, hvoraf kun få nogen enkelt styrelse finansierer direkte, så et enkelt ministerium, der kræver enekredit eller eneskyld for en national tendens, er sjældent forsvarligt. Nationale regeringer er også den hyppigste kilde til store, centralt påbudte resultatrammer, som leveringsorganer længere nede i kæden skal vedtage, hvilket skaber den tilbagevendende risiko, at rammeværket er designet til aggregering og sammenligning på tværs af ministerier frem for til faktisk at styre noget enkelt programs levering.

Den sociale sektor og nonprofit

Nonprofitorganisationer og ikke-statslige organisationer (NGO'er) bygger oftere deres egne logiske modeller og forandringsteorier fra bunden af end at vedtage et rammeværk, en bemyndigende part har pålagt, fordi deres bidragydere ofte er dem, der beder om den kausale sag frem for at levere en standardskabelon. Det giver organisationer i den sociale sektor mere frihed til at designe en resultatramme, der passer til deres faktiske programlogik, men også mere udsættelse for bidragydervedrevet målingstræthed, hvor hver bevilling bærer sine egne rapporteringskrav, og en organisation ender med at vedligeholde flere parallelle resultatrammer for det samme underliggende arbejde. Resultatbaseret ansvarligheds skel mellem befolkning og præstation er særligt nyttigt her, da det giver en nonprofitorganisation sprog til klart at fortælle en bidragyder, at den kan holdes ansvarlig for sine egne præstationsmål, men ikke alene for en befolkningsindikator, mange andre aktører også påvirker.

Multilateral og international

Multilaterale organer driver resultatbaseret ledelse i en skala, hvor den logiske models antagelser rejser på tværs af dusinvis af nationale kontekster på én gang, så en indgrebslogik, der holder i ét land, kan svigte stille i et andet uden at den globale overskriftsindikator afslører, hvilken kontekst der er problemet. Resultatrammer i denne sammenhæng er ofte bygget til at tilfredsstille flere donorregeringer samtidigt, hver med sine egne rapporteringspræferencer, hvilket skubber mod standardiserede indikatorsæt (af den slags, der fremmes gennem international vejledning i resultatbaseret ledelse) på bekostning af lokal specificitet. Kløften mellem et output, en implementeringspartner hurtigt kan rapportere – leverede træninger, forsynede klinikker – og et resultat, der først viser sig i en national undersøgelse år senere, er størst her, hvilket gør disciplinen at angive den antagne kausale kæde eksplicit, frem for at antage den, særligt vigtig.

Almindelige fejlmønstre

Output der udgiver sig for resultat. En organisation rapporterer aktivitetstællinger med resultaternes sprog – «forbedret samfundssikkerhed», når det faktiske mål er gennemførte patruljer – enten af ægte sammenblanding eller fordi resultatdata er sværere og langsommere at indsamle. Omkostningen viser sig, når en ekstern anmelder beder om resultatdokumentationen direkte og kun finder output bag påstanden, hvilket skader organisationens troværdighed mere end et beskedent, ærligt rapporteret resultat ville have gjort.

Indikatorvækst. Et scorecard eller en logisk model akkumulerer mål hurtigere, end den afvikler dem, drevet af at hver ny interessentanmodning tilføjer en linje mere frem for at erstatte en eksisterende. Det endelige resultat er et rammeværk, der er for stort til, at nogen leder faktisk kan bruge det i en beslutning, hvilket stille og roligt får organisationen til at vende tilbage til uformelt skøn, mens det officielle rammeværk bliver et rapporteringsartefakt, ingen konsulterer.

Målkapring. Et præstationsmål, der er knyttet til finansiering eller belønning, bliver det, personalet optimerer direkte, frem for det resultat, det skulle være en stedfortræder for – det mønster, Goodharts lov beskriver, hvor et mål brugt som mål holder op med at være et pålideligt mål. Hjemstedet for denne dynamik i den offentlige sektor specifikt, herunder hvordan kvalitetsregimer forsøger at opdage og begrænse den, er andetsteds (se Emne 3.11 — Kvalitet, sikkerhed og præstationsstyring); her er den vigtig som grund til at holde indsats-, kvalitets- og effektmål adskilt og til at gentænke mål, før de forvrider adfærd.

Tilskrivningsoverreach. Et programs rapportering antyder eneansvar for et resultat på befolkningsniveau, som mange andre aktører også påvirker, enten gennem skødesløst sprog eller reel overbevisning. Når resultatet ikke rykker sig – ofte af grunde uden for programmets kontrol – absorberer organisationen skyld, der er uforholdsmæssig i forhold til dens faktiske bidrag, hvilket så afskrækker ærlig rapportering af mangler i fremtidige cyklusser.

Rammeværk uden feedback. En organisation bygger en reelt veludformet logisk model og resultatramme og gennemgår den aldrig mod de faktiske resultater, så den stivner til et fast dokument frem for et levende ledelsesredskab. Strategien nedenunder fortsætter med at køre på de oprindelige antagelser i årevis efter, at dokumentation ville have retfærdiggjort revision, på bekostning af netop den tilpasningsevne, rammeværket skulle muliggøre.

Modenhedsmodel

Tjekliste

• Tegn en logisk model (input, aktiviteter, output, resultater, effekt) for hvert større program, før dets indikatorer færdiggøres.
• Skriv forandringsteoriens kausale antagelser specifikt nok til, at dokumentation kunne modsige dem.
• Adskil indsats-, kvalitets- og effektmål i hver præstationsrapport, selv uden for en formel resultatbaseret ansvarligheds-implementering.
• Byg eller opdatér Public Value Scorecard, så alle tre ben – legitimitet, værdi, kapacitet – rapporteres sammen, ikke adskilt.
• Vælg et lille, stabilt sæt overskriftsindikatorer på befolkningsniveau og forpligt dig til at fastholde dem over flere rapporteringscyklusser.
• Tjek nuværende rapporter for sprog, der beskriver et output med resultatord, og ret det.
• Offentliggør resultatrammen forud for næste budget- eller finansieringsrunde, ikke som dens følge.
• Nævn eksplicit, hvad organisationen ikke alene kontrollerer for enhver påstand på befolkningsniveau, den rapporterer.
• Fastsæt en fast cyklus for at gentænke logiske modeller mod faktisk dokumentation, ikke kun ved en planlagt formel evaluering.
• Identificér mindst én ekstern interessent til at gennemgå den logiske models antagelser, før den færdiggøres.
• Auditér det nuværende indikatorsæt for muligheder for at afvikle mål, ingen bruger i en faktisk beslutning.
• Aftal på forhånd, hvad organisationen vil gøre anderledes, hvis et overskriftsresultat ikke rykker sig i to rapporteringscyklusser.

Centrale kilder

• Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) og Recognizing Public Value (2013) – de oprindelige tekster om Public Value Scorecard, der tilpasser balanced scorecard-traditionen til de tre ben af den strategiske trekant.
• Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities – den oprindelige tekst om resultatbaseret ansvarlighed, herunder skellet mellem befolkningsansvarlighed og præstationsansvarlighed og «turn the curve»-analyse.
• Robert Kaplans og David Nortons balanced scorecard-litteratur – den private kilde, Moore tilpassede til sammenhængen med offentlig værdi.
• OECD's vejledning om resultatbaseret ledelse og evalueringsterminologi, brugt i udviklings- og forvaltningspraksis til at standardisere resultat- og effektsprog.
• Verdensbankens Independent Evaluation Groups vejledning om resultatrammer og forandringsteorier til udviklingsoperationer.
• Vermont Agency of Human Services' offentlige beretning om anvendelsen af resultatbaseret ansvarlighed på delstats- og samfundsniveau – ét eksempel på rammeværket i levende offentlig brug.

Henvisninger

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf