Ämne 2.1
Scorecard för offentligt värde och resultatramverk
En strategi som bygger på den strategiska triangeln förblir en berättelse om avsikter tills en organisation förbinder sig att offentligt mäta om den faktiskt skapade legitimitet, värde och kapacitet – och scorecarden för offentligt värde, logiska modeller och resultatbaserat ansvarsutkrävande är de disciplinerade sätten att få det åtagandet att hålla.
Varför detta är viktigt för offentligt värde
De flesta ledare i offentlig och social sektor kan ta fram ett strategidokument som talar flytande om resultat. Betydligt färre kan ett år senare ta fram den evidens som visar om resultaten faktiskt har rört sig. Glappet mellan de två beror vanligen inte på brist på data – de flesta organisationer samlar in enorma mängder – utan på brist på en disciplinerad struktur som förvandlar råa aktivitetsmått till ett försvarbart påstående om skapat värde. Ämne 1.2 — Den strategiska triangeln: legitimitet, värde och kapacitet redogjorde för legitimitet och stöd, värdeerbjudandet och operativ kapacitet som de tre ben en organisations strategi måste uppfylla samtidigt (se Ämne 1.2 — Den strategiska triangeln: legitimitet, värde och kapacitet). Det här ämnet handlar om de verktyg som gör de tre benen mätbara i stället för bara påstådda.
Insatserna är omedelbara och återkommande. En finansiär eller lagstiftande församling frågar, vid nästa budgetomgång, ”vad fick vi för de här pengarna” – och en organisation som bara har prestationsmått (öppnade mottagningar, hanterade ärenden, hållna utbildningstillfällen) saknar svar på den resultatfråga som ligger under. Ett programteam tror att det lyckas eftersom aktiviteten är hög och livlig, utan att ha skilt aktiviteten från den förändring i världen som aktiviteten var avsedd att orsaka. En styrelse godkänner ett nytt initiativ med stöd av en övertygande berättelse och har sedan, ett år senare, ingen överenskommen grund för att avgöra om det ska fortsätta, skalas upp eller upphöra. Vart och ett av dessa är ett mätmisslyckande med strategiska följder, inte en teknisk olägenhet.
Verktygen i det här ämnet – Mark Moores scorecard för offentligt värde, den logiska modellen samt resultatbaserat ansvarsutkrävande och dess släktingar – löser inte varje mätproblem som en organisation i offentlig eller social sektor står inför. Senare ämnen behandlar de svårare, mer tekniska skikten: att monetarisera resultat genom kostnads-nyttoanalys och kostnadseffektivitetsanalys (se Ämne 2.2 — Samhällsekonomisk kostnads-nyttoanalys och kostnadseffektivitetsanalys), att värdera resultat som motstår monetarisering genom social avkastning på investeringar (se Ämne 2.3 — Social avkastning på investeringar och effektmätning) och att fastställa att ett program faktiskt orsakade en observerad förändring genom formell programutvärdering (se Ämne 2.4 — Ekonometri i offentlig sektor och programutvärdering). Det här ämnet ger det skikt som ligger under alla tre: ett gemensamt ordförråd och ett litet antal hållbara ramverk för att, innan något av det tekniska arbetet börjar, ange vad en organisation faktiskt försöker förändra, för vem och hur den ska veta.
Grundläggande begrepp
Scorecarden för offentligt värde (Public Value Scorecard) är Mark H. Moores förslag att följa varje ben i den strategiska triangeln med en egen uppsättning indikatorer, i stället för att som standard använda de finansiella och operativa mått som en privat balanced scorecard skulle använda. Moore anpassade balanced scorecard – Robert Kaplans och David Nortons verktyg för att följa ett företag ur finansiella perspektiv, kundperspektiv, internprocessperspektiv och lärandeperspektiv – eftersom ett enda finansiellt resultat inte kan representera en organisation vars centrala skäl att finnas är att den skapar värde som inget marknadspris fångar. Scorecarden för offentligt värde ber i stället en organisation att ange mått under tre rubriker som speglar triangeln: en redovisning av legitimitet och stöd (är den auktoriserande omgivningen nöjd – finansiärer, tillsynsorgan, allmänheten), en redovisning av offentligt värde (förverkligas värdeerbjudandet – resultat för medborgare och klienter) och en redovisning av operativ kapacitet (kan organisationen upprätthålla och förbättra leveransen – personal, system, ekonomi, partnerskap). Disciplinen ligger i att vägra låta någon enskild redovisning stå för helheten; en organisation som bara redovisar finansiell effektivitet, eller bara klientnöjdhet, har inte redovisat mot triangeln alls.
Logiska modeller ger scorecardens värderedovisning dess inre struktur. En logisk modell lägger ut den orsakskedja ett program hävdar sig driva: insatsvaror (de pengar, den personal och de övriga resurser som satsats), aktiviteter (vad organisationen gör med dem), prestationer (outputs; aktiviteternas omedelbara, räkningsbara produkter – hållna tillfällen, utfärdade tillstånd, besökta hushåll), resultat (outcomes; de förändringar i kunskap, beteende, tillstånd eller status som prestationerna är avsedda att åstadkomma, typiskt över månader eller några år) och effekt (impact; den längre, ofta befolkningsövergripande förändring som resultaten är avsedda att bidra till, vanligen delad med andra aktörer och svårare att tillskriva ett enskilt program). Skillnaden mellan prestation och resultat är den enskilt mest avgörande i det här ämnet: en prestation är något organisationen gjorde; ett resultat är något som förändrades för någon annan som följd. Ett utbildningsprograms prestation är antalet utbildade personer; dess resultat är vad dessa personer sedan kan göra, eller hur deras omständigheter förändras, som de inte kunde förut.
Förändringsteori (theory of change) är den närbesläktade disciplinen att göra antagandena bakom en logisk modell uttryckliga i stället för underförstådda – varför organisationen tror att aktivitet A faktiskt kommer att ge resultat B, och under vilka förhållanden det orsakspåståendet kan falla. En förändringsteori är inte bara en mer detaljerad logisk modell; den lyfter fram resonemanget ”om… så… eftersom” och de kontextuella antaganden som en logisk modells diagram av rutor och pilar tenderar att lämna osagda. Ämne 2.3 använder förändringsteorin som utgångspunkt för effektmätning i social sektor på djupet (se Ämne 2.3 — Social avkastning på investeringar och effektmätning); här är den främst viktig som den disciplin som håller en logisk modell ärlig om vad den faktiskt påstår sig orsaka, i skillnad från vad den bara hoppas ska följa.
Resultatbaserat ansvarsutkrävande (results-based accountability, RBA) är den mest kända medlemmen i en familj av resultatbaserade ramverk som används i regeringar och social sektor för att koppla resultat på befolkningsnivå till prestationen hos enskilda program. Utvecklat av Mark Friedman och framlagt i hans bok Trying Hard Is Not Good Enough skiljer RBA åt två slags ansvarsutkrävande som organisationer rutinmässigt blandar ihop. Befolkningsansvar frågar hur ett helt samhälle eller en hel jurisdiktion klarar sig i fråga om ett välbefinnandetillstånd – barnfattigdom, trygghet i samhället, utbildningsnivå – med hjälp av ett litet antal rubrikindikatorer som ingen enskild myndighet äger eller helt styr över. Prestationsansvar frågar hur väl ett särskilt program eller en särskild myndighet presterar, med hjälp av tre slags resultatindikatorer som Friedmans ramverk insisterar på att man skiljer åt: hur mycket som gjordes (insats – prestationsmåttet), hur väl det gjordes (kvalitet) och om någon har det bättre (effekt – resultatet). RBA:s praktiska metod, ibland kallad ”turn the curve”-analys, arbetar baklänges från en vald indikator – genom att fråga vilken historia data berättar, vad som orsakar den historien, vilka partner som har en roll i att förändra den, vad som skulle fungera och vad organisationen föreslår att göra – en strukturerad version av det resonemang som en logisk modell och en förändringsteori formaliserar var för sig. RBA är ett exempel på ett vidare mönster av resultatstyrning, nära besläktat med den rutinmässiga praxis av uppföljning och utvärdering som används inom internationellt utvecklingsarbete och offentlig förvaltning, främjad i olika former av nationella regeringar, filantropiska finansiärer och multilaterala organ som en gemensam disciplin för att koppla utgifter till resultat och inte bara till prestationer.
Prestationer, resultat och scorecarden tillsammans. Skälet till att dessa ramverk hör hemma i ett ämne och inte tre är att de besvarar samma underliggande fråga vid olika punkter i en organisations plan- och rapporteringscykel. Den logiska modellen ritas vid utformningstillfället, för att ange orsakspåståendet. Resultatbaserat ansvarsutkrävande och jämförbara ramverk tillämpas vid rapporteringstillfället, för att hålla resultatmåtten ärliga om skillnaden mellan insats och effekt. Scorecarden för offentligt värde ligger ovanför båda, som den stående struktur som ser till att resultatevidens – hur den än har tagits fram – faktiskt når de samtal om legitimitet och kapacitet där budget- och mandatbeslut fattas, i stället för att stanna inom ett programteams egen rapportering. Tillsammans är de tre ramverken det som förvandlar offentligt värde från ett påstående en organisation gör om sig själv till ett påstående den kan försvara med evidens.
Bästa praxis
- Rita den logiska modellen före indikatorerna, inte efter. Att välja vad som ska mätas innan man är överens om vad man hävdar sig orsaka ger en lista på det som är lätt att räkna; rita kedjan från insatsvaror till effekt först och välj sedan mått som prövar varje länk i den.
- Rapportera mot alla tre scorecardredovisningarna tillsammans, inte en i taget. En legitimitetsuppdatering utan resultatevidens, eller en resultatrapport utan en kapacitetsredovisning av vad det kostade att upprätthålla, berättar var och en bara en del av den historia en finansiär eller tillsynsmyndighet behöver för att fatta ett verkligt beslut.
- Skilj insats, kvalitet och effekt uttryckligen i varje prestationsrapport. Lån Friedmans tredelning även utanför ett formellt RBA-genomförande; en rapport som blandar ”hållna tillfällen” med ”förbättrade liv” utan att skilja dem åt kommer alltid att ta det som är lättare att blåsa upp.
- Välj ett litet antal rubrikindikatorer på befolkningsnivå och behåll dem i år, inte kvartal. Tillstånd på befolkningsnivå rör sig långsamt och påverkas av många aktörer; att byta rubrikmått varje rapporteringscykel gör det omöjligt att avgöra om kurvan faktiskt vänder.
- Säg högt vad organisationen inte styr över. En logisk modell som antyder att ett enskilt program ensamt orsakar ett resultat på befolkningsnivå inbjuder till just den skepsis som undergräver legitimiteten när resultatet inte rör sig enligt plan; ange de övriga bidragande faktorerna från början.
- Publicera resultatramverket före budgetomgången, inte efter. Ett resultatramverk som tas fram för att motivera ett redan fattat budgetbeslut läser som efterhandskonstruktion; ett som publiceras före omgången är evidens för att ett verkligt beslut prövas mot det.
- Håll scorecarden och den logiska modellen som levande dokument, som ses över när sammanhanget förändras, inte som årliga artefakter. En logisk modell som ritats för en politisk miljö kan i det tysta sluta stämma med verkligheten – en ny lag, en demografisk förskjutning, en finansieringsändring – långt innan en planerad översyn skulle upptäcka det; behandla båda som ägda av leveransteamen, inte som en efterlevnadsövning för ett centralt kontor.
- Håll måtten i prestationsredovisningen nära dem som kan agera på dem. Ett programteam kan direkt förbättra kvalitets- och insatsmått; ge dem mål på befolkningsnivå som de inte kan påverka ensamma, och mätningen blir en källa till modlöshet snarare än riktning.
- Behandla ett missat resultatmål som en uppmaning att fråga varför, inte som en dom att dölja. Vanan i ”turn the curve” att fråga vad som orsakar trenden innan skuld fördelas håller resultatrapporteringen användbar; en kultur som straffar missade mål lär personalen att skydda siffran snarare än resultatet.
- Gör antagandena i förändringsteorin falsifierbara. Ett antagande som är så vagt formulerat att ingen evidens någonsin kunde motsäga det tillför ingen stringens till den logiska modellen; skriv antaganden så specifikt att en framtida utvärdering skulle kunna visa att de är fel.
Frågor att diskutera med ditt team
Kan vi för närvarande, för vårt viktigaste program, skilja en prestation från ett resultat – och använder vår egen personal de två orden rätt? Många organisationer rapporterar aktivitetsmått med resultatspråk utan att märka utbytet, vilket i det tysta urholkar den skillnad som det här ämnet behandlar som grundläggande. Använd frågan för att ta fram en verklig aktuell rapport och kontrollera, rad för rad, vilka tal som beskriver vad organisationen gjorde jämfört med vad som förändrades för någon annan. Diskutera var språket har glidit, och om glidningen speglar verklig förvirring om programmets logik eller helt enkelt att resultatdata är svårare att få fram än prestationsdata. Om det ärliga svaret är det senare är det ett fynd värt att anteckna i sig, inte ett skäl att fortsätta använda prestationsspråk förklätt till resultat.
Var slår vår nuvarande rapportering ihop insats, kvalitet och effekt till ett enda tal, och vad säger det talet egentligen en läsare? Friedmans tredelning finns därför att organisationer rutinmässigt väljer att rapportera insats – det lättaste av de tre att räkna – samtidigt som de antyder att de har rapporterat effekt. Använd frågan för att identifiera ett flaggskeppsmått som organisationen för närvarande rapporterar och räkna ut, gemensamt, vilket av de tre det faktiskt mäter. Diskutera vad som skulle krävas för att rapportera alla tre separat för det måttet, och om det skulle förändra hur organisationen uppfattas av dem som i dag bara ser det sammanblandade talet.
Om vårt rubrikresultat på befolkningsnivå inte rör sig under ytterligare två rapporteringscykler, vad skulle vi göra annorlunda, och vad skulle vi inte ändra? Frågan prövar om organisationen genuint använder sitt resultatramverk för att styra, eller bara tar fram det som en rapporteringsplikt. Använd den för att skilja vilka delar av den nuvarande strategin som är beroende av resultatdata och vilka som är fasta oavsett vad data visar. Diskutera ärligt om någon del av det nuvarande programmet skulle överleva oförändrad även om evidensen vände kraftigt emot det, eftersom det är den del som inte faktiskt styrs av ramverket.
Redovisar vår scorecard för offentligt värde, om vi har en, alla tre benen i triangeln, eller har den i det tysta blivit en scorecard för bara ett ben? Det är vanligt att ett resultatramverk börjar med genuin ambition kring alla tre benen och, under rapporteringstryck, glider in i ett dokument med bara resultat eller bara ekonomi. Använd frågan för att granska de två eller tre senaste formella rapporterna mot den tredelade redovisningsstruktur som det här ämnet beskriver. Diskutera vilket ben som tenderar att falla bort först under tidspress, och vad det säger om vilket ben organisationen underförstått behandlar som valfritt.
Vilka utanför den här organisationen skulle behöva hålla med om vår logiska modell för att den ska vara trovärdig, och har vi faktiskt frågat dem? En logisk modell som ritats helt av det programteam som utformade insatsen kan i det tysta koda optimistiska antaganden som ingen utanför rummet har förutsättningar att ifrågasätta. Använd frågan för att identifiera vilka externa aktörer – finansiärer, leveranspartner, de som programmet tjänar – som har ett intresse i att orsakskedjan stämmer, och om någon av dem faktiskt har granskat den. Diskutera vad som, om något, förändrades förra gången ett utomstående perspektiv bjöds in till den granskningen.
Vilken är den minsta uppsättning indikatorer på befolknings- och prestationsnivå vi skulle kunna rapportera som ändå låter en utomstående bedöma om den här organisationen skapar offentligt värde? Mätsystem tenderar att samla på sig indikatorer långt snabbare än de avvecklar dem, tills ramverket blir för stort för att någon faktiskt ska kunna använda det i ett beslut. Använd frågan för att som övning försöka halvera den nuvarande indikatoruppsättningen utan att förlora förmågan att besvara de frågor om befolkningsansvar och prestationsansvar som det här ämnet beskriver. Diskutera vilket motstånd övningen väcker, eftersom motstånd mot att stryka en viss indikator ofta är ett tecken på vad organisationen verkligen hålls ansvarig för, oavsett om det stämmer med dess uttalade strategi.
I praktiken: ett exempel på offentligt värde
Ett regionalt nätverk av familjestödsorganisationer – fiktivt, illustrerar ett mönster och är ingen rapport om någon verklig organisation – hade i ett decennium drivit hembesöksprogram för nyblivna föräldrar i låginkomstområden. Dess årsrapporter till finansiärer var detaljerade och, mätt i prestationer, imponerande: tusentals genomförda hembesök varje år, hög närvaro vid föräldrautbildningar, höga nöjdhetsbetyg från de familjer som deltog. Med stöd av den meritlistan hade nätverket vuxit stadigt och lade till nya lokalavdelningar ungefär vartannat år.
En ny nationell finansiär, som övervägde ett flerårigt bidrag stort nog att fördubbla nätverkets räckvidd, ställde en fråga som nätverkets egen styrelse aldrig formellt hade ställt till ledningen: vilken evidens visade att barn i familjer som fått hembesök faktiskt klarade sig bättre, senare, än jämförbara barn vars familjer inte hade fått det. Nätverkets ledning insåg, medan den arbetade igenom frågan, att dess rapportering aldrig hade skilt insats från effekt. Besöksantal och nöjdhetsbetyg var genuin evidens för att programmet genomfördes och togs emot väl; ingetdera var evidens för att det förändrade ett barns utvecklingsresultat, vilket var det påstående som låg inbäddat i nätverkets eget uppdragsformulär och, underförstått, i varje bidragsansökan det någonsin skrivit.
Nätverket byggde en logisk modell från grunden, med utgångspunkt i de resultat det faktiskt ville uppnå – förbättrade indikatorer för tidig barnutveckling, färre fall av styrkt barnförsummelse, starkare föräldrasjälvförtroende – och arbetade baklänges till de aktiviteter och prestationer som vart och ett var avsett att bero på, och namngav antagandena däremellan uttryckligen. Det antog en förenklad struktur för resultatbaserat ansvarsutkrävande: befolkningsindikatorer följda på grannskapsnivå och delade med lokala skolor och hälsotjänster, jämte prestationsindikatorer som dess egna team direkt kunde agera på – besöksfrekvens, genomförda utbildningar och personalbedömt föräldrasjälvförtroende efter tre och tolv månader. Två av de fem resultatindikatorerna rörde sig inte som man hoppats i ett grannskap under den första rapporteringscykeln. I stället för att dämpa resultatet använde nätverket sin egen ”turn the curve”-process för att undersöka saken, fann att en förändring i den lokala bemanningen av barnhälsovården hade stört remissvägarna och justerade sina partnerskapsarrangemang snarare än sin kärnmodell. Finansiären förnyade och utökade bidraget och angav rapporteringens ärlighet, inte frånvaron av ett bakslag, som skäl till sitt förtroende.
Fyra sektorperspektiv
Lokal förvaltning
En kommuns resultatramverk ligger vanligen inuti en vidare uppsättning nationellt definierade indikatorer som den inte har valt men måste rapportera mot, jämte lokalt valda mått som speglar kommunens egna prioriteringar. Den dubbla strukturen innebär att en lokal scorecard ofta måste förena två målgrupper med olika frågor – en nationell inspektör som frågar om efterlevnad av en standardiserad indikatoruppsättning, och lokala invånare som frågar om ett särskilt, synligt lokalt förhållande, såsom en viss gata eller tjänst. Logiska modeller i kommunal skala är vanligen lättast att bygga för en enskild tjänst (en ändring av avfallsinsamlingen, en omdaning av ett bibliotek) och svårast att bygga trovärdigt för tvärgående resultat som samhällssammanhållning, där många aktörer utanför kommunens kontroll också bidrar.
Nationell förvaltning
Nationella resultatramverk verkar i en skala där skillnaden mellan befolkningsansvar och prestationsansvar i resultatbaserat ansvarsutkrävande blir nödvändig snarare än valfri: en nationell hälso- eller utbildningsindikator påverkas av hundratals program, av vilka bara ett fåtal direkt finansieras av något enskilt departement, så att ett enskilt ministerium som hävdar ensam äran eller skulden för en nationell trend sällan är försvarbart. Nationella regeringar är också den vanligaste källan till stora, centralt påbjudna resultatramverk som leveransorgan längre ned i kedjan måste anta, vilket skapar den återkommande risken att ramverket utformas för aggregering och jämförelse mellan departement snarare än för att faktiskt styra något enskilt programs leverans.
Social sektor och ideell sektor
Ideella organisationer och icke-statliga organisationer (NGO) bygger oftare sina egna logiska modeller och förändringsteorier från grunden än antar ett ramverk som lämnats ned av en auktoriserande part, eftersom deras finansiärer ofta är de som ber om orsaksargumentet snarare än de som tillhandahåller en standardmall. Det ger organisationer i social sektor större frihet att utforma ett resultatramverk som passar deras faktiska programlogik, men också större exponering för finansiärsdriven mättrötthet, där varje bidrag har sina egna rapporteringskrav och en organisation slutar med att underhålla flera parallella resultatramverk för samma underliggande arbete. Resultatbaserat ansvarsutkrävandes uppdelning i befolkning och prestation är särskilt användbar här, eftersom den ger en ideell organisation språk att tydligt säga till en finansiär att den kan hållas ansvarig för sina egna prestationsmått men inte, ensam, för en befolkningsindikator som många andra aktörer också påverkar.
Multilaterala och internationella organ
Multilaterala organ driver resultatstyrning i en skala där den logiska modellens antaganden färdas över dussintals nationella sammanhang samtidigt, så en insatslogik som håller i ett land kan i det tysta falla i ett annat utan att den globala rubrikindikatorn avslöjar vilket sammanhang som är problemet. Resultatramverk i den miljön byggs ofta för att tillfredsställa flera givarregeringar samtidigt, var och en med sina egna rapporteringspreferenser, vilket driver mot standardiserade indikatoruppsättningar (av det slag som främjas genom internationell vägledning om resultatstyrning) på bekostnad av lokal specificitet. Glappet mellan en prestation som en genomförande partner snabbt kan rapportera – genomförda utbildningar, försedda mottagningar – och ett resultat som först syns i en nationell enkät år senare är som störst här, vilket gör disciplinen att uttryckligen ange den antagna orsakskedjan, i stället för att anta den, särskilt viktig.
Vanliga felmönster
Prestation som utger sig för att vara resultat. En organisation rapporterar aktivitetsmått med resultatspråk – ”förbättrad trygghet i samhället” när det faktiska måttet är genomförda patruller – antingen av genuin sammanblandning eller för att resultatdata är svårare och långsammare att samla in. Kostnaden visar sig när en extern granskare ber om resultatevidensen direkt och bara finner prestationer bakom påståendet, vilket skadar organisationens trovärdighet mer än ett måttligt, ärligt rapporterat resultat skulle ha gjort.
Indikatorspridning. En scorecard eller logisk modell samlar på sig mått snabbare än den avvecklar dem, driven av att varje ny intressents önskemål lägger till ytterligare en rad i stället för att ersätta en befintlig. Det slutliga resultatet är ett ramverk som är för stort för att någon chef faktiskt ska kunna använda det i ett beslut, vilket i det tysta för organisationen tillbaka till informellt omdöme medan det officiella ramverket blir en rapporteringsartefakt som ingen konsulterar.
Målkapning. Ett prestationsmått som väl har kopplats till finansiering eller belöning blir det personalen optimerar direkt snarare än det resultat som måttet var tänkt att representera – det mönster som Goodharts lag beskriver, där ett mått som används som mål slutar vara ett pålitligt mått. Hemvisten för den dynamiken i offentlig sektor särskilt, inklusive hur kvalitetssystem försöker upptäcka och begränsa den, finns på annat håll (se Ämne 3.11 — Kvalitet, säkerhet och prestationsstyrning); här är den viktig som skäl att hålla insats-, kvalitets- och effektmått åtskilda och att se över mål innan de förvränger beteende.
Tillskrivningsöverdrift. Ett programs rapportering antyder ensamt orsaksansvar för ett resultat på befolkningsnivå som många andra aktörer också påverkar, antingen genom slarvigt språkbruk eller genuin tro. När resultatet inte rör sig – ofta av skäl utanför programmets kontroll – tar organisationen på sig skuld som är oproportionerlig mot dess faktiska bidrag, vilket sedan avskräcker från ärlig rapportering av bakslag i framtida cykler.
Ramverk utan återkoppling. En organisation bygger en genuint välutformad logisk modell och ett genuint välutformat resultatramverk och ser sedan aldrig över det mot faktiska resultat, så att det stelnar till ett fast dokument i stället för ett levande ledningsverktyg. Strategin under det fortsätter att drivas på de ursprungliga antagandena år efter att evidensen skulle ha motiverat en revidering, på bekostnad av just den anpassningsförmåga som ramverket var avsett att möjliggöra.
Mognadsmodell
| Delområde | Initiera | Utveckla | Standardisera | Styra | Orkestrera |
|---|---|---|---|---|---|
| Logiska modeller finns för nyckelprogram | Orsakslogiken förstås informellt av programpersonalen, inte nedskriven | Vissa program har en skriftlig logisk modell, med varierande djup | Varje större program har en logisk modell byggd efter en gemensam mall | Logiska modeller ses över och revideras mot faktisk evidens enligt en fast cykel | Logiska modeller delas och revideras gemensamt med leveranspartner och finansiärer |
| Prestationer och resultat rapporteras separat | Rapporteringen blandar insats, kvalitet och effekt i enskilda rubriktal | Vissa rapporter skiljer dem åt, men inkonsekvent mellan teamen | Ett standardiserat rapportformat upprätthåller uppdelningen i insats, kvalitet och effekt | Resultatbakslag utlöser en definierad ”varför”-undersökning, inte bara en anteckning | Effektdata delas offentligt och används gemensamt med partner för att styra resurser |
| Scorecarden för offentligt värde täcker alla tre benen | Ingen formell scorecard; rapporteringen är ad hoc och vanligen enbart prestationsbaserad | En scorecard finns men ett ben (ofta kapaciteten) är tunt eller saknas | Alla tre benen rapporteras tillsammans enligt en fast cykel | Scorecardens resultat matar direkt in i budget- och mandatbeslut | Scorecarden utvecklas gemensamt med auktoriserande parter och medborgare och uppdateras när sammanhanget förskjuts |
| Befolkningsindikatorer skiljs från prestationsindikatorer | Skiljs inte åt; en sammanblandad uppsättning tal används för båda syftena | Skillnaden förstås av vissa medarbetare, men tillämpas inte konsekvent | En definierad, bibehållen uppsättning befolkningsindikatorer vid sidan av programmens prestationsmått | Befolkningstrender analyseras för orsak innan ansvar fördelas | Befolkningsindikatorer ägs gemensamt över myndigheter och partner, gemensamt resurssatta |
Checklista
- Rita en logisk modell (insatsvaror, aktiviteter, prestationer, resultat, effekt) för varje större program innan dess indikatorer fastställs.
- Skriv förändringsteorins orsaksantaganden så specifikt att evidens skulle kunna motsäga dem.
- Skilj insats-, kvalitets- och effektmått åt i varje prestationsrapport, även utanför ett formellt genomförande av resultatbaserat ansvarsutkrävande.
- Bygg eller uppdatera scorecarden för offentligt värde så att alla tre benen – legitimitet, värde, kapacitet – rapporteras tillsammans, inte var för sig.
- Välj en liten, stabil uppsättning rubrikindikatorer på befolkningsnivå och förbind dig att behålla dem över flera rapporteringscykler.
- Kontrollera aktuella rapporter för språk som beskriver en prestation med resultatord, och rätta det.
- Publicera resultatramverket före nästa budget- eller finansieringsomgång, inte som dess efterspel.
- Namnge uttryckligen vad organisationen inte ensam styr över för varje påstående på befolkningsnivå som den rapporterar.
- Fastställ en fast cykel för att se över logiska modeller mot faktisk evidens, inte bara vid en planerad formell utvärdering.
- Identifiera minst en extern intressent som ska granska den logiska modellens antaganden innan den fastställs.
- Granska den aktuella indikatoruppsättningen för möjligheter att avveckla mått som ingen använder i ett faktiskt beslut.
- Kom i förväg överens om vad organisationen ska göra annorlunda om ett rubrikresultat inte rör sig under två rapporteringscykler.
Viktiga källor
- Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) och Recognizing Public Value (2013) — de ursprungliga texterna om scorecarden för offentligt värde, som anpassar balanced scorecard-traditionen till den strategiska triangelns tre ben.
- Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities — den ursprungliga texten om resultatbaserat ansvarsutkrävande, inklusive skillnaden mellan befolkningsansvar och prestationsansvar samt ”turn the curve”-analys.
- Robert Kaplans och David Nortons litteratur om balanced scorecard — den privata sektorns källa som Moore anpassade för offentligt värde.
- OECD:s vägledning om resultatstyrning och utvärderingsterminologi, som används i utvecklingsarbete och offentlig förvaltning för att standardisera språket om resultat och effekt.
- Världsbankens Independent Evaluation Groups vägledning om resultatramverk och förändringsteorier för utvecklingsinsatser.
- Vermont Agency of Human Services offentliga redogörelse för tillämpningen av resultatbaserat ansvarsutkrävande på delstats- och samhällsnivå — ett exempel på ramverket i levande statlig användning.
Referenser
- Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
- Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
- Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
- Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
- Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
- Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
- Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
- Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
- Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
- Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
- Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf