De publieke-waardescorecard en resultatenkaders

Waarom dit ertoe doet bij publieke waarde

De meeste leiders in de publieke en sociale sector kunnen een strategiedocument produceren dat vloeiend over uitkomsten spreekt. Veel minder kunnen een jaar later het bewijs leveren of die uitkomsten daadwerkelijk zijn bewogen. De kloof tussen beide is meestal geen tekort aan data – de meeste organisaties verzamelen enorme hoeveelheden – maar een tekort aan een gedisciplineerde structuur die ruwe activiteitentellingen omzet in een verdedigbare bewering over gecreëerde waarde. Onderwerp 1.2 — De strategische driehoek: legitimiteit, waarde en capaciteit zette legitimiteit en draagvlak, de waardepropositie en operationele capaciteit uiteen als de drie poten waaraan de strategie van een organisatie tegelijk moet voldoen (zie Onderwerp 1.2 — De strategische driehoek: legitimiteit, waarde en capaciteit). Dit onderwerp gaat over de instrumenten die die drie poten meetbaar maken in plaats van louter beweerd.

De inzet is onmiddellijk en terugkerend. Een financier of een wetgever vraagt bij de volgende begrotingsronde: “wat hebben wij voor dit geld gekregen” – en een organisatie met alleen outputtellingen (geopende klinieken, afgehandelde zaken, gegeven trainingen) heeft geen antwoord op de uitkomstvraag eronder. Een programmateam gelooft dat het slaagt omdat de activiteit hoog en druk is, zonder activiteit te hebben gescheiden van de verandering in de wereld die de activiteit moest veroorzaken. Een bestuur keurt een nieuw initiatief goed op grond van een overtuigend verhaal en heeft een jaar later geen overeengekomen basis om te besluiten of het moet worden voortgezet, opgeschaald of gestopt. Elk daarvan is een meetfalen met strategische gevolgen, geen technisch ongemak.

De instrumenten in dit onderwerp – Mark Moores Public Value Scorecard, het logisch model en resultaatgerichte verantwoording en haar verwanten – lossen niet elk meetprobleem op waarmee een organisatie in de publieke of sociale sector te maken heeft. Latere onderwerpen behandelen de moeilijkere, meer technische lagen: uitkomsten in geld uitdrukken via kosten-batenanalyse en kosteneffectiviteitsanalyse (zie Onderwerp 2.2 — Maatschappelijke kosten-batenanalyse en kosteneffectiviteitsanalyse), uitkomsten waarderen die zich aan monetarisering onttrekken via social return on investment (zie Onderwerp 2.3 — Social return on investment en effectmeting), en vaststellen dat een programma een waargenomen verandering daadwerkelijk heeft veroorzaakt via formele programma-evaluatie (zie Onderwerp 2.4 — Econometrie in de publieke sector en programma-evaluatie). Wat dit onderwerp levert, is de laag onder alle drie: een gedeeld vocabulaire en een klein aantal duurzame kaders om, voordat dat technische werk begint, vast te stellen wat een organisatie daadwerkelijk probeert te veranderen, voor wie en hoe zij zal weten of het lukt.

Kernbegrippen

De Public Value Scorecard is Mark H. Moores voorstel om elke poot van de strategische driehoek te volgen met een eigen set indicatoren, in plaats van terug te vallen op de financiële en operationele maatstaven die een balanced scorecard uit de private sector zou gebruiken. Moore paste de balanced scorecard – het instrument van Robert Kaplan en David Norton om een bedrijf te volgen vanuit financiële, klant-, interne-proces- en leerperspectieven – aan omdat één financiële bottom line een organisatie niet kan vertegenwoordigen wier centrale bestaansclaim is dat zij waarde creëert die geen marktprijs vangt. De Public Value Scorecard vraagt een organisatie in plaats daarvan maatstaven te specificeren onder drie koppen die de driehoek spiegelen: een rekening voor legitimiteit en draagvlak (is de autoriserende omgeving tevreden – financiers, toezichthouders, het publiek), een rekening voor publieke waarde (wordt de waardepropositie gerealiseerd – uitkomsten voor burgers en cliënten) en een rekening voor operationele capaciteit (kan de organisatie de levering volhouden en verbeteren – personeel, systemen, financiën, partnerschappen). De discipline zit in het weigeren één rekening voor het geheel te laten doorgaan; een organisatie die alleen financiële efficiëntie rapporteert, of alleen cliënttevredenheid, heeft helemaal niet tegen de driehoek gerapporteerd.

Logische modellen geven de waarderekening van de scorecard haar interne structuur. Een logisch model (logic model) zet de causale keten uiteen die een programma beweert te doorlopen: input (het geld, het personeel en de andere toegezegde middelen), activiteiten (wat de organisatie ermee doet), output (de directe, telbare producten van die activiteiten – gegeven sessies, verstrekte vergunningen, bezochte huishoudens), uitkomsten (de veranderingen in kennis, gedrag, toestand of status die de output moet teweegbrengen, doorgaans over maanden of enkele jaren) en impact (de langetermijnverandering, vaak op bevolkingsniveau, waaraan de uitkomsten moeten bijdragen, meestal gedeeld met andere actoren en moeilijker aan één programma toe te schrijven). Het onderscheid tussen output en uitkomst is het meest ingrijpende in dit onderwerp: een output is iets wat de organisatie deed; een uitkomst is iets wat voor iemand anders veranderde als gevolg daarvan. De output van een trainingsprogramma is het aantal getrainde mensen; de uitkomst is wat die mensen daarna kunnen doen, of hoe hun omstandigheden veranderen, wat ze eerder niet konden.

Veranderingstheorie (theory of change) is de nauw verwante discipline om de aannames achter een logisch model expliciet te maken in plaats van impliciet – waarom de organisatie gelooft dat activiteit A daadwerkelijk uitkomst B zal opleveren en onder welke omstandigheden die causale bewering zou kunnen falen. Een theory of change is niet simpelweg een gedetailleerder logisch model; zij legt de nadruk op de “als... dan... omdat”-redenering en de contextuele aannames die het vakjes-en-pijlendiagram van een logisch model vaak onuitgesproken laat. Onderwerp 2.3 gebruikt de veranderingstheorie dieper als uitgangspunt voor effectmeting in de sociale sector (zie Onderwerp 2.3 — Social return on investment en effectmeting); hier is zij vooral van belang als de discipline die een logisch model eerlijk houdt over wat het werkelijk beweert te veroorzaken, in onderscheid van wat het slechts hoopt dat volgt.

Resultaatgerichte verantwoording (results-based accountability, RBA) is het bekendste lid van een familie van op uitkomsten gebaseerde kaders die in overheden en de sociale sector worden gebruikt om uitkomsten op bevolkingsniveau te verbinden met de prestaties van specifieke programma’s. Ontwikkeld door Mark Friedman en uiteengezet in zijn boek Trying Hard Is Not Good Enough, scheidt RBA twee afzonderlijke soorten verantwoording die organisaties routinematig door elkaar halen. Populatieverantwoording vraagt hoe een hele gemeenschap of rechtsgebied het doet op een welzijnsvoorwaarde – kinderarmoede, veiligheid in de gemeenschap, opleidingsniveau – met een klein aantal hoofdindicatoren die geen enkele dienst bezit of volledig beheerst. Prestatieverantwoording vraagt hoe goed een specifiek programma of een specifieke dienst het doet, met drie soorten prestatie-indicator die Friedmans kader onderscheidt: hoeveel er is gedaan (inspanning – de outputtelling), hoe goed het is gedaan (kwaliteit) en of iemand er beter van wordt (effect – de uitkomst). De praktische methode van RBA, soms “keer de curve om”-analyse genoemd, werkt terug vanaf een gekozen indicator – vragend welk verhaal de data vertellen, wat dat verhaal veroorzaakt, wie de partners zijn met een rol in het veranderen ervan, wat zou werken en wat de organisatie voorstelt te doen – een gestructureerde versie van de redenering die een logisch model en een veranderingstheorie afzonderlijk formaliseren. RBA is één voorbeeld van een breder patroon van resultaatgericht management, nauw verwant aan de routinepraktijk van monitoring en evaluatie in internationale ontwikkeling en openbaar bestuur, in uiteenlopende vormen gepromoot door nationale overheden, filantropische financiers en multilaterale organen als gedeelde discipline om uitgaven te verbinden met uitkomsten en niet alleen met output.

Output, uitkomsten en de scorecard samen. De reden dat deze kaders in één onderwerp horen en niet in drie, is dat zij dezelfde onderliggende vraag beantwoorden op verschillende punten in de plannings- en rapportagecyclus van een organisatie. Het logisch model wordt getekend bij het ontwerp, om de causale bewering vast te leggen. Resultaatgerichte verantwoording en vergelijkbare kaders worden toegepast bij de rapportage, om prestatiemaatstaven eerlijk te houden over het verschil tussen inspanning en effect. De Public Value Scorecard staat boven beide, als de vaste structuur die ervoor zorgt dat uitkomstbewijs – hoe het ook is geproduceerd – daadwerkelijk de gesprekken over legitimiteit en capaciteit bereikt waar begrotings- en mandaatbeslissingen worden genomen, in plaats van binnen de eigen rapportage van een programmateam te blijven. Samen maken de drie kaders van publieke waarde een bewering die een organisatie over zichzelf doet tot een bewering die zij met bewijs kan verdedigen.

Beste praktijken

1. Teken het logisch model vóór de indicatoren, niet erna. Maatstaven kiezen voordat u het eens bent over wat u beweert te veroorzaken, levert een lijst op van wat gemakkelijk te tellen is; teken eerst de keten van input tot impact en kies dan maatstaven die elke schakel daarin toetsen.
2. Rapporteer tegen alle drie de scorecardrekeningen tegelijk, niet één voor één. Een legitimiteitsupdate zonder uitkomstbewijs, of een uitkomstrapport zonder capaciteitsrekening van wat het kostte het vol te houden, vertelt elk slechts een deel van het verhaal dat een financier of toezichthouder nodig heeft om een echt besluit te nemen.
3. Scheid inspanning, kwaliteit en effect expliciet in elk prestatierapport. Leen Friedmans driedeling, ook buiten een formele RBA-implementatie; een rapport dat “gegeven sessies” met “verbeterde levens” vermengt zonder ze te onderscheiden, valt altijd terug op wat gemakkelijker op te blazen is.
4. Kies een klein aantal hoofdindicatoren op bevolkingsniveau en houd die jaren vast, niet kwartalen. Omstandigheden op bevolkingsniveau bewegen langzaam en worden door veel actoren beïnvloed; elke rapportagecyclus de hoofdmaatstaf wisselen maakt het onmogelijk te zien of de curve werkelijk omkeert.
5. Benoem hardop wat de organisatie niet beheerst. Een logisch model dat impliceert dat één programma een uitkomst op bevolkingsniveau volledig veroorzaakt, roept precies het scepticisme op dat legitimiteit ondermijnt wanneer de uitkomst niet volgens schema beweegt; noem de andere bijdragende factoren vanaf het begin.
6. Publiceer het resultatenkader vóór de begrotingsronde, niet erna. Een resultatenkader dat is geproduceerd om een reeds genomen begrotingsbesluit te rechtvaardigen, leest als rationalisatie achteraf; een kader dat vóór de ronde is gepubliceerd, is bewijs dat een echt besluit eraan wordt getoetst.
7. Houd de scorecard en het logisch model levende documenten, herzien wanneer de context verandert, geen jaarlijkse artefacten. Een logisch model dat voor één beleidsomgeving is getekend, kan ongemerkt ophouden met de werkelijkheid overeen te komen – een nieuwe wet, een demografische verschuiving, een financieringswijziging – lang voordat een geplande herziening dat zou opmerken; behandel beide als eigendom van uitvoerende teams, niet als compliance-oefening voor een centraal kantoor.
8. Houd de maatstaven van de prestatierekening dicht bij de mensen die erop kunnen handelen. Een programmateam kan kwaliteits- en inspanningsmaatstaven rechtstreeks verbeteren; geef hun doelen voor uitkomsten op bevolkingsniveau die zij niet alleen kunnen bewegen en de meting wordt een bron van demotivatie in plaats van richting.
9. Behandel een gemist uitkomstdoel als aanleiding om te vragen waarom, niet als oordeel dat moet worden verborgen. De gewoonte van “keer de curve om” om te vragen wat de trend veroorzaakt voordat schuld wordt toegewezen, houdt uitkomstenrapportage nuttig; een cultuur die gemiste doelen straft, leert personeel het getal te beschermen in plaats van de uitkomst.
10. Maak de aannames in de veranderingstheorie falsifieerbaar. Een aanname die zo vaag is geschreven dat geen enkel bewijs haar ooit kan tegenspreken, voegt geen nauwgezetheid toe aan het logisch model; schrijf aannames zo specifiek dat een latere evaluatie kan laten zien dat ze onjuist zijn.

Vragen om met uw team te bespreken

Kunnen wij voor ons belangrijkste programma op dit moment een output van een uitkomst onderscheiden – en gebruikt ons eigen personeel die twee woorden correct? Veel organisaties rapporteren activiteitentellingen in de taal van uitkomsten zonder de vervanging op te merken, wat het verschil dat dit onderwerp als fundamenteel behandelt ongemerkt uitholt. Gebruik deze vraag om een echt huidig rapport erbij te pakken en regel voor regel te controleren welke getallen beschrijven wat de organisatie deed en welke wat voor iemand anders veranderde. Bespreek waar de taal is afgedreven en of die drift voortkomt uit echte verwarring over de logica van het programma of simpelweg uit het feit dat uitkomstdata moeilijker te krijgen zijn dan outputdata. Als het eerlijke antwoord het laatste is, is dat zelf een bevinding die het waard is te noteren, geen reden om outputtaal verkleed als uitkomsten te blijven gebruiken.

Waar vouwt onze huidige rapportage inspanning, kwaliteit en effect samen tot één getal, en wat vertelt dat getal een lezer werkelijk? Friedmans driedeling bestaat omdat organisaties routinematig terugvallen op het rapporteren van inspanning – het gemakkelijkst te tellen van de drie – terwijl ze impliceren effect te hebben gerapporteerd. Gebruik deze vraag om één vlaggenschipmaatstaf te kiezen die de organisatie nu rapporteert en als groep uit te zoeken welke van de drie zij werkelijk meet. Bespreek wat nodig is om voor die maatstaf alle drie afzonderlijk te rapporteren en of dat zou veranderen hoe de organisatie wordt gezien door de mensen die nu alleen het vermengde getal zien.

Als onze hoofduitkomst op bevolkingsniveau nog twee rapportagecycli niet beweegt, wat zouden wij dan anders doen en wat zouden wij niet veranderen? Deze vraag toetst of de organisatie haar resultatenkader werkelijk gebruikt om te sturen, of het slechts produceert als rapportageverplichting. Gebruik haar om te onderscheiden welke delen van de huidige strategie afhankelijk zijn van de uitkomstdata en welke vaststaan, wat de data ook laten zien. Bespreek eerlijk of enig deel van het huidige programma ongewijzigd zou voortbestaan, zelfs als het bewijs zich definitief tegen het programma keerde, want dat deel wordt niet werkelijk door het kader gestuurd.

Rapporteert onze Public Value Scorecard, als wij die hebben, over alle drie de poten van de driehoek, of is zij ongemerkt een scorecard voor slechts één poot geworden? Het komt vaak voor dat een resultatenkader begint met een echte ambitie voor drie poten en onder rapportagedruk wegdrijft naar een document met alleen uitkomsten of alleen financiën. Gebruik deze vraag om de laatste twee of drie formele rapporten te toetsen aan de structuur met drie rekeningen die dit onderwerp beschrijft. Bespreek welke poot onder tijdsdruk het eerst wordt weggelaten en wat dat zegt over welke poot de organisatie impliciet als optioneel behandelt.

Wie buiten deze organisatie zou het met ons logisch model eens moeten zijn om het geloofwaardig te maken, en hebben wij het hun werkelijk gevraagd? Een logisch model dat volledig door het programmateam is getekend dat de interventie ontwierp, kan ongemerkt optimistische aannames coderen die niemand buiten de ruimte kan betwisten. Gebruik deze vraag om vast te stellen welke externe actoren – financiers, uitvoeringspartners, de mensen die het programma bedient – belang hebben bij de juistheid van de causale keten en of een van hen het daadwerkelijk heeft beoordeeld. Bespreek wat er, indien iets, veranderde de laatste keer dat een extern perspectief in die toetsing werd uitgenodigd.

Wat is de kleinste set indicatoren op populatie- en prestatieniveau die wij zouden kunnen rapporteren en die een buitenstaander nog steeds laat beoordelen of deze organisatie publieke waarde creëert? Meetsystemen verzamelen na verloop van tijd veel sneller indicatoren dan zij ze afschaffen, totdat het kader te groot wordt voor wie dan ook om in een besluit te gebruiken. Gebruik deze vraag om als oefening te proberen de huidige set indicatoren te halveren zonder het vermogen te verliezen de vragen over populatieverantwoording en prestatieverantwoording te beantwoorden die dit onderwerp beschrijft. Bespreek welke weerstand die oefening oproept, aangezien weerstand tegen het schrappen van een specifieke indicator vaak een teken is van waarvoor de organisatie werkelijk ter verantwoording wordt geroepen, of dat nu overeenkomt met haar uitgesproken strategie of niet.

In de praktijk: een voorbeeld van publieke waarde

Een regionaal netwerk van gezinsondersteunende goede doelen – fictief, illustratief voor een patroon en geen verslag over een bestaande organisatie – had tien jaar lang huisbezoekprogramma’s voor nieuwe ouders in wijken met lage inkomens uitgevoerd. De jaarverslagen aan financiers waren gedetailleerd en naar outputmaatstaven indrukwekkend: duizenden voltooide huisbezoeken per jaar, hoge opkomst bij opvoedworkshops en sterke tevredenheidsscores van deelnemende gezinnen. Op grond van dat track record was het netwerk gestaag gegroeid, ongeveer elke twee jaar met nieuwe lokale vestigingen.

Een nieuwe nationale financier, die een meerjarige subsidie overwoog die groot genoeg was om het bereik van het netwerk te verdubbelen, stelde een vraag die het bestuur van het netwerk zelf nooit formeel aan de directie had gesteld: welk bewijs liet zien dat kinderen in gezinnen die de huisbezoeken kregen later daadwerkelijk beter presteerden dan vergelijkbare kinderen wier gezinnen ze niet hadden gekregen. De leiding van het netwerk besefte, terwijl zij de vraag doorwerkte, dat haar rapportage inspanning en effect nooit had gescheiden. Bezoektellingen en tevredenheidsscores waren echt bewijs dat het programma werd uitgevoerd en goed werd ontvangen; geen van beide was bewijs dat het de ontwikkeling van kinderen veranderde, de bewering die was ingebed in de eigen missieverklaring van het netwerk en impliciet in elke subsidieaanvraag die het ooit had geschreven.

Het netwerk bouwde een logisch model vanaf nul, uitgaande van de uitkomsten die het werkelijk wilde – betere indicatoren voor vroege kinderontwikkeling, minder vastgestelde gevallen van kinderverwaarlozing, meer vertrouwen bij ouders – en werkte terug naar de activiteiten en outputs waarvan elk moest afhangen, waarbij de aannames daartussen expliciet werden benoemd. Het nam een vereenvoudigde resultaatgerichte-verantwoordingsstructuur aan: populatie-indicatoren gevolgd op buurtniveau en gedeeld met lokale scholen en gezondheidsdiensten, naast prestatie-indicatoren waarop de eigen teams rechtstreeks konden handelen – bezoekfrequentie, voltooiing van workshops en door het personeel beoordeeld vertrouwen van ouders na drie en twaalf maanden. Twee van de vijf uitkomstindicatoren bewogen in één buurt in de eerste rapportagecyclus niet zoals gehoopt. In plaats van het resultaat te onderdrukken, gebruikte het netwerk zijn eigen “keer de curve om”-proces om te onderzoeken, ontdekte dat een wijziging in de lokale bezetting van consultatiebureaus de verwijsroutes had verstoord, en paste zijn partnerschapsafspraken aan in plaats van zijn kernmodel. De financier verlengde en vergrootte de subsidie en noemde de eerlijkheid van de rapportage, niet de afwezigheid van een tekortkoming, als reden voor het vertrouwen.

Vier sectorperspectieven

Lokale overheid

Het resultatenkader van een lokale overheid zit doorgaans binnen een bredere set nationaal gedefinieerde indicatoren die zij niet heeft gekozen maar waartegen zij moet rapporteren, naast lokaal gekozen maatstaven die de prioriteiten van de eigen raad weerspiegelen. Deze dubbele structuur betekent dat een lokale scorecard vaak twee doelgroepen met verschillende vragen moet verzoenen – een nationale inspecteur die vraagt naar naleving van een standaardset indicatoren, en lokale bewoners die vragen naar een specifieke, zichtbare lokale toestand, zoals een bepaalde straat of dienst. Logische modellen op het niveau van de lokale overheid zijn doorgaans het gemakkelijkst te bouwen voor één dienst (een wijziging in de afvalinzameling, een herinrichting van de bibliotheek) en het moeilijkst geloofwaardig te bouwen voor dwarsverbanden zoals gemeenschapscohesie, waaraan veel actoren buiten de beheersing van de gemeente ook bijdragen.

Nationale overheid

Nationale resultatenkaders werken op een schaal waarop het onderscheid tussen populatieverantwoording en prestatieverantwoording uit resultaatgerichte verantwoording essentieel wordt in plaats van optioneel: een nationale gezondheids- of onderwijsindicator wordt beïnvloed door honderden programma’s, waarvan slechts enkele rechtstreeks door één departement worden gefinancierd, zodat een enkel ministerie dat de volledige eer of schuld voor een nationale trend opeist zelden verdedigbaar is. Nationale overheden zijn ook de meest gebruikelijke bron van grote, centraal opgelegde resultatenkaders die uitvoeringsorganen verderop in de keten moeten overnemen, wat het terugkerende risico schept dat het kader is ontworpen voor aggregatie en vergelijking tussen departementen en niet om de uitvoering van één programma werkelijk te sturen.

Sociale sector en non-profit

Non-profitorganisaties en niet-gouvernementele organisaties (ngo’s) bouwen vaker hun eigen logische modellen en veranderingstheorieën vanaf de basis op dan een kader over te nemen dat een machtiger hun aanreikt, omdat hun financiers vaak degenen zijn die om de causale redenering vragen in plaats van een standaardsjabloon te leveren. Dit geeft organisaties in de sociale sector meer vrijheid om een resultatenkader te ontwerpen dat bij hun werkelijke programmalogica past, maar ook meer blootstelling aan door financiers gedreven meetmoeheid, waarbij elke subsidie haar eigen rapportagevereisten meebrengt en een organisatie uiteindelijk meerdere parallelle resultatenkaders voor hetzelfde onderliggende werk onderhoudt. Het onderscheid tussen populatie en prestatie in resultaatgerichte verantwoording is hier bijzonder nuttig, omdat het een non-profit taal geeft om een financier duidelijk te zeggen dat zij kan worden aangesproken op haar eigen prestatiemaatstaven maar niet, alleen, op een populatie-indicator die ook veel andere actoren beïnvloeden.

Multilateraal en internationaal

Multilaterale organen voeren resultaatgericht management uit op een schaal waarop de aannames van het logisch model tegelijk over tientallen nationale contexten reizen, zodat een interventielogica die in het ene land geldt in het andere ongemerkt kan falen zonder dat de mondiale hoofdindicator onthult welke context het probleem is. Resultatenkaders in deze setting worden vaak gebouwd om meerdere donorlanden tegelijk tevreden te stellen, elk met eigen rapportagevoorkeuren, wat neigt naar gestandaardiseerde indicatorsets (van het soort dat wordt gepromoot via internationale richtlijnen voor resultaatgericht management) ten koste van lokale specificiteit. De kloof tussen een output die een uitvoerende partner snel kan rapporteren – gegeven trainingen, bevoorrade klinieken – en een uitkomst die pas jaren later in een nationale enquête zichtbaar wordt, is hier het breedst, waardoor de discipline van het expliciet benoemen van de veronderstelde causale keten, in plaats van haar aan te nemen, bijzonder belangrijk is.

Veelvoorkomende faalpatronen

Output die voor uitkomst doorgaat. Een organisatie rapporteert activiteitentellingen in uitkomsttaal – “verbeterde veiligheid in de gemeenschap” terwijl de werkelijke maatstaf uitgevoerde patrouilles is – uit echte verwarring of omdat uitkomstdata moeilijker en trager te verzamelen zijn. De kosten komen aan het licht wanneer een externe beoordelaar rechtstreeks om het uitkomstbewijs vraagt en achter de bewering alleen outputs aantreft, wat de geloofwaardigheid van de organisatie meer schaadt dan een bescheiden, eerlijk gerapporteerde uitkomst zou hebben gedaan.

Indicatorwildgroei. Een scorecard of logisch model verzamelt maatstaven sneller dan het ze afschaft, gedreven doordat elk nieuw verzoek van een belanghebbende één regel toevoegt in plaats van een bestaande te vervangen. Het uiteindelijke resultaat is een kader dat te groot is voor welke manager ook om in een besluit te gebruiken, wat de organisatie ongemerkt terugbrengt tot informeel oordeel terwijl het officiële kader een rapportageartefact wordt dat niemand raadpleegt.

Doelkaping. Een prestatiemaatstaf die eenmaal aan financiering of beloning is gekoppeld, wordt datgene waarvoor het personeel rechtstreeks optimaliseert in plaats van de uitkomst waarvoor hij een benadering moest zijn – het patroon dat de wet van Goodhart beschrijft, waarin een maatstaf die als doel wordt gebruikt ophoudt een betrouwbare maatstaf te zijn. Het onderwerp waar die dynamiek specifiek in de publieke sector thuishoort, inclusief hoe kwaliteitsregimes haar proberen te ontdekken en te beperken, is elders (zie Onderwerp 3.11 — Kwaliteit, veiligheid en prestatiemanagement); hier is zij van belang als reden om inspanning-, kwaliteit- en effectmaatstaven gescheiden te houden en doelen te herzien voordat ze gedrag verstoren.

Attributieoverreikking. Het rapport van een programma impliceert alleenverantwoordelijkheid voor een uitkomst op bevolkingsniveau die veel andere actoren ook beïnvloeden, door slordig taalgebruik of oprechte overtuiging. Wanneer de uitkomst niet beweegt – vaak om redenen buiten de controle van het programma – absorbeert de organisatie een schuld die niet in verhouding staat tot haar werkelijke bijdrage, wat vervolgens eerlijke rapportage van tekortkomingen in toekomstige cycli ontmoedigt.

Kader zonder feedback. Een organisatie bouwt een werkelijk goed ontworpen logisch model en resultatenkader en herziet het daarna nooit aan de hand van werkelijke resultaten, zodat het verhardt tot een vast document in plaats van een levend beheersinstrument. De strategie eronder blijft jarenlang draaien op de oorspronkelijke aannames nadat bewijs herziening zou hebben gerechtvaardigd, ten koste van het aanpassingsvermogen dat het kader moest mogelijk maken.

Volwassenheidsmodel

Checklist

• Teken voor elk groot programma een logisch model (input, activiteiten, outputs, uitkomsten, impact) voordat u de indicatoren definitief maakt.
• Schrijf de causale aannames van de veranderingstheorie zo specifiek dat bewijs ze kan tegenspreken.
• Scheid inspanning-, kwaliteit- en effectmaatstaven in elk prestatierapport, ook buiten een formele implementatie van resultaatgerichte verantwoording.
• Bouw of werk de Public Value Scorecard bij zodat alle drie de poten – legitimiteit, waarde, capaciteit – samen worden gerapporteerd, niet afzonderlijk.
• Kies een kleine, stabiele set hoofdindicatoren op bevolkingsniveau en verbind u eraan die over meerdere rapportagecycli vast te houden.
• Controleer huidige rapporten op taal die een output met uitkomstwoorden beschrijft, en corrigeer die.
• Publiceer het resultatenkader vóór de volgende begrotings- of financieringsronde, niet als nasleep.
• Benoem expliciet wat de organisatie niet alleen beheerst voor elke bewering op bevolkingsniveau die zij rapporteert.
• Stel een vaste cyclus in om logische modellen aan het werkelijke bewijs te toetsen, niet alleen bij een geplande formele evaluatie.
• Wijs minstens één externe belanghebbende aan om de aannames van het logisch model te beoordelen voordat het definitief wordt.
• Toets de huidige set indicatoren op mogelijkheden om maatstaven af te schaffen die niemand in een echt besluit gebruikt.
• Spreek van tevoren af wat de organisatie anders zal doen als een hoofduitkomst twee rapportagecycli niet beweegt.

Belangrijkste bronnen

• Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) en Recognizing Public Value (2013) — de oorspronkelijke teksten over de Public Value Scorecard, die de balanced-scorecardtraditie aanpassen aan de drie poten van de strategische driehoek.
• Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities — de oorspronkelijke tekst over resultaatgerichte verantwoording, inclusief het onderscheid tussen populatieverantwoording en prestatieverantwoording en de “keer de curve om”-analyse.
• De literatuur over de balanced scorecard van Robert Kaplan en David Norton — de private-sectorbron die Moore aanpaste voor de context van publieke waarde.
• Richtlijnen van de OESO over resultaatgericht management en evaluatieterminologie, gebruikt in ontwikkelingswerk en openbaar bestuur om taal voor uitkomsten en impact te standaardiseren.
• Richtlijnen van de Independent Evaluation Group van de Wereldbank over resultatenkaders en veranderingstheorieën voor ontwikkelingsoperaties.
• Het openbare verslag van het Vermont Agency of Human Services over de toepassing van resultaatgerichte verantwoording op staats- en gemeenschapsniveau — één voorbeeld van het kader in levend gebruik bij de overheid.

Referenties

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf