Kwaliteit, veiligheid en prestatiemanagement

Waarom dit ertoe doet bij publieke waarde

Elke publieke en sociale-sectororganisatie van enige omvang draait tegenwoordig op getallen: wachttijden, afgehandelde dossiers, aanrijtijden, slagingspercentages, tevredenheidsscores, inspectiebeoordelingen. Streefwaarden gebouwd uit deze getallen zijn geen van buiten opgelegde last van publiek management; ze zijn hoe legitimiteit en steun worden aangetoond aan financiers, wetgevers, besturen en burgers die anders niet in de dagelijkse operatie kunnen kijken (zie Onderwerp 1.2 — De strategische driehoek: legitimiteit, waarde en capaciteit). Een leider die niet kan wijzen op een getal dat in de goede richting bewoog, heeft moeite een begroting, een mandaat of een hervorming te verdedigen.

De moeilijkheid is dat een getal dat kwaliteit moet weergeven niet hetzelfde is als kwaliteit zelf, en dat de twee stilletjes uiteengaan zodra het getal belangrijker begint te worden dan de werkelijkheid erachter. Een politiekorps kan geregistreerde criminaliteit omlaag brengen door te veranderen hoe agenten incidenten classificeren in plaats van door schade te verminderen. Een ziekenhuis kan een wachttijddoelstelling halen door te herclassificeren op welke patiënten de klok van toepassing is in plaats van mensen sneller te behandelen. Geen van beide veranderingen toont zich in het gepubliceerde cijfer, en dat is precies het probleem dat dit onderwerp behandelt.

Dit onderwerp is de thuisbehandeling van dat probleem in de publieke sector: prestatie-indicatoren en de perverse prikkels die ze creëren, kwaliteitsborgingsstelsels die zijn gebouwd om normen consistent te houden ongeacht wat een afzonderlijke streefwaarde zegt, en onafhankelijke inspectie- en beoordelingsorganen die de werkelijkheid achter de getallen van buiten de commandolijn controleren die ze voortbracht. Onderwerp 2.1 behandelt waar indicatoren in de eerste plaats vandaan moeten komen – uitkomstenkaders en logische modellen die een maatstaf terugverbinden met een echte causale bewering over waarde (zie Onderwerp 2.1 — De publieke-waardescorecard en resultatenkaders). Dit onderwerp behandelt wat er gebeurt zodra die indicatoren levende streefwaarden worden waaraan personeel wordt gemanaged, en hoe een organisatie haar eigen meetstelsel eerlijk houdt.

De inzet stijgt met hoe openbaar een getal wordt gebruikt. Een privé interne maatstaf die van de werkelijkheid afdrijft, verspilt de tijd van een manager. Een openbare prestatiedoelstelling, een kopbeoordeling van een inspectie of een veiligheidsstatistiek die van de werkelijkheid afdrijft, kan levens kosten, jarenlang middelen verkeerd toewijzen en – wanneer de kloof tussen het gerapporteerde getal en de beleefde ervaring uiteindelijk zichtbaar wordt – juist de legitimiteit vernietigen die het getal moest opbouwen (zie Onderwerp 3.4 — Verantwoording, transparantie en legitimiteit).

Kernbegrippen

Een prestatie-indicator is een meetbare variabele gekozen om een aspect van de prestatie van een organisatie weer te geven dat zelf niet rechtstreeks en continu kan worden waargenomen (zie performance indicator). Indicatoren zijn van nature benaderingen: niemand kan “kwaliteit van zorg” of “veiligheid van de gemeenschap” rechtstreeks meten, dus meet een organisatie iets smallers en beter telbaars – een wachttijd, een geregistreerd misdaadcijfer – en behandelt beweging daarin als bewijs van beweging in het bredere ding dat het vertegenwoordigt. Die kloof tussen benadering en werkelijkheid sluit nooit; dit onderwerp gaat over het beheren ervan in plaats van te vergeten dat zij bestaat.

De wet van Goodhart stelt, in haar meest gebruikelijke formulering in de publieke sector, dat wanneer een maatstaf een streefwaarde wordt, zij ophoudt een goede maatstaf te zijn. De wet is genoemd naar de Britse econoom Charles Goodhart, die het onderliggende inzicht in 1975 formuleerde in de context van monetair beleid: zodra een centrale bank een bepaalde maat van de geldhoeveelheid als doel gaat stellen, beginnen de statistische verbanden die die maat nuttig maakten te breken, omdat mensen hun gedrag aanpassen aan het doel zelf. De antropologe Marilyn Strathern herformuleerde het idee voor een publiek in de publieke sector in een veel geciteerde studie uit 1997 over de Britse universitaire auditcultuur, en gaf het de compacte formulering die nu het vaakst wordt geciteerd: “wanneer een maatstaf een streefwaarde wordt, houdt zij op een goede maatstaf te zijn.” Onderwerp 3.1 introduceerde deze dynamiek kort in de context van het vertrouwen van het New Public Management op expliciete streefwaarden; dit onderwerp is de volledige thuisbehandeling ervan (zie Onderwerp 3.1 — Bestuurssystemen en -modellen in de publieke sector). De wet van Goodhart is geen argument tegen meten – het is een argument dat meten en belonen niet onzorgvuldig mogen worden samengesmolten zonder te veranderen wat wordt gemeten.

Perverse prikkels zijn het mechanisme waardoor de wet van Goodhart haar schade aanricht: een prikkelstructuur die resultaten oplevert die tegengesteld zijn aan wat de ontwerpers beoogden, omdat de mensen die erop reageren optimaliseren voor de letter van de beloning in plaats van het doel erachter (zie perverse incentive). Een streefwaarde gekoppeld aan financiering, reputatie of loopbaan creëert een perverse prikkel telkens wanneer er een manier bestaat om het gerapporteerde getal te verbeteren zonder de onderliggende uitkomst te verbeteren – en in een dienst die via duizenden afzonderlijke oordelen wordt geleverd, bestaat zo’n manier vrijwel altijd zodra mensen gaan zoeken.

Een typologie van disfunctionele reacties op streefwaarden. De econoom Peter Smith catalogiseerde in een invloedrijke studie uit 1995 over prestatiegegevens in de publieke sector de manieren waarop gepubliceerde streefwaarden gedrag vertekenen, waarvan er verscheidene het standaardvocabulaire blijven voor het diagnosticeren van een worstelend indicatorstelsel. Tunnelvisie is het concentreren van inspanning op wat wordt gemeten ten koste van wat niet wordt gemeten, ook als de niet-gemeten aspecten even veel of meer tellen. Maatstaffixatie is het behandelen van succes op de indicator als succes op de onderliggende doelstelling, zodat de benadering stilletjes in ieders aandacht de plaats inneemt van het ding dat zij moest weergeven – het patroon achter teaching to the test in onderwijsstelsels, waar onderwijs vernauwt tot wat een gestandaardiseerde toets dekt in plaats van het bredere leren dat de toets moest signaleren. Misrepresentatie is de opzettelijke manipulatie van gerapporteerde gegevens – een zaak herclassificeren, een klok bijstellen, een gunstiger noemer kiezen – zodat de cijfers verbeteren zonder dat de werkelijkheid verandert. Ossificatie is het langzame verval van een streefwaarde tot irrelevantie omdat zij lang na de verandering van de operationele omgeving waarvoor zij was ontworpen niet wordt herzien. Een nauw verwante studie uit 2006 over streefwaarden in het Engelse publieke gezondheidszorgstelsel van Gwyn Bevan en Christopher Hood liet zien hoe ver deze dynamiek kan gaan wanneer een streefwaarde wordt gekoppeld aan zware gevolgen bij het missen ervan, en muntte de uitdrukking “targets and terror” voor een regime dat precies het manipulatiegedrag voortbrengt dat het moest uitbannen.

Kwaliteitsborging (quality assurance) is de systematische, door de organisatie zelf beheerde discipline om te waarborgen dat een product of dienst consistent aan een omschreven norm voldoet, via defectpreventie die in het proces is ingebouwd en niet alleen inspectie van het eindresultaat (zie quality assurance). Waar een prestatiestreefwaarde een uitkomst achteraf meet, is kwaliteitsborging ontworpen om een slechte uitkomst in de eerste plaats minder waarschijnlijk te maken, doorgaans via gestandaardiseerde procedures, checklists, collegiale toetsing en oorzaakanalyse van falen. Total quality management is de bredere managementfilosofie op die discipline, die voortdurende kwaliteitsverbetering behandelt als ieders verantwoordelijkheid en niet als een specialistische functie die aan het eind van een proces wordt vastgeschroefd (zie total quality management), en de ISO 9000-familie van internationale normen, gepubliceerd door de International Organization for Standardization (ISO) en voor het eerst uitgegeven in 1987, geeft organisaties een certificeerbaar kader om aan te tonen dat zo’n managementsysteem bestaat. Een orgaan kan tegen een kwaliteitsmanagementnorm zijn gecertificeerd en alle interne kwaliteitsborgingscontroles doorstaan terwijl het toch zijn extern gerapporteerde prestatiestreefwaarden manipuleert; de twee stelsels beantwoorden verschillende vragen en geen van beide vervangt het andere.

Veiligheidsindicatoren en veiligheidscultuur verdienen een aparte behandeling van gewone prestatie-indicatoren omdat de schade van een perverse prikkel vaak onomkeerbaar is. In de gezondheidszorg heeft de praktijk van patiëntveiligheid geleerd, vaak tegen hoge kosten, dat het straffen van personeel voor het melden van een fout juist de informatie onderdrukt die een veiligheidsstelsel nodig heeft om de volgende te voorkomen – een inzicht dat zich vanuit klinische settings heeft verspreid naar de luchtvaart, het vervoer en andere publieke diensten met zware gevolgen. Een rapportageomgeving zonder schuldvraag (“no-blame” of “just culture”) behandelt een eerlijk gemelde bijna-ongeval als waardevol datapunt in plaats van als schuldbekentenis, wat het tegendeel is van hoe de meeste gewone prestatiestreefwaarden zijn ontworpen: een prestatieregime beloont het goede getal, terwijl een veiligheidsregime het eerlijke getal moet belonen, ook als het slecht is.

Onafhankelijke inspectie- en beoordelingsorganen bieden een controle op al het bovenstaande die van buiten de commandolijn komt die wordt beoordeeld. Een inspectie – zoals de Engelse Ofsted, die aanbieders van onderwijs en kinderdiensten inspecteert, of de Care Quality Commission, die aanbieders van gezondheids- en sociale zorg inspecteert en beoordeelt – stuurt beoordelaars die de praktijk rechtstreeks observeren, professioneel oordeel uitoefenen en een beoordeling publiceren die het geïnspecteerde orgaan niet beheerst. Dit is structureel anders dan intern prestatiemanagement: een zelfgerapporteerd wachttijdcijfer kan worden gemanipuleerd door de mensen die de prikkel hebben dat te doen, maar een inspecteur die over de afdelingen loopt of het klaslokaal observeert, kijkt naar de werkelijkheid die het getal moest vertegenwoordigen. Inspectie is een vorm van horizontale verantwoording – toezicht door een orgaan met onafhankelijke status in plaats van door een electoraat of een markt (zie Onderwerp 3.4 — Verantwoording, transparantie en legitimiteit) – en verdient die rol alleen in zoverre haar onafhankelijkheid, in financiering, benoeming en publicatie, werkelijk wordt beschermd.

Beste praktijken

1. Leid indicatoren af uit het logische model, niet uit wat al gemakkelijk te tellen is. Een maatstaf kiezen omdat de gegevens al bestaan, en niet omdat hij een echte schakel in de causale keten volgt, is hoe maatstaffixatie en tunnelvisie beginnen (zie Onderwerp 2.1 — De publieke-waardescorecard en resultatenkaders).
2. Koppel elke output- of activiteitsstreefwaarde aan minstens één balancerende maatstaf die de meest waarschijnlijke manipulatiestrategie zou onthullen. Als een wachttijddoelstelling kan worden gemanipuleerd door zaken te herclassificeren, volg dan het herclassificatiepercentage naast het kopcijfer, niet als bijzaak nadat een schandaal de vraag afdwingt.
3. Behandel een streefwaarde die meerdere perioden achtereen is gehaald als aanleiding om te onderzoeken, niet simpelweg om te vieren. Een getal dat ophoudt onderscheid te maken tussen goede en slechte prestatie heeft het probleem ofwel werkelijk opgelost ofwel is tot irrelevantie gemanipuleerd, en die twee zien er vanaf het dashboard alleen identiek uit.
4. Scheid wie een streefwaarde vaststelt van wie eraan wordt afgemeten van wie het resultaat onafhankelijk controleert. Het samenvoegen van deze drie rollen in één deel van de organisatie neemt de structurele spanning weg die een meetstelsel eerlijk houdt.
5. Herzie of schrap een streefwaarde volgens een vaste cyclus, niet alleen na zichtbaar falen. Ossificatie is het standaardlot van een streefwaarde; een geplande toetsing die vraagt of de streefwaarde nog iets betekenisvols volgt, vangt het verval voordat een crisis dat doet.
6. Bouw een no-blame meldkanaal voor veiligheidsrelevante bijna-ongevallen en fouten, structureel gescheiden van beslissingen over prestatiebeloning. Een veiligheidsstelsel dat eerlijk melden straft, zal hetzelfde percentage onderliggende fouten houden – het zal er alleen niet meer van horen totdat de schade groter en moeilijker te verbergen is.
7. Geef onafhankelijke inspecteurs en beoordelingsorganen echte toegang, beschermde financiering en publicatierechten die het geïnspecteerde orgaan niet kan blokkeren. Een inspectie die voor haar budget of toegang afhangt van de goodwill van de organisatie die zij beoordeelt, speelt toezicht in plaats van het te bieden.
8. Gebruik professioneel oordeel om een kwantitatieve score te interpreteren, in plaats van de score alleen te laten staan. Een enkele samengestelde beoordeling perst een rijke, ongelijke werkelijkheid in één getal; publiceer het kwalitatieve verhaal achter een inspectiebeoordeling naast de beoordeling zelf, zodat een lezer kan zien wat het getal samenvat.
9. Ontwerp streefwaarden met het frontlinie-personeel dat eraan zal worden afgemeten, niet alleen voor hen. De mensen het dichtst bij het werk kennen de gemakkelijkste manipulatiestrategie meestal voordat een analist haar kent; hen bij het ontwerp betrekken brengt dat risico vroeg aan het licht in plaats van nadat de streefwaarde al live is.
10. Certificeer een systematisch kwaliteitsmanagementproces, zoals een gebouwd op de ISO 9000-familie van normen, als ondergrens en niet als vervanging van uitkomstmeting. Certificering toont aan dat een consistent proces bestaat; zij toont op zichzelf niet aan dat het proces een goede uitkomst oplevert, en het certificaat als voldoende bewijs van kwaliteit behandelen is zelf een vorm van maatstaffixatie.
11. Publiceer de bekende beperkingen van een streefwaarde naast de streefwaarde zelf. In hetzelfde rapport als het cijfer benoemen wat de maatstaf niet vastlegt en hoe hij aannemelijk kan worden gemanipuleerd, voorkomt juist de ontdekking die anders later de legitimiteit schaadt (zie Onderwerp 3.4 — Verantwoording, transparantie en legitimiteit).

Vragen om met uw team te bespreken

Welke van onze huidige gepubliceerde streefwaarden zouden kunnen worden gehaald zonder dat de onderliggende uitkomst ook maar verbetert? Dit is de meest directe toepassing van de wet van Goodhart die elk team beschikbaar heeft, en vrijwel elke organisatie die langer dan enkele jaren numerieke streefwaarden heeft gedraaid, draagt minstens één levend voorbeeld. Loop uw kopindicatoren één voor één langs en vraag concreet welk gedrag elk beloont en niet wat het moest meten. Bespreek of frontlinie-personeel al een gemakkelijkere manier kent om het getal te bewegen dan de beoogde, aangezien zij die meestal kennen lang voordat die het hogere management bereikt. Behandel een zelfverzekerd, onbeproefd “dat zou hier niemand doen” zelf als iets wat het onderzoeken waard is, niet als geruststelling.

Waar hebben wij een gemakkelijk te tellen output stilletjes laten gelden voor een echt kwaliteits- of veiligheidsoordeel? Outputs zijn bijna altijd goedkoper en sneller te verzamelen dan uitkomsten, wat een blijvende verleiding creëert om de eerste te rapporteren in de taal van de tweede. Identificeer één vlaggenschipindicator die uw organisatie nu rapporteert en vraag als groep of zij werkelijk de kwaliteit meet van wat er gebeurde of alleen het volume van de activiteit die plaatsvond. Bespreek wat een echte kwaliteitsmaatstaf voor dezelfde activiteit zou vereisen om te verzamelen en wat de organisatie tot nu toe heeft belet haar te verzamelen. Deze vraag onthult vaak dat de barrière middelen is en niet de moeilijkheid van definitie.

Als een medewerker vandaag eerlijk zijn eigen bijna-ongeval of fout meldde, wat zou hem dan werkelijk overkomen? Het bestaan van een no-blamebeleid is geen bewijs dat mensen geloven dat het op hen persoonlijk van toepassing is. Bespreek een recent geval, echt of hypothetisch, waarin een eerlijke openbaarmaking van een fout het beleid op de proef zou hebben gesteld, en wees specifiek over wat de gevolgen waren of waarschijnlijk zouden zijn geweest. Overweeg of uw veiligheidsrelevante melden in hetzelfde stelsel zit als uw beslissingen over prestatiebeloning, aangezien het mengen van beide de meest voorkomende manier is waarop een nominaal no-blamecultuur eerlijkheid stilletjes toch straft. Deze vraag is bewust ongemakkelijk; een team dat haar niet open kan bespreken, heeft haar al beantwoord.

Heeft ons inspectie- of beoordelingsorgaan echte onafhankelijkheid van de organisatie die het beoordeelt, of alleen formele onafhankelijkheid? Onafhankelijkheid in naam is gewoon; onafhankelijkheid in financiering, toegang en het recht een onwelkome bevinding te publiceren is zeldzamer en gemakkelijker geleidelijk uit te hollen. Som de inspectie- of beoordelingsrelaties op waaraan uw organisatie is onderworpen en beoordeel elk eerlijk op de vraag of het een vastberaden poging van het geïnspecteerde orgaan om de uitkomst te beïnvloeden zou kunnen overleven. Bespreek wat er gebeurde de laatste keer dat een inspectie een werkelijk onwelkom resultaat opleverde en of de reactie was het onderliggende probleem op te lossen of de relatie met de inspecteur te beheren.

Welke van de disfunctionele reacties van Smith op streefwaarden – tunnelvisie, maatstaffixatie, misrepresentatie, ossificatie – is nu het zichtbaarst in onze eigen rapportage? Het specifieke faalpatroon benoemen, in plaats van abstract over manipulatie te praten, maakt het gesprek concreet genoeg om op te handelen. Loop de vier patronen langs en vraag welk het team herkent in zijn eigen recente ervaring, in plaats van aan te nemen dat de organisatie is vrijgesteld omdat er nog geen schandaal is geweest. Bespreek hoe een corrigerende stap voor dat specifieke patroon er in de volgende rapportagecyclus uit zou zien, niet als algemene toezegging om “het beter te doen bij meten”.

Als wij een jaar lang onze huidige kopstreefwaarde niet openbaar rapporteerden, wat zouden wij dan werkelijk verliezen, en wat zouden wij kunnen winnen? Deze vraag toetst of een streefwaarde werkelijk besluiten stuurt of een doel op zich is geworden dat niemand zou verdedigen als hem werd gevraagd het vanuit eerste beginselen te rechtvaardigen. Bespreek eerlijk welk besluit, indien enig, het afgelopen jaar is veranderd vanwege dit specifieke getal, onderscheiden van besluiten die toch zouden zijn genomen. Overweeg welke personeelstijd en gedragsvertekening de streefwaarde nu kost en of een andere, moeilijker te manipuleren maatstaf hetzelfde verantwoordingsdoel beter zou dienen. Dit is geen argument om meten op te geven – het is een discipline om alleen het meten te behouden dat zijn plaats verdient.

In de praktijk: een voorbeeld van publieke waarde

De ambulancedienst van een middelgrote grootstedelijke regio – fictief, illustratief voor een patroon en geen verslag over een bestaand orgaan – werkte al jaren onder een gepubliceerde streefwaarde die een spoedrespons binnen acht minuten eiste voor de meest levensbedreigende oproepen. De streefwaarde was met goede bedoelingen vastgesteld, gesteund door klinisch bewijs dat responssnelheid de overleving bij een omschreven categorie noodgevallen werkelijk beïnvloedt, en het bestuur van de dienst behandelde het gepubliceerde percentage oproepen dat de streefwaarde haalde als zijn belangrijkste indicator van organisatiesucces.

Over drie jaar verbeterde het gerapporteerde cijfer gestaag, van net boven de helft van de kwalificerende oproepen tot bijna negen op de tien, en de directie presenteerde de trend op elke bestuursvergadering als duidelijk bewijs dat operationele hervormingen werkten. Wat het kopcijfer niet toonde, was hoe de verbetering werkelijk was bereikt. Centralisten, zich ervan bewust dat hun eigen prestaties mede werden beoordeeld op hoeveel oproepen zij in de categorie met de streefwaarde classificeerden, waren – geleidelijk, zonder enig afzonderlijk besluit daartoe – een groeiend deel van werkelijk ernstige oproepen gaan afwaarderen naar een categorie met lagere prioriteit waarop de achtminutenklok niet van toepassing was, eenvoudig omdat een kleinere, strakker omschreven groep oproepen gemakkelijker de streefwaarde haalde. Daarnaast hadden bemanningen geleerd dat de klok stopte op het moment dat een voertuig op de plaats van het incident aankwam en niet wanneer een patiënt daadwerkelijk werd bereikt, wat een kleine maar echte prikkel creëerde om bij de grens te parkeren in plaats van de patiënt het snelst te bereiken.

Geen van beide praktijken was frauduleus in de zin van het vervalsen van een registratie; elk was een lokaal rationele reactie op een streefwaarde waarvan de definitie ruimte schiep voor precies deze afwijking – een schoolvoorbeeld van maatstaffixatie en misrepresentatie die samen werken. Het probleem kwam niet aan het licht via de eigen rapportage van de dienst, die verbetering bleef tonen, maar via een routine-inspectie van een onafhankelijke regionale gezondheidsinspectie, die dossieronderzoek combineerde met directe observatie van de oproepafhandeling en afgewaardeerde classificaties vond die niet strookten met de klinische details die in dezelfde oproepen waren vastgelegd. De beoordeling van de inspectie daalde scherp, van een omschrijving gelijk aan “goed” naar “behoeft verbetering”, hoewel het eigen gepubliceerde responstijdcijfer van de dienst beter was dan ooit.

De aanvankelijke reactie van de dienst – wijzen op haar eigen verbeterende cijfers – maakte het geloofwaardigheidsprobleem erger, omdat zij een vraag beantwoordde die de inspectie niet had gesteld; de inspectie had de rekenkunde nooit betwist, alleen wat de rekenkunde mat. Haar effectievere reactie was het indicatorenpakket te herontwerpen vanuit het onderliggende logische model in plaats van de bestaande streefwaarde te verstellen: responstijd werd opnieuw gedefinieerd als het moment van patiëntcontact in plaats van aankomst van het voertuig, de classificatie van oproepen werd onafhankelijk geaudit op een voortschrijdende steekproef in plaats van aan de eigen registratie van de centralist te worden toevertrouwd, en een parallelle klinische uitkomstmaatstaf – overleving tot ziekenhuisopname – werd ingevoerd omdat die veel moeilijker door herclassificatie alleen te manipuleren was. Het gerapporteerde responstijdpercentage daalde in het eerste jaar onder de nieuwe definitie, waarop het bestuur zijn financiers had voorbereid; de klinische uitkomstmaatstaf, voor het eerst op vergelijkbare basis gevolgd, liet een kleinere maar echte verbetering zien die de oorspronkelijke streefwaarde nooit werkelijk, in welke richting dan ook, had aangetoond.

Vier sectorperspectieven

Lokale overheid

Lokale diensten zoals brandweer en hulpverlening, volwassenenzorg en afvalinzameling worden doorgaans gemeten aan een mengsel van nationaal verplichte indicatoren die de lokale overheid niet koos en lokaal gekozen maatstaven die de eigen prioriteiten van een specifieke gemeente weerspiegelen, zodat één dienst kan worden beoordeeld als succes volgens de ene indicatorenset en als zorg volgens de andere. Inspectie op lokaal niveau wordt vaak geleverd door een nationaal of regionaal orgaan met een wettelijke taak die veel lokale overheden tegelijk beslaat, wat nuttig vergelijkend perspectief geeft maar minder gedetailleerde lokale context dan de organisatie die het inspecteert. Lokale gekozen leden en toetsingscommissies voegen een snellere, directere verantwoordingslaag toe en horen vaak als eersten van inwoners wanneer een gepubliceerd cijfer en de beleefde ervaring uiteenlopen.

Nationale overheid

De nationale overheid draait doorgaans de grootste en politiek zichtbaarste prestatieregimes, omdat een nationale streefwaarde – een wachttijdnorm, een misdaadreductiedoel, een slagingspercentagedoelstelling – in het publieke debat een benadering wordt van de bekwaamheid van de regering van het moment, wat de inzet op manipulatie ver boven het operationele niveau verhoogt. Dit is de setting waarin de dynamiek van “targets and terror” van Bevan en Hood het volledigst wordt gerealiseerd, omdat nationale streefwaarden vaak gekoppeld zijn aan zichtbare politieke gevolgen van het missen ervan, wat de prikkel scherper maakt om het getal te managen in plaats van de werkelijkheid erachter. Nationale inspecties dragen, juist omdat zij op afstand opereren van de ministeries waarvan de politieke lot een beoordeling kan beïnvloeden, een onevenredig deel van de last om de kloof tussen gerapporteerde en werkelijke prestatie aan het licht te brengen (zie Onderwerp 3.4 — Verantwoording, transparantie en legitimiteit).

Sociale sector en non-profit

Non-profitorganisaties en niet-gouvernementele organisaties krijgen vaker te maken met kwaliteitsborging en accreditatie als vrijwillige of door financiers opgelegde discipline dan als wettelijk inspectieregime, aangezien weinig rechtsgebieden een speciale onafhankelijke inspectie voor de sector als geheel hebben. Dat maakt kwaliteitsborging in de sociale sector gefragmenteerder – verschillende financiers leggen dezelfde organisatie verschillende vereisten op – maar ook flexibeler, aangezien een non-profitorganisatie haar indicatorenpakket vaak kan ontwerpen rond haar werkelijke veranderingstheorie in plaats van een set van buiten opgelegde maatstaven. Het ontbreken van een verplichte externe inspecteur vergroot het relatieve belang van een onafhankelijk bestuur en externe accountantscontrole als eigen substituut van de sector voor horizontale verantwoording (zie Onderwerp 3.4 — Verantwoording, transparantie en legitimiteit), aangezien de eigen leiding van een non-profitorganisatie anders zowel de meter als de gemetene is.

Multilateraal en internationaal

Multilaterale organen en de vergelijkende indices die zij publiceren of waarop zij vertrouwen – landenoverstijgende ranglijsten van bestuurskwaliteit, het gemak van zakendoen of de prestaties van publieke diensten – krijgen de wet van Goodhart te verwerken op de schaal van hele nationale overheden, waar een land zijn ranking kan verbeteren via hervormingen die smal zijn gericht op de gemeten criteria in plaats van de bredere toestand die de index beweert weer te geven. Onafhankelijke inspectie in de binnenlandse zin die elders in dit onderwerp wordt gebruikt, heeft geen echt equivalent over soevereine grenzen heen, aangezien geen staat een externe inspectie accepteert met de dwingende status die een nationaal orgaan heeft over een agentschap dat het controleert; multilaterale kwaliteitsborging berust in plaats daarvan op collegiale toetsing, zelfrapportage gevalideerd door technische missies en de reputatiekosten van een gepubliceerde beoordeling. Dit maakt de onafhankelijkheid en technische geloofwaardigheid van het orgaan dat een landenoverstijgende indicator samenstelt bijzonder belangrijk, aangezien het vaak de enige beschikbare controle is.

Veelvoorkomende faalpatronen

Tunnelvisie. Een organisatie concentreert inspanning en middelen op wat wordt gemeten, rechtstreeks ten koste van niet-gemeten aspecten van dezelfde dienst die voor de mensen die zij bedient even veel tellen. De kosten zijn een dienst die in elk gepubliceerd rapport lijkt te verbeteren terwijl een niet-gemeten dimensie – waardigheid van de patiënt, complexiteit van zaken, langetermijnuitkomsten – stilletjes verslechtert, onopgemerkt totdat het een crisis wordt die groot genoeg is om nieuwe meting af te dwingen.

Maatstaffixatie. Succes op de indicator wordt binnen de organisatie behandeld als gelijkwaardig aan succes op de onderliggende doelstelling, zodat de benadering in ieders feitelijke aandacht het doel verdringt, ook terwijl de formele missieverklaring het doel nog noemt. De kosten zijn een groeiende, zichzelf versterkende kloof tussen gerapporteerde prestatie en beleefde werkelijkheid, omdat niemand binnen de organisatie de werkelijkheid nog rechtstreeks in de gaten houdt.

Misrepresentatie. Gegevens worden bijgesteld – een klok te vroeg gestopt, een zaak geherclassificeerd, een noemer gekozen met gunstig effect – zodat het gerapporteerde cijfer verbetert zonder dat de onderliggende werkelijkheid verandert, zoals in het uitgewerkte voorbeeld hierboven. De kosten zijn, eenmaal ontdekt, onevenredig aan de oorspronkelijke vertekening, omdat misrepresentatie niet alleen het specifieke cijfer schaadt maar de geloofwaardigheid van elk ander getal dat dezelfde organisatie ooit publiceerde (zie Onderwerp 3.4 — Verantwoording, transparantie en legitimiteit).

Ossificatie. Een streefwaarde vastgesteld voor een specifieke operationele context wordt lang na de verandering van die context niet herzien, zodat zij blijft worden gerapporteerd en gemanaged terwijl zij niet langer onderscheid maakt tussen werkelijk goede en werkelijk slechte prestatie. De kosten zijn jarenlang onzichtbaar, omdat een geossificeerde streefwaarde nog altijd een getal oplevert; het getal heeft simpelweg opgehouden iets te betekenen, en de werkelijke managementaandacht van de organisatie is meestal al elders heen verschoven zonder dat iemand de maatstaf formeel heeft geschrapt.

Kaping van de inspectie. Een onafhankelijk inspectie- of beoordelingsorgaan wordt geleidelijk afhankelijk van de goodwill, toegang of voortdurende medewerking van de organisaties die het inspecteert, door financieringsregelingen, loopbaanpaden die personeel tussen inspecteur en geïnspecteerde laten wisselen, of informele relaties opgebouwd door herhaalde inspecties. De kosten zijn een langzaam verlies van echte onafhankelijkheid dat een formeel handvest of wet op zichzelf niet voorkomt, en dat doorgaans pas aan het licht komt wanneer een groot falen door een beoordelingsstelsel gaat dat het had moeten vangen.

Op schuld gerichte veiligheidsmelding. Een meldsysteem voor veiligheidsrelevante fouten of bijna-ongevallen is nominaal no-blame maar in de praktijk dicht genoeg gekoppeld aan functioneringsbeoordeling of disciplinaire procedure dat personeel leert dat het melden van een eerlijke fout persoonlijk risico meebrengt. De kosten zijn niet minder fouten – het zijn minder meldingen van de fouten die blijven gebeuren, wat juist het vroege waarschuwingssignaal wegneemt dat een veiligheidsstelsel moet bieden vóór het volgende, ernstiger incident.

Volwassenheidsmodel

Checklist

• Herleid elke kernprestatie-indicator naar het logische model of uitkomstenkader dat hij moet vertegenwoordigen.
• Identificeer de meest aannemelijke manier waarop elke gepubliceerde streefwaarde kan worden gemanipuleerd en noem een balancerende maatstaf die dat zou onthullen.
• Bevestig dat wie een streefwaarde vaststelt, wie eraan wordt afgemeten en wie het resultaat onafhankelijk controleert niet allemaal hetzelfde deel van de organisatie zijn.
• Plan een toetsing met vaste cyclus van elke levende streefwaarde, onafhankelijk van enig zichtbaar falen dat haar aanleiding geeft.
• Bevestig dat het veiligheidsrelevante meldkanaal structureel gescheiden is van beslissingen over prestatiebeloning en discipline.
• Toets of personeel gelooft dat een eerlijk gemelde fout of bijna-ongeval zonder schuldvraag zou worden behandeld, en niet alleen of een beleid dat zegt.
• Bevestig dat elk inspectie- of beoordelingsorgaan dat de organisatie beoordeelt beschermde financiering, toegang en publicatierechten heeft.
• Publiceer de bekende beperkingen van elke kopstreefwaarde naast het cijfer zelf.
• Controleer of een indicator meerdere perioden consequent is gehaald zonder bijbehorend onderzoek naar waarom.
• Betrek frontlinie-personeel bij het ontwerp van elke nieuwe streefwaarde voordat deze live gaat.
• Bevestig dat een kwaliteitsmanagementcertificering, waar die bestaat, als ondergrens wordt behandeld en niet op zichzelf wordt aangehaald als bewijs van goede uitkomsten.

Belangrijkste bronnen

• Charles Goodharts formulering uit 1975 van wat bekend werd als de wet van Goodhart, ontwikkeld in de context van monetaire doelstelling.
• Marilyn Strathern, “‘Improving ratings’: audit in the British university system”, European Review, 5(3) (1997), 305–321 — de veel geciteerde herformulering van de wet van Goodhart voor de publieke sector.
• Peter Smith, “On the Unintended Consequences of Publishing Performance Data in the Public Sector”, International Journal of Public Administration, 18(2–3) (1995), 277–310 — de bron van de typologie van tunnelvisie, maatstaffixatie, misrepresentatie en ossificatie waarop dit onderwerp voortbouwt.
• Gwyn Bevan en Christopher Hood, “What’s Measured Is What Matters: Targets and Gaming in the English Public Health Care System”, Public Administration, 84(3) (2006), 517–538 — de “targets and terror”-studie over manipulatie onder zware gevolgen.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) — een breed overzicht van meetfalen in onderwijs, gezondheidszorg, bedrijfsleven en overheid.
• UK National Audit Office, “Performance measurement by regulators”, en richtlijnen van de Amerikaanse Government Accountability Office die prestatiemaatstaven onderscheiden van programma-evaluatie.
• De Care Quality Commission en Ofsted, als voorbeelden van onafhankelijke inspectie- en beoordelingsorganen die op afstand opereren van de organisaties die zij beoordelen.

Referenties

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, "'Improving ratings': audit in the British university system" — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, "On the Unintended Consequences of Publishing Performance Data in the Public Sector" — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, "What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System" — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted