Kvalitet, sikkerhed og præstationsstyring

Hvorfor det er vigtigt for offentlig værdi

Enhver offentlig og social organisation af nogen størrelse kører nu på tal: ventetider, afsluttede sager, responstider, beståelsesrater, tilfredshedsscorer, inspektionsvurderinger. Mål bygget af disse tal er ikke en påtvingelse udefra på offentlig ledelse; de er, hvordan legitimitet og opbakning demonstreres over for bidragydere, lovgivere, bestyrelser og borgere, der ellers ikke kan se ind i den daglige drift (se Emne 1.2 — Den strategiske trekant: legitimitet, værdi og kapacitet). En leder, der ikke kan pege på et tal, der bevægede sig i den rigtige retning, har svært ved at forsvare et budget, et mandat eller en reform.

Vanskeligheden er, at et tal bygget til at repræsentere kvalitet ikke er det samme som kvalitet selv, og de to skilles stille og roligt i det øjeblik, tallet begynder at betyde mere end virkeligheden bagved. Et politikorps kan trykke den registrerede kriminalitet ned ved at ændre, hvordan betjente klassificerer hændelser, frem for ved at reducere skade. Et hospital kan ramme et ventetidsmål ved at omklassificere, hvilke patienter uret gælder for, frem for ved at behandle folk hurtigere. Ingen af ændringerne viser sig i det offentliggjorte tal, hvilket netop er det problem, dette emne findes for at adressere.

Dette emne er den primære behandling af det problem i den offentlige sektor: præstationsindikatorer og de perverse incitamenter, de skaber, kvalitetssikringsregimer bygget til at holde standarder konsistente uanset hvad noget enkelt mål siger, og uafhængige inspektions- og vurderingsorganer, der kontrollerer virkeligheden bag tallene udefra, uden for den kommandokæde, der frembragte dem. Emne 2.1 dækker, hvor indikatorer overhovedet skal komme fra – resultatrammer og logiske modeller, der forbinder et mål tilbage til en ægte kausal påstand om værdi (se Emne 2.1 — Scorecard for offentlig værdi og resultatrammer). Dette emne dækker, hvad der sker, når disse indikatorer omsættes til levende mål, som personale styres mod, og hvordan en organisation holder sit eget målesystem ærligt.

Indsatsen stiger med, hvor offentligt et tal bruges. Et privat internt mål, der driver væk fra virkeligheden, spilder en leders tid. Et offentligt præstationsmål, en overskrifts-inspektionsvurdering eller en sikkerhedsstatistik, der driver væk fra virkeligheden, kan koste liv, fejlallokere ressourcer i årevis og – når kløften mellem det rapporterede tal og den levede oplevelse til sidst bliver synlig – ødelægge netop den legitimitet, tallet blev offentliggjort for at opbygge (se Emne 3.4 — Ansvarlighed, gennemsigtighed og legitimitet).

Kernebegreber

En præstationsindikator er en målbar variabel valgt til at stå i stedet for et aspekt af en organisations præstation, der ikke selv kan observeres direkte og kontinuerligt (se præstationsindikator). Indikatorer er proxyer pr. konstruktion: ingen kan måle «kvalitet af pleje» eller «samfundssikkerhed» direkte, så en organisation måler noget snævrere og mere tælleligt – en ventetid, en registreret kriminalitetsrate – og behandler bevægelse i det som dokumentation for bevægelse i den bredere ting, det står for. Det hul mellem proxy og virkelighed lukker aldrig; dette emne handler om at styre det frem for at glemme, at det eksisterer.

Goodharts lov hævder, i sin mest almindelige offentlige formulering, at når et mål bliver et mål (target), holder det op med at være et godt mål. Loven er opkaldt efter den britiske økonom Charles Goodhart, som formulerede den underliggende indsigt i 1975 i sammenhæng med pengepolitik: når en centralbank begynder at målsætte et bestemt mål for pengemængden, begynder de statistiske sammenhænge, der gjorde det mål nyttigt, at bryde sammen, fordi folk ændrer adfærd som svar på selve målet. Antropologen Marilyn Strathern gentog idéen for et offentligt publikum i et ofte citeret studie fra 1997 af britisk universitetsrevisionskultur og gav den den kompakte formulering, der nu oftest citeres: «når et mål bliver et mål, holder det op med at være et godt mål.» Emne 3.1 introducerede denne dynamik kort i sammenhæng med New Public Managements afhængighed af eksplicitte mål; dette emne er dens fulde hjemmebehandling (se Emne 3.1 — Offentlige forvaltningssystemer og -modeller). Goodharts lov er ikke et argument mod måling – den er et argument for, at måling og belønning ikke kan smeltes skødesløst sammen uden at ændre det, der måles.

Perverse incitamenter er mekanismen, hvorigennem Goodharts lov gør sin skade: en incitamentsstruktur, der frembringer resultater modsat det, dens designere tilsigtede, fordi de mennesker, der reagerer på den, optimerer for belønningens bogstav frem for formålet bag (se perverst incitament). Et mål knyttet til finansiering, omdømme eller en karriere skaber et perverst incitament, hver gang der findes en måde at forbedre det rapporterede tal uden at forbedre det underliggende resultat – og i en tjeneste leveret gennem tusinder af individuelle skøn findes en sådan måde næsten altid, når folk begynder at lede efter den.

En typologi over dysfunktionelle svar på mål. Økonomen Peter Smith katalogiserede i et indflydelsesrigt studie fra 1995 af offentlige præstationsdata de måder, offentliggjorte mål forvrider adfærd på, hvoraf flere stadig er standardvokabularet til at diagnosticere et vaklende indikatorsystem. Tunnelsyn er at koncentrere indsatsen om det målte på bekostning af det ikke-målte, selv når de ikke-målte aspekter betyder lige så meget eller mere. Målefiksering er at behandle succes på indikatoren som succes på det underliggende mål, så proxyen stille og roligt erstatter det, den skulle repræsentere, i alles opmærksomhed – mønstret bag undervisning til testen i uddannelsessystemer, hvor undervisningen indsnævres til det, en standardiseret prøve dækker, frem for den bredere læring, prøven skulle signalere. Misrepræsentation er den bevidste manipulation af rapporterede data – en sag omklassificeret, et ur justeret, en mere gunstig nævner valgt – så tallene forbedres uden at virkeligheden ændrer sig overhovedet. Forstening er et måls langsomme forfald til irrelevans, når det lades urevideret længe efter, at det driftsmiljø, det blev designet til, har ændret sig. Et nært beslægtet studie fra 2006 af mål i det engelske offentlige sundhedssystem af Gwyn Bevan og Christopher Hood viste, hvor langt disse dynamikker kan løbe, når et mål parres med alvorlige konsekvenser for at misse det, og skabte udtrykket «targets and terror» for et regime, der frembringer netop den manipulationsadfærd, det var designet til at eliminere.

Kvalitetssikring er den systematiske, organisationsejede disciplin at sikre, at et produkt eller en tjeneste konsekvent opfylder en defineret standard, gennem fejlforebyggelse bygget ind i processen frem for kun inspektion af det færdige output (se kvalitetssikring). Hvor et præstationsmål måler et resultat bagefter, er kvalitetssikring designet til at gøre et dårligt resultat mindre sandsynligt at opstå i første omgang, typisk gennem standardiserede procedurer, tjeklister, peer review og rodårsagsanalyse af svigt. Total quality management er den bredere ledelsesfilosofi bygget på denne disciplin og behandler løbende forbedring af kvalitet som alles ansvar frem for en specialistfunktion boltet på enden af en proces (se total quality management), og ISO 9000-familien af internationale standarder udgivet af Den Internationale Standardiseringsorganisation (ISO), først udstedt i 1987, giver organisationer et certificerbart rammeværk til at demonstrere, at et sådant ledelsessystem eksisterer. Et organ kan være certificeret til en kvalitetsledelsesstandard og bestå hvert internt kvalitetssikringstjek og alligevel manipulere sine eksternt rapporterede præstationsmål; de to systemer besvarer forskellige spørgsmål, og ingen af dem kan erstatte den anden.

Sikkerhedsindikatorer og sikkerhedskultur fortjener separat behandling fra almindelige præstationsindikatorer, fordi skaden fra et perverst incitament ofte er uigenkaldelig. I sundhedsvæsenet har patientsikkerhedspraksis lært, ofte til høj pris, at straf af personale for at rapportere en fejl undertrykker netop den information, et sikkerhedssystem har brug for for at forhindre den næste – en indsigt, der har bredt sig fra kliniske omgivelser til luftfart, transport og andre højkonsekvente offentlige tjenester. Et «no-blame»- eller «retfærdig kultur»-rapporteringsmiljø behandler en ærligt rapporteret næsten-hændelse som et værdifuldt datapunkt snarere end en skyldserkendelse, hvilket er det modsatte af, hvordan de fleste almindelige præstationsmål er designet til at virke: et præstationsregime belønner det gode tal, mens et sikkerhedsregime skal belønne det ærlige tal, selv når det er dårligt.

Uafhængige inspektions- og vurderingsorganer giver et tjek på alt ovenstående, der kommer udefra den kommandokæde, der vurderes. Et tilsyn – såsom Englands Ofsted, som inspicerer uddannelses- og børnetjenesteudbydere, eller Care Quality Commission, som inspicerer og vurderer sundheds- og socialplejeudbydere – sender bedømmere, der observerer praksis direkte, udøver professionelt skøn og offentliggør en vurdering, den inspicerede ikke kontrollerer. Dette er strukturelt forskelligt fra intern præstationsstyring: et selvrapporteret ventetidstal kan manipuleres af de mennesker, hvis incitament er at manipulere det, men en inspektør, der går rundt på afdelingerne eller observerer klasseværelset, ser på den virkelighed, tallet skulle repræsentere. Inspektion er en form for horisontal ansvarlighed – granskning af et organ med uafhængig stilling snarere end af en vælgerbefolkning eller et marked (se Emne 3.4 — Ansvarlighed, gennemsigtighed og legitimitet) – og den fortjener den rolle kun i det omfang, dens uafhængighed i finansiering, udnævnelse og offentliggørelse reelt er beskyttet.

Bedste praksis

1. Udled indikatorer fra den logiske model, ikke fra det, der allerede er let at tælle. At vælge et mål, fordi dataene allerede findes, frem for fordi det følger et ægte led i den kausale kæde, er, hvordan målefiksering og tunnelsyn begynder (se Emne 2.1 — Scorecard for offentlig værdi og resultatrammer).
2. Par hvert output- eller aktivitetsmål med mindst ét balancerende mål, der ville afsløre den mest sandsynlige manipulationsstrategi. Hvis et ventetidsmål kan manipuleres ved at omklassificere sager, så følg omklassificeringsraten ved siden af overskriftstallet, ikke som en eftertanke, når en skandale tvinger spørgsmålet.
3. Behandl et mål, der er ramt flere perioder i træk, som en opfordring til at undersøge, ikke blot til at fejre. Et tal, der holder op med at skelne mellem god og dårlig præstation, har enten reelt løst problemet eller er blevet manipuleret til irrelevans, og de to ser identiske ud fra dashboardet alene.
4. Adskil, hvem der fastsætter et mål, fra hvem der måles mod det, fra hvem der uafhængigt kontrollerer resultatet. At samle disse tre roller i én del af organisationen fjerner den strukturelle spænding, der holder et målesystem ærligt.
5. Gennemgå eller afvikl et mål efter en fast cyklus, ikke kun efter synligt svigt. Forstening er et måls standardskæbne; en planlagt gennemgang, der spørger, om målet stadig følger noget meningsfuldt, fanger forfaldet, før en krise gør.
6. Byg en no-blame-rapporteringskanal for sikkerhedsrelevante næsten-hændelser og fejl, holdt strukturelt adskilt fra præstationsbelønningsbeslutninger. Et sikkerhedssystem, der straffer ærlig rapportering, vil stadig have den samme rate af underliggende fejl – det holder blot op med at finde ud af det, indtil skaden er større og sværere at skjule.
7. Giv uafhængige inspektører og vurderingsorganer ægte adgang, beskyttet finansiering og offentliggørelsesrettigheder, den inspicerede ikke kan nedlægge veto mod. Et tilsyn, der afhænger af velviljen hos den organisation, det vurderer, for sit budget eller sin adgang, opfører granskning, det leverer den ikke.
8. Brug professionelt skøn til at fortolke en kvantitativ score frem for at lade scoren stå alene. En enkelt sammensat vurdering komprimerer en rig, ujævn virkelighed til ét tal; offentliggør den kvalitative fortælling bag en inspektionsvurdering ved siden af selve vurderingen, så en læser kan se, hvad tallet opsummerer.
9. Design mål sammen med frontpersonalet, der skal måles mod dem, ikke kun for dem. Folk tættest på arbejdet kender som regel den letteste manipulationsstrategi, før nogen analytiker gør; at inddrage dem i designet afslører den risiko tidligt snarere end efter at målet allerede er levende.
10. Certificér en systematisk kvalitetsstyringsproces, såsom en bygget på ISO 9000-familien af standarder, som et gulv snarere end en erstatning for resultatmåling. Certificering demonstrerer, at en konsekvent proces findes; den demonstrerer ikke i sig selv, at processen frembringer et godt resultat, og at behandle certifikatet som tilstrækkelig dokumentation for kvalitet er selv en form for målefiksering.
11. Offentliggør et måls kendte begrænsninger ved siden af selve målet. At nævne, i samme rapport som tallet, hvad målet ikke fanger, og hvordan det plausibelt kunne manipuleres, foregriber netop den opdagelse, der ellers skader legitimiteten senere (se Emne 3.4 — Ansvarlighed, gennemsigtighed og legitimitet).

Spørgsmål at drøfte med dit team

Hvilke af vores nuværende offentliggjorte mål kunne nås uden at det underliggende resultat forbedres overhovedet? Dette er den mest direkte anvendelse af Goodharts lov, der er tilgængelig for noget team, og næsten enhver organisation, der har kørt numeriske mål i mere end nogle få år, bærer mindst ét levende eksempel. Gå jeres overskriftsindikatorer igennem én ad gangen og spørg, konkret, hvilken adfærd hver belønner frem for hvad den var designet til at måle. Drøft, om frontpersonalet allerede kender en lettere måde at flytte tallet på end den tilsigtede, da de som regel gør længe før det når seniorledere. Behandl et selvsikkert, uprøvet «ingen ville gøre det her» som i sig selv værd at undersøge frem for som tryghed.

Hvor har vi ladet et let-at-tælle output stille og roligt stå i stedet for en ægte kvalitets- eller sikkerhedsvurdering? Outputs er næsten altid billigere og hurtigere at indsamle end resultater, hvilket skaber en permanent fristelse til at rapportere de første med de sidstes sprog. Identificér ét flagskibsmål, jeres organisation i øjeblikket rapporterer, og spørg, som gruppe, om det faktisk måler kvaliteten af det, der skete, eller kun volumenen af den aktivitet, der fandt sted. Drøft, hvad et ægte kvalitetsmål for samme aktivitet ville kræve at indsamle, og hvad der hidtil har forhindret organisationen i at indsamle det. Dette spørgsmål afslører ofte, at barrieren er ressourcer snarere end vanskelighed ved definition.

Hvis et medlem af personalet i dag rapporterede sin egen næsten-hændelse eller fejl ærligt, hvad ville der så faktisk ske med vedkommende? Eksistensen af en no-blame-politik er ikke dokumentation for, at folk tror, den gælder dem personligt. Drøft en nylig sag, reel eller hypotetisk, hvor en ærlig oplysning om en fejl ville have afprøvet politikken, og vær specifik om, hvad konsekvenserne var eller sandsynligvis ville have været. Overvej, om jeres sikkerhedsrelevante rapportering sidder i samme system som jeres præstationsbelønningsbeslutninger, da at blande de to er den mest almindelige måde, en nominelt no-blame-kultur stille og roligt straffer ærlighed alligevel. Dette spørgsmål er ubehageligt med vilje; et team, der ikke kan drøfte det åbent, har allerede besvaret det.

Har vores inspektions- eller vurderingsorgan reel uafhængighed fra den organisation, det vurderer, eller kun formel uafhængighed? Uafhængighed i navnet er almindeligt; uafhængighed i finansiering, adgang og retten til at offentliggøre et uvelkomment fund er sjældnere og lettere at erodere gradvist. Opregn de inspektions- eller vurderingsforhold, jeres organisation er underlagt, og bedøm hvert ærligt på, om det kunne overleve et beslutsomt forsøg fra den inspicerede på at forme udfaldet. Drøft, hvad der skete, sidste gang en inspektion frembragte et reelt uvelkomment resultat, og om svaret var at rette det underliggende problem eller at styre forholdet til inspektøren.

Hvilket af Smiths dysfunktionelle svar på mål – tunnelsyn, målefiksering, misrepræsentation, forstening – er mest synligt i vores egen rapportering lige nu? At navngive det specifikke fejlmønster, frem for at drøfte manipulation i abstrakt, gør samtalen konkret nok til at handle på. Gå de fire mønstre igennem og spørg, hvilket teamet genkender i sin egen nylige erfaring, frem for at antage, at organisationen er undtaget, fordi ingen skandale endnu er indtruffet. Drøft, hvordan et korrigerende skridt for netop det mønster ville se ud i den næste rapporteringscyklus, ikke som en generel forpligtelse til at «gøre det bedre med måling».

Hvis vi holdt op med offentligt at rapportere vores nuværende overskriftsmål i et år, hvad ville vi så faktisk miste, og hvad kunne vi vinde? Dette spørgsmål afprøver, om et mål reelt styrer beslutninger eller er blevet et mål i sig selv, som ingen ville forsvare, hvis de blev bedt om at begrunde det fra grundprincipper. Drøft ærligt, hvilken beslutning, hvis nogen, der har ændret sig det seneste år på grund af netop dette tal, adskilt fra beslutninger, der ville være truffet alligevel. Overvej, hvilken personaletid og adfærdsforvridning målet i øjeblikket koster, og om et andet, sværere-at-manipulere mål ville tjene det samme ansvarlighedsformål bedre. Dette er ikke et argument for at opgive måling – det er en disciplin til kun at beholde den måling, der fortjener sin plads.

I praksis: et eksempel på offentlig værdi

Ambulancetjenesten i en mellemstor storbyregion – fiktiv, illustrativ for et mønster frem for en rapport om noget reelt organ – havde i årevis opereret under et offentliggjort mål, der krævede et nødrespons inden for otte minutter for de mest livstruende opkald. Målet var sat i god tro, bakket op af klinisk dokumentation for, at responshastighed reelt påvirker overlevelse for en defineret kategori af nødsituationer, og tjenestens bestyrelse behandlede den offentliggjorte procentdel af opkald, der opfyldte målet, som sin vigtigste enkeltstående indikator for organisatorisk succes.

I løbet af tre år forbedredes det rapporterede tal støt, fra lige over halvdelen af kvalificerende opkald til næsten ni ud af ti, og seniorledelsen præsenterede tendensen på hvert bestyrelsesmøde som klar dokumentation for, at operationelle reformer virkede. Hvad overskriftstallet ikke viste, var, hvordan forbedringen faktisk var opnået. Opkaldsmodtagere, der var klar over, at deres egen præstation delvis blev vurderet på, hvor mange opkald de klassificerede i målkategorien, var gradvist begyndt – uden nogen enkelt beslutning om at gøre det – at nedgradere en voksende andel af reelt alvorlige opkald til en lavere prioritetskategori, otteminuttersuret ikke gjaldt for, blot fordi en mindre, tættere defineret gruppe af opkald var lettere at ramme målet mod. Særskilt havde besætninger lært, at uret stoppede i det øjeblik, et køretøj ankom til stedet, ikke når en patient faktisk blev nået, hvilket skabte et lille men reelt incitament til at parkere ved grænsen frem for at nå patienten hurtigst muligt.

Ingen af praksisserne var svigagtige i den forstand, at en registrering blev forfalsket; hver var et lokalt rationelt svar på et mål, hvis definition skabte plads til netop denne drift – et lærebogseksempel på målefiksering og misrepræsentation, der opererer sammen. Problemet kom frem ikke gennem tjenestens egen rapportering, der fortsatte med at vise forbedring, men gennem en uafhængig regional sundhedsinspektions rutineinspektion, som kombinerede gennemgang af sagsakter med direkte observation af opkaldsmodtagelse og fandt nedgraderede klassifikationer uforenelige med de kliniske detaljer registreret i de samme opkald. Inspektionens vurdering faldt kraftigt, fra en beskrivelse svarende til «god» til «kræver forbedring», trods at tjenestens eget offentliggjorte responstidstal var bedre, end det nogensinde havde været.

Tjenestens første svar – at pege på sine egne forbedrede tal – gjorde troværdighedsproblemet værre, fordi det besvarede et spørgsmål, inspektionen ikke havde stillet; inspektionen havde aldrig bestridt aritmetikken, kun hvad aritmetikken målte. Dens mere effektive svar var at redesigne indikatorsuiten fra den underliggende logiske model frem for at lappe det eksisterende mål: responstid blev omdefineret til øjeblikket for patientkontakt frem for køretøjets ankomst, opkaldsklassificering blev auditeret uafhængigt på en rullende stikprøve frem for at stoles på opkaldsmodtagerens egen registrering, og et parallelt klinisk resultatmål – overlevelse til hospitalsindlæggelse – blev indført, fordi det var meget sværere at manipulere ved omklassificering alene. Den rapporterede responstidsprocent faldt i det første år under den nye definition, hvilket bestyrelsen havde forberedt sine finansierere på at forvente; det kliniske resultatmål, fulgt for første gang på sammenligneligt grundlag, viste en mindre men reel forbedring, det oprindelige mål aldrig faktisk havde påvist, hverken den ene eller anden vej.

Fire sektorlinser

Lokal forvaltning

Lokale tjenester såsom brand og redning, voksensocialpleje og affaldsindsamling måles normalt mod en blanding af nationalt påbudte indikatorer, den lokale myndighed ikke valgte, og lokalt valgte mål, der afspejler et specifikt råds egne prioriteter, så en enkelt tjeneste kan bedømmes som en succes mod ét indikatorsæt og en bekymring mod et andet. Inspektion på lokalt niveau leveres ofte af et nationalt eller regionalt organ med et lovbestemt kommissorium, der dækker mange lokale myndigheder på én gang, hvilket giver nyttigt sammenlignende perspektiv men mindre detaljeret lokal kontekst end den organisation, det inspicerer. Lokale folkevalgte medlemmer og granskningsudvalg tilføjer et hurtigere, mere umiddelbart lag af ansvarlighed og er ofte de første til at høre fra beboere, når et offentliggjort tal og den levede oplevelse divergerer.

National forvaltning

National forvaltning kører typisk de største og mest politisk synlige præstationsregimer, fordi et nationalt mål – en ventetidsstandard, et kriminalitetsreduktionsmål, et beståelsesrate-mål – bliver en proxy i den offentlige debat for den siddende regerings kompetence, hvilket hæver indsatsen for manipulation langt ud over det operationelle niveau. Dette er rammen, hvor Bevan og Hoods «targets and terror»-dynamik er mest fuldt realiseret, fordi nationale mål ofte parres med synlige politiske konsekvenser for at misse dem, hvilket skærper incitamentet til at styre tallet frem for den virkelighed, der ligger bag. Nationale tilsyn, netop fordi de opererer på armslængde af de ministerier, hvis politiske formue en vurdering kan påvirke, bærer en uforholdsmæssig del af byrden for at bringe kløften mellem rapporteret og faktisk præstation frem (se Emne 3.4 — Ansvarlighed, gennemsigtighed og legitimitet).

Den sociale sektor og nonprofit

Nonprofitorganisationer og ikke-statslige organisationer møder oftere kvalitetssikring og akkreditering som en frivillig eller bidragyderpålagt disciplin end som et lovbestemt inspektionsregime, da få jurisdiktioner driver et dedikeret uafhængigt tilsyn for sektoren som helhed. Det efterlader kvalitetssikring i den sociale sektor mere fragmenteret – forskellige bidragydere pålægger de samme organisationer forskellige krav – men også mere fleksibel, da en nonprofitorganisation ofte kan designe sin egen indikatorsuite omkring sin faktiske forandringsteori frem for et sæt mål pålagt udefra. Fraværet af et obligatorisk eksternt tilsyn hæver den relative betydning af en uafhængig bestyrelse og ekstern revision som sektorens egen horisontale ansvarlighedserstatning (se Emne 3.4 — Ansvarlighed, gennemsigtighed og legitimitet), da en nonprofitorganisations egen ledelse ellers både er den, der måler, og den, der måles.

Multilateral og international

Multilaterale organer og de sammenlignende indekser, de offentliggør eller støtter sig til – tværlandsrangeringer af styringskvalitet, nem forretningsdrift eller offentlig tjenestepræstation – står over for Goodharts lov i skalaen af hele nationale regeringer, hvor et land kan forbedre sin rangering gennem reformer målrettet snævert mod de målte kriterier frem for den bredere tilstand, indekset påstår at repræsentere. Uafhængig inspektion i den indenlandske betydning brugt andetsteds i dette emne har ingen reel pendant på tværs af suveræne grænser, da ingen stat accepterer et eksternt tilsyn med den tvangsstilling, et nationalt organ har over en myndighed, det fører tilsyn med; multilateral kvalitetssikring støtter sig i stedet til peer review, selvrapportering valideret af tekniske missioner og omdømmeomkostningen ved en offentliggjort vurdering. Det gør uafhængigheden og den tekniske troværdighed hos det organ, der udarbejder ethvert tværlandsindeks, særligt vigtig, da det ofte er det eneste tilgængelige tjek.

Almindelige fejlmønstre

Tunnelsyn. En organisation koncentrerer indsats og ressourcer om det, der måles, til direkte skade for ikke-målte aspekter af den samme tjeneste, der betyder lige så meget for de mennesker, den tjener. Omkostningen er en tjeneste, der ser ud til at forbedres i enhver offentliggjort rapport, mens en ikke-målt dimension – patientværdighed, sagskompleksitet, langsigtede resultater – stille og roligt forværres, uset indtil den bliver en krise stor nok til at tvinge ny måling.

Målefiksering. Succes på indikatoren kommer til at blive behandlet, inde i organisationen, som ensbetydende med succes på det underliggende mål, så proxyen fortrænger målet i alles faktiske opmærksomhed, selv mens den formelle missionserklæring stadig nævner målet. Omkostningen er et voksende, selvforstærkende hul mellem rapporteret præstation og levet virkelighed, fordi ingen inde i organisationen længere iagttager virkeligheden direkte.

Misrepræsentation. Data justeres – et ur stoppet tidligt, en sag omklassificeret, en nævner valgt til gunstig virkning – så det rapporterede tal forbedres uden at den underliggende virkelighed ændrer sig overhovedet, som i det udarbejdede eksempel ovenfor. Omkostningen, når det opdages, er uforholdsmæssig i forhold til den oprindelige forvridning, fordi misrepræsentation skader ikke kun det specifikke tal, men troværdigheden af hvert andet tal, den samme organisation nogensinde har offentliggjort (se Emne 3.4 — Ansvarlighed, gennemsigtighed og legitimitet).

Forstening. Et mål fastsat for en specifik driftskontekst lades urevideret længe efter, at konteksten har ændret sig, så det fortsat rapporteres og styres mod, selv om det ikke længere skelner mellem reelt god og reelt dårlig præstation. Omkostningen er usynlig i årevis, fordi et forstenet mål stadig frembringer et tal; tallet har blot holdt op med at betyde noget, og organisationens reelle ledelsesopmærksomhed er som regel allerede flyttet andetsteds uden at nogen formelt har afviklet målet.

Tilsynskapring. Et uafhængigt inspektions- eller vurderingsorgan bliver gradvist afhængigt af velviljen, adgangen eller det fortsatte samarbejde fra de organisationer, det inspicerer, hvad enten gennem finansieringsordninger, karriereveje der flytter personale mellem inspektør og inspiceret eller uformelle relationer bygget over gentagne inspektioner. Omkostningen er et langsomt tab af reel uafhængighed, som en formel vedtægt eller lov ikke i sig selv forhindrer, og det viser sig typisk først, når et større svigt passerer gennem et vurderingssystem, der burde have fanget det.

Skyldsdrevet sikkerhedsrapportering. Et system til rapportering af sikkerhedsrelevante fejl og næsten-hændelser er nominelt no-blame men i praksis forbundet tæt nok til præstationsvurdering eller disciplinærproces til, at personalet lærer, at rapportering af en ærlig fejl bærer personlig risiko. Omkostningen er ikke færre fejl – det er færre rapporter om de fejl, der fortsat sker, hvilket fjerner netop det tidlige advarselssignal, et sikkerhedssystem findes for at give, før den næste, mere alvorlige hændelse indtræffer.

Modenhedsmodel

Tjekliste

• Spor hver overskriftspræstationsindikator tilbage til den logiske model eller resultatramme, den skal repræsentere.
• Identificér den mest plausible måde, hvorpå hvert offentliggjort mål kunne manipuleres, og nævn et balancerende mål, der ville afsløre det.
• Bekræft, at den, der fastsætter et mål, den, der måles mod det, og den, der uafhængigt kontrollerer resultatet, ikke alle er den samme del af organisationen.
• Planlæg en fastcyklus-gennemgang af hvert levende mål, uafhængigt af ethvert synligt svigt, der udløser den.
• Bekræft, at den sikkerhedsrelevante rapporteringskanal er strukturelt adskilt fra præstationsbelønnings- og disciplinærbeslutninger.
• Afprøv, om personalet tror, at en ærligt rapporteret fejl eller næsten-hændelse ville blive behandlet uden skyld, ikke kun om en politik siger det.
• Bekræft, at ethvert inspektions- eller vurderingsorgan, der vurderer organisationen, har beskyttet finansiering, adgang og offentliggørelsesrettigheder.
• Offentliggør de kendte begrænsninger ved hvert overskriftsmål ved siden af selve tallet.
• Tjek, om nogen indikator er ramt konsekvent i flere perioder uden en tilsvarende undersøgelse af hvorfor.
• Inddrag frontpersonale i designet af ethvert nyt mål, før det går live.
• Bekræft, at en kvalitetsledelsescertificering, hvor en findes, behandles som et gulv og ikke citeres som dokumentation for gode resultater alene.

Centrale kilder

• Charles Goodharts formulering fra 1975 af det, der blev kendt som Goodharts lov, udviklet i sammenhæng med pengepolitisk målsætning.
• Marilyn Strathern, «'Improving ratings': audit in the British university system», European Review, 5(3) (1997), 305–321 – den ofte citerede offentlige gentagelse af Goodharts lov.
• Peter Smith, «On the Unintended Consequences of Publishing Performance Data in the Public Sector», International Journal of Public Administration, 18(2–3) (1995), 277–310 – kilden til typologien tunnelsyn, målefiksering, misrepræsentation og forstening, dette emne bygger på.
• Gwyn Bevan og Christopher Hood, «What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System», Public Administration, 84(3) (2006), 517–538 – «targets and terror»-studiet af manipulation under alvorlige konsekvenser.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) – en bredtfavnende beretning om målingssvigt på tværs af uddannelse, sundhedsvæsen, erhvervsliv og regering.
• UK National Audit Office, «Performance measurement by regulators», og US Government Accountability Offices vejledning, der skelner præstationsmål fra programevaluering.
• Care Quality Commission og Ofsted, som eksempler på uafhængige inspektions- og vurderingsorganer, der opererer på armslængde af de organisationer, de vurderer.

Henvisninger

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, "'Improving ratings': audit in the British university system" — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, "On the Unintended Consequences of Publishing Performance Data in the Public Sector" — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, "What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System" — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted