Kvalitet, säkerhet och prestationsstyrning

Varför detta är viktigt för offentligt värde

Varje offentlig organisation och organisation i social sektor av någon storlek drivs nu på tal: väntetider, avslutade ärenden, svarsminuter, godkändgrader, nöjdhetsbetyg, inspektionsbetyg. Mål som byggs av dessa tal är inte något som tvingas på den offentliga förvaltningen utifrån; de är hur legitimitet och stöd visas upp inför finansiärer, lagstiftande församlingar, styrelser och medborgare som annars inte kan se in i den dagliga verksamheten (se Ämne 1.2 — Den strategiska triangeln: legitimitet, värde och kapacitet). En ledare som inte kan peka på ett tal som rört sig i rätt riktning har svårt att försvara en budget, ett mandat eller en reform.

Svårigheten är att ett tal som byggts för att representera kvalitet inte är samma sak som kvalitet i sig, och de två glider i det tysta isär i samma stund talet börjar betyda mer än verkligheten bakom det. En poliskår kan driva ned registrerad brottslighet genom att ändra hur poliser klassificerar händelser snarare än genom att minska skada. Ett sjukhus kan nå ett väntetidsmål genom att omklassificera vilka patienter klockan gäller för snarare än genom att behandla människor snabbare. Ingen av förändringarna syns i den publicerade siffran, vilket är precis det problem det här ämnet finns för att ta itu med.

Det här ämnet är den centrala behandlingen av det problemet i offentlig sektor: resultatindikatorer och de perversa incitament de skapar, kvalitetssäkringsregimer byggda för att hålla standarder konsekventa oavsett vad något enskilt mål säger, och oberoende inspektions- och betygsorgan som kontrollerar verkligheten bakom talen utifrån, utanför den kommandokedja som producerade dem. Ämne 2.1 behandlar var indikatorer bör komma ifrån från första början – resultatramverk och logiska modeller som kopplar ett mått tillbaka till ett genuint orsakspåstående om värde (se Ämne 2.1 — Scorecard för offentligt värde och resultatramverk). Det här ämnet behandlar vad som händer när dessa indikatorer väl förvandlas till levande mål som personal styrs mot, och hur en organisation håller sitt eget mätsystem ärligt.

Insatserna stiger med hur offentligt ett tal används. Ett privat internt mått som glider från verkligheten slösar en chefs tid. Ett offentligt prestationsmål, ett rubrikbetyg från en inspektion eller en säkerhetsstatistik som glider från verkligheten kan kosta liv, felfördela resurser i åratal och – när glappet mellan det rapporterade talet och den levda erfarenheten slutligen blir synligt – förstöra just den legitimitet som talet publicerades för att bygga (se Ämne 3.4 — Ansvarsutkrävande, transparens och legitimitet).

Grundläggande begrepp

En resultatindikator (performance indicator) är en mätbar variabel vald för att stå i för en aspekt av en organisations prestation som inte direkt och kontinuerligt kan observeras (se performance indicator). Indikatorer är ersättningsmått per konstruktion: ingen kan direkt mäta ”vårdkvalitet” eller ”trygghet i samhället”, så en organisation mäter något snävare och mer räkningsbart – en väntetid, en registrerad brottslighet – och behandlar rörelse i det som evidens för rörelse i den bredare sak det står för. Det glappet mellan ersättningsmått och verklighet sluter sig aldrig; det här ämnet handlar om att hantera det snarare än att glömma att det finns.

Goodharts lag säger, i sin vanligaste formulering i offentlig sektor, att när ett mått blir ett mål slutar det vara ett bra mått. Lagen är uppkallad efter den brittiske ekonomen Charles Goodhart, som formulerade den underliggande insikten 1975 i samband med penningpolitik: när en centralbank väl börjar sikta på ett visst mått på penningmängden börjar de statistiska samband som gjorde måttet användbart att brytas ned, eftersom människor ändrar sitt beteende som svar på själva målet. Antropologen Marilyn Strathern återformulerade idén för en publik i offentlig sektor i en ofta citerad studie från 1997 om brittisk revisionskultur vid universitet, och gav den den kompakta formulering som nu oftast citeras: ”när ett mått blir ett mål slutar det vara ett bra mått”. Ämne 3.1 presenterade denna dynamik kort i samband med New Public Managements förlitan på uttryckliga mål; det här ämnet är dess fullständiga hemmabehandling (se Ämne 3.1 — System och modeller för offentlig förvaltning). Goodharts lag är inte ett argument mot mätning – det är ett argument att mätning och belöning inte kan smältas samman vårdslöst utan att förändra det som mäts.

Perversa incitament (perverse incentives) är den mekanism genom vilken Goodharts lag gör sin skada: en incitamentsstruktur som ger resultat i strid med vad dess utformare avsåg, eftersom de människor som svarar på den optimerar för belöningens bokstav snarare än syftet bakom den (se perverse incentive). Ett mål knutet till finansiering, rykte eller karriär skapar ett perverst incitament närhelst det finns ett sätt att förbättra det rapporterade talet utan att förbättra det underliggande resultatet – och i en tjänst som levereras genom tusentals enskilda omdömesbedömningar finns nästan alltid ett sådant sätt när människor väl börjar leta.

En typologi över dysfunktionella svar på mål. Ekonomen Peter Smith katalogiserade i en inflytelserik studie från 1995 av resultatdata i offentlig sektor de sätt på vilka publicerade mål förvränger beteende, av vilka flera förblir standardordförrådet för att diagnostisera ett kämpande indikatorsystem. Tunnelseende (tunnel vision) är att koncentrera ansträngningen på det som mäts på bekostnad av det som inte mäts, även när de ej mätta aspekterna betyder lika mycket eller mer. Måttfixering (measure fixation) är att behandla framgång på indikatorn som framgång på det underliggande målet, så att ersättningsmåttet i det tysta ersätter det det var avsett att representera i allas uppmärksamhet – mönstret bakom att undervisa till provet i utbildningssystem, där undervisningen snävas in till det ett standardiserat prov täcker snarare än det bredare lärande provet var avsett att signalera. Felframställning (misrepresentation) är den avsiktliga manipulationen av rapporterade data – att omklassificera ett ärende, justera en klocka, välja en mer gynnsam nämnare – så att siffrorna förbättras utan att verkligheten alls förändras. Förstening (ossification) är ett måls långsamma förfall till betydelselöshet när det lämnas orevident långt efter att den driftsmiljö det utformades för har förändrats. En närbesläktad studie från 2006 av mål i det engelska offentliga hälso- och sjukvårdssystemet av Gwyn Bevan och Christopher Hood visade hur långt dessa dynamiker kan gå när ett mål paras med svåra konsekvenser för att missa det, och myntade frasen ”targets and terror” för en regim som producerar just det manipulationsbeteende den var utformad för att eliminera.

Kvalitetssäkring (quality assurance) är den systematiska, organisationsägda disciplinen att säkerställa att en produkt eller tjänst konsekvent uppfyller en definierad standard, genom felförebyggande inbyggd i processen snarare än enbart kontroll av den färdiga produkten (se quality assurance). Där ett prestationsmål mäter ett utfall i efterhand är kvalitetssäkring utformad för att göra ett dåligt utfall mindre sannolikt att inträffa från första början, typiskt genom standardiserade förfaranden, checklistor, kollegial granskning och rotorsaksanalys av misslyckanden. Totalkvalitetsledning (total quality management) är den bredare ledningsfilosofi som bygger på denna disciplin och behandlar kontinuerlig kvalitetsförbättring som allas ansvar snarare än en specialistfunktion fäst vid slutet av en process (se total quality management), och ISO 9000-familjen av internationella standarder publicerade av International Organization for Standardization (ISO), första gången utgivna 1987, ger organisationer ett certifierbart ramverk för att visa att ett sådant ledningssystem finns. Ett organ kan certifieras mot en kvalitetsledningsstandard, och klara varje intern kvalitetssäkringskontroll, medan det ändå manipulerar sina externt rapporterade prestationsmål; de två systemen besvarar olika frågor och inget ersätter det andra.

Säkerhetsindikatorer och säkerhetskultur förtjänar särskild behandling skild från vanliga resultatindikatorer eftersom skadan av ett perverst incitament ofta är oåterkallelig. Inom hälso- och sjukvården har praxis för patientsäkerhet lärt sig, ofta till hög kostnad, att straff av personal för att rapportera ett fel undertrycker just den information ett säkerhetssystem behöver för att förhindra nästa – en insikt som har spridit sig från kliniska miljöer till flyg, transport och andra offentliga tjänster med höga konsekvenser. En ”no-blame”- eller ”just culture”-rapporteringsmiljö behandlar ett ärligt rapporterat tillbud som en värdefull datapunkt snarare än ett erkännande av skuld, vilket är motsatsen till hur de flesta vanliga prestationsmål är utformade att fungera: en prestationsregim belönar det goda talet, medan en säkerhetsregim måste belöna det ärliga talet även när det är dåligt.

Oberoende inspektions- och betygsorgan ger en kontroll av allt ovanstående som kommer utifrån, utanför den kommandokedja som bedöms. En inspektionsmyndighet – såsom Englands Ofsted, som inspekterar utbildnings- och barntjänstutförare, eller Care Quality Commission, som inspekterar och betygsätter hälso- och sjukvårds- och omsorgsutförare – skickar bedömare som direkt observerar praxis, utövar professionellt omdöme och publicerar ett betyg som den inspekterade enheten inte styr över. Detta skiljer sig strukturellt från intern prestationsstyrning: en självrapporterad väntetidssiffra kan manipuleras av de människor vars incitament är att manipulera den, men en inspektör som går igenom avdelningarna eller observerar klassrummet tittar på den verklighet talet var avsett att representera. Inspektion är en form av horisontellt ansvarsutkrävande – granskning av ett organ med oberoende ställning snarare än av en väljarkår eller en marknad (se Ämne 3.4 — Ansvarsutkrävande, transparens och legitimitet) – och den förtjänar den rollen bara i den mån dess oberoende, i finansiering, utnämning och publicering, genuint skyddas.

Bästa praxis

1. Härled indikatorer ur den logiska modellen, inte ur det som redan är lätt att räkna. Att välja ett mått därför att data redan finns, snarare än därför att det följer en genuin länk i orsakskedjan, är hur måttfixering och tunnelseende börjar (se Ämne 2.1 — Scorecard för offentligt värde och resultatramverk).
2. Para varje prestations- eller aktivitetsmål med minst ett balanserande mått som skulle avslöja den mest sannolika manipulationsstrategin. Om ett väntetidsmål kan manipuleras genom att omklassificera ärenden, följ omklassificeringsgraden vid sidan av rubriksiffran, inte som en eftertanke när en skandal tvingar fram frågan.
3. Behandla ett mål som har nåtts under flera på varandra följande perioder som en uppmaning att undersöka, inte bara att fira. Ett tal som slutar skilja god från dålig prestation har antingen genuint löst problemet eller manipulerats till betydelselöshet, och de två ser identiska ut enbart på instrumentpanelen.
4. Skilj den som sätter ett mål från den som mäts mot det och från den som oberoende kontrollerar resultatet. Att slå ihop dessa tre roller i en del av organisationen tar bort den strukturella spänning som håller ett mätsystem ärligt.
5. Revidera eller avveckla ett mål enligt en fast cykel, inte bara efter ett synligt misslyckande. Förstening är ett måls standardöde; en schemalagd översyn som frågar om målet fortfarande följer något meningsfullt fångar förfallet innan en kris gör det.
6. Bygg en no-blame-kanal för säkerhetsrelevanta tillbud och fel, strukturellt skild från belöningsbeslut kopplade till prestation. Ett säkerhetssystem som straffar ärlig rapportering kommer fortfarande att ha samma grad av underliggande fel – det kommer bara att sluta få veta om dem tills skadan är större och svårare att dölja.
7. Ge oberoende inspektörer och betygsorgan genuin tillgång, skyddad finansiering och publiceringsrätt som den inspekterade enheten inte kan lägga in veto mot. En inspektionsmyndighet som är beroende av den betygsatta organisationens välvilja för sin budget eller sin tillgång utför granskning, den ger den inte.
8. Använd professionellt omdöme för att tolka ett kvantitativt betyg, i stället för att låta betyget stå ensamt. Ett enda sammansatt betyg komprimerar en rik, ojämn verklighet till ett tal; publicera den kvalitativa berättelsen bakom ett inspektionsbetyg vid sidan av betyget självt, så att en läsare kan se vad talet sammanfattar.
9. Utforma mål tillsammans med den frontpersonal som ska mätas mot dem, inte bara för dem. De människor som står närmast arbetet vet vanligen den enklaste manipulationsstrategin före någon analytiker; att involvera dem i designen lyfter fram den risken tidigt snarare än efter att målet redan är i bruk.
10. Certifiera en systematisk kvalitetsledningsprocess, såsom en byggd på ISO 9000-familjen av standarder, som ett golv snarare än en ersättning för resultatmätning. Certifiering visar att en konsekvent process finns; den visar inte i sig att processen ger ett gott resultat, och att behandla certifikatet som tillräcklig evidens för kvalitet är i sig en form av måttfixering.
11. Publicera ett måls kända begränsningar tillsammans med själva målet. Att namnge, i samma rapport som siffran, vad måttet inte fångar och hur det rimligen kan manipuleras föregriper just den upptäckt som annars skadar legitimiteten senare (se Ämne 3.4 — Ansvarsutkrävande, transparens och legitimitet).

Frågor att diskutera med ditt team

Vilka av våra nuvarande publicerade mål skulle kunna nås utan att det underliggande resultatet alls förbättras? Det här är den mest direkta tillämpningen av Goodharts lag som finns tillgänglig för något team, och nästan varje organisation som har kört numeriska mål i mer än några år bär på minst ett levande exempel. Gå igenom era rubrikindikatorer en i taget och fråga, konkret, vilket beteende var och en belönar snarare än vad den var utformad för att mäta. Diskutera om frontpersonalen redan känner till ett enklare sätt att flytta talet än det avsedda, eftersom de vanligen gör det långt innan det når högre ledare. Behandla ett självsäkert, oprövat ”ingen skulle göra så här” som i sig värt att undersöka snarare än som en lugnande försäkran.

Var har vi låtit en lätträknad prestation i det tysta stå i för ett genuint kvalitets- eller säkerhetsomdöme? Prestationer är nästan alltid billigare och snabbare att samla in än resultat, vilket skapar en permanent frestelse att rapportera de förra med de senares språk. Identifiera en flaggskeppsindikator som er organisation för närvarande rapporterar och fråga, gemensamt, om den faktiskt mäter kvaliteten på det som hände eller bara volymen på den aktivitet som ägde rum. Diskutera vad ett genuint kvalitetsmått för samma aktivitet skulle kräva att samla in, och vad som har hindrat organisationen från att göra det hittills. Frågan avslöjar ofta att hindret är resurser snarare än svårigheten att definiera.

Om en medarbetare rapporterade sitt eget tillbud eller fel ärligt i dag, vad skulle faktiskt hända med dem? Att en no-blame-policy finns är inte evidens för att människor tror att den gäller dem personligen. Diskutera ett färskt fall, verkligt eller hypotetiskt, där ett ärligt avslöjande av ett fel skulle ha prövat policyn, och var specifika om vad följderna var eller sannolikt skulle ha varit. Fundera på om er säkerhetsrelevanta rapportering ingår i samma system som era belöningsbeslut kopplade till prestation, eftersom en blandning av de två är det vanligaste sättet på vilket en nominellt no-blame-kultur i det tysta ändå straffar ärlighet. Frågan är obekväm med avsikt; ett team som inte kan diskutera den öppet har redan besvarat den.

Har vårt inspektions- eller betygsorgan verkligt oberoende av den organisation det bedömer, eller bara formellt oberoende? Oberoende till namnet är vanligt; oberoende i finansiering, tillgång och rätten att publicera ett oönskat fynd är sällsyntare och lättare att urholka gradvis. Lista de inspektions- eller betygsrelationer er organisation är underkastad och bedöm var och en ärligt på om den skulle kunna överleva ett beslutsamt försök av den inspekterade enheten att forma utfallet. Diskutera vad som hände senast en inspektion gav ett genuint oönskat resultat, och om svaret var att åtgärda det underliggande problemet eller att hantera relationen med inspektören.

Vilket av Smiths dysfunktionella svar på mål – tunnelseende, måttfixering, felframställning, förstening – är mest synligt i vår egen rapportering just nu? Att namnge det särskilda felmönstret, snarare än att diskutera manipulation i det abstrakta, gör samtalet tillräckligt konkret för att kunna agera på. Gå igenom de fyra mönstren och fråga vilket teamet känner igen i sin egen färska erfarenhet, snarare än att anta att organisationen är undantagen därför att ingen skandal ännu har inträffat. Diskutera hur ett korrigerande steg för just det mönstret skulle se ut i nästa rapporteringscykel, inte som ett allmänt åtagande att ”bli bättre på mätning”.

Om vi slutade offentligt rapportera vårt nuvarande rubrikmål i ett år, vad skulle vi faktiskt förlora, och vad skulle vi kunna vinna? Frågan prövar om ett mål genuint styr beslut eller har blivit ett självändamål som ingen skulle försvara om de ombads motivera det från första principer. Diskutera ärligt vilket beslut, om något, som har förändrats under det senaste året på grund av just det här talet, i skillnad från beslut som ändå skulle ha fattats. Fundera på vilken personaltid och vilken beteendeförvrängning målet för närvarande kostar, och om ett annat, svårare att manipulera mått skulle tjäna samma ansvarssyfte bättre. Det här är inget argument för att överge mätning – det är en disciplin för att behålla bara den mätning som förtjänar sin plats.

I praktiken: ett exempel på offentligt värde

Ambulanssjukvården i en medelstor storstadsregion – fiktiv, illustrerar ett mönster och är ingen rapport om något verkligt organ – hade i åratal verkat under ett publicerat mål som krävde ett akut svar inom åtta minuter för de mest livshotande larmen. Målet hade satts med goda avsikter, stött av klinisk evidens för att svarshastigheten genuint påverkar överlevnaden för en definierad kategori av nödsituationer, och tjänstens styrelse behandlade den publicerade andelen larm som uppfyllde målet som sin viktigaste indikator på organisatorisk framgång.

Under tre år förbättrades den rapporterade siffran stadigt, från strax över hälften av kvalificerande larm till nästan nio av tio, och högsta ledningen presenterade trenden vid varje styrelsemöte som tydlig evidens för att operativa reformer fungerade. Vad rubriksiffran inte visade var hur förbättringen faktiskt hade uppnåtts. Larmoperatörerna, medvetna om att deras egen prestation bedömdes delvis efter hur många larm de klassificerade i den målbärande kategorin, hade börjat – gradvis, utan något enskilt beslut att göra det – nedgradera en växande andel genuint allvarliga larm till en lägre prioritetskategori som åttaminutersklockan inte gällde för, helt enkelt därför att en mindre, mer snävt definierad pool av larm var lättare att nå målet mot. Separat hade besättningarna lärt sig att klockan stannade i det ögonblick ett fordon anlände till platsen, inte när en patient faktiskt nåddes, vilket skapade ett litet men verkligt incitament att parkera vid gränsen snarare än att nå patienten snabbast.

Ingen av praxis var bedräglig i den meningen att något register förfalskades; var och en var ett lokalt rationellt svar på ett mål vars definition skapade utrymme för just den här driften – ett lärobokstypiskt fall av måttfixering och felframställning som verkar tillsammans. Problemet kom upp inte genom tjänstens egen rapportering, som fortsatte visa förbättring, utan genom en oberoende regional hälsoinspektionsmyndighets rutininspektion, som kombinerade genomgång av ärendeakter med direkt observation av larmhantering och fann att nedgraderade klassificeringar var oförenliga med de kliniska uppgifter som antecknats i samma larm. Inspektionsmyndighetens betyg föll kraftigt, från en beskrivning motsvarande ”bra” till ”kräver förbättring”, trots att tjänstens egen publicerade svarstidssiffra var bättre än den någonsin hade varit.

Tjänstens första svar – att peka på sina egna förbättrade siffror – förvärrade trovärdighetsproblemet, eftersom det besvarade en fråga som inspektionsmyndigheten inte hade ställt; inspektionen hade aldrig bestridit aritmetiken, bara vad aritmetiken mätte. Dess mer effektiva svar var att omforma indikatorsviten utifrån den underliggande logiska modellen snarare än att lappa det befintliga målet: svarstiden omdefinierades till ögonblicket för patientkontakt snarare än fordonets ankomst, larmklassificeringen granskades oberoende på ett rullande urval i stället för att anförtros åt operatörens egen registrering, och ett parallellt kliniskt resultatmått – överlevnad till sjukhusinläggning – infördes eftersom det var mycket svårare att manipulera enbart genom omklassificering. Den rapporterade svarstidsprocenten föll under det första året enligt den nya definitionen, vilket styrelsen hade förberett sina finansiärer på att förvänta sig; det kliniska resultatmåttet, följt för första gången på jämförbar grund, visade en mindre men genuin förbättring som det ursprungliga målet aldrig egentligen hade visat åt endera hållet.

Fyra sektorperspektiv

Lokal förvaltning

Lokala tjänster såsom räddningstjänst, äldreomsorg och avfallsinsamling mäts vanligen mot en blandning av nationellt påbjudna indikatorer som kommunen inte har valt och lokalt valda mått som speglar ett särskilt fullmäktiges egna prioriteringar, så en enskild tjänst kan bedömas som en framgång mot en indikatoruppsättning och ett bekymmer mot en annan. Inspektion på lokal nivå utförs ofta av ett nationellt eller regionalt organ med lagstadgat uppdrag över många kommuner på en gång, vilket ger användbart jämförande perspektiv men mindre detaljerad lokal kontext än den organisation det inspekterar. Lokala förtroendevalda och granskningsutskott lägger till ett snabbare, mer omedelbart skikt av ansvarsutkrävande, och är ofta de första att höra från invånare när en publicerad siffra och den levda erfarenheten divergerar.

Nationell förvaltning

Nationell förvaltning driver vanligen de största och mest politiskt synliga prestationsregimerna, eftersom ett nationellt mål – en väntetidsstandard, ett brottsminskningsmål, ett mål för godkändgrad – blir ett ersättningsmått i den offentliga debatten för den sittande regeringens kompetens, vilket höjer insatserna för manipulation långt över den operativa nivån. Detta är miljön där Bevan och Hoods dynamik ”targets and terror” förverkligas mest fullt, eftersom nationella mål ofta paras med synliga politiska konsekvenser för att missa dem, vilket skärper incitamentet att hantera talet snarare än verkligheten bakom det. Nationella inspektionsmyndigheter, just därför att de verkar på armlängds avstånd från de ministerier vars politiska öden ett betyg kan påverka, bär en oproportionerlig del av bördan att synliggöra glappet mellan rapporterad och faktisk prestation (se Ämne 3.4 — Ansvarsutkrävande, transparens och legitimitet).

Social sektor och ideell sektor

Ideella organisationer och icke-statliga organisationer möter oftare kvalitetssäkring och ackreditering som en frivillig eller finansiärspåbjuden disciplin än som ett lagstadgat inspektionssystem, eftersom få jurisdiktioner driver en särskild oberoende inspektionsmyndighet för sektorn som helhet. Det lämnar kvalitetssäkringen i den sociala sektorn mer fragmenterad – olika finansiärer ställer olika krav på samma organisation – men också mer flexibel, eftersom en ideell organisation ofta kan utforma sin egen indikatorsvit kring sin faktiska förändringsteori snarare än en uppsättning mått påtvingade utifrån. Frånvaron av en obligatorisk extern inspektör höjer den relativa vikten av en oberoende styrelse och extern revision som sektorns eget substitut för horisontellt ansvarsutkrävande (se Ämne 3.4 — Ansvarsutkrävande, transparens och legitimitet), eftersom en ideell organisations egen ledning annars är både den som mäter och den som mäts.

Multilaterala och internationella organ

Multilaterala organ och de jämförande index de publicerar eller förlitar sig på – landsövergripande rankningar av styrningskvalitet, företagsklimat eller offentlig tjänsteprestation – möter Goodharts lag i skalan av hela nationella regeringar, där ett land kan förbättra sin rankning genom reformer riktade snävt mot de uppmätta kriterierna snarare än det bredare tillstånd indexet påstår sig representera. Oberoende inspektion i den inhemska betydelse som används på andra håll i detta ämne har ingen verklig motsvarighet över suveräna gränser, eftersom ingen stat accepterar en extern inspektionsmyndighet med den tvingande ställning en nationell myndighet har över ett organ den övervakar; multilateral kvalitetssäkring förlitar sig i stället på kollegial granskning, självrapportering validerad genom tekniska uppdrag och den ryktesmässiga kostnaden av ett publicerat betyg. Det gör oberoendet och den tekniska trovärdigheten hos det organ som sammanställer ett landsövergripande index särskilt viktiga, eftersom det ofta är den enda kontroll som finns.

Vanliga felmönster

Tunnelseende. En organisation koncentrerar ansträngning och resurser på det som mäts, till direkt skada för ej mätta aspekter av samma tjänst som betyder lika mycket för de människor den tjänar. Kostnaden är en tjänst som ser ut att förbättras i varje publicerad rapport medan en ej mätt dimension – patientens värdighet, ärendets komplexitet, långsiktiga resultat – i det tysta försämras, obemärkt tills det blir en kris stor nog att tvinga fram ny mätning.

Måttfixering. Framgång på indikatorn kommer att behandlas, inom organisationen, som likvärdig med framgång på det underliggande målet, så att ersättningsmåttet undantränger målet i allas faktiska uppmärksamhet även medan det formella uppdraget fortfarande namnger målet. Kostnaden är ett växande, självförstärkande glapp mellan rapporterad prestation och levd verklighet, eftersom ingen inom organisationen längre direkt bevakar verkligheten.

Felframställning. Data justeras – en klocka stoppad för tidigt, ett ärende omklassificerat, en nämnare vald för gynnsam effekt – så att den rapporterade siffran förbättras utan att den underliggande verkligheten alls förändras, som i exemplet ovan. Kostnaden, när det väl upptäcks, är oproportionerlig mot den ursprungliga förvrängningen, eftersom felframställning skadar inte bara den särskilda siffran utan trovärdigheten hos varje annat tal samma organisation någonsin har publicerat (se Ämne 3.4 — Ansvarsutkrävande, transparens och legitimitet).

Förstening. Ett mål som satts för en särskild driftsmiljö lämnas orevident långt efter att miljön har förändrats, så att det fortsätter att rapporteras och styras mot trots att det inte längre skiljer genuint god från genuint dålig prestation. Kostnaden är osynlig i åratal, eftersom ett förstenat mål fortfarande ger ett tal; talet har bara slutat betyda något, och organisationens verkliga ledningsuppmärksamhet har vanligen redan flyttat någon annanstans utan att någon formellt avvecklat måttet.

Kapning av inspektionsmyndigheten. Ett oberoende inspektions- eller betygsorgan blir gradvis beroende av de inspekterade organisationernas välvilja, tillgång eller fortsatta samarbete, vare sig genom finansieringsarrangemang, karriärvägar som flyttar personal mellan inspektör och inspekterad eller informella relationer byggda över upprepade inspektioner. Kostnaden är en långsam förlust av verkligt oberoende som en formell stadga eller lag inte i sig förhindrar, och som typiskt blir synlig först när ett större misslyckande passerar genom ett betygssystem som borde ha fångat det.

Skuldbaserad säkerhetsrapportering. Ett rapporteringssystem för säkerhetsrelevanta fel och tillbud är nominellt no-blame men är i praktiken tillräckligt nära kopplat till prestationsbedömning eller disciplinär process för att personalen ska lära sig att rapportera ett ärligt misstag bär personlig risk. Kostnaden är inte färre fel – det är färre rapporter om de fel som fortsätter hända, vilket tar bort just den tidiga varningssignal ett säkerhetssystem finns för att ge före nästa, allvarligare incident.

Mognadsmodell

Checklista

• Spåra varje rubrikindikator tillbaka till den logiska modell eller det resultatramverk den är avsedd att representera.
• Identifiera det mest rimliga sättet varje publicerat mål skulle kunna manipuleras på, och namnge ett balanserande mått som skulle avslöja det.
• Bekräfta att den som sätter ett mål, den som mäts mot det och den som oberoende kontrollerar resultatet inte alla är samma del av organisationen.
• Schemalägg en översyn enligt fast cykel av varje levande mål, oberoende av något synligt misslyckande som föranleder den.
• Bekräfta att den säkerhetsrelevanta rapporteringskanalen är strukturellt skild från belöningsbeslut kopplade till prestation och disciplinära beslut.
• Pröva om personalen tror att ett ärligt rapporterat fel eller tillbud skulle behandlas utan skuldbeläggning, inte bara om en policy säger det.
• Bekräfta att varje inspektions- eller betygsorgan som bedömer organisationen har skyddad finansiering, tillgång och publiceringsrätt.
• Publicera de kända begränsningarna hos varje rubrikmål tillsammans med själva siffran.
• Kontrollera om någon indikator har nåtts konsekvent under flera perioder utan en motsvarande undersökning av varför.
• Involvera frontpersonal i utformningen av varje nytt mål innan det tas i bruk.
• Bekräfta att en kvalitetsledningscertifiering, där en sådan finns, behandlas som ett golv och inte åberopas som evidens för goda resultat på egen hand.

Viktiga källor

• Charles Goodharts formulering från 1975 av vad som blev känt som Goodharts lag, utvecklad i samband med penningpolitiska mål.
• Marilyn Strathern, ”’Improving ratings’: audit in the British university system”, European Review, 5(3) (1997), 305–321 — den ofta citerade omformuleringen av Goodharts lag för offentlig sektor.
• Peter Smith, ”On the Unintended Consequences of Publishing Performance Data in the Public Sector”, International Journal of Public Administration, 18(2–3) (1995), 277–310 — källan till typologin tunnelseende, måttfixering, felframställning och förstening som det här ämnet bygger på.
• Gwyn Bevan och Christopher Hood, ”What’s Measured Is What Matters: Targets and Gaming in the English Public Health Care System”, Public Administration, 84(3) (2006), 517–538 — studien av ”targets and terror” om manipulation under svåra konsekvenser.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) — en vittomfattande redogörelse för mätmisslyckanden inom utbildning, hälso- och sjukvård, näringsliv och statsförvaltning.
• Brittiska National Audit Office, ”Performance measurement by regulators”, och USA:s Government Accountability Offices vägledning som skiljer prestationsmått från programutvärdering.
• Care Quality Commission och Ofsted, som exempel på oberoende inspektions- och betygsorgan som verkar på armlängds avstånd från de organisationer de bedömer.

Referenser

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, ''Improving ratings': audit in the British university system' — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector' — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System' — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted