Gæða-, öryggis- og árangursstjórnun

Hvers vegna þetta skiptir máli fyrir almannavirði

Sérhver opinber skipulagsheild og skipulagsheild í félagageiranum af nokkurri stærð gengur nú fyrir tölum: biðtímum, afgreiddum málum, viðbragðsmínútum, árangurshlutföllum á prófum, ánægjueinkunnum, eftirlitseinkunnum. Markmið byggð úr þessum tölum eru ekki ytri álagning á opinbera stjórnun; þau eru hvernig lögmæti og stuðningur er sýndur fjármögnunaraðilum, löggjafarþingum, stjórnum og borgurum sem geta ekki annars séð inn í daglegan rekstur (sjá Viðfangsefni 1.2 — Stefnumótandi þríhyrningurinn: lögmæti, virði og geta). Leiðtogi sem getur ekki bent á tölu sem hreyfðist í rétta átt á erfitt með að verja fjárlög, umboð eða umbætur.

Erfiðleikinn er að tala byggð til að tákna gæði er ekki það sama og gæðin sjálf, og þau skiljast hljóðlega að um leið og talan fer að skipta meira máli en veruleikinn að baki henni. Lögregla getur dregið niður skráð afbrot með því að breyta því hvernig lögreglumenn flokka atvik frekar en með því að draga úr skaða. Sjúkrahús getur náð biðtímamarkmiði með því að endurflokka á hvaða sjúklinga klukkan gildir frekar en með því að meðhöndla fólk hraðar. Hvorug breytingin birtist í birtu tölunni, sem er einmitt vandamálið sem þetta viðfangsefni er til að takast á við.

Þetta viðfangsefni er heimameðferð þess vandamáls í opinbera geiranum: frammistöðuvísar og röngu hvatarnir sem þeir skapa, gæðatryggingarkerfi byggð til að halda stöðlum samræmdum óháð því hvað nokkurt eitt markmið segir, og óháðar eftirlits- og einkunnastofnanir sem athuga veruleikann að baki tölunum utan frá keðju skipana sem framleiddi þær. Viðfangsefni 2.1 fjallar um hvaðan vísar ættu að koma til að byrja með – árangursramma og rökgerðarlíkön sem tengja mælikvarða aftur við raunverulega orsakafullyrðingu um virði (sjá Viðfangsefni 2.1 — Stigatafla almannavirðis og árangursrammar). Þetta viðfangsefni fjallar um hvað gerist þegar þessir vísar eru gerðir að lifandi markmiðum sem starfsfólk er stjórnað gegn, og hvernig skipulagsheild heldur eigin mælikerfi heiðarlegu.

Hagsmunirnir hækka með því hversu opinberlega tala er notuð. Einkainnri mælikvarði sem rekur frá veruleikanum sóar tíma stjórnanda. Opinbert frammistöðumarkmið, aðaleftirlitseinkunn eða öryggistölfræði sem rekur frá veruleikanum getur kostað mannslíf, ranglega úthlutað auðlindum árum saman og – þegar bilið milli tilkynntu tölunnar og lifaða reynslunnar verður að lokum sýnilegt – eyðilagt einmitt lögmætið sem talan var birt til að byggja (sjá Viðfangsefni 3.4 — Ábyrgðarskylda, gagnsæi og lögmæti).

Lykilhugtök

Frammistöðuvísir er mælanleg breyta valin til að standa fyrir þætti í frammistöðu skipulagsheildar sem ekki er hægt að fylgjast beint og samfellt með (sjá performance indicator). Vísar eru staðgenglar í byggingu: enginn getur mælt „gæði umönnunar“ eða „samfélagsöryggi“ beint, svo skipulagsheild mælir eitthvað þrengra og teljanlegra – biðtíma, skráð afbrotahlutfall – og lítur á hreyfingu í því sem sönnun þess að víðara fyrirbærið sem það stendur fyrir hafi hreyfst. Það bil milli staðgengils og veruleika lokast aldrei; þetta viðfangsefni snýst um að stýra því frekar en að gleyma að það sé til.

Lögmál Goodharts segir, í algengustu mótun opinbera geirans, að þegar mælikvarði verður markmið hættir hann að vera góður mælikvarði. Lögmálið er nefnt eftir breska hagfræðingnum Charles Goodhart, sem mótaði undirliggjandi innsýn árið 1975 í samhengi peningamálastefnu: þegar seðlabanki byrjar að miða við tiltekinn mælikvarða peningamagns, byrja tölfræðilegu samböndin sem gerðu þann mælikvarða gagnlegan að brotna, því fólk breytir hegðun sinni til að bregðast við markmiðinu sjálfu. Mannfræðingurinn Marilyn Strathern endurorðaði hugmyndina fyrir áheyrendur í opinbera geiranum í víða tilvitnaðri rannsókn frá 1997 á endurskoðunarmenningu breskra háskóla, og gaf henni þjöppuðu orðalagið sem nú er oftast vitnað í: „þegar mælikvarði verður markmið hættir hann að vera góður mælikvarði.“ Viðfangsefni 3.1 kynnti þessa gangvirki stuttlega í samhengi háðs nýrrar opinberrar stjórnunar á skýrum markmiðum; þetta viðfangsefni er full heimameðferð hennar (sjá Viðfangsefni 3.1 — Kerfi og líkön opinberrar stjórnsýslu). Lögmál Goodharts er ekki rök gegn mælingu – það er rök fyrir því að mælingu og umbun er ekki hægt að sameina kæruleysislega án þess að breyta því sem er mælt.

Röngu hvatarnir (perverse incentives) eru mekanisminn sem lögmál Goodharts gerir skaða sinn í gegnum: hvatabygging sem framleiðir niðurstöður andstæðar því sem hönnuðir hennar ætluðu, því fólkið sem bregst við henni fínstillir fyrir bókstaf umbunarinnar frekar en tilganginn að baki henni (sjá perverse incentive). Markmið tengt fjármögnun, orðspori eða starfsframa skapar rangan hvata hvenær sem leið er til að bæta tilkynntu töluna án þess að bæta undirliggjandi árangur – og í þjónustu sem er afhent gegnum þúsundir einstakra dómgreindarákvarðana er slík leið nánast alltaf til þegar fólk fer að leita að henni.

Flokkun á óvirkum viðbrögðum við markmiðum. Hagfræðingurinn Peter Smith, í áhrifamikilli rannsókn frá 1995 á frammistöðugögnum opinbera geirans, skrásetti leiðirnar sem birt markmið skekkja hegðun, sem nokkrar eru enn staðlaði orðaforðinn til að greina vísakerfi sem á í erfiðleikum. Göngusýn (tunnel vision) er að einbeita erfiði að því sem er mælt á kostnað þess sem er ekki mælt, jafnvel þegar ómældir þættir skipta jafn miklu eða meira máli. Mælikvarðafesta (measure fixation) er að líta á árangur á vísinum sem árangur á undirliggjandi markmiðinu, svo staðgengillinn kemur hljóðlega í stað þess sem hann átti að tákna í athygli allra – mynstrið að baki kennslu fyrir próf í menntakerfum, þar sem kennsla þrengist að því sem stöðluð próf nær yfir frekar en víðara náminu sem prófið átti að gefa merki um. Rangfærsla (misrepresentation) er vísvitandi hagræðing tilkynntra gagna – endurflokkun máls, aðlögun klukku, val á hagstæðari nefnara – svo tölurnar batni án þess að veruleikinn breytist nokkuð. Steingerving (ossification) er hæg hnignun markmiðs í ómerkileika þegar það er skilið eftir óendurskoðað löngu eftir að rekstrarumhverfið sem það var hannað fyrir hefur breyst. Náskyld rannsókn frá 2006 á markmiðum í enska heilbrigðiskerfinu eftir Gwyn Bevan og Christopher Hood sýndi hversu langt þessi gangverk geta gengið þegar markmið er parað við alvarlegar afleiðingar fyrir að missa af því, og smíðaði frasann „markmið og skelfing“ (targets and terror) fyrir kerfi sem framleiðir einmitt leikjahegðunina sem það var hannað til að útrýma.

Gæðatrygging (quality assurance) er kerfisbundinn, skipulagsheildarreiknaður agi að tryggja að vara eða þjónusta uppfylli stöðugt skilgreindan staðal, með gallavörnum byggðum inn í ferlið frekar en eftirliti með fullunninni afurð einni (sjá quality assurance). Þar sem frammistöðumarkmið mælir niðurstöðu eftir á er gæðatrygging hönnuð til að gera lélega niðurstöðu ólíklegri til að eiga sér stað til að byrja með, venjulega með stöðluðum verklagsreglum, gátlistum, jafningjayfirferð og rótargreiningu bilana. Heildargæðastjórnun (total quality management) er víðari stjórnunarheimspeki byggð á þessum aga, sem lítur á stöðugar umbætur á gæðum sem ábyrgð allra frekar en sérfræðistarfsemi fest við enda ferlis (sjá total quality management), og ISO 9000 staðlafjölskyldan gefin út af Alþjóðlegu staðlasamtökunum (ISO), fyrst árið 1987, gefur skipulagsheildum vottanlegan ramma til að sýna fram á að slíkt stjórnkerfi sé til. Aðili getur verið vottaður samkvæmt gæðastjórnunarstaðli, og staðist hverja innri gæðatryggingarathugun, en samt leikið á ytri tilkynnt frammistöðumarkmið sín; kerfin tvö svara ólíkum spurningum og hvorugt kemur í stað hins.

Öryggisvísar og öryggismenning verðskulda sérstaka meðferð frá venjulegum frammistöðuvísum því skaðinn af röngum hvata er oft óafturkræfur. Í heilbrigðisþjónustu hefur starfsvenja öryggis sjúklinga lært, oft á háu verði, að að refsa starfsfólki fyrir að tilkynna villu bælir einmitt upplýsingarnar sem öryggiskerfi þarf til að koma í veg fyrir þá næstu – innsýn sem hefur breiðst út frá klínísku umhverfi inn í flug, samgöngur og aðra opinbera þjónustu með miklar afleiðingar. „Sakleysis-“ eða „sanngjörn menning“ tilkynningaumhverfi lítur á heiðarlega tilkynnt næstum-slys sem verðmætan gagnapunkt frekar en játningu sektar, sem er andstæða þess hvernig flest venjuleg frammistöðumarkmið eru hönnuð til að virka: frammistöðukerfi umbunar góðu töluna, á meðan öryggiskerfi þarf að umbuna heiðarlegu tölunni jafnvel þegar hún er slæm.

Óháðar eftirlits- og einkunnastofnanir veita athugun á öllu ofangreindu sem kemur utan frá keðju skipana sem er metin. Eftirlitsstofnun – svo sem enska Ofsted, sem hefur eftirlit með menntunar- og barnaþjónustuveitendum, eða Care Quality Commission, sem hefur eftirlit með og metur heilbrigðis- og félagsþjónustuveitendur – sendir matsmenn sem fylgjast beint með starfsvenjum, beita faglegri dómgreind og birta einkunn sem eftirlitsskylda aðilinn stjórnar ekki. Þetta er byggingarlega ólíkt innri árangursstjórnun: sjálftilkynntan biðtíma geta þeir leikið á sem hvatinn er að leika á, en eftirlitsmaður sem gengur um deildirnar eða fylgist með kennslustofunni horfir á veruleikann sem talan átti að tákna. Eftirlit er mynd láréttrar ábyrgðarskyldu – rýni aðila með óháða stöðu frekar en kjósenda eða markaðar (sjá Viðfangsefni 3.4 — Ábyrgðarskylda, gagnsæi og lögmæti) – og það vinnur sér inn það hlutverk aðeins að því marki sem sjálfstæði þess, í fjármögnun, skipun og birtingu, er raunverulega varið.

Bestu starfsvenjur

1. Leiddu vísa af rökgerðarlíkaninu, ekki af því sem er þegar auðvelt að telja. Að velja mælikvarða því gögnin eru þegar til, frekar en af því hann rekur raunverulegan hlekk í orsakakeðjunni, er hvernig mælikvarðafesta og göngusýn byrja (sjá Viðfangsefni 2.1 — Stigatafla almannavirðis og árangursrammar).
2. Paraðu hvert afurða- eða starfsemismarkmið við að minnsta kosti einn jafnvægismælikvarða sem myndi afhjúpa líklegustu leikjaáætlunina. Ef biðtímamarkmið er hægt að leika á með endurflokkun mála, fylgstu með endurflokkunarhlutfallinu samhliða aðaltölunni, ekki sem eftiráhugsun þegar hneyksli neyðir spurninguna fram.
3. Líttu á markmið sem hefur verið náð nokkur tímabil í röð sem hvatningu til rannsóknar, ekki einfaldlega til að fagna. Tala sem hættir að greina góða frammistöðu frá slæmri hefur annaðhvort raunverulega leyst vandamálið eða verið leikin í ómerkileika, og þetta tvennt lítur eins út frá mælaborðinu einu.
4. Aðgreindu þann sem setur markmið frá þeim sem er mældur gegn því frá þeim sem óháð athugar niðurstöðuna. Að þjappa þessum þremur hlutverkum í einn hluta skipulagsheildarinnar fjarlægir byggingarlega spennuna sem heldur mælikerfi heiðarlegu.
5. Endurskoðaðu eða leggðu niður markmið á föstum hring, ekki aðeins eftir sýnilega bilun. Steingerving er sjálfgefin örlög markmiðs; áætluð yfirferð sem spyr hvort markmiðið rekji enn eitthvað innihaldsríkt grípur hnignunina áður en kreppa gerir það.
6. Byggðu sakleysistilkynningaleið fyrir öryggistengd næstum-slys og villur, byggingarlega aðskilda frá árangurs-umbunarákvörðunum. Öryggiskerfi sem refsar heiðarlegri tilkynningu mun enn hafa sama hlutfall undirliggjandi villna – það mun einfaldlega hætta að komast að þeim þar til skaðinn er stærri og erfiðari að fela.
7. Gefðu óháðum eftirlitsmönnum og einkunnastofnunum raunverulegan aðgang, varið fjármagn og útgáfurétt sem eftirlitsskyldi aðilinn getur ekki beitt neitunarvaldi gegn. Eftirlitsstofnun sem veltur á velvilja skipulagsheildarinnar sem hún metur fyrir fjárlög sín eða aðgang sinn er að framkvæma rýni, ekki veita hana.
8. Notaðu faglega dómgreind til að túlka megindlega einkunn, frekar en að láta einkunnina standa eina. Ein samsett einkunn þjappar ríkulegum, ójöfnum veruleika í eina tölu; birtu eigindlegu frásögnina að baki eftirlitseinkunn samhliða einkunninni sjálfri, svo lesandi sjái hvað talan er að draga saman.
9. Hannaðu markmið með framlínustarfsfólkinu sem verður mælt gegn þeim, ekki aðeins fyrir það. Fólkið næst starfinu veit yfirleitt auðveldustu leikjaáætlunina áður en nokkur greinandi gerir það; að taka það þátt í hönnun dregur þá áhættu fram snemma frekar en eftir að markmiðið er þegar lifandi.
10. Vottaðu kerfisbundið gæðastjórnunarferli, svo sem eitt byggt á ISO 9000 staðlafjölskyldunni, sem gólf frekar en staðgengil fyrir árangursmælingu. Vottun sýnir að samræmt ferli er til; hún sýnir ekki ein og sér að ferlið framleiðir góða niðurstöðu, og að líta á vottorðið sem nægilega sönnun gæða er sjálft form mælikvarðafestu.
11. Birtu þekkt takmörk markmiðs samhliða markmiðinu sjálfu. Að nefna, í sömu skýrslu og talan, hvað mælikvarðinn nær ekki yfir og hvernig mætti sennilega leika á hann kemur í veg fyrir einmitt þá uppgötvun sem annars skaðar lögmæti síðar (sjá Viðfangsefni 3.4 — Ábyrgðarskylda, gagnsæi og lögmæti).

Spurningar til að ræða með teyminu

Hvaða af núverandi birtum markmiðum okkar mætti ná án þess að undirliggjandi árangur batni yfirleitt? Þetta er beinasta beiting lögmáls Goodharts sem er tiltæk hvaða teymi sem er, og nánast sérhver skipulagsheild sem hefur rekið tölusett markmið í meira en fáein ár ber að minnsta kosti eitt lifandi dæmi. Gangið í gegnum aðalvísa ykkar einn í einu og spyrjið, áþreifanlega, hvaða hegðun hver umbunar frekar en hvað hann var hannaður til að mæla. Ræðið hvort starfsfólk í framlínu þekki þegar auðveldari leið til að hreyfa töluna en þá ætluðu, því það gerir það yfirleitt löngu áður en það berst til æðstu leiðtoga. Líttu á örugg, órannsökuð „enginn myndi gera það hér“ sem sjálft þess virði að rannsaka frekar en sem fullvissu.

Hvar höfum við látið auðteljanlega afurð hljóðlega standa í stað raunverulegs gæða- eða öryggismats? Afurðir eru nánast alltaf ódýrari og fljótlegri að safna en árangur, sem skapar varanlega freistingu til að greina frá hinu fyrra með orðfæri hins síðara. Greinið einn flaggskipsvísi sem skipulagsheild ykkar greinir nú frá og spyrjið, sem hópur, hvort hann mæli í raun gæði þess sem gerðist eða aðeins magn starfseminnar sem fór fram. Ræðið hvað raunverulegur gæðamælikvarði fyrir þá sömu starfsemi myndi krefjast að safna, og hvað hefur stöðvað skipulagsheildina í að safna honum hingað til. Þessi spurning leiðir oft í ljós að hindrunin er auðlindir frekar en erfiðleikar við skilgreiningu.

Ef starfsmaður tilkynnti eigið næstum-slys eða villu heiðarlega í dag, hvað myndi gerast við hann í raun? Tilvist sakleysisstefnu er ekki sönnun þess að fólk trúi að hún eigi við það persónulega. Ræðið nýlegt tilvik, raunverulegt eða tilgátu, þar sem heiðarleg upplýsing um villu hefði reynt á stefnuna, og verið nákvæm um hverjar afleiðingarnar voru eða hefðu líklega verið. Íhugið hvort öryggistengd tilkynning ykkar situr í sama kerfi og árangurs-umbunarákvarðanir ykkar, því að blanda þessu tvennu er algengasta leiðin sem nafnlega sakleysisbundiðmenning refsar hljóðlega fyrir heiðarleika samt. Þessi spurning er óþægileg af ásetningi; teymi sem getur ekki rætt hana opinskátt hefur þegar svarað henni.

Hefur eftirlits- eða einkunnastofnun okkar raunverulegt sjálfstæði frá skipulagsheildinni sem hún metur, eða aðeins formlegt sjálfstæði? Sjálfstæði að nafninu til er algengt; sjálfstæði í fjármögnun, aðgangi og rétti til að birta óvelkomna niðurstöðu er sjaldgæfara og auðveldara að rýra smám saman. Teljið upp eftirlits- eða einkunnatengsl sem skipulagsheild ykkar er undirseld og metið hver heiðarlega eftir því hvort hún gæti lifað af einbeitta tilraun eftirlitsskylda aðilans til að móta niðurstöðuna. Ræðið hvað gerðist síðast þegar eftirlit framleiddi raunverulega óvelkomna niðurstöðu, og hvort viðbrögðin voru að laga undirliggjandi vandamálið eða að stýra sambandinu við eftirlitsmanninn.

Hver af óvirku viðbrögðum Smiths við markmiðum – göngusýn, mælikvarðafesta, rangfærsla, steingerving – er nú sýnilegust í eigin skýrslugjöf okkar? Að nefna tiltekinn bilunarhátt, frekar en að ræða leiki óhlutbundið, gerir samtalið áþreifanlegt nóg til að bregðast við. Gangið í gegnum mynstrin fjögur og spyrjið hvert teymið þekkir í eigin nýlegri reynslu, frekar en að gera ráð fyrir að skipulagsheildin sé undanþegin því ekkert hneyksli hefur enn orðið. Ræðið hvernig leiðréttingarskref fyrir það tiltekna mynstur myndi líta út í næstu skýrslulotu, ekki sem almenn skuldbinding um að „gera betur í mælingum.“

Ef við hættum að greina opinberlega frá núverandi aðalmarkmiði okkar í eitt ár, hvað myndum við í raun missa, og hvað gætum við unnið? Þessi spurning prófar hvort markmið stýrir í raun ákvörðunum eða hefur orðið markmið í sjálfu sér sem enginn myndi verja ef beðinn að réttlæta það frá fyrstu rökum. Ræðið heiðarlega hvaða ákvörðun, ef nokkur, hefur breyst á síðasta ári vegna þessarar tilteknu tölu, aðgreint frá ákvörðunum sem hefðu verið teknar hvort sem er. Íhugið hvaða starfsmannatíma og hegðunarskekkju markmiðið kostar nú, og hvort ólíkur, erfiðari að leika á mælikvarði myndi þjóna sama ábyrgðarskyldutilgangi betur. Þetta eru ekki rök fyrir að yfirgefa mælingu – það er agi til að halda aðeins þeirri mælingu sem vinnur sér inn sess sinn.

Í reynd: dæmi um almannavirði

Sjúkraflutningaþjónusta miðlungsstórs stórborgarsvæðis – skálduð, lýsandi fyrir mynstur en ekki skýrsla um neinn raunverulegan aðila – hafði árum saman starfað undir birtu markmiði sem krafðist neyðarviðbragðs innan átta mínútna fyrir lífshættulegustu útköllin. Markmiðið hafði verið sett af góðum ásetningi, studd klínískum sönnunargögnum um að viðbragðshraði hafi raunveruleg áhrif á lifun fyrir skilgreindan flokk neyðartilvika, og stjórn þjónustunnar leit á birta hlutfallið af útköllum sem uppfylltu markmiðið sem mikilvægasta einstaka vísi um árangur skipulagsheildarinnar.

Yfir þrjú ár batnaði tilkynnta talan jafnt og þétt, úr rétt yfir helmingi gildra útkalla í nær níu af hverjum tíu, og æðsta forysta kynnti þróunina á hverjum stjórnarfundi sem skýra sönnun þess að rekstrarumbætur virkuðu. Það sem aðaltalan sýndi ekki var hvernig umbótunum hafði í raun verið náð. Símsvarar, meðvitaðir um að eigin frammistaða var metin að hluta eftir því hversu mörg útköll þeir flokkuðu í markmiðsberandi flokkinn, höfðu byrjað – smám saman, án nokkurrar einnar ákvörðunar um það – að færa vaxandi hlutfall raunverulega alvarlegra útkalla niður í lægri forgangsflokk sem átta mínútna klukkan átti ekki við, einfaldlega því smærri, þrengra skilgreindur hópur útkalla var auðveldari að ná markmiðinu gegn. Aðskilið höfðu áhafnir lært að klukkan stöðvaðist um leið og ökutæki kom á vettvang, ekki þegar sjúklingi var í raun náð, sem skapaði lítinn en raunverulegan hvata til að leggja við mörkin frekar en að ná til sjúklingsins hraðast.

Hvorug venjan var svik í þeim skilningi að falsa skrá; hvor var staðbundið skynsamlegt viðbragð við markmiði þar sem skilgreiningin skapaði svigrúm einmitt fyrir þetta rek – skólabókardæmi um mælikvarðafestu og rangfærslu sem starfa saman. Vandamálið kom upp ekki gegnum eigin skýrslugjöf þjónustunnar, sem hélt áfram að sýna bata, heldur gegnum venjubundið eftirlit óháðs svæðisbundins heilbrigðiseftirlits, sem sameinaði málaskráryfirferð við beina athugun á útkallsmeðferð og fann niðurfærðar flokkanir ósamræmdar klínískum smáatriðum skráðum í sömu útköllum. Einkunn eftirlitsins féll skarplega, úr lýsingu sem jafngildir „góðu“ í „þarfnast úrbóta“, þrátt fyrir að eigin birta viðbragðstímatala þjónustunnar væri betri en hún hafði nokkru sinni verið.

Fyrstu viðbrögð þjónustunnar – að benda á eigin batnandi tölur – gerðu trúverðugleikavandamálið verra, því þau svöruðu spurningu sem eftirlitið hafði ekki spurt; eftirlitið hafði aldrei deilt um reikninginn, aðeins um hvað reikningurinn var að mæla. Áhrifaríkari viðbrögð hennar voru að endurhanna vísasafnið frá undirliggjandi rökgerðarlíkani frekar en að bæta fyrirliggjandi markmið: viðbragðstími var endurskilgreindur við augnablik sjúklingasnertingar frekar en komu ökutækis, útkallsflokkun var óháð endurskoðuð á rúllandi úrtaki frekar en treyst á skrá símsvarans sjálfs og samhliða klínískur árangursmælikvarði – lifun til sjúkrahúsinnlagnar – var tekinn upp því hann var mun erfiðari að leika á með endurflokkun einni. Tilkynnta viðbragðstímahlutfallið féll á fyrsta ári undir nýju skilgreiningunni, sem stjórnin hafði undirbúið fjármögnunaraðila sína undir; klíníski árangursmælikvarðinn, rakinn í fyrsta sinn á samanburðarhæfum grunni, sýndi minni en raunverulegan bata sem upprunalega markmiðið hafði aldrei sýnt hvora leið sem var.

Fjögur geirasjónarhorn

Sveitarfélög

Staðbundin þjónusta eins og slökkvi- og björgunarþjónusta, öldrunarþjónusta og sorphirða er yfirleitt mæld gegn blöndu landsfyrirskipaðra vísa sem sveitarfélagið valdi ekki og staðbundið valinna mælikvarða sem endurspegla eigin forgangsmál tiltekins ráðs, svo ein þjónusta getur verið dæmd árangursrík gegn einu vísamengi og áhyggjuefni gegn öðru. Eftirlit á staðbundnu stigi er oft framkvæmt af landsbundinni eða svæðisbundinni stofnun með lögbundið umboð yfir mörg sveitarfélög í einu, sem gefur gagnlegt samanburðarsjónarhorn en minna nákvæmt staðbundið samhengi en skipulagsheildin sem er skoðuð. Staðbundnir kjörnir fulltrúar og rýninefndir bæta við hraðara, tafarlausara lagi ábyrgðarskyldu, og heyra oft fyrst frá íbúum þegar birt tala og lifuð reynsla víkja hvor frá annarri.

Ríkisvald

Ríkisvald rekur yfirleitt stærstu og pólitískt sýnilegustu árangurskerfin, því landsmarkmið – biðtímastaðall, afbrotaminnkunarmarkmið, árangurshlutfall á prófum – verður staðgengill í opinberri umræðu fyrir hæfni ríkisstjórnar dagsins, sem hækkar hagsmuni leikja langt umfram rekstrarstigið. Þetta er umhverfið þar sem gangverk Bevan og Hood, „markmið og skelfing“, er fullkomlega útfært, því landsmarkmið eru oft pöruð við sýnilegar pólitískar afleiðingar fyrir að missa af þeim, sem skerpir hvatann til að stýra töluna frekar en veruleikann að baki henni. Landseftirlitsstofnanir, einmitt því þær starfa í armslengd frá ráðuneytunum sem pólitísk örlög einkunn getur haft áhrif á, bera óhóflegan hluta byrðarinnar af að draga fram bilið milli tilkynntrar og raunverulegrar frammistöðu (sjá Viðfangsefni 3.4 — Ábyrgðarskylda, gagnsæi og lögmæti).

Félagageirinn og félagasamtök

Félagasamtök og frjáls félagasamtök standa oftar frammi fyrir gæðatryggingu og faggildingu sem sjálfviljugum eða fjármögnunaraðilaálögðum aga en sem lögbundnu eftirlitskerfi, þar sem fá lögsagnarumdæmi reka sérstaka óháða eftirlitsstofnun fyrir geirann í heild. Þetta skilur gæðatryggingu félagageirans eftir sundurlausari – ólíkir fjármögnunaraðilar leggja ólíkar kröfur á sömu skipulagsheild – en líka sveigjanlegri, þar sem félagasamtök geta oft hannað eigið vísasafn í kringum raunverulega breytingakenningu sína frekar en mengi mælikvarða lögð á utan frá. Fjarvera skyldubundins ytri eftirlitsmanns eykur hlutfallslegt mikilvægi óháðrar stjórnar og ytri endurskoðunar sem eigin hliðstæðu geirans við láréttu ábyrgðarskylduna (sjá Viðfangsefni 3.4 — Ábyrgðarskylda, gagnsæi og lögmæti), þar sem eigin forysta félagasamtaka er annars bæði mælirinn og hinn mældi.

Fjölþjóðlegt og alþjóðlegt

Fjölþjóðlegar stofnanir og samanburðarvísitölurnar sem þær birta eða treysta á – samanburður þvert á lönd á gæðum stjórnarhátta, auðveldi viðskipta eða frammistöðu opinberrar þjónustu – standa frammi fyrir lögmáli Goodharts á skala heilla landsstjórna, þar sem land getur bætt röðun sína með umbótum beint þröngt á mældu viðmiðin frekar en víðara ástandið sem vísitalan fullyrðir að tákni. Óháð eftirlit í innlendum skilningi sem notaður er annars staðar í þessu viðfangsefni á sér ekkert raunverulegt jafngildi yfir fullvalda landamæri, þar sem ekkert ríki sættir sig við ytri eftirlitsstofnun með þvingunarstöðuna sem landsstofnun hefur yfir skrifstofu sem hún hefur eftirlit með; fjölþjóðleg gæðatrygging treystir í staðinn á jafningjayfirferð, sjálftilkynningu staðfesta með tæknilegum sendinefndum og orðsporskostnaði birtrar einkunnar. Þetta gerir sjálfstæði og tæknilegan trúverðugleika aðilans sem tekur saman hverja samanburðarvísitölu þvert á lönd sérstaklega mikilvæg, þar sem það er oft eina athugunin sem er tiltæk.

Algeng mistök

Göngusýn. Skipulagsheild einbeitir erfiði og auðlindum að því sem er mælt, með beinum kostnaði ómældra þátta sömu þjónustu sem skipta jafn miklu máli fyrir fólkið sem hún þjónar. Kostnaðurinn er þjónusta sem lítur út fyrir að batna í hverri birtri skýrslu á meðan ómæld vídd – reisn sjúklinga, flækjustig mála, langtímaárangur – versnar hljóðlega, óséð þar til hún verður kreppa nógu stór til að neyða fram nýja mælingu.

Mælikvarðafesta. Árangur á vísinum er farið að líta á, innan skipulagsheildarinnar, sem jafngildi árangurs á undirliggjandi markmiðinu, svo staðgengillinn fer í stað markmiðsins í raunverulegri athygli allra jafnvel þótt formleg tilgangsyfirlýsing nefni enn markmiðið. Kostnaðurinn er vaxandi, sjálfstyrkjandi bil milli tilkynntrar frammistöðu og lifaðs veruleika, því enginn innan skipulagsheildarinnar horfir lengur beint á veruleikann.

Rangfærsla. Gögnum er hagrætt – klukka stöðvuð snemma, mál endurflokkað, nefnari valinn fyrir hagstæð áhrif – svo tilkynnta talan batnar án þess að undirliggjandi veruleiki breytist nokkuð, eins og í útfærða dæminu hér að ofan. Kostnaðurinn, þegar það uppgötvast, er óhóflegur miðað við upprunalegu skekkjuna, því rangfærsla skaðar ekki aðeins tiltekna töluna heldur trúverðugleika hverrar annarrar tölu sem sama skipulagsheild hefur nokkru sinni birt (sjá Viðfangsefni 3.4 — Ábyrgðarskylda, gagnsæi og lögmæti).

Steingerving. Markmið sett fyrir tiltekið rekstrarsamhengi er skilið eftir óendurskoðað löngu eftir að það samhengi hefur breyst, svo það heldur áfram að vera tilkynnt og stýrt gegn jafnvel þótt það greini ekki lengur raunverulega góða frammistöðu frá raunverulega lélegri. Kostnaðurinn er ósýnilegur árum saman, því steingert markmið framleiðir enn tölu; talan hefur einfaldlega hætt að merkja nokkuð, og raunveruleg stjórnendaathygli skipulagsheildarinnar hefur yfirleitt þegar færst annað án þess að nokkur leggi mælikvarðann formlega niður.

Yfirtaka eftirlitsstofnunar. Óháð eftirlits- eða einkunnastofnun verður smám saman háð velvilja, aðgangi eða áframhaldandi samvinnu skipulagsheildanna sem hún skoðar, hvort sem er gegnum fjármögnunarfyrirkomulag, starfsferla sem færa starfsfólk milli eftirlitsmanns og hins eftirlitsskylda eða óformleg tengsl byggð yfir endurtekið eftirlit. Kostnaðurinn er hægt tap á raunverulegu sjálfstæði sem formleg stofnskrá eða lög koma ekki ein og sér í veg fyrir, og kemur yfirleitt í ljós aðeins þegar stór bilun fer gegnum einkunnakerfi sem hefði átt að grípa hana.

Sökdrifin öryggistilkynning. Öryggistengt villu- eða næstum-slysatilkynningakerfi er nafnlega sakleysisbundið en er, í reynd, tengt nógu náið við árangursmat eða agaferli að starfsfólk lærir að tilkynning heiðarlegra mistaka feli í sér persónulega áhættu. Kostnaðurinn er ekki færri villur – það er færri tilkynningar um villurnar sem halda áfram að gerast, sem fjarlægir einmitt snemmviðvörunarmerkið sem öryggiskerfi er til að veita áður en næsta, alvarlegra atvik á sér stað.

Þroskalíkan

Gátlisti

• Raktu hvern aðalframmistöðuvísi aftur að rökgerðarlíkaninu eða árangursrammanum sem honum er ætlað að tákna.
• Greindu sennilegustu leiðina til að leika á hvert birt markmið, og nefndu jafnvægismælikvarða sem myndi afhjúpa hana.
• Staðfestu að sá sem setur markmið, sá sem er mældur gegn því og sá sem óháð athugar niðurstöðuna séu ekki allir sami hluti skipulagsheildarinnar.
• Tímasettu yfirferð á föstum hring á hverju lifandi markmiði, óháð því að sýnileg bilun kalli á hana.
• Staðfestu að öryggistengda tilkynningaleiðin sé byggingarlega aðgreind frá árangurs-umbunar- og agaákvörðunum.
• Prófaðu hvort starfsfólk trúi að heiðarlega tilkynnt villa eða næstum-slys yrði meðhöndlað án sakar, ekki aðeins hvort stefna segir það.
• Staðfestu að hvaða eftirlits- eða einkunnastofnun sem metur skipulagsheildina hafi varið fjármögnun, aðgang og útgáfurétt.
• Birtu þekkt takmörk hvers aðalmarkmiðs samhliða tölunni sjálfri.
• Athugaðu hvort einhver vísir hafi verið náður stöðugt í nokkur tímabil án samsvarandi rannsóknar á hvers vegna.
• Taktu framlínustarfsfólk þátt í hönnun hvers nýs markmiðs áður en það fer í loftið.
• Staðfestu að gæðastjórnunarvottun, þar sem hún er til, sé meðhöndluð sem gólf og ekki vitnað í hana sem sönnun góðra niðurstaðna ein og sér.

Helstu heimildir

• Mótun Charles Goodhart frá 1975 á því sem varð þekkt sem lögmál Goodharts, þróuð í samhengi peningamálastefnumiðunar.
• Marilyn Strathern, ‚Improving ratings': audit in the British university system, European Review, 5(3) (1997), 305–321 — víða tilvitnuð endurmótun lögmáls Goodharts fyrir opinbera geirann.
• Peter Smith, „On the Unintended Consequences of Publishing Performance Data in the Public Sector“, International Journal of Public Administration, 18(2–3) (1995), 277–310 — uppspretta flokkunarinnar göngusýnar, mælikvarðafestu, rangfærslu og steingervingar sem þetta viðfangsefni sækir í.
• Gwyn Bevan og Christopher Hood, „What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System“, Public Administration, 84(3) (2006), 517–538 — rannsóknin „markmið og skelfing“ á leikjum undir alvarlegum afleiðingum.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) — yfirgripsmikil frásögn af mælingarbilun yfir menntun, heilbrigðisþjónustu, viðskipti og ríkisvald.
• UK National Audit Office, „Performance measurement by regulators“, og leiðbeiningar bandaríska Government Accountability Office sem greina frammistöðumælikvarða frá áætlunarmati.
• Care Quality Commission og Ofsted, sem dæmi um óháðar eftirlits- og einkunnastofnanir sem starfa í armslengd frá skipulagsheildunum sem þær meta.

Tilvísanir

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, ''Improving ratings': audit in the British university system' — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector' — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System' — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted