Laadun, turvallisuuden ja suorituskyvyn johtaminen

Miksi tällä on merkitystä julkisen arvon kannalta

Jokainen minkä tahansa kokoinen julkisen ja kolmannen sektorin organisaatio toimii nykyisin lukujen varassa: odotusajat, suljetut asiat, vasteajat minuutteina, läpäisyprosentit, tyytyväisyyspisteet, tarkastusluokitukset. Näistä luvuista rakennetut tavoitteet eivät ole julkisjohtamisen ulkopuolelta tuleva pakote; ne ovat tapa osoittaa legitimiteettiä ja tukea rahoittajille, lainsäätäjille, hallituksille ja kansalaisille, jotka eivät muutoin näe päivittäiseen toimintaan (katso Aihe 1.2 — Strateginen kolmio: legitimiteetti, arvo ja kyvykkyys). Johtaja, joka ei voi osoittaa lukua, joka liikkui oikeaan suuntaan, kamppailee puolustaakseen budjettia, mandaattia tai uudistusta.

Vaikeus on, että luku, joka on rakennettu edustamaan laatua, ei ole sama asia kuin laatu itse, ja nämä kaksi erkaantuvat hiljaa heti, kun luku alkaa merkitä enemmän kuin sen takana oleva todellisuus. Poliisivoimat voivat painaa rekisteröityä rikollisuutta alas muuttamalla tapaa, jolla virkamiehet luokittelevat tapahtumia, sen sijaan että vähentäisivät haittaa. Sairaala voi saavuttaa odotusaikatavoitteen luokittelemalla uudelleen, mihin potilaisiin kello sovelletaan, sen sijaan että hoitaisi ihmisiä nopeammin. Kumpikaan muutos ei näy julkaistussa luvussa, mikä on täsmälleen se ongelma, jota tämä aihe on olemassa käsittelemään.

Tämä aihe on tuon ongelman kotikäsittely julkisella sektorilla: suorituskykyindikaattorit ja niiden luomat nurinkuriset kannustimet, laadunvarmistusjärjestelmät, jotka on rakennettu pitämään standardit yhdenmukaisina riippumatta siitä, mitä mikään yksittäinen tavoite sanoo, sekä riippumattomat tarkastus- ja luokituselimet, jotka tarkistavat lukujen takana olevan todellisuuden ulkopuolelta ne tuottaneen komentoketjun. Aihe 2.1 käsittelee, mistä indikaattorien pitäisi alun perin tulla — vaikuttavuuskehyksistä ja logiikkamalleista, jotka yhdistävät mittarin takaisin aitoon kausaaliväitteeseen arvosta (katso Aihe 2.1 — Julkisen arvon tuloskortti ja vaikuttavuuskehykset). Tämä aihe käsittelee sitä, mitä tapahtuu, kun nuo indikaattorit muutetaan eläviksi tavoitteiksi, joita vasten henkilöstöä johdetaan, ja miten organisaatio pitää oman mittausjärjestelmänsä rehellisenä.

Panokset kasvavat sen mukaan, kuinka julkisesti lukua käytetään. Yksityinen sisäinen mittari, joka ajautuu pois todellisuudesta, tuhlaa johtajan aikaa. Julkinen suorituskykytavoite, otsikkotason tarkastusluokitus tai turvallisuustilasto, joka ajautuu pois todellisuudesta, voi maksaa henkiä, kohdentaa resursseja väärin vuosiksi ja — kun raportoidun luvun ja koetun kokemuksen välinen aukko lopulta tulee näkyviin — tuhota täsmälleen sen legitimiteetin, jonka rakentamiseksi luku julkaistiin (katso Aihe 3.4 — Vastuullisuus, avoimuus ja legitimiteetti).

Keskeiset käsitteet

Suorituskykyindikaattori on mitattava muuttuja, joka on valittu edustamaan organisaation suorituskyvyn osa-aluetta, jota ei voida havaita suoraan ja jatkuvasti (katso suorituskykyindikaattori). Indikaattorit ovat rakenteensa puolesta edustajia: kukaan ei voi mitata ”hoidon laatua” tai ”yhteisön turvallisuutta” suoraan, joten organisaatio mittaa jotain kapeampaa ja laskettavampaa — odotusajan, rekisteröidyn rikollisuuden asteen — ja pitää sen liikettä todisteena laajemman asian liikkeestä, jota se edustaa. Tuo edustajan ja todellisuuden välinen aukko ei koskaan sulkeudu; tämä aihe käsittelee sen hallintaa eikä sen olemassaolon unohtamista.

Goodhartin laki toteaa yleisimmässä julkisen sektorin muotoilussaan, että kun mittarista tulee tavoite, se lakkaa olemasta hyvä mittari. Laki on nimetty brittiläisen taloustieteilijän Charles Goodhartin mukaan, joka muotoili taustalla olevan oivalluksen vuonna 1975 rahapolitiikan yhteydessä: kun keskuspankki alkaa tavoitella tiettyä rahamäärän mittaa, tilastolliset suhteet, jotka tekivät tuosta mittarista hyödyllisen, alkavat murtua, koska ihmiset muuttavat käyttäytymistään itse tavoitteen vuoksi. Antropologi Marilyn Strathern muotoili idean uudelleen julkisen sektorin yleisölle laajasti siteeratussa vuoden 1997 tutkimuksessa brittiläisten yliopistojen auditointikulttuurista, antaen sille tiiviin muotoilun, jota nykyisin siteerataan yleisimmin: ”kun mittarista tulee tavoite, se lakkaa olemasta hyvä mittari.” Aihe 3.1 esitteli tämän dynamiikan lyhyesti uuden julkisjohtamisen eksplisiittisiin tavoitteisiin luottamisen yhteydessä; tämä aihe on sen täysi kotikäsittely (katso Aihe 3.1 — Julkishallinnon järjestelmät ja mallit). Goodhartin laki ei ole argumentti mittaamista vastaan — se on argumentti sille, ettei mittausta ja palkitsemista voida sulattaa huolimattomasti yhteen muuttamatta sitä, mitä mitataan.

Nurinkuriset kannustimet ovat mekanismi, jonka kautta Goodhartin laki tekee vahinkonsa: kannustinrakenne, joka tuottaa tuloksia, jotka ovat vastoin suunnittelijoiden tarkoitusta, koska siihen reagoivat ihmiset optimoivat palkkion kirjainta eikä sen takana olevaa tarkoitusta (katso nurinkurinen kannustin). Rahoitukseen, maineeseen tai uraan sidottu tavoite luo nurinkurisen kannustimen aina kun on olemassa tapa parantaa raportoitua lukua parantamatta taustalla olevaa lopputulosta — ja tuhansien yksittäisten harkintapäätösten kautta toimitetussa palvelussa tällainen tapa on lähes aina olemassa, kun ihmiset alkavat etsiä sitä.

Tavoitteisiin kohdistuvien toimintahäiriöisten vastausten typologia. Taloustieteilijä Peter Smith luetteloi vuoden 1995 vaikutusvaltaisessa julkisen sektorin suorituskykydataa koskevassa tutkimuksessa tavat, joilla julkaistut tavoitteet vääristävät käyttäytymistä, ja useat niistä ovat yhä standardisanasto vaikeuksissa olevan indikaattorijärjestelmän diagnosoimiseksi. Tunnelinäkö on ponnistelun keskittämistä siihen, mikä on mitattu, sen kustannuksella, mitä ei ole, vaikka mittaamattomat osa-alueet merkitsisivät yhtä paljon tai enemmän. Mittarifiksaatio on indikaattorilla onnistumisen käsittelemistä onnistumisena taustalla olevassa tavoitteessa, niin että edustaja hiljaa korvaa sen, mitä sen oli tarkoitus edustaa, kaikkien huomiossa — malli koulutuksen ”testiin opettamisen” (katso teaching to the test) takana, jossa opetus kapenee kattamaan sen, mitä standardoitu arviointi kattaa, laajemman oppimisen sijaan, jonka arvioinnin oli tarkoitus ilmaista. Vääristely on raportoidun datan tahallista manipulointia — tapauksen uudelleenluokittelua, kellon säätämistä, edullisemman nimittäjän valitsemista — niin että luvut paranevat todellisuuden lainkaan muuttumatta. Luutuminen on tavoitteen hidasta rappeutumista merkityksettömäksi, kun se jätetään tarkistamatta kauan sen toimintaympäristön muuttumisen jälkeen, jota varten se suunniteltiin. Läheisesti liittyvä vuoden 2006 Gwyn Bevanin ja Christopher Hoodin tutkimus tavoitteista Englannin julkisessa terveydenhuoltojärjestelmässä osoitti, kuinka pitkälle nämä dynamiikat voivat edetä, kun tavoite yhdistetään ankariin seuraamuksiin sen ohittamisesta, lanseeraten ilmaisun ”targets and terror” (tavoitteet ja terrori) järjestelmästä, joka tuottaa täsmälleen sen pelaamiskäyttäytymisen, jonka poistamiseksi se suunniteltiin.

Laadunvarmistus on järjestelmällinen, organisaation omistama kuri varmistaa, että tuote tai palvelu täyttää johdonmukaisesti määritellyn standardin, prosessiin rakennetun virheiden ehkäisyn kautta eikä pelkästään valmiin tuotoksen tarkastuksella (katso laadunvarmistus). Siinä missä suorituskykytavoite mittaa lopputulosta jälkikäteen, laadunvarmistus on suunniteltu tekemään heikko lopputulos epätodennäköisemmäksi ensinnäkin, tyypillisesti standardoitujen menettelyjen, tarkistuslistojen, vertaisarvioinnin ja epäonnistumisten juurisyyanalyysin kautta. Kokonaisvaltainen laatujohtaminen (total quality management) on tälle kurille rakennettu laajempi johtamisfilosofia, joka käsittelee jatkuvaa laadun parantamista kaikkien vastuuna eikä prosessin loppuun liitettynä erikoistoimintona (katso kokonaisvaltainen laatujohtaminen), ja Kansainvälisen standardoimisjärjestön (ISO) julkaisema ISO 9000 -standardiperhe, ensimmäisen kerran julkaistu vuonna 1987, antaa organisaatioille sertifioitavan kehyksen sen osoittamiseksi, että tällainen johtamisjärjestelmä on olemassa. Elin voidaan sertifioida laadunhallintastandardin mukaan ja se voi läpäistä jokaisen sisäisen laadunvarmistustarkistuksen samalla kun se yhä pelaa ulkoisesti raportoituja suorituskykytavoitteitaan; kaksi järjestelmää vastaavat eri kysymyksiin, eikä kumpikaan korvaa toista.

Turvallisuusindikaattorit ja turvallisuuskulttuuri ansaitsevat erillisen käsittelyn tavallisista suorituskykyindikaattoreista, koska nurinkurisen kannustimen aiheuttama haitta on usein peruuttamaton. Terveydenhuollossa potilasturvallisuuden käytäntö on oppinut, usein korkealla hinnalla, että virheestä ilmoittamisesta rankaiseminen tukahduttaa juuri sen tiedon, jota turvallisuusjärjestelmä tarvitsee estääkseen seuraavan — oivallus, joka on levinnyt kliinisistä ympäristöistä ilmailuun, liikenteeseen ja muihin korkeaseuraamuksisiin julkisiin palveluihin. ”Syyllistämätön” tai ”oikeudenmukainen kulttuuri” -ilmoitusympäristö käsittelee rehellisesti ilmoitettua läheltä piti -tilannetta arvokkaana datapisteenä eikä syyllisyyden tunnustuksena, mikä on päinvastoin kuin useimmat tavalliset suorituskykytavoitteet on suunniteltu toimimaan: suorituskykyjärjestelmä palkitsee hyvän luvun, kun taas turvallisuusjärjestelmän on palkittava rehellinen luku silloinkin, kun se on huono.

Riippumattomat tarkastus- ja luokituselimet tarjoavat tarkistuksen kaikkeen edelliseen sen arvioidun komentoketjun ulkopuolelta. Tarkastusvirasto — kuten Englannin Ofsted, joka tarkastaa koulutus- ja lastenpalvelujen tarjoajia, tai Care Quality Commission, joka tarkastaa ja luokittelee terveys- ja sosiaalihuollon tarjoajia — lähettää arvioijia, jotka havainnoivat käytäntöä suoraan, käyttävät ammatillista harkintaa ja julkaisevat luokituksen, jota tarkastettu elin ei hallitse. Tämä on rakenteellisesti erilaista kuin sisäinen suorituskyvyn johtaminen: itseraportoitu odotusaikaluku voidaan pelata ihmisten toimesta, joiden kannustin on pelata sitä, mutta tarkastaja, joka kävelee osastoilla tai havainnoi luokkahuonetta, katsoo todellisuutta, jota luvun oli tarkoitus edustaa. Tarkastus on horisontaalisen vastuullisuuden muoto — riippumattoman aseman omaavan elimen suorittamaa tarkastelua eikä äänestäjäkunnan tai markkinan (katso Aihe 3.4 — Vastuullisuus, avoimuus ja legitimiteetti) — ja se ansaitsee tuon roolin vain siinä määrin kuin sen riippumattomuus rahoituksessa, nimityksessä ja julkaisussa on aidosti suojattu.

Parhaat käytännöt

1. Johda indikaattorit logiikkamallista, älä siitä, mitä on jo helppo laskea. Mittarin valitseminen siksi, että data on jo olemassa, eikä siksi, että se seuraa aitoa lenkkiä kausaaliketjussa, on tapa, jolla mittarifiksaatio ja tunnelinäkö alkavat (katso Aihe 2.1 — Julkisen arvon tuloskortti ja vaikuttavuuskehykset).
2. Yhdistä jokainen tuotos- tai toimintatavoite vähintään yhteen tasapainottavaan mittariin, joka paljastaisi todennäköisimmän pelaamisstrategian. Jos odotusaikatavoitetta voi pelata uudelleenluokittelulla, seuraa uudelleenluokittelun asteen otsikkolukua rinnalla, älä jälkikäteen, kun skandaali pakottaa kysymyksen.
3. Käsittele tavoitetta, joka on saavutettu useita peräkkäisiä jaksoja, kehotuksena tutkia, ei pelkästään juhlia. Luku, joka lakkaa erottelemasta hyvää ja huonoa suorituskykyä, on joko aidosti ratkaissut ongelman tai tullut pelatuksi merkityksettömäksi, ja nämä kaksi näyttävät identtisiltä pelkältä kojelaudalta.
4. Erota se, joka asettaa tavoitteen, siitä, jota vasten mitataan, ja siitä, joka tarkistaa tuloksen riippumattomasti. Näiden kolmen roolin romahduttaminen yhdeksi organisaation osaksi poistaa rakenteellisen jännitteen, joka pitää mittausjärjestelmän rehellisenä.
5. Tarkista tai lakkauta tavoite kiinteällä syklillä, ei vain näkyvän epäonnistumisen jälkeen. Luutuminen on tavoitteen oletuskohtalo; ajastettu tarkistus, joka kysyy, seuraako tavoite yhä mitään merkityksellistä, havaitsee rappeutumisen ennen kriisiä.
6. Rakenna syyllistämätön ilmoituskanava turvallisuuden kannalta merkityksellisille läheltä piti -tilanteille ja virheille, rakenteellisesti erillään suorituspalkitsemispäätöksistä. Turvallisuusjärjestelmä, joka rankaisee rehellistä ilmoittamista, tulee yhä saamaan saman taustalla olevan virheasteen — se vain lakkaa saamasta niistä tietoa, kunnes haitta on suurempi ja vaikeampi piilottaa.
7. Anna riippumattomille tarkastajille ja luokituselimille aito pääsy, suojattu rahoitus ja julkaisuoikeudet, joita tarkastettu elin ei voi vetota. Tarkastusvirasto, joka on riippuvainen arvioimansa organisaation hyvästä tahdosta budjettinsa tai pääsynsä osalta, esittää tarkastelua eikä tarjoa sitä.
8. Käytä ammatillista harkintaa kvantitatiivisen pistemäärän tulkitsemiseen sen sijaan, että annat pistemäärän seistä yksin. Yksittäinen yhdistelmäluokitus tiivistää rikkaan, epätasaisen todellisuuden yhdeksi luvuksi; julkaise tarkastusluokituksen takana oleva laadullinen kertomus luokituksen rinnalla, jotta lukija näkee, mitä luku tiivistää.
9. Suunnittele tavoitteet niiden etulinjan työntekijöiden kanssa, joita vasten mitataan, ei vain heitä varten. Työtä lähinnä olevat ihmiset tuntevat yleensä helpoimman pelaamisstrategian ennen kuin yksikään analyytikko; heidän mukaan ottamisensa suunnitteluun tuo tuon riskin esiin aikaisin eikä vasta kun tavoite on jo käytössä.
10. Sertifioi järjestelmällinen laadunhallintaprosessi, kuten ISO 9000 -perheen standardeihin rakennettu, lattiaksi eikä lopputulosmittauksen korvikkeeksi. Sertifiointi osoittaa, että johdonmukainen prosessi on olemassa; se ei yksinään osoita, että prosessi tuottaa hyvän lopputuloksen, ja sertifikaatin käsittely riittävänä laadun todisteena on itsessään mittarifiksaation muoto.
11. Julkaise tavoitteen tunnetut rajoitukset tavoitteen rinnalla. Sen nimeäminen samassa raportissa luvun kanssa, mitä mittari ei kata ja miten sitä voitaisiin uskottavasti pelata, ennakoi täsmälleen sen löydön, joka muuten vahingoittaa legitimiteettiä myöhemmin (katso Aihe 3.4 — Vastuullisuus, avoimuus ja legitimiteetti).

Kysymyksiä keskusteltavaksi tiimissäsi

Mitkä nykyisistä julkaistuista tavoitteistamme voitaisiin saavuttaa taustalla olevan lopputuloksen lainkaan paranematta? Tämä on Goodhartin lain suorin sovellus, joka on kenen tahansa tiimin käytettävissä, ja lähes jokaisella organisaatiolla, joka on ajanut numeerisia tavoitteita yli muutaman vuoden, on vähintään yksi elävä esimerkki. Käy läpi otsikkoindikaattorinne yksi kerrallaan ja kysy konkreettisesti, mitä käyttäytymistä kukin palkitsee sen sijaan, mitä sen oli tarkoitus mitata. Keskustelkaa siitä, tietävätkö etulinjan työntekijät jo helpomman tavan liikuttaa lukua kuin tarkoitettu, koska he yleensä tietävät kauan ennen kuin se tavoittaa ylemmän johdon. Käsittele itsevarmaa, tarkistamatonta ”kukaan ei tekisi sitä täällä” -lausuntoa itsessään tutkimisen arvoisena eikä rauhoittavana.

Missä olemme antaneet helposti laskettavan tuotoksen hiljaa edustaa aitoa laatu- tai turvallisuusarviota? Tuotokset ovat melkein aina halvempia ja nopeampia kerätä kuin lopputulokset, mikä luo pysyvän houkutuksen raportoida edellistä jälkimmäisen kielellä. Tunnista yksi lippulaivaindikaattori, jota organisaationne tällä hetkellä raportoi, ja kysykää ryhmänä, mittaako se todella tapahtuneen laatua vai vain tapahtuneen toiminnan määrää. Keskustelkaa siitä, mitä aito laatumittari samalle toiminnalle vaatisi kerättäväksi ja mikä on estänyt organisaatiota keräämästä sitä toistaiseksi. Tämä kysymys paljastaa usein, että este on resursointi eikä määrittelyn vaikeus.

Jos henkilöstön jäsen ilmoittaisi oman läheltä piti -tilanteensa tai virheensä rehellisesti tänään, mitä hänelle todella tapahtuisi? Syyllistämättömyyspolitiikan olemassaolo ei ole todiste siitä, että ihmiset uskovat sen koskevan heitä henkilökohtaisesti. Keskustelkaa viimeaikaisesta tapauksesta, todellisesta tai hypoteettisesta, jossa virheen rehellinen ilmoittaminen olisi koetellut politiikkaa, ja olkaa täsmällisiä siitä, mitkä seuraukset olivat tai olisivat todennäköisesti olleet. Pohtikaa, istuuko turvallisuuden kannalta merkityksellinen ilmoittamisenne samassa järjestelmässä kuin suorituspalkitsemispäätöksenne, koska näiden sekoittaminen on yleisin tapa, jolla nimellisesti syyllistämätön kulttuuri hiljaa rankaisee rehellisyyttä silti. Tämä kysymys on epämukava tarkoituksella; tiimi, joka ei voi keskustella siitä avoimesti, on jo vastannut siihen.

Onko tarkastus- tai luokituselimellämme todellinen riippumattomuus arvioimastaan organisaatiosta, vai vain muodollinen riippumattomuus? Nimellinen riippumattomuus on yleistä; riippumattomuus rahoituksessa, pääsyssä ja oikeudessa julkaista epämieluisa löydös on harvinaisempaa ja helpompi murentaa vähitellen. Luettele tarkastus- tai luokitussuhteet, joiden alainen organisaationne on, ja arvioi kukin rehellisesti sen mukaan, selviäisikö se tarkastetun elimen päättäväisestä yrityksestä muokata lopputulosta. Keskustelkaa siitä, mitä tapahtui viimeksi, kun tarkastus tuotti aidosti epämieluisan tuloksen, ja oliko vastaus taustalla olevan ongelman korjaaminen vai suhteen hallinta tarkastajaan.

Mikä Smithin toimintahäiriöisistä vastauksista tavoitteisiin — tunnelinäkö, mittarifiksaatio, vääristely, luutuminen — on tällä hetkellä näkyvin omassa raportoinnissamme? Tietyn epäonnistumistavan nimeäminen, eikä pelaamisesta keskusteleminen abstraktisti, tekee keskustelusta tarpeeksi konkreettisen, jotta sen perusteella voi toimia. Käy läpi neljä mallia ja kysy, minkä tiimi tunnistaa omissa viimeaikaisissa kokemuksissaan, sen sijaan että oletat organisaation olevan vapautettu, koska mitään skandaalia ei ole vielä tapahtunut. Keskustelkaa siitä, miltä korjaava askel tuolle nimenomaiselle mallille näyttäisi seuraavalla raportointikierroksella, ei yleisenä sitoumuksena ”parantaa mittaamista”.

Jos lopettaisimme nykyisen otsikkotavoitteemme julkisen raportoinnin vuodeksi, mitä todella menettäisimme ja mitä saattaisimme voittaa? Tämä kysymys testaa, ohjaako tavoite aidosti päätöksiä vai onko siitä tullut itsetarkoitus, jota kukaan ei puolustaisi, jos häntä pyydettäisiin perustelemaan se perusperiaatteista. Keskustelkaa rehellisesti siitä, mikä päätös, jos mikään, on muuttunut viimeisen vuoden aikana juuri tämän luvun vuoksi, erotuksena päätöksistä, jotka olisi tehty joka tapauksessa. Pohtikaa, minkä verran henkilöstön aikaa ja käyttäytymisen vääristymää tavoite tällä hetkellä maksaa ja palvelisiko toisenlainen, vaikeammin pelattava mittari samaa vastuullisuustarkoitusta paremmin. Tämä ei ole argumentti mittaamisesta luopumiselle — se on kuri pitää vain mittaus, joka ansaitsee paikkansa.

Käytännössä: esimerkki julkisesta arvosta

Keskikokoisen suurkaupunkialueen ambulanssipalvelu — kuvitteellinen, mallin havainnollistus eikä raportti mistään todellisesta elimestä — oli toiminut vuosia julkaistun tavoitteen alla, joka vaati hätäpalvelun vasteen kahdeksassa minuutissa henkeä uhkaavimpiin kutsuihin. Tavoite oli asetettu hyvässä tarkoituksessa, tuettuna kliinisellä näytöllä siitä, että vasteaika todella vaikuttaa selviytymiseen määritellyssä hätätilannekategoriassa, ja palvelun hallitus käsitteli tavoitteen täyttävien kutsujen julkaistua prosenttiosuutta organisaation menestyksen tärkeimpänä yksittäisenä indikaattorina.

Kolmen vuoden aikana raportoitu luku parani tasaisesti, vähän yli puolesta pätevistä kutsuista lähes yhdeksään kymmenestä, ja ylin johto esitteli suuntauksen jokaisessa hallituksen kokouksessa selvänä todisteena siitä, että toiminnalliset uudistukset toimivat. Mitä otsikkoluku ei näyttänyt, oli se, miten parannus oli todella saavutettu. Hätäkeskuspäivystäjät, tietoisina siitä, että heidän omaa suoritustaan arvioitiin osittain sen mukaan, kuinka monta kutsua he luokittelivat tavoitteen alaiseen luokkaan, olivat alkaneet — vähitellen, ilman yhtäkään päätöstä tehdä niin — alentaa kasvavan osan aidosti vakavista kutsuista matalamman prioriteetin luokkaan, johon kahdeksan minuutin kello ei soveltunut, yksinkertaisesti koska pienempää, tiukemmin määriteltyä kutsujoukkoa oli helpompi saavuttaa tavoite vasten. Erikseen miehistöt olivat oppineet, että kello pysähtyi sillä hetkellä, kun ajoneuvo saapui tapahtumapaikalle, ei kun potilas todella tavoitettiin, mikä loi pienen mutta todellisen kannustimen pysäköidä rajalle eikä tavoittaa potilasta nopeimmin.

Kumpikaan käytäntö ei ollut vilpillinen siinä mielessä, että se olisi väärentänyt tallenteen; kumpikin oli paikallisesti rationaalinen vastaus tavoitteeseen, jonka määritelmä jätti tilaa täsmälleen tälle ajautumiselle — oppikirjaesimerkki mittarifiksaatiosta ja vääristelystä yhdessä toimimassa. Ongelma ei tullut esiin palvelun omasta raportoinnista, joka jatkoi parannuksen osoittamista, vaan riippumattoman alueellisen terveystarkastusviraston rutiinitarkastuksesta, joka yhdisti tapauskansioiden tarkastelun hätäpuheluiden käsittelyn suoraan havainnointiin ja havaitsi alennetut luokitukset epäjohdonmukaisiksi samoihin puheluihin tallennettujen kliinisten yksityiskohtien kanssa. Tarkastusviraston luokitus laski jyrkästi kuvauksesta, joka vastasi ”hyvää”, tasolle ”vaatii parannusta”, vaikka palvelun oma julkaistu vasteaikaluku oli parempi kuin se oli koskaan ollut.

Palvelun alkuvastaus — osoittaminen omiin paraneviin lukuihinsa — pahensi uskottavuusongelmaa, koska se vastasi kysymykseen, jota tarkastusvirasto ei ollut esittänyt; tarkastus ei ollut koskaan kiistänyt aritmetiikkaa, vain sitä, mitä aritmetiikka mittasi. Sen tehokkaampi vastaus oli suunnitella indikaattorikokonaisuus uudelleen taustalla olevasta logiikkamallista sen sijaan että paikattaisiin olemassa olevaa tavoitetta: vasteaika määriteltiin uudelleen potilaskontaktin hetkeen ajoneuvon saapumisen sijaan, kutsujen luokittelu auditoitiin riippumattomasti vierivällä otoksella sen sijaan että luotettaisiin päivystäjän omaan tallenteeseen, ja rinnakkainen kliininen lopputulosmittari — selviytyminen sairaalaan vastaanottoon asti — otettiin käyttöön, koska sitä oli paljon vaikeampi pelata pelkällä uudelleenluokittelulla. Raportoitu vasteaikaprosentti laski ensimmäisenä vuonna uuden määritelmän alla, mihin hallitus oli valmistanut rahoittajansa, ja kliininen lopputulosmittari, jota seurattiin ensimmäistä kertaa vertailukelpoisella pohjalla, osoitti pienemmän mutta aidon parannuksen, jota alkuperäinen tavoite ei ollut koskaan todella osoittanut suuntaan tai toiseen.

Neljä sektorinäkökulmaa

Paikallishallinto

Paikallisia palveluja kuten pelastustoimi, aikuisten sosiaalihuolto ja jätehuolto mitataan yleensä sekoitusta vasten, jossa on kansallisesti määrättyjä indikaattoreita, joita paikallisviranomainen ei valinnut, ja paikallisesti valittuja mittareita, jotka heijastavat tietyn valtuuston omia prioriteetteja, joten yksittäinen palvelu voidaan arvioida menestykseksi yhtä indikaattorijoukkoa vasten ja huolenaiheeksi toista vasten. Tarkastuksen paikallisella tasolla toteuttaa usein kansallinen tai alueellinen elin, jolla on lakisääteinen toimivalta kattaa monta paikallisviranomaista kerralla, mikä antaa hyödyllisen vertailevan näkökulman mutta vähemmän tarkkaa paikallista kontekstia kuin tarkastettava organisaatio. Paikalliset vaaleilla valitut jäsenet ja valvontavaliokunnat lisäävät nopeamman, välittömämmän vastuullisuuden kerroksen, ja he kuulevat usein ensimmäisinä asukkailta, kun julkaistu luku ja koettu kokemus eroavat.

Valtionhallinto

Valtionhallinto ajaa tyypillisesti suurimpia ja poliittisesti näkyvimpiä suorituskykyjärjestelmiä, koska kansallisesta tavoitteesta — odotusaikastandardi, rikollisuuden vähentämistavoite, kokeiden läpäisyprosenttitavoite — tulee julkisessa keskustelussa edustaja sen hetkisen hallituksen pätevyydelle, mikä nostaa pelaamisen panoksia paljon toiminnallisen tason yläpuolelle. Tämä on ympäristö, jossa Bevanin ja Hoodin ”targets and terror” -dynamiikka toteutuu täydellisimmin, koska kansallisiin tavoitteisiin liitetään usein näkyviä poliittisia seuraamuksia niiden ohittamisesta, mikä terävöittää kannustinta johtaa lukua eikä sen takana olevaa todellisuutta. Kansalliset tarkastusvirastot, juuri koska ne toimivat etäisyyden päässä ministeriöistä, joiden poliittiseen kohtaloon luokitus voi vaikuttaa, kantavat suhteettoman osan taakasta raportoidun ja todellisen suorituskyvyn välisen aukon esiin tuomisessa (katso Aihe 3.4 — Vastuullisuus, avoimuus ja legitimiteetti).

Kolmas sektori ja voittoa tavoittelematon toiminta

Voittoa tavoittelemattomat organisaatiot ja kansalaisjärjestöt kohtaavat laadunvarmistuksen ja akkreditoinnin useammin vapaaehtoisena tai rahoittajan asettamana kurina kuin lakisääteisenä tarkastusjärjestelmänä, koska harvat lainkäyttöalueet ylläpitävät erillistä riippumatonta tarkastusvirastoa koko sektorille. Tämä jättää kolmannen sektorin laadunvarmistuksen hajanaisemmaksi — eri rahoittajat asettavat eri vaatimuksia samalle organisaatiolle — mutta myös joustavammaksi, koska voittoa tavoittelematon voi usein suunnitella oman indikaattorikokonaisuutensa todellisen muutosteoriansa ympärille ulkopuolelta asetettujen mittareiden joukon sijaan. Pakollisen ulkoisen tarkastajan puuttuminen nostaa riippumattoman hallituksen ja ulkoisen tilintarkastuksen suhteellista merkitystä sektorin omana horisontaalisen vastuullisuuden korvikkeena (katso Aihe 3.4 — Vastuullisuus, avoimuus ja legitimiteetti), koska voittoa tavoittelemattoman oma johto on muuten sekä mittaaja että mitattava.

Monenkeskinen ja kansainvälinen

Monenkeskiset elimet ja vertailuindeksit, joita ne julkaisevat tai joihin ne nojaavat — maiden väliset hallinnon laadun, liiketoiminnan helppouden tai julkisen palvelun suorituskyvyn sijoitukset — kohtaavat Goodhartin lain kokonaisten kansallisten hallitusten mittakaavassa, jossa maa voi parantaa sijoitustaan uudistuksilla, jotka on kohdistettu kapeasti mitattuihin kriteereihin eikä laajempaan tilaan, jota indeksi väittää edustavansa. Riippumattomalla tarkastuksella kotimaisessa merkityksessä, jota muualla tässä aiheessa käytetään, ei ole todellista vastinetta suvereenien rajojen yli, koska mikään valtio ei hyväksy ulkoista tarkastusvirastoa sellaisella pakottavalla asemalla, joka kansallisella elimellä on valvomaansa virastoon nähden; monenkeskinen laadunvarmistus nojaa sen sijaan vertaisarviointiin, teknisin lähetystöin validoituun itseraportointiin ja julkaistun luokituksen maineeseen kohdistuvaan kustannukseen. Tämä tekee minkä tahansa maiden välisen indikaattorin kokoavan elimen riippumattomuuden ja teknisen uskottavuuden erityisen tärkeäksi, koska se on usein ainoa käytettävissä oleva tarkistus.

Yleisiä epäonnistumistapoja

Tunnelinäkö. Organisaatio keskittää ponnistelun ja resurssit sen ympärille, mikä on mitattu, suoraan saman palvelun mittaamattomien osa-alueiden kustannuksella, jotka merkitsevät yhtä paljon ihmisille, joita se palvelee. Kustannus on palvelu, joka näyttää paranevan jokaisessa julkaistussa raportissa samalla kun mittaamaton ulottuvuus — potilaan arvokkuus, tapausten monimutkaisuus, pitkän aikavälin lopputulokset — hiljaa heikkenee huomaamatta, kunnes siitä tulee kriisi, joka on tarpeeksi suuri pakottamaan uuden mittauksen.

Mittarifiksaatio. Indikaattorilla onnistuminen alkaa organisaation sisällä tulla käsitellyksi vastaavana kuin onnistuminen taustalla olevassa tavoitteessa, niin että edustaja syrjäyttää tavoitteen kaikkien todellisessa huomiossa vaikka muodollinen tehtävälausuma yhä nimeää tavoitteen. Kustannus on raportoidun suorituskyvyn ja koetun todellisuuden välinen laajeneva, itseään vahvistava aukko, koska kukaan organisaation sisällä ei enää seuraa todellisuutta suoraan.

Vääristely. Dataa säädetään — kello pysäytetään aikaisin, tapaus luokitellaan uudelleen, nimittäjä valitaan edullista vaikutusta varten — niin että raportoitu luku paranee taustalla olevan todellisuuden lainkaan muuttumatta, kuten yllä olevassa esimerkissä. Kustannus on havaittaessa suhteeton alkuperäiseen vääristymään nähden, koska vääristely vahingoittaa paitsi tiettyä lukua myös uskottavuutta jokaiselle muulle numerolle, jonka sama organisaatio on koskaan julkaissut (katso Aihe 3.4 — Vastuullisuus, avoimuus ja legitimiteetti).

Luutuminen. Tietylle toimintaympäristölle asetettu tavoite jätetään tarkistamatta kauan sen jälkeen, kun tuo ympäristö on muuttunut, joten sitä raportoidaan ja sitä vasten johdetaan yhä, vaikka se ei enää erottele aidosti hyvää ja aidosti huonoa suorituskykyä. Kustannus on näkymätön vuosia, koska luutunut tavoite tuottaa yhä luvun; luku on yksinkertaisesti lakannut merkitsemästä mitään, ja organisaation todellinen johtamishuomio on yleensä jo siirtynyt muualle kenenkään muodollisesti lakkauttamatta mittaria.

Tarkastusviraston vangitseminen. Riippumaton tarkastus- tai luokituselin muuttuu vähitellen riippuvaiseksi tarkastamiensa organisaatioiden hyvästä tahdosta, pääsystä tai jatkuvasta yhteistyöstä, olipa kyse rahoitusjärjestelyistä, urapoluista, jotka siirtävät henkilöstöä tarkastajan ja tarkastetun välillä, tai epävirallisista suhteista, jotka rakentuvat toistuvien tarkastusten myötä. Kustannus on todellisen riippumattomuuden hidas menetys, jota muodollinen peruskirja tai laki ei yksinään estä, ja se tulee tyypillisesti esiin vasta, kun suuri epäonnistuminen kulkee luokitusjärjestelmän läpi, jonka olisi pitänyt havaita se.

Syyllistämiseen perustuva turvallisuusilmoittaminen. Turvallisuuden kannalta merkityksellisten virheiden tai läheltä piti -tilanteiden ilmoitusjärjestelmä on nimellisesti syyllistämätön mutta käytännössä kytketty suorituksen arviointiin tai kurinpitomenettelyyn tarpeeksi läheisesti, jotta henkilöstö oppii, että rehellisen erehdyksen ilmoittamiseen liittyy henkilökohtainen riski. Kustannus ei ole vähemmän virheitä — se on vähemmän ilmoituksia virheistä, jotka jatkuvat, mikä poistaa täsmälleen sen varhaisvaroitussignaalin, jonka tarjoamiseksi turvallisuusjärjestelmä on olemassa ennen seuraavaa, vakavampaa välikohtausta.

Kypsyysmalli

Tarkistuslista

• Jäljitä jokainen otsikkotason suorituskykyindikaattori takaisin logiikkamalliin tai vaikuttavuuskehykseen, jota sen on tarkoitus edustaa.
• Tunnista uskottavin tapa, jolla kutakin julkaistua tavoitetta voitaisiin pelata, ja nimeä tasapainottava mittari, joka paljastaisi sen.
• Varmista, etteivät tavoitteen asettaja, se jota vasten mitataan ja se joka tarkistaa tuloksen riippumattomasti ole kaikki sama organisaation osa.
• Ajasta kiinteän syklin tarkistus jokaiselle elävälle tavoitteelle, riippumatta siitä, käynnistääkö sen näkyvä epäonnistuminen.
• Varmista, että turvallisuuden kannalta merkityksellinen ilmoituskanava on rakenteellisesti erillään suorituspalkitsemis- ja kurinpitopäätöksistä.
• Testaa, uskooko henkilöstö rehellisesti ilmoitetun virheen tai läheltä piti -tilanteen käsiteltävän syyllistämättä, ei vain sitä, sanooko politiikka niin.
• Varmista, että organisaatiota arvioivalla tarkastus- tai luokituselimellä on suojattu rahoitus, pääsy ja julkaisuoikeudet.
• Julkaise kunkin otsikkotavoitteen tunnetut rajoitukset itse luvun rinnalla.
• Tarkista, onko jokin indikaattori saavutettu johdonmukaisesti useita jaksoja ilman vastaavaa tutkimusta siitä, miksi.
• Ota etulinjan henkilöstö mukaan minkä tahansa uuden tavoitteen suunnitteluun ennen kuin se otetaan käyttöön.
• Varmista, että laadunhallintasertifiointia, jos sellainen on, käsitellään lattiana eikä siteerata yksinään todisteena hyvistä lopputuloksista.

Keskeiset lähteet

• Charles Goodhartin vuoden 1975 muotoilu siitä, mistä tuli Goodhartin laki, kehitetty rahapolitiikan tavoittelun yhteydessä.
• Marilyn Strathern, ”’Improving ratings’: audit in the British university system”, European Review, 5(3) (1997), 305–321 — laajasti siteerattu julkisen sektorin uudelleenmuotoilu Goodhartin laista.
• Peter Smith, ”On the Unintended Consequences of Publishing Performance Data in the Public Sector”, International Journal of Public Administration, 18(2–3) (1995), 277–310 — tunnelinäön, mittarifiksaation, vääristelyn ja luutumisen typologian lähde, johon tämä aihe nojaa.
• Gwyn Bevan ja Christopher Hood, ”What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System”, Public Administration, 84(3) (2006), 517–538 — ”targets and terror” -tutkimus pelaamisesta ankarien seuraamusten alla.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) — laaja kuvaus mittausepäonnistumisista koulutuksessa, terveydenhuollossa, liike-elämässä ja hallinnossa.
• UK National Audit Office, ”Performance measurement by regulators”, ja US Government Accountability Officen ohjeistus, joka erottaa suorituskykymittarit ohjelma-arvioinnista.
• Care Quality Commission ja Ofsted esimerkkeinä riippumattomista tarkastus- ja luokituselimistä, jotka toimivat etäisyyden päässä arvioimistaan organisaatioista.

Viitteet

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, "'Improving ratings': audit in the British university system" — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, "On the Unintended Consequences of Publishing Performance Data in the Public Sector" — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, "What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System" — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted