Kvaliteedi, ohutuse ja tulemuslikkuse juhtimine

Miks see avaliku väärtuse jaoks oluline on

Iga avaliku ja sotsiaalsektori organisatsioon mis tahes suuruses töötab nüüd arvude pealt: ooteajad, suletud juhtumid, reageerimisminutid, läbimismäärad, rahulolu skoorid, kontrollhinnangud. Nendest arvudest ehitatud sihtmärgid ei ole väline peale surutud avaliku juhtimise osa; need on viis, kuidas legitiimsust ja toetust demonstreeritakse rahastajatele, seadusandjatele, juhatustele ja kodanikele, kes ei saa muidu igapäevatoimingutesse näha (vt Teema 1.2 — Strateegiline kolmnurk: legitiimsus, väärtus ja suutlikkus). Juht, kes ei suuda osutada arvule, mis liikus õiges suunas, võitleb eelarve, mandaadi või reformi kaitsmisega.

Raskus on see, et arv, mis on ehitatud kvaliteeti esindama, ei ole sama mis kvaliteet ise, ja kaks lahknevad vaikselt hetkel, kui arv hakkab rohkem loema kui selle taga olev tegelikkus. Politseijõud võib vähendada registreeritud kuritegevust, muutes seda, kuidas ametnikud intsidente klassifitseerivad, mitte kahju vähendades. Haigla võib saavutada ooteaja sihtmärgi, klassifitseerides ümber, millistele patsientidele kell kehtib, mitte inimesi kiiremini ravides. Kumbki muutus ei ilmne avaldatud arvus, mis on täpselt probleem, mida see teema on olemas käsitlemiseks.

See teema on selle probleemi koduteema avalikus sektoris: tulemusnäitajad ja perverssed stiimulid, mida need loovad, kvaliteedi tagamise režiimid, mis on ehitatud hoidma standardeid järjepidevana olenemata sellest, mida ükski üksik sihtmärk ütleb, ja sõltumatud kontrolli- ja hindamisorganid, mis kontrollivad arvude taga olevat tegelikkust väljastpoolt neid tootnud käsuahelat. Teema 2.1 katab, kust näitajad esmalt tulema peaksid – tulemusraamistikud ja loogikamudelid, mis ühendavad mõõdiku tagasi tõelise põhjusliku väitega väärtuse kohta (vt Teema 2.1 — Avaliku väärtuse tulemuskaart ja tulemusraamistikud). See teema katab, mis juhtub, kui need näitajad muudetakse elavateks sihtmärkideks, mille vastu töötajaid juhitakse, ja kuidas organisatsioon hoiab oma enda mõõtesüsteemi ausana.

Panused tõusevad sellega, kui avalikult arvu kasutatakse. Privaatne sisemine mõõdik, mis tegelikkusest lahkneb, raiskab juhi aega. Avalik tulemuslikkuse sihtmärk, pealkirja kontrollhinnang või ohutusstatistika, mis tegelikkusest lahkneb, võib maksta elusid, suunata ressursse valesti aastaid ja – kui lõhe teatatud arvu ja elatud kogemuse vahel lõpuks nähtavaks muutub – hävitada täpselt legitiimsuse, mida arv oli avaldatud ehitama (vt Teema 3.4 — Vastutus, läbipaistvus ja legitiimsus).

Põhimõisted

Tulemusnäitaja on mõõdetav muutuja, mis on valitud esindama organisatsiooni tulemuslikkuse aspekti, mida ei saa ise otse ja pidevalt jälgida (vt tulemusnäitaja). Näitajad on asendajad kavandi poolest: keegi ei saa mõõta „hoolduse kvaliteeti" või „kogukonna turvalisust" otse, nii et organisatsioon mõõdab midagi kitsamat ja loendatavamat – ooteaeg, registreeritud kuritegevuse määr – ja käsitleb liikumist selles tõendina liikumisest laiemas asjas, mida see esindab. See lõhe asendaja ja tegelikkuse vahel ei sulgu kunagi; see teema räägib selle haldamisest, mitte selle olemasolu unustamisest.

Goodharti seadus väidab selle kõige levinumas avaliku sektori sõnastuses, et kui mõõdik muutub sihtmärgiks, lakkab see olemast hea mõõdik. Seadus on nimetatud Briti majandusteadlase Charles Goodharti järgi, kes sõnastas aluseks oleva arusaama 1975. aastal rahapoliitika kontekstis: kui keskpank hakkab sihtima rahapakkumise teatud mõõtu, hakkavad statistilised seosed, mis muutsid selle mõõdu kasulikuks, lagunema, sest inimesed muudavad oma käitumist vastusena sihtmärgile endale. Antropoloog Marilyn Strathern sõnastas idee ümber avaliku sektori auditooriumi jaoks Briti ülikoolide auditikultuuri laialdaselt tsiteeritud 1997. aasta uuringus, andes sellele kompaktse sõnastuse, mida nüüd kõige sagedamini tsiteeritakse: „kui mõõdik muutub sihtmärgiks, lakkab see olemast hea mõõdik." Teema 3.1 tutvustas seda dünaamikat lühidalt uue avaliku juhtimise selgesõnalistele sihtmärkidele tuginemise kontekstis; see teema on selle täielik koduteema (vt Teema 3.1 — Avaliku halduse süsteemid ja mudelid). Goodharti seadus ei ole argument mõõtmise vastu – see on argument, et mõõtmist ja tasu ei saa hooletult kokku sulatada, muutmata seda, mida mõõdetakse.

Perverssed stiimulid on mehhanism, mille kaudu Goodharti seadus oma kahju teeb: stiimulistruktuur, mis toodab tulemusi, mis on vastupidised sellele, mida selle kavandajad kavatsesid, sest inimesed, kes sellele reageerivad, optimeerivad tasu kirjatähe, mitte selle taga oleva eesmärgi jaoks (vt perversne stiimul). Sihtmärk, mis on seotud rahastuse, maine või karjääriga, loob perversse stiimuli iga kord, kui eksisteerib viis teatatud arvu parandamiseks, parandamata aluseks olevat tulemust – ja tuhandete üksikute otsustusvalikute kaudu osutatud teenuses eksisteerib selline viis peaaegu alati, kui inimesed seda otsima hakkavad.

Sihtmärkidele ebafunktsionaalsete vastuste tüpoloogia. Majandusteadlane Peter Smith kataloogis mõjukas 1995. aasta avaliku sektori tulemusandmete uuringus viisid, kuidas avaldatud sihtmärgid käitumist moonutavad, millest mitmed jäävad standardseks sõnavaraks ebaõnnestuva näitajasüsteemi diagnoosimiseks. Tunnelnägemine on pingutuse koondamine sellele, mida mõõdetakse, mõõtmata aspektide arvelt, isegi kui mõõtmata aspektid loevad sama palju või rohkem. Mõõdiku fikseerimine on edu käsitlemine näitajal edu aluseks oleval eesmärgil, nii et asendaja asendab vaikselt asja, mida ta pidi esindama, kõigi tähelepanus – muster testi jaoks õpetamise taga hariduses, kus õpetus kitseneb sellele, mida standardiseeritud hindamine katab, mitte laiemale õppimisele, mida hindamine pidi signaliseerima. Väärkujutamine on teatatud andmete tahtlik manipuleerimine – juhtumi ümberklassifitseerimine, kella kohandamine, soodsama nimetaja valimine –, nii et arvud paranevad ilma tegelikkuse muutumiseta üldse. Luustumine on sihtmärgi aeglane taandumine asjakohatuks, kui see jäetakse ülevaatamata kaua pärast seda, kui tegevuskeskkond, mille jaoks see oli kavandatud, on muutunud. Tihedalt seotud Gwyn Bevani ja Christopher Hoodi 2006. aasta sihtmärkide uuring Inglismaa avalikus tervishoiusüsteemis näitas, kui kaugele need dünaamikad võivad joosta, kui sihtmärk on paaritatud tõsiste tagajärgedega selle täitmata jätmise eest, nimetades sõnapaari „sihtmärgid ja terror" režiimi jaoks, mis toodab täpselt manipuleerimiskäitumist, mille kõrvaldamiseks see oli kavandatud.

Kvaliteedi tagamine on süstemaatiline, organisatsiooni enda omatud distsipliin tagamaks, et toode või teenus vastab järjepidevalt määratletud standardile, protsessi sisse ehitatud defektide ennetamise kaudu, mitte ainult valmis väljundi kontrollimise kaudu (vt kvaliteedi tagamine). Kus tulemusnäitaja mõõdab tulemust tagantjärele, on kvaliteedi tagamine kavandatud muutma halva tulemuse esmajärjekorras vähem tõenäoliseks, tavaliselt standardiseeritud protseduuride, kontrollnimekirjade, kolleegide ülevaate ja ebaõnnestumiste algpõhjuse analüüsi kaudu. Kogukvaliteedi juhtimine on laiem juhtimisfilosoofia, mis on ehitatud sellele distsipliinile, käsitledes kvaliteedi pidevat parandamist kõigi vastutusena, mitte protsessi lõppu külge kinnitatud spetsialistifunktsioonina (vt kogukvaliteedi juhtimine), ja Rahvusvahelise Standardiorganisatsiooni (ISO) avaldatud ISO 9000 perekond rahvusvahelisi standardeid, esmakordselt välja antud 1987. aastal, annab organisatsioonidele sertifitseeritava raamistiku demonstreerimaks, et selline juhtimissüsteem eksisteerib. Organ võib olla sertifitseeritud kvaliteedijuhtimise standardi suhtes ja läbida iga sisemise kvaliteedi tagamise kontrolli, manipuleerides samal ajal siiski oma väliselt teatatud tulemuslikkuse sihtmärkidega; kaks süsteemi vastavad erinevatele küsimustele ja kumbki ei asenda teist.

Ohutusnäitajad ja ohutuskultuur väärivad eraldi käsitlust tavalistest tulemusnäitajatest, kuna perversse stiimuli kahju on sageli pöördumatu. Tervishoius on patsiendiohutuse praktika õppinud, sageli kõrge hinnaga, et töötajate karistamine vea teatamise eest pärsib täpselt teavet, mida ohutussüsteem järgmise ärahoidmiseks vajab – arusaam, mis on levinud kliinilistest keskkondadest lennundusse, transporti ja teistesse kõrge tagajärjega avalikesse teenustesse. „Süüta" või „õiglane kultuur" aruandluskeskkond käsitleb ausalt teatatud peaaegu-juhtumit väärtusliku andmepunktina, mitte süü tunnistusena, mis on vastupidine sellele, kuidas enamik tavalisi tulemuslikkuse sihtmärke töötab: tulemuslikkuse režiim premeerib head arvu, samal ajal kui ohutusrežiim peab premeerima ausat arvu isegi siis, kui see on halb.

Sõltumatud kontrolli- ja hindamisorganid pakuvad kontrolli kõigele ülaltoodule, mis tuleb väljastpoolt hinnatavat käsuahelat. Inspektoraat – näiteks Inglismaa Ofsted, mis kontrollib haridus- ja lastekaitseteenuste pakkujaid, või Care Quality Commission, mis kontrollib ja hindab tervishoiu- ja sotsiaalhoolduse pakkujaid – saadab hindajaid, kes jälgivad praktikat otse, kasutavad professionaalset otsustusvõimet ja avaldavad hinnangu, mida kontrollitav organ ei kontrolli. See on struktuurselt erinev sisemisest tulemuslikkuse juhtimisest: ise teatatud ooteaja arvu saavad manipuleerida inimesed, kelle stiimul on manipuleerida, kuid inspektor, kes käib osakonnas või jälgib klassiruumi, vaatab tegelikkust, mida arv pidi esindama. Kontroll on horisontaalse vastutuse vorm – sõltumatu seisuga organi poolt, mitte valijaskonna või turu poolt tehtav kontroll (vt Teema 3.4 — Vastutus, läbipaistvus ja legitiimsus) – ja see teenib selle rolli ainult siis, kui selle sõltumatus rahastuses, ametissenimetamises ja avaldamises on tõeliselt kaitstud.

Parimad tavad

1. Tuletage näitajad loogikamudelist, mitte sellest, mida on juba lihtne loendada. Mõõdiku valimine seetõttu, et andmed juba eksisteerivad, mitte seetõttu, et see jälgib põhjusliku ahela tõelist lüli, on viis, kuidas mõõdiku fikseerimine ja tunnelnägemine algavad (vt Teema 2.1 — Avaliku väärtuse tulemuskaart ja tulemusraamistikud).
2. Paaritage iga väljundi- või tegevussihtmärk vähemalt ühe tasakaalustava mõõdikuga, mis paljastaks kõige tõenäolisema manipuleerimisstrateegia. Kui ooteaja sihtmärki saab manipuleerida juhtumite ümberklassifitseerimisega, jälgige ümberklassifitseerimise määra pealkirja arvu kõrval, mitte järelmõttena, kui skandaal küsimuse sunnib.
3. Käsitlege sihtmärki, mis on mitme järjestikuse perioodi jooksul saavutatud, ajendina uurimiseks, mitte lihtsalt tähistamiseks. Arv, mis lakkab eristamast head ja halba tulemuslikkust, on kas probleemi tõeliselt lahendanud või manipuleeritud asjakohatuseni ning kaks näevad juhtpaneelil identsed välja.
4. Eraldage see, kes sihtmärgi seab, sellest, kelle vastu mõõdetakse, ja sellest, kes tulemust sõltumatult kontrollib. Nende kolme rolli kokku kukutamine organisatsiooni ühte ossa eemaldab struktuurse pinge, mis hoiab mõõtesüsteemi ausana.
5. Vaadake sihtmärk üle või pensionile saatke see kindla tsükli järgi, mitte ainult pärast nähtavat ebaõnnestumist. Luustumine on sihtmärgi vaikimisi saatus; ajastatud ülevaatus, mis küsib, kas sihtmärk jälgib endiselt midagi tähendusrikast, tabab lagunemise enne kriisi.
6. Ehitage süüta aruandluskanal ohutusega seotud peaaegu-juhtumite ja vigade jaoks, hoitud struktuurselt eraldi tulemuslikkuse tasu otsustest. Ohutussüsteem, mis karistab ausat aruandlust, omab endiselt sama aluseks oleva vea määra – see lihtsalt lõpetab selle teadasaamise, kuni kahju on suurem ja raskem peita.
7. Andke sõltumatutele inspektoritele ja hindamisorganitele tõeline ligipääs, kaitstud rahastus ja avaldamisõigused, mida kontrollitav organ vetostada ei saa. Inspektoraat, mis sõltub oma eelarve või ligipääsu osas hinnatava organisatsiooni heast tahtest, esitab kontrolli, mitte ei paku seda.
8. Kasutage professionaalset otsustusvõimet kvantitatiivse skoori tõlgendamiseks, selle asemel et lasta skooril üksi seista. Üks liitreiting surub rikkaliku, ebaühtlase tegelikkuse kokku üheks arvuks; avaldage kontrollihinnangu taga olev kvalitatiivne narratiiv hinnangu kõrval, et lugeja näeks, mida arv kokku võtab.
9. Kavandage sihtmärgid koos rindetöötajatega, kelle vastu neid mõõdetakse, mitte ainult nende jaoks. Töö lähedal olevad inimesed teavad tavaliselt kõige lihtsamat manipuleerimisstrateegiat enne, kui ükski analüütik seda teab; nende kaasamine kavandamisse toob selle riski varakult esile, mitte pärast sihtmärgi juba elavaks muutumist.
10. Sertifitseerige süstemaatiline kvaliteedijuhtimise protsess, näiteks ISO 9000 perekonna standarditele ehitatud, põrandana, mitte tulemuste mõõtmise asendajana. Sertifitseerimine demonstreerib, et järjepidev protsess eksisteerib; see ei demonstreeri iseenesest, et protsess toodab head tulemust, ja sertifikaadi käsitlemine kvaliteedi piisava tõendina on ise mõõdiku fikseerimise vorm.
11. Avaldage sihtmärgi teadaolevad piirangud sihtmärgi enda kõrval. Nimetamine, samas aruandes arvuga, mida mõõdik ei hõlma ja kuidas seda usutavalt manipuleerida saaks, ennetab täpselt avastust, mis muidu hiljem legitiimsust kahjustab (vt Teema 3.4 — Vastutus, läbipaistvus ja legitiimsus).

Küsimused arutamiseks oma meeskonnaga

Milliseid meie praegustest avaldatud sihtmärkidest võiks saavutada ilma aluseks oleva tulemuse üldse paranemata? See on Goodharti seaduse kõige otsesem rakendus, mis tahes meeskonnale kättesaadav, ja peaaegu iga organisatsioon, kes on arvulisi sihtmärke käitanud rohkem kui paar aastat, kannab vähemalt ühte elavat näidet. Käige oma pealkirjanäitajad ükshaaval läbi ja küsige konkreetselt, millist käitumist iga neist premeerib, mitte seda, mida see pidi mõõtma. Arutage, kas rindetöötajad juba teavad lihtsamat viisi arvu liigutada kui kavandatu, sest nad tavaliselt teavad seda kaua enne, kui see kõrgema juhtkonnani jõuab. Käsitlege enesekindlat, uurimata „keegi ei teeks seda siin" ise uurimist väärivana, mitte rahustusena.

Kus me oleme lasknud lihtsalt loendataval väljundil vaikselt seista tõelise kvaliteedi- või ohutusotsustuse eest? Väljundeid on peaaegu alati odavam ja kiirem koguda kui tulemusi, mis loob püsiva kiusatuse anda esimesest aru teise keeles. Tuvastage üks lipulaevanäitaja, millest teie organisatsioon praegu aru annab, ja küsige rühmana, kas see mõõdab tegelikult selle kvaliteeti, mis juhtus, või ainult toimunud tegevuse mahtu. Arutage, mida tõeline kvaliteedimõõdik sama tegevuse jaoks koguda nõuaks ja mis on organisatsiooni seni selle kogumisest takistanud. See küsimus paljastab sageli, et takistus on ressursseerimine, mitte määratlemise raskus.

Kui töötaja teataks täna ausalt oma peaaegu-juhtumist või veast, mis temaga tegelikult juhtuks? Süüta poliitika olemasolu ei ole tõend, et inimesed usuvad, et see kehtib nende isiklikult. Arutage hiljutist juhtumit, tegelikku või hüpoteetilist, kus vea aus avalikustamine oleks poliitikat testinud, ja olge konkreetne selles, mis olid või oleksid tõenäoliselt olnud tagajärjed. Kaaluge, kas teie ohutusega seotud aruandlus asub samas süsteemis kui teie tulemuslikkuse tasustamise otsused, sest kahe segamine on kõige levinum viis, kuidas nominaalselt süüta kultuur vaikselt siiski ausust karistab. See küsimus on kavandatult ebamugav; meeskond, kes ei suuda seda avalikult arutada, on sellele juba vastanud.

Kas meie kontrolli- või hindamisorganil on tõeline sõltumatus hinnatavast organisatsioonist või ainult ametlik sõltumatus? Sõltumatus nimes on levinud; sõltumatus rahastuses, ligipääsus ja õiguses avaldada ebameeldivat leidu on harvem ja lihtsam järk-järgult murendada. Loetlege kontrolli- või hindamissuhted, millele teie organisatsioon alluv on, ja hinnake igaühte ausalt, kas see elaks üle hinnatava organi otsustava katse tulemust kujundada. Arutage, mis juhtus viimasel korral, kui kontroll andis tõeliselt ebameeldiva tulemuse, ja kas vastus oli aluseks oleva probleemi parandamine või suhte haldamine inspektoriga.

Milline Smithi ebafunktsionaalsetest vastustest sihtmärkidele – tunnelnägemine, mõõdiku fikseerimine, väärkujutamine, luustumine – on meie enda aruandluses praegu kõige nähtavam? Konkreetse ebaõnnestumisviisi nimetamine, mitte manipuleerimise arutamine abstraktselt, teeb vestluse piisavalt konkreetseks, et selle põhjal tegutseda. Käige neli mustrit läbi ja küsige, millist meeskond oma hiljutises kogemuses ära tunneb, mitte eeldage, et organisatsioon on vabastatud, sest skandaal pole veel juhtunud. Arutage, milline parandusmeede selle konkreetse mustri jaoks välja näeks järgmisel aruandlustsüklil, mitte üldise kohustusena „teha mõõtmisega paremini."

Kui me lõpetaksime aasta jooksul oma praeguse pealkirjasihtmärgi avaliku aruandluse, mida me tegelikult kaotaksime ja mida võiksime võita? See küsimus testib, kas sihtmärk tegelikult juhib otsuseid või on muutunud eesmärgiks omaette, mida keegi ei kaitseks, kui paluda seda esimestest põhimõtetest õigustada. Arutage ausalt, milline otsus, kui üldse, on viimase aasta jooksul selle konkreetse arvu tõttu muutunud, erinevalt otsustest, mis oleks tehtud niikuinii. Kaaluge, mida töötajate aeg ja käitumuslik moonutus sihtmärk praegu maksab ja kas teistsugune, raskemini manipuleeritav mõõdik teeniks sama vastutuse eesmärki paremini. See ei ole argument mõõtmisest loobumiseks – see on distsipliin hoidmaks ainult seda mõõtmist, mis oma koha teenib.

Praktikas: avaliku väärtuse näide

Keskmise suurusega suurlinnapiirkonna kiirabiteenistus – väljamõeldud, mustri, mitte tegeliku organi aruande illustratsioon – oli aastaid tegutsenud avaldatud sihtmärgi all, mis nõudis hädaabivastust kaheksa minuti jooksul kõige eluohtlikumate kõnede puhul. Sihtmärk oli seatud heade kavatsustega, toetatud kliiniliste tõenditega, et reageerimiskiirus tõesti mõjutab ellujäämist määratletud hädaolukordade kategoorias, ja teenistuse juhatus käsitles sihtmärgile vastavate kõnede avaldatud protsenti oma organisatsioonilise edu ainsa kõige olulisema näitajana.

Kolme aasta jooksul paranes teatatud arv pidevalt, napilt üle poole kvalifitseeruvate kõnede juurest peaaegu üheksa kümnest, ja kõrgem juhtkond esitas suundumust igal juhatuse koosolekul selge tõendina, et operatiivreformid toimivad. Mida pealkirja arv ei näidanud, oli see, kuidas paranemine tegelikult saavutati. Kõnekäsitlejad, teadlikud, et nende enda tulemuslikkust hinnati osaliselt selle põhjal, kui palju kõnesid nad sihtmärki kandvasse kategooriasse klassifitseerisid, olid hakanud – järk-järgult, ilma ühegi otsuseta seda teha – alandama kasvavat osa tõeliselt tõsiseid kõnesid madalama prioriteediga kategooriasse, millele kaheksa minuti kell ei kehtinud, lihtsalt seetõttu, et väiksem, kitsamalt määratletud kõnede kogum oli lihtsam sihtmärgiga täita. Eraldi olid meeskonnad õppinud, et kell peatus hetkel, kui sõiduk saabus sündmuskohale, mitte kui patsiendini tegelikult jõuti, mis lõi väikese, kuid tõelise stiimuli parkida piiril, mitte jõuda patsiendini kiiremini.

Kumbki praktika ei olnud pettus selles mõttes, et kirjet võltsitaks; kumbki oli lokaalselt ratsionaalne vastus sihtmärgile, mille määratlus lõi ruumi täpselt sellele triivile – õpikunäide mõõdiku fikseerimisest ja väärkujutamisest koos toimimas. Probleem ilmnes mitte teenistuse enda aruandluse kaudu, mis jätkuvalt näitas paranemist, vaid sõltumatu piirkondliku tervishoiuinspektoraadi rutiinse kontrolli kaudu, mis ühendas juhtumitoimikute ülevaatuse kõnekäsitlemise otsese jälgimisega ja leidis, et alandatud klassifikatsioonid ei olnud kooskõlas samades kõnedes registreeritud kliiniliste üksikasjadega. Inspektoraadi hinnang langes järsult, „hea" ekvivalendist „vajab parandust", vaatamata teenistuse enda avaldatud reageerimisaja arvu olemisele parem kui kunagi varem.

Teenistuse esialgne vastus – osutamine oma paranevatele arvudele – tegi usaldusväärsuse probleemi hullemaks, sest see vastas küsimusele, mida inspektoraat ei olnud esitanud; kontroll ei olnud kunagi aritmeetikat vaidlustanud, ainult seda, mida aritmeetika mõõtis. Selle tõhusam vastus oli kavandada näitajakomplekt ümber aluseks olevast loogikamudelist, mitte parandada olemasolevat sihtmärki: reageerimisaeg määrati ümber patsiendikontakti hetkele, mitte sõiduki saabumisele, kõnede klassifikatsiooni auditeeriti sõltumatult veeriva valimi põhjal, mitte ei usaldatud käsitleja enda kirjet, ja võeti kasutusele paralleelne kliiniline tulemusmõõdik – ellujäämine haiglasse vastuvõtuni –, kuna seda oli palju raskem ainuüksi ümberklassifitseerimisega manipuleerida. Teatatud reageerimisaja protsent langes esimesel aastal uue määratluse all, mida juhatus oli oma rahastajaid ootama ette valmistanud; kliiniline tulemusmõõdik, mida jälgiti esimest korda võrreldaval alusel, näitas väiksemat, kuid tõelist paranemist, mida algne sihtmärk polnud kunagi kummagi suunas tegelikult demonstreerinud.

Neli sektoriläätse

Kohalik omavalitsus

Kohalikke teenuseid, nagu tuletõrje ja päästeteenistus, täiskasvanute sotsiaalhooldus ja jäätmekogumine, mõõdetakse tavaliselt riiklikult kohustuslike näitajate segu vastu, mida kohalik omavalitsus ei valinud, ja kohapeal valitud mõõdikute vastu, mis kajastavad konkreetse volikogu enda prioriteete, nii et üht teenust võib hinnata õnnestunuks ühe näitajakomplekti vastu ja murekohaks teise vastu. Kontroll kohalikul tasandil teostab sageli riiklik või piirkondlik organ seadusjärgse volitusega, mis hõlmab korraga paljusid kohalikke omavalitsusi, mis annab kasuliku võrdleva perspektiivi, kuid vähem granulaarset kohalikku konteksti kui organisatsioonil, mida see kontrollib. Kohalikud valitud liikmed ja kontrollikomiteed lisavad kiirema, vahetuma vastutuse kihi ja on sageli esimesed, kes elanikelt kuulevad, kui avaldatud arv ja elatud kogemus lahknevad.

Riigivalitsus

Riigivalitsus käitab tavaliselt suurimaid ja poliitiliselt nähtavamaid tulemuslikkuse režiime, kuna riiklik sihtmärk – ooteaja standard, kuritegevuse vähendamise eesmärk, eksamite läbimismäära eesmärk – muutub avalikus debatis asendajaks selle päeva valitsuse pädevuse kohta, mis tõstab manipuleerimise panused kaugele operatiivtasandist kõrgemale. See on keskkond, kus Bevani ja Hoodi „sihtmärkide ja terrori" dünaamika on kõige täielikumalt realiseerunud, kuna riiklikud sihtmärgid on sageli paaritatud nähtavate poliitiliste tagajärgedega nende täitmata jätmise eest, teravdades stiimulit hallata arvu, mitte selle taga olevat tegelikkust. Riiklikud inspektoraadid, just seetõttu, et nad tegutsevad käeulatuses ministeeriumidest, kelle poliitilist saatust hinnang võib mõjutada, kannavad ebaproportsionaalse osa koormusest teatatud ja tegeliku tulemuslikkuse vahelise lõhe esile toomisel (vt Teema 3.4 — Vastutus, läbipaistvus ja legitiimsus).

Sotsiaalsektor ja mittetulundussektor

Mittetulundusühingud ja valitsusvälised organisatsioonid seisavad sagedamini silmitsi kvaliteedi tagamise ja akrediteerimisega vabatahtliku või rahastaja peale pandud distsipliinina kui seadusjärgse kontrollirežiimina, kuna vähesed jurisdiktsioonid käitavad pühendatud sõltumatut inspektoraati sektori kui terviku jaoks. See jätab sotsiaalsektori kvaliteedi tagamise killustatumaks – erinevad rahastajad kehtestavad samale organisatsioonile erinevaid nõudeid –, kuid ka paindlikumaks, kuna mittetulundusühing saab sageli kavandada oma näitajakomplekti oma tegeliku muutuste teooria ümber, mitte väljastpoolt peale pandud mõõdikute komplekti. Kohustusliku välise inspektori puudumine tõstab sõltumatu juhatuse ja välise auditi suhtelist tähtsust sektori enda horisontaalse vastutuse asendajana (vt Teema 3.4 — Vastutus, läbipaistvus ja legitiimsus), kuna mittetulundusühingu enda juhtkond on muidu nii mõõtja kui ka mõõdetav.

Mitmepoolne ja rahvusvaheline

Mitmepoolsed organid ja võrdlevad indeksid, mida need avaldavad või millele tuginevad – riikidevahelised valitsemise kvaliteedi, äritegevuse lihtsuse või avaliku teenistuse tulemuslikkuse edetabelid –, seisavad silmitsi Goodharti seadusega terve riigivalitsuse mõõtkavas, kus riik saab oma edetabelit parandada reformidega, mis on suunatud kitsalt mõõdetud kriteeriumidele, mitte laiemale seisundile, mida indeks väidab esindavat. Sõltumatul kontrollil sisemaises mõttes, mida mujal selles teemas kasutatakse, ei ole tegelikku vastet üle suveräänsete piiride, kuna ükski riik ei aktsepteeri välist inspektoraati sunniõigusega seisuga, mis riiklikul organil on kontrollitava ameti üle; mitmepoolne kvaliteedi tagamine tugineb selle asemel kolleegide ülevaatusele, tehniliste missioonide poolt kinnitatud ise teatamisele ja avaldatud hinnangu maineeksponeeritusele. See teeb mis tahes riikidevahelise näitaja koostava organi sõltumatuse ja tehnilise usaldusväärsuse eriti oluliseks, kuna see on sageli ainus saadaolev kontroll.

Levinud ebaõnnestumisviisid

Tunnelnägemine. Organisatsioon koondab pingutuse ja ressursid sellele, mida mõõdetakse, otseselt sama teenuse mõõtmata aspektide arvelt, mis loevad inimestele, keda see teenib, sama palju. Kulu on teenus, mis paistab igas avaldatud aruandes paranevat, samal ajal kui mõõtmata mõõde – patsiendi väärikus, juhtumi keerukus, pikaajalised tulemused – vaikselt halveneb, märkamatuna, kuni see muutub piisavalt suureks kriisiks uue mõõtmise sundimiseks.

Mõõdiku fikseerimine. Edu näitajal hakatakse organisatsiooni sees käsitlema samaväärsena edule aluseks oleval eesmärgil, nii et asendaja tõrjub eesmärgi välja kõigi tegelikust tähelepanust, isegi kui ametlik missiooniavaldus nimetab endiselt eesmärki. Kulu on laienev, ennast tugevdav lõhe teatatud tulemuslikkuse ja elatud tegelikkuse vahel, kuna keegi organisatsioonis enam otse tegelikkust ei jälgi.

Väärkujutamine. Andmeid kohandatakse – kell peatatud varakult, juhtum ümberklassifitseeritud, nimetaja valitud soodsa mõju jaoks –, nii et teatatud arv paraneb ilma aluseks oleva tegelikkuse muutumiseta üldse, nagu ülaltoodud töönäites. Kulu, kui see avastatakse, on esialgse moonutuse suhtes ebaproportsionaalne, kuna väärkujutamine kahjustab mitte ainult konkreetset arvu, vaid iga teise arvu usaldusväärsust, mille sama organisatsioon kunagi avaldanud on (vt Teema 3.4 — Vastutus, läbipaistvus ja legitiimsus).

Luustumine. Konkreetse tegevuskonteksti jaoks seatud sihtmärk jäetakse ülevaatamata kaua pärast seda, kui kontekst on muutunud, nii et seda jätkuvalt teatatakse ja selle vastu juhitakse, kuigi see enam ei eristab tõeliselt head ja tõeliselt halba tulemuslikkust. Kulu on aastaid nähtamatu, sest luustunud sihtmärk toodab endiselt arvu; arv on lihtsalt lakanud midagi tähendamast ja organisatsiooni tegelik juhtimistähelepanu on tavaliselt juba mujale liikunud, ilma et keegi mõõdikut ametlikult pensionile oleks saatnud.

Inspektoraadi hõivamine. Sõltumatu kontrolli- või hindamisorgan muutub järk-järgult sõltuvaks oma kontrollitavate organisatsioonide heast tahtest, ligipääsust või jätkuvast koostööst, olgu see rahastuskorralduste, inspektori ja kontrollitava vahel liikuvate töötajate karjääriteede või korduvate kontrollide käigus ehitatud mitteametlike suhete kaudu. Kulu on tõelise sõltumatuse aeglane kaotus, mida ametlik harta või seadus iseenesest ei takista ja mis tavaliselt ilmneb alles siis, kui suur ebaõnnestumine läbib hindamissüsteemi, mis oleks pidanud selle tabama.

Süüpõhine ohutusaruandlus. Ohutusega seotud vea või peaaegu-juhtumi aruandlussüsteem on nominaalselt süüta, kuid on praktikas piisavalt tihedalt seotud tulemuslikkuse hindamise või distsiplinaarprotsessiga, et töötajad õpivad, et ausa vea teatamine kannab isiklikku riski. Kulu ei ole vähem vigu – see on vähem aruandeid vigade kohta, mis jätkuvalt juhtuvad, mis eemaldab täpselt varajase hoiatussignaali, mida ohutussüsteem pidi pakkuma enne järgmist, tõsisemat intsidenti.

Küpsusmudel

Kontrollnimekiri

• Jälgige iga pealkirjatulemusnäitaja tagasi loogikamudelini või tulemusraamistikuni, mida see peab esindama.
• Tuvastage iga avaldatud sihtmärgi kõige usutavam manipuleerimisviis ja nimetage tasakaalustav mõõdik, mis seda paljastaks.
• Kinnitage, et see, kes sihtmärgi seab, see, kelle vastu mõõdetakse, ja see, kes tulemust sõltumatult kontrollib, ei ole kõik organisatsiooni sama osa.
• Ajastage iga elava sihtmärgi kindla tsükli ülevaatus, sõltumatult sellest, kas seda ajendab nähtav ebaõnnestumine.
• Kinnitage, et ohutusega seotud aruandluskanal on struktuurselt eraldatud tulemuslikkuse tasu ja distsiplinaarotsustest.
• Testige, kas töötajad usuvad, et ausalt teatatud viga või peaaegu-juhtumit käsitletaks süüta, mitte ainult seda, kas poliitika nii ütleb.
• Kinnitage, et mis tahes organisatsiooni hindaval kontrolli- või hindamisorganil on kaitstud rahastus, ligipääs ja avaldamisõigused.
• Avaldage iga pealkirjasihtmärgi teadaolevad piirangud arvu enda kõrval.
• Kontrollige, kas mõnda näitajat on mitme perioodi jooksul järjepidevalt saavutatud ilma vastava uurimiseta selle kohta, miks.
• Kaasake rindetöötajad mis tahes uue sihtmärgi kavandamisse enne selle elavaks muutumist.
• Kinnitage, et kvaliteedijuhtimise sertifikaati, kus see eksisteerib, käsitletakse põrandana ja seda ei tsiteerita ainuüksi hea tulemuse tõendina.

Põhiallikad

• Charles Goodharti 1975. aasta sõnastus sellest, mis sai tuntuks Goodharti seadusena, välja töötatud rahapoliitika sihtimise kontekstis.
• Marilyn Strathern, „'Improving ratings': audit in the British university system", European Review, 5(3) (1997), 305–321 – laialdaselt tsiteeritud avaliku sektori ümbersõnastus Goodharti seadusest.
• Peter Smith, „On the Unintended Consequences of Publishing Performance Data in the Public Sector", International Journal of Public Administration, 18(2–3) (1995), 277–310 – selle teema aluseks oleva tunnelnägemise, mõõdiku fikseerimise, väärkujutamise ja luustumise tüpoloogia allikas.
• Gwyn Bevan ja Christopher Hood, „What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System", Public Administration, 84(3) (2006), 517–538 – „sihtmärkide ja terrori" uuring manipuleerimisest tõsiste tagajärgede all.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) – laiaulatuslik ülevaade mõõtmise ebaõnnestumisest hariduses, tervishoius, ärisektoris ja valitsuses.
• UK National Audit Office, „Performance measurement by regulators", ja US Government Accountability Office juhised, mis eristavad tulemusmõõdikuid programmi hindamisest.
• Care Quality Commission ja Ofsted, sõltumatute kontrolli- ja hindamisorganite näidetena, mis tegutsevad käeulatuses organisatsioonidest, mida nad hindavad.

Viited

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, "'Improving ratings': audit in the British university system" — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, "On the Unintended Consequences of Publishing Performance Data in the Public Sector" — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, "What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System" — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted