Gestione della qualità, della sicurezza e della performance

Perché è importante per il valore pubblico

Ogni organizzazione pubblica e del terzo settore di una certa dimensione funziona oggi su numeri: tempi di attesa, pratiche chiuse, minuti di risposta, tassi di promozione, punteggi di soddisfazione, valutazioni ispettive. I traguardi costruiti su questi numeri non sono un'imposizione esterna alla gestione pubblica; sono il modo in cui legittimità e sostegno vengono dimostrati a finanziatori, legislativi, consigli e cittadini che altrimenti non possono vedere dentro le operazioni quotidiane (vedi Argomento 1.2 — Il triangolo strategico: legittimità, valore e capacità). Un leader che non sa indicare un numero che si sia mosso nella direzione giusta fatica a difendere un bilancio, un mandato o una riforma.

La difficoltà è che un numero costruito per rappresentare la qualità non è la stessa cosa della qualità, e i due si separano silenziosamente nel momento in cui il numero comincia a contare più della realtà che c'è dietro. Un corpo di polizia può far scendere la criminalità registrata cambiando il modo in cui gli agenti classificano gli incidenti anziché riducendo il danno. Un ospedale può raggiungere un obiettivo di tempo di attesa riclassificando a quali pazienti si applichi l'orologio anziché curando le persone più in fretta. Nessuno dei due cambiamenti compare nella cifra pubblicata, che è esattamente il problema che questo argomento esiste per affrontare.

Questo argomento è la sede del trattamento di quel problema nel settore pubblico: gli indicatori di performance e gli incentivi perversi che creano, i regimi di assicurazione della qualità costruiti per mantenere coerenti gli standard a prescindere da ciò che dice un singolo traguardo e gli organi indipendenti di ispezione e di valutazione che verificano la realtà dietro i numeri dall'esterno della catena di comando che li ha prodotti. L'Argomento 2.1 copre da dove gli indicatori dovrebbero provenire in primo luogo – quadri dei risultati e modelli logici che collegano una misura a un'affermazione causale genuina sul valore (vedi Argomento 2.1 — La scheda di valutazione del valore pubblico e i quadri di riferimento dei risultati). Questo argomento copre che cosa accade una volta che quegli indicatori sono trasformati in traguardi vivi rispetto ai quali il personale è gestito e come un'organizzazione mantenga onesto il proprio sistema di misurazione.

La posta in gioco cresce con quanto pubblicamente un numero sia usato. Una metrica interna privata che devia dalla realtà fa perdere tempo a un dirigente. Un traguardo pubblico di performance, una valutazione ispettiva di primo piano o una statistica di sicurezza che devia dalla realtà può costare vite, allocare male le risorse per anni e – quando il divario fra il numero riferito e l'esperienza vissuta diventa infine visibile – distruggere esattamente la legittimità che il numero era pubblicato per costruire (vedi Argomento 3.4 — Responsabilità, trasparenza e legittimità).

Concetti chiave

Un indicatore di performance è una variabile misurabile scelta per rappresentare un aspetto della performance di un'organizzazione che non può essere osservato direttamente e in modo continuo (vedi indicatore di performance). Gli indicatori sono per costruzione delle approssimazioni: nessuno può misurare direttamente la "qualità dell'assistenza" o la "sicurezza della comunità", per cui un'organizzazione misura qualcosa di più ristretto e più contabile – un tempo di attesa, un tasso di criminalità registrata – e tratta il movimento in esso come evidenza di movimento nella cosa più ampia che rappresenta. Quel divario fra approssimazione e realtà non si chiude mai; questo argomento riguarda il gestirlo anziché dimenticare che esiste.

La legge di Goodhart afferma, nella sua formulazione più comune nel settore pubblico, che quando una misura diventa un obiettivo cessa di essere una buona misura. La legge prende il nome dall'economista britannico Charles Goodhart, che formulò l'intuizione di fondo nel 1975 nel contesto della politica monetaria: una volta che una banca centrale comincia a mirare a una particolare misura dell'offerta di moneta, le relazioni statistiche che rendevano utile quella misura cominciano a rompersi, perché le persone cambiano comportamento in risposta all'obiettivo stesso. L'antropologa Marilyn Strathern riformulò l'idea per un pubblico del settore pubblico in uno studio molto citato del 1997 sulla cultura dell'audit nelle università britanniche, dandole la formulazione compatta oggi più spesso citata: "quando una misura diventa un obiettivo, cessa di essere una buona misura". L'Argomento 3.1 ha introdotto brevemente questa dinamica nel contesto del ricorso della Nuova gestione pubblica a obiettivi espliciti; questo argomento ne è il trattamento completo (vedi Argomento 3.1 — Sistemi e modelli di pubblica amministrazione). La legge di Goodhart non è un argomento contro la misurazione – è un argomento secondo cui misurazione e ricompensa non possono essere fuse con noncuranza senza cambiare ciò che viene misurato.

Gli incentivi perversi sono il meccanismo attraverso cui la legge di Goodhart fa il suo danno: una struttura di incentivi che produce risultati contrari a quanto i suoi progettisti intendevano, perché le persone che vi rispondono ottimizzano per la lettera della ricompensa anziché per lo scopo che c'è dietro (vedi incentivo perverso). Un obiettivo legato a finanziamento, reputazione o carriera crea un incentivo perverso ogni volta che esiste un modo di migliorare il numero riferito senza migliorare il risultato di fondo – e in un servizio erogato attraverso migliaia di singoli giudizi, un modo del genere quasi sempre esiste una volta che le persone cominciano a cercarlo.

Una tipologia di risposte disfunzionali agli obiettivi. L'economista Peter Smith, in uno studio influente del 1995 sui dati di performance del settore pubblico, catalogò i modi in cui gli obiettivi pubblicati distorcono il comportamento, molti dei quali restano il vocabolario standard per diagnosticare un sistema di indicatori in difficoltà. La visione a tunnel è concentrare lo sforzo su ciò che è misurato a spese di ciò che non lo è, anche quando gli aspetti non misurati contano altrettanto o di più. La fissazione sulla misura è trattare il successo sull'indicatore come successo sull'obiettivo di fondo, così che l'approssimazione sostituisca silenziosamente la cosa che doveva rappresentare nell'attenzione di tutti – lo schema dietro l'insegnare per il test (teaching to the test) nei sistemi di istruzione, dove l'insegnamento si restringe a qualunque cosa copra una valutazione standardizzata anziché all'apprendimento più ampio che la valutazione doveva segnalare. La falsa rappresentazione è la manipolazione deliberata dei dati riferiti – riclassificare un caso, regolare un orologio, scegliere un denominatore più favorevole – così che le cifre migliorino senza che la realtà cambi affatto. L'ossificazione è il lento decadimento di un obiettivo verso l'irrilevanza quando è lasciato non rivisto molto dopo che l'ambiente operativo per cui era stato progettato è cambiato. Uno studio strettamente correlato del 2006 sugli obiettivi nel sistema sanitario pubblico inglese, di Gwyn Bevan e Christopher Hood, mostrò fino a che punto queste dinamiche possano spingersi quando un obiettivo è abbinato a severe conseguenze per il mancato raggiungimento, coniando l'espressione "obiettivi e terrore" (targets and terror) per un regime che produce esattamente il comportamento di elusione che era stato progettato per eliminare.

L'assicurazione della qualità è la disciplina sistematica, di proprietà dell'organizzazione, di garantire che un prodotto o servizio rispetti con coerenza uno standard definito, attraverso una prevenzione dei difetti incorporata nel processo anziché la sola ispezione dell'output finito (vedi assicurazione della qualità). Dove un obiettivo di performance misura un risultato a posteriori, l'assicurazione della qualità è progettata per rendere meno probabile in primo luogo un cattivo risultato, tipicamente attraverso procedure standardizzate, liste di controllo, revisione tra pari e analisi delle cause radice dei fallimenti. La gestione della qualità totale è la più ampia filosofia gestionale costruita su questa disciplina, che tratta il miglioramento continuo della qualità come responsabilità di tutti anziché come una funzione specialistica appiccicata alla fine di un processo (vedi gestione della qualità totale), e la famiglia ISO 9000 di standard internazionali pubblicata dall'Organizzazione internazionale per la normazione (ISO), emessa per la prima volta nel 1987, dà alle organizzazioni un quadro certificabile per dimostrare che un tale sistema di gestione esiste. Un organismo può essere certificato a uno standard di gestione della qualità, e superare ogni controllo interno di assicurazione della qualità, pur eludendo i propri obiettivi di performance riferiti esternamente; i due sistemi rispondono a domande diverse e nessuno sostituisce l'altro.

Indicatori di sicurezza e cultura della sicurezza meritano un trattamento separato dai normali indicatori di performance perché il danno di un incentivo perverso è spesso irreversibile. In sanità, la pratica della sicurezza del paziente ha imparato, spesso a caro prezzo, che punire il personale per aver segnalato un errore sopprime esattamente l'informazione di cui un sistema di sicurezza ha bisogno per prevenire il successivo – una lezione che si è diffusa dai contesti clinici all'aviazione, ai trasporti e ad altri servizi pubblici ad alte conseguenze. Un ambiente di segnalazione "senza colpa" o di "cultura giusta" tratta un mancato incidente onestamente riferito come un prezioso dato anziché come un'ammissione di colpa, che è l'opposto di come sono progettati la maggior parte dei normali obiettivi di performance: un regime di performance premia il buon numero, mentre un regime di sicurezza deve premiare il numero onesto anche quando è cattivo.

Gli organi indipendenti di ispezione e di valutazione forniscono un controllo su tutto quanto sopra che viene dall'esterno della catena di comando valutata. Un ispettorato – come l'inglese Ofsted, che ispeziona i fornitori di istruzione e di servizi per l'infanzia, o la Care Quality Commission, che ispeziona e valuta i fornitori di assistenza sanitaria e sociale – invia valutatori che osservano direttamente la pratica, esercitano il giudizio professionale e pubblicano una valutazione che l'organismo ispezionato non controlla. È strutturalmente diverso dalla gestione interna della performance: una cifra di tempo di attesa autodichiarata può essere elusa dalle persone il cui incentivo è eluderla, ma un ispettore che percorre i reparti o osserva l'aula sta guardando la realtà che il numero doveva rappresentare. L'ispezione è una forma di responsabilità orizzontale – vaglio da parte di un organo di posizione indipendente anziché di un elettorato o di un mercato (vedi Argomento 3.4 — Responsabilità, trasparenza e legittimità) – e si guadagna quel ruolo solo nella misura in cui la sua indipendenza, in finanziamento, nomina e pubblicazione, sia genuinamente protetta.

Buone pratiche

1. Derivate gli indicatori dal modello logico, non da ciò che è già facile da contare. Scegliere una misura perché i dati esistono già, anziché perché segue un anello genuino della catena causale, è così che cominciano fissazione sulla misura e visione a tunnel (vedi Argomento 2.1 — La scheda di valutazione del valore pubblico e i quadri di riferimento dei risultati).
2. Abbinate ogni obiettivo di output o di attività ad almeno una misura di bilanciamento che rivelerebbe la strategia di elusione più probabile. Se un obiettivo di tempo di attesa può essere eluso riclassificando i casi, seguite il tasso di riclassificazione accanto alla cifra principale, non come ripensamento una volta che uno scandalo forza la domanda.
3. Trattate un obiettivo raggiunto per diversi periodi consecutivi come stimolo a indagare, non semplicemente a festeggiare. Un numero che smette di discriminare fra buona e cattiva performance ha o genuinamente risolto il problema o è stato eluso fino all'irrilevanza, e i due appaiono identici dal solo cruscotto.
4. Separate chi fissa un obiettivo da chi è misurato rispetto ad esso da chi verifica indipendentemente il risultato. Fondere questi tre ruoli in un'unica parte dell'organizzazione rimuove la tensione strutturale che mantiene onesto un sistema di misurazione.
5. Rivedete o ritirate un obiettivo a un ciclo fisso, non solo dopo un fallimento visibile. L'ossificazione è il destino predefinito di un obiettivo; una revisione programmata che chiede se l'obiettivo segua ancora qualcosa di significativo coglie il decadimento prima che lo faccia una crisi.
6. Costruite un canale di segnalazione senza colpa per mancati incidenti ed errori rilevanti per la sicurezza, tenuto strutturalmente separato dalle decisioni di ricompensa della performance. Un sistema di sicurezza che punisce la segnalazione onesta avrà lo stesso tasso di errore di fondo – smetterà semplicemente di scoprirlo finché il danno è maggiore e più difficile da nascondere.
7. Date a ispettori e organi di valutazione indipendenti accesso genuino, finanziamento protetto e diritti di pubblicazione che l'organismo ispezionato non possa porre in veto. Un ispettorato che dipende dalla buona volontà dell'organizzazione che valuta per il proprio bilancio o accesso sta recitando il vaglio, non fornendolo.
8. Usate il giudizio professionale per interpretare un punteggio quantitativo, anziché lasciare che il punteggio stia da solo. Una singola valutazione composita comprime una realtà ricca e disomogenea in una cifra; pubblicate la narrazione qualitativa dietro una valutazione ispettiva accanto alla valutazione stessa, così che un lettore possa vedere che cosa il numero riassume.
9. Progettate gli obiettivi con il personale di prima linea che sarà misurato rispetto ad essi, non solo per esso. Le persone più vicine al lavoro di solito conoscono la strategia di elusione più facile prima di qualsiasi analista; coinvolgerle nella progettazione fa emergere quel rischio presto anziché dopo che l'obiettivo è già vivo.
10. Certificate un processo sistematico di gestione della qualità, come uno basato sulla famiglia di standard ISO 9000, come pavimento anziché come sostituto della misurazione dei risultati. La certificazione dimostra che esiste un processo coerente; di per sé non dimostra che il processo produca un buon risultato, e trattare il certificato come evidenza sufficiente di qualità è esso stesso una forma di fissazione sulla misura.
11. Pubblicate i limiti noti di un obiettivo accanto all'obiettivo stesso. Nominare, nello stesso rapporto della cifra, ciò che la misura non coglie e come potrebbe plausibilmente essere elusa previene esattamente la scoperta che altrimenti danneggia la legittimità più tardi (vedi Argomento 3.4 — Responsabilità, trasparenza e legittimità).

Domande da discutere con il vostro team

Quali dei nostri attuali obiettivi pubblicati potrebbero essere raggiunti senza che il risultato di fondo migliori affatto? È l'applicazione più diretta della legge di Goodhart disponibile a qualsiasi team, e quasi ogni organizzazione che gestisce obiettivi numerici da più di qualche anno porta con sé almeno un esempio vivo. Ripercorrete uno alla volta i vostri indicatori principali e chiedetevi, concretamente, quale comportamento ciascuno premi anziché ciò che era stato progettato per misurare. Discutete se il personale di prima linea conosca già un modo più facile di muovere il numero di quello previsto, poiché di solito lo conosce ben prima che arrivi ai leader senior. Trattate un sicuro e non esaminato "nessuno lo farebbe qui" come meritevole di indagine di per sé anziché come rassicurazione.

Dove abbiamo lasciato che un output facile da contare tenesse silenziosamente il posto di un genuino giudizio di qualità o di sicurezza? Gli output sono quasi sempre più economici e più rapidi da raccogliere dei risultati, il che crea una tentazione permanente di riferire i primi con il linguaggio dei secondi. Individuate un indicatore di punta che la vostra organizzazione riferisce attualmente e chiedetevi, come gruppo, se misuri davvero la qualità di ciò che è accaduto o solo il volume dell'attività svolta. Discutete che cosa richiederebbe raccogliere una genuina misura di qualità per la stessa attività e che cosa abbia impedito finora all'organizzazione di raccoglierla. Questa domanda rivela spesso che l'ostacolo sono le risorse anziché la difficoltà di definizione.

Se un membro del personale segnalasse oggi onestamente un proprio mancato incidente o errore, che cosa gli accadrebbe davvero? L'esistenza di una politica senza colpa non è evidenza che le persone credano che si applichi a loro personalmente. Discutete un caso recente, reale o ipotetico, in cui una divulgazione onesta di un errore avrebbe messo alla prova la politica, e siate specifici su quali siano state o sarebbero state con probabilità le conseguenze. Considerate se la vostra segnalazione rilevante per la sicurezza stia nello stesso sistema delle vostre decisioni di ricompensa della performance, poiché mescolare i due è il modo più comune in cui una cultura nominalmente senza colpa punisce silenziosamente comunque l'onestà. Questa domanda è scomoda per progetto; un team che non può discuterne apertamente ha già risposto.

Il nostro organo di ispezione o di valutazione ha reale indipendenza dall'organizzazione che valuta, o solo indipendenza formale? L'indipendenza di nome è comune; l'indipendenza in finanziamento, accesso e diritto di pubblicare una risultanza sgradita è più rara e più facile da erodere gradualmente. Elencate i rapporti di ispezione o di valutazione cui la vostra organizzazione è soggetta e valutate ciascuno onestamente per se potrebbe sopravvivere a un tentativo determinato dell'organismo ispezionato di plasmare l'esito. Discutete che cosa è accaduto l'ultima volta che un'ispezione ha prodotto un risultato genuinamente sgradito, e se la risposta sia stata correggere il problema di fondo o gestire il rapporto con l'ispettore.

Quale delle risposte disfunzionali agli obiettivi di Smith – visione a tunnel, fissazione sulla misura, falsa rappresentazione, ossificazione – è oggi più visibile nella nostra rendicontazione? Nominare lo specifico modo di fallimento, anziché discutere l'elusione in astratto, rende la conversazione abbastanza concreta da agire. Ripercorrete i quattro schemi e chiedetevi quale il team riconosca nella propria esperienza recente, anziché presumere che l'organizzazione ne sia esente perché non c'è ancora stato uno scandalo. Discutete come apparirebbe un passo correttivo per quello specifico schema nel prossimo ciclo di rendicontazione, non come un impegno generale a "fare meglio sulla misurazione".

Se smettessimo di riferire pubblicamente il nostro attuale obiettivo principale per un anno, che cosa perderemmo davvero e che cosa potremmo guadagnare? Questa domanda verifica se un obiettivo stia davvero orientando le decisioni o sia diventato un fine in sé che nessuno difenderebbe se gli fosse chiesto di giustificarlo dai primi principi. Discutete onestamente quale decisione, se ve ne sono, sia cambiata nell'ultimo anno a causa di questo specifico numero, a distinzione dalle decisioni che sarebbero state prese comunque. Considerate quanto tempo del personale e quanta distorsione comportamentale l'obiettivo costi attualmente e se una misura diversa e più difficile da eludere servirebbe meglio lo stesso scopo di responsabilità. Non è un argomento per abbandonare la misurazione – è una disciplina per tenere solo la misurazione che si guadagna il proprio posto.

In pratica: un esempio di valore pubblico

Il servizio di ambulanze di una regione metropolitana di medie dimensioni – immaginario, illustrativo di uno schema anziché un resoconto di un organismo reale – operava da anni sotto un obiettivo pubblicato che richiedeva una risposta di emergenza entro otto minuti per le chiamate più pericolose per la vita. L'obiettivo era stato fissato con buone intenzioni, sostenuto da evidenze cliniche che la velocità di risposta incide davvero sulla sopravvivenza per una categoria definita di emergenze, e il consiglio del servizio trattava la percentuale pubblicata di chiamate che rispettavano l'obiettivo come il suo singolo più importante indicatore di successo organizzativo.

Nell'arco di tre anni la cifra riferita migliorò in modo costante, da poco più della metà delle chiamate qualificanti a quasi nove su dieci, e la dirigenza senior presentava la tendenza a ogni riunione del consiglio come chiara evidenza che le riforme operative stavano funzionando. Ciò che la cifra principale non mostrava era come il miglioramento fosse stato effettivamente ottenuto. Gli operatori delle chiamate, consapevoli che la loro stessa performance era valutata in parte in base a quante chiamate classificassero nella categoria soggetta all'obiettivo, avevano cominciato – gradualmente, senza alcuna singola decisione in tal senso – a declassare una quota crescente di chiamate genuinamente gravi in una categoria di priorità inferiore cui l'orologio degli otto minuti non si applicava, semplicemente perché un bacino più piccolo e più strettamente definito di chiamate era più facile da far rientrare nell'obiettivo. Separatamente, gli equipaggi avevano imparato che l'orologio si fermava nel momento in cui un veicolo arrivava sul luogo, non quando un paziente era effettivamente raggiunto, il che creava un incentivo piccolo ma reale a parcheggiare al confine anziché raggiungere il paziente nel modo più rapido.

Nessuna delle due pratiche era fraudolenta nel senso di falsificare un registro; ciascuna era una risposta localmente razionale a un obiettivo la cui definizione creava spazio proprio per questa deriva – un caso da manuale di fissazione sulla misura e falsa rappresentazione che operano insieme. Il problema emerse non dalla rendicontazione del servizio stesso, che continuava a mostrare miglioramento, ma dall'ispezione di routine di un ispettorato sanitario regionale indipendente, che combinò la revisione dei fascicoli con l'osservazione diretta della gestione delle chiamate e trovò classificazioni declassate incoerenti con il dettaglio clinico registrato nelle stesse chiamate. La valutazione dell'ispettorato scese bruscamente, da una descrizione equivalente a "buono" a "richiede miglioramento", nonostante la cifra pubblicata dal servizio sul tempo di risposta fosse migliore di quanto fosse mai stata.

La risposta iniziale del servizio – additare le proprie cifre in miglioramento – peggiorò il problema di credibilità, perché rispondeva a una domanda che l'ispettorato non aveva posto; l'ispezione non aveva mai contestato l'aritmetica, solo ciò che l'aritmetica stava misurando. La sua risposta più efficace fu riprogettare la serie di indicatori a partire dal modello logico di fondo anziché rattoppare l'obiettivo esistente: il tempo di risposta fu ridefinito al momento del contatto con il paziente anziché dell'arrivo del veicolo, la classificazione delle chiamate fu sottoposta ad audit indipendente su un campione continuo anziché affidata al registro dell'operatore stesso e fu introdotta una misura clinica parallela di risultato – la sopravvivenza fino al ricovero – perché molto più difficile da eludere con la sola riclassificazione. La percentuale riferita del tempo di risposta scese nel primo anno con la nuova definizione, cosa per cui il consiglio aveva preparato i propri finanziatori; la misura del risultato clinico, seguita per la prima volta su base comparabile, mostrò un miglioramento più piccolo ma genuino che l'obiettivo originale non aveva mai effettivamente dimostrato in un senso o nell'altro.

Quattro prospettive settoriali

Amministrazione locale

I servizi locali come vigili del fuoco e soccorso, assistenza sociale agli adulti e raccolta dei rifiuti sono di solito misurati rispetto a un misto di indicatori mandati a livello nazionale che l'ente locale non ha scelto e di misure scelte localmente che riflettono le priorità proprie di uno specifico consiglio, così che un singolo servizio può essere giudicato un successo rispetto a un insieme di indicatori e una preoccupazione rispetto a un altro. L'ispezione a livello locale è spesso svolta da un organo nazionale o regionale con un mandato di legge che copre molti enti locali insieme, il che dà una utile prospettiva comparativa ma meno contesto locale granulare dell'organizzazione che sta ispezionando. I membri eletti locali e le commissioni di controllo aggiungono uno strato di responsabilità più rapido e immediato e sono spesso i primi a sentire i residenti quando una cifra pubblicata e l'esperienza vissuta divergono.

Amministrazione nazionale

L'amministrazione nazionale gestisce tipicamente i regimi di performance più grandi e più politicamente visibili, perché un obiettivo nazionale – uno standard di tempo di attesa, un obiettivo di riduzione della criminalità, un obiettivo di tasso di promozione negli esami – diventa nel dibattito pubblico un'approssimazione della competenza del governo in carica, il che alza la posta in gioco dell'elusione ben oltre il livello operativo. È il contesto in cui la dinamica degli "obiettivi e terrore" di Bevan e Hood si realizza più pienamente, perché gli obiettivi nazionali sono spesso abbinati a visibili conseguenze politiche per il mancato raggiungimento, acuendo l'incentivo a gestire il numero anziché la realtà dietro di esso. Gli ispettorati nazionali, proprio perché operano a distanza dai ministeri le cui fortune politiche una valutazione può influenzare, portano una quota sproporzionata dell'onere di far emergere il divario fra performance riferita ed effettiva (vedi Argomento 3.4 — Responsabilità, trasparenza e legittimità).

Terzo settore e non profit

Le organizzazioni non profit e non governative affrontano più spesso l'assicurazione della qualità e l'accreditamento come disciplina volontaria o imposta dai finanziatori che come regime ispettivo di legge, poiché poche giurisdizioni gestiscono un ispettorato indipendente dedicato all'intero settore. Ciò lascia l'assicurazione della qualità del terzo settore più frammentata – finanziatori diversi che impongono requisiti diversi alla stessa organizzazione – ma anche più flessibile, poiché una non profit può spesso progettare la propria serie di indicatori attorno alla propria effettiva teoria del cambiamento anziché a un insieme di misure imposte dall'esterno. L'assenza di un ispettore esterno obbligatorio aumenta l'importanza relativa di un consiglio indipendente e di un audit esterno come sostituti propri del settore della responsabilità orizzontale (vedi Argomento 3.4 — Responsabilità, trasparenza e legittimità), poiché altrimenti la dirigenza stessa di una non profit è sia chi misura sia chi è misurato.

Livello multilaterale e internazionale

Gli organismi multilaterali e gli indici comparativi che pubblicano o su cui si basano – classifiche tra paesi della qualità della governance, della facilità di fare impresa o della performance dei servizi pubblici – affrontano la legge di Goodhart alla scala di interi governi nazionali, dove un paese può migliorare la propria classifica attraverso riforme mirate strettamente ai criteri misurati anziché alla condizione più ampia che l'indice pretende di rappresentare. L'ispezione indipendente nel senso interno usato altrove in questo argomento non ha un vero equivalente attraverso i confini sovrani, poiché nessuno Stato accetta un ispettorato esterno con la posizione coercitiva che un organo nazionale ha su un'agenzia che sorveglia; l'assicurazione della qualità multilaterale si affida invece alla revisione tra pari, all'autodichiarazione convalidata da missioni tecniche e al costo reputazionale di una valutazione pubblicata. Ciò rende particolarmente importanti l'indipendenza e la credibilità tecnica dell'organo che compila qualsiasi indicatore tra paesi, poiché è spesso l'unico controllo disponibile.

Modalità di fallimento comuni

Visione a tunnel. Un'organizzazione concentra sforzo e risorse su qualunque cosa sia misurata, a diretta spese degli aspetti non misurati dello stesso servizio che contano altrettanto per le persone che serve. Il costo è un servizio che appare in miglioramento in ogni rapporto pubblicato mentre una dimensione non misurata – dignità del paziente, complessità dei casi, risultati a lungo termine – si deteriora silenziosamente, inosservata finché non diventa una crisi abbastanza grande da forzare una nuova misurazione.

Fissazione sulla misura. Il successo sull'indicatore arriva a essere trattato, dentro l'organizzazione, come equivalente al successo sull'obiettivo di fondo, così che l'approssimazione sposti lo scopo dall'attenzione effettiva di tutti anche mentre la dichiarazione formale di missione nomina ancora lo scopo. Il costo è un divario crescente e autorinforzante fra performance riferita e realtà vissuta, perché nessuno dentro l'organizzazione sta più guardando direttamente la realtà.

Falsa rappresentazione. I dati sono adeguati – un orologio fermato troppo presto, un caso riclassificato, un denominatore scelto per effetto favorevole – così che la cifra riferita migliori senza che la realtà di fondo cambi affatto, come nell'esempio svolto qui sopra. Il costo, una volta scoperto, è sproporzionato rispetto alla distorsione originaria, perché la falsa rappresentazione danneggia non solo la specifica cifra ma la credibilità di ogni altro numero che la stessa organizzazione abbia mai pubblicato (vedi Argomento 3.4 — Responsabilità, trasparenza e legittimità).

Ossificazione. Un obiettivo fissato per uno specifico contesto operativo è lasciato non rivisto molto dopo che quel contesto è cambiato, così continua a essere riferito e gestito anche se non discrimina più fra performance genuinamente buona e genuinamente cattiva. Il costo è invisibile per anni, perché un obiettivo ossificato produce comunque un numero; il numero ha semplicemente smesso di significare qualsiasi cosa, e l'attenzione gestionale reale dell'organizzazione si è di solito già spostata altrove senza che nessuno ritiri formalmente la misura.

Cattura dell'ispettorato. Un organo indipendente di ispezione o di valutazione diventa gradualmente dipendente dalla buona volontà, dall'accesso o dalla continua cooperazione delle organizzazioni che ispeziona, che sia attraverso assetti di finanziamento, percorsi di carriera che spostano il personale fra ispettore e ispezionato o rapporti informali costruiti nel corso di ispezioni ripetute. Il costo è una lenta perdita di reale indipendenza che uno statuto formale o una legge di per sé non prevengono, e di solito emerge solo quando un fallimento importante passa attraverso un sistema di valutazione che avrebbe dovuto coglierlo.

Segnalazione della sicurezza guidata dalla colpa. Un sistema di segnalazione di errori e mancati incidenti rilevanti per la sicurezza è nominalmente senza colpa ma è, in pratica, collegato abbastanza strettamente alla valutazione della performance o al processo disciplinare che il personale impara che segnalare un errore onesto comporta un rischio personale. Il costo non sono meno errori – sono meno segnalazioni degli errori che continuano ad accadere, il che rimuove esattamente il segnale di allarme precoce che un sistema di sicurezza esiste per fornire prima che si verifichi il prossimo e più grave incidente.

Modello di maturità

Lista di controllo

• Ricondurre ogni indicatore principale di performance al modello logico o al quadro dei risultati che deve rappresentare.
• Individuare il modo più plausibile in cui ogni obiettivo pubblicato potrebbe essere eluso e nominare una misura di bilanciamento che lo rivelerebbe.
• Confermare che chi fissa un obiettivo, chi è misurato rispetto ad esso e chi ne verifica indipendentemente il risultato non siano tutti la stessa parte dell'organizzazione.
• Programmare una revisione a ciclo fisso di ogni obiettivo vivo, indipendentemente da qualsiasi fallimento visibile che la solleciti.
• Confermare che il canale di segnalazione rilevante per la sicurezza sia strutturalmente separato dalle decisioni di ricompensa della performance e disciplinari.
• Verificare se il personale creda che un errore o un mancato incidente onestamente segnalato sarebbe trattato senza colpa, non solo se una politica lo dica.
• Confermare che qualsiasi organo di ispezione o di valutazione che valuta l'organizzazione abbia finanziamento, accesso e diritti di pubblicazione protetti.
• Pubblicare i limiti noti di ogni obiettivo principale accanto alla cifra stessa.
• Verificare se un qualsiasi indicatore sia stato raggiunto con costanza per diversi periodi senza una corrispondente indagine sul perché.
• Coinvolgere il personale di prima linea nella progettazione di qualsiasi nuovo obiettivo prima che diventi vivo.
• Confermare che una certificazione di gestione della qualità, ove esista, sia trattata come un pavimento e non citata da sola come evidenza di buoni risultati.

Fonti chiave

• La formulazione del 1975 di Charles Goodhart di ciò che divenne noto come legge di Goodhart, sviluppata nel contesto del perseguimento di obiettivi di politica monetaria.
• Marilyn Strathern, "'Improving ratings': audit in the British university system", European Review, 5(3) (1997), 305–321 — la riformulazione per il settore pubblico, molto citata, della legge di Goodhart.
• Peter Smith, "On the Unintended Consequences of Publishing Performance Data in the Public Sector", International Journal of Public Administration, 18(2–3) (1995), 277–310 — la fonte della tipologia di visione a tunnel, fissazione sulla misura, falsa rappresentazione e ossificazione su cui questo argomento attinge.
• Gwyn Bevan e Christopher Hood, "What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System", Public Administration, 84(3) (2006), 517–538 — lo studio "obiettivi e terrore" sull'elusione sotto severe conseguenze.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) — un resoconto ad ampio raggio del fallimento della misurazione in istruzione, sanità, imprese e governo.
• UK National Audit Office, "Performance measurement by regulators", e le linee guida del US Government Accountability Office che distinguono le misure di performance dalla valutazione dei programmi.
• La Care Quality Commission e Ofsted, come esempi di organi indipendenti di ispezione e di valutazione che operano a distanza dalle organizzazioni che valutano.

Riferimenti

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, "'Improving ratings': audit in the British university system" — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, "On the Unintended Consequences of Publishing Performance Data in the Public Sector" — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, "What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System" — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted