Econometria del settore pubblico e valutazione dei programmi

Perché è importante per il valore pubblico

Ogni anno gli enti pubblici rinnovano, estendono o annullano programmi sulla base di un confronto di risultati: i partecipanti al programma per l'occupazione hanno trovato lavoro più in fretta dei non partecipanti; gli alunni del programma di ripetizioni hanno ottenuto punteggi più alti di quelli che non ne hanno fruito. Ciascun confronto è vero come descrizione e pericoloso come argomento, perché nessuno, da solo, dice se il programma abbia causato la differenza. Le persone che si iscrivono a un programma per l'occupazione sono spesso più motivate di quelle che non lo fanno, e gli alunni selezionati per le ripetizioni sono spesso scelti perché un insegnante si aspetta già che rispondano bene. Il divario tra "il gruppo trattato è andato meglio" e "il trattamento li ha fatti andare meglio" è esattamente il divario che l'inferenza causale esiste per colmare.

Non è una sottigliezza accademica. A un comitato finanziario a cui si chiede di rinnovare il finanziamento di un programma si chiede implicitamente di autorizzare la spesa di denaro pubblico sulla base di un'affermazione di causalità, che qualcuno nella stanza usi o meno quella parola. L'Argomento 2.1 ha fornito il quadro dei risultati che dichiara che cosa un programma intende cambiare (vedi Argomento 2.1 — La scheda di valutazione del valore pubblico e i quadri di riferimento dei risultati); questo argomento fornisce i metodi che verificano se l'abbia davvero cambiato, e di quanto. L'analisi costi-benefici e costo-efficacia (vedi Argomento 2.2 — Analisi costi-benefici sociale e analisi costo-efficacia) e il ritorno sociale sull'investimento (vedi Argomento 2.3 — Ritorno sociale sull'investimento e misurazione dell'impatto) hanno entrambi bisogno di una dimensione dell'effetto difendibile con cui lavorare; questo argomento è il luogo da cui quella dimensione dell'effetto proviene, o dove si scopre che il numero che già avete non può reggere il peso che gli viene messo sopra.

La posta in gioco non è solo finanziaria. Un governo che estende un programma inefficace perché una valutazione viziata lo faceva sembrare efficace ha sprecato denaro e, spesso peggio, ha scalzato un'alternativa davvero efficace che non ha mai avuto la possibilità; un governo che annulla un programma efficace perché un confronto ingenuo lo faceva sembrare inutile ha distrutto valore che una valutazione meglio progettata avrebbe protetto. Ottenere correttamente l'identificazione causale, e sapere quando non si può ottenerla, è esso stesso una competenza di valore pubblico, non un interesse laterale di specialisti.

Concetti chiave

L'inferenza causale è il ramo della statistica che si occupa di stabilire se, e di quanto, il cambiamento di una variabile produca un cambiamento in un'altra, in quanto distinto dal semplice fatto che le due variabili si muovano insieme. Fornisce il fondamento concettuale — il ragionamento controfattuale, il linguaggio di trattamento e controllo, il catalogo delle specifiche minacce a un'affermazione causale — a cui attinge ogni metodo di questo argomento. Wikipedia: Inferenza causale.

Il controfattuale è il risultato che una persona o un'unità avrebbe sperimentato se non avesse ricevuto il programma, ed è la quantità centrale e non osservabile che ogni metodo causale cerca di approssimare: si può osservare che cosa è accaduto a un partecipante, ma mai che cosa sarebbe accaduto alla stessa persona senza aiuto. Ogni metodo qui sotto è una diversa strategia per costruire un sostituto credibile di quell'osservazione mancante. Il modello causale di Rubin, sviluppato principalmente dallo statistico Donald Rubin, lo formalizza come il quadro dei "risultati potenziali": ogni unità ha un risultato potenziale con il trattamento e uno con il controllo, e l'effetto causale è la differenza tra i due, dei quali solo uno è mai osservato. Wikipedia: Modello causale di Rubin.

Il confondimento si verifica quando un terzo fattore influenza sia l'accesso di un'unità a un programma sia il risultato che il programma intende cambiare, facendo apparire che il programma abbia causato un effetto che invece ha prodotto il fattore di confondimento. Motivazione, abilità pregressa, condizioni economiche locali e ricchezza familiare sono fattori di confondimento ricorrenti nella valutazione dei programmi pubblici, perché influenzano abitualmente sia chi aderisce a un servizio sia come stiano poi quella persona o quel luogo. Wikipedia: Confondimento.

La distorsione di selezione è il caso specifico di confondimento che nasce da come i partecipanti finiscono nel gruppo di trattamento — autoselezione, segnalazione da parte del personale o regole di ammissibilità — così che i gruppi trattati e non trattati differiscono sistematicamente prima ancora che il programma li tocchi. Un programma per l'occupazione a cui si iscrivono solo i disoccupati più motivati sembrerà efficace anche se non fa nulla, perché il gruppo di confronto non è mai stato un sostituto equo di ciò che i partecipanti avrebbero fatto senza aiuto. Wikipedia: Distorsione di selezione.

Correlazione non implica causazione è l'avvertimento generale che questo argomento rende operativo: due variabili che si muovono insieme sono coerenti con il fatto che una causi l'altra, con il contrario, con una causa comune condivisa o con la coincidenza, e lo schema da solo non può distinguere tra queste ipotesi. Le vendite di gelati e i decessi per annegamento aumentano entrambi ogni estate senza che l'uno causi l'altro, perché il clima caldo guida entrambi; la valutazione dei programmi pubblici è piena di versioni più sottili della stessa trappola. Wikipedia: Correlazione non implica causazione.

Lo studio controllato randomizzato (RCT), chiamato valutazione randomizzata nella letteratura di valutazione delle politiche, assegna a caso le unità ammissibili a un gruppo di trattamento che riceve il programma e a un gruppo di controllo che non lo riceve, così che in media i due gruppi differiscano solo per l'essere stati trattati o meno. La randomizzazione è potente perché affronta il confondimento in blocco: bilancia sia i fattori di confondimento che si possono misurare sia quelli che non si possono, senza bisogno di nominarli in anticipo. Wikipedia: Studio controllato randomizzato.

La differenza nelle differenze (DiD) confronta il cambiamento dei risultati nel tempo per un gruppo trattato con il cambiamento nello stesso periodo per un gruppo di confronto che non ha ricevuto il programma, assumendo che, in assenza del programma, i due gruppi avrebbero seguito andamenti paralleli. È il metodo di lavoro quando un programma ha raggiunto una giurisdizione prima di un'altra e la randomizzazione non era mai un'opzione, perché può usare dati amministrativi raccolti di routine anziché uno studio costruito appositamente. Wikipedia: Differenza nelle differenze.

Il disegno a discontinuità della regressione (RDD) sfrutta una regola di programma che assegna il trattamento in base a un punteggio misurato che supera una soglia fissa — un beneficio che inizia esattamente a una soglia di reddito, una classe di recupero assegnata agli alunni che ottengono un punteggio appena sotto la sufficienza — e confronta i risultati delle unità appena sopra e appena sotto, che sono per il resto simili. Poiché da quale lato della soglia cada un'unità è di fatto arbitrario in una banda stretta attorno ad essa, il confronto approssima un esperimento randomizzato locale senza che nessuno abbia randomizzato nulla. Wikipedia: Disegno a discontinuità della regressione.

La stima con variabili strumentali (IV) usa una terza variabile, uno "strumento", che influenza l'adesione a un programma ma non ha effetto diretto sul risultato se non attraverso quell'adesione, per isolare la parte della relazione trattamento-risultato che il confondimento altrimenti contaminerebbe. Uno strumento classico di politica pubblica è la distanza da una struttura, o un posto assegnato per sorteggio, che sposta la partecipazione senza causare indipendentemente il risultato; la maggior parte della difficoltà del metodo sta nel difendere che lo strumento influenzi il risultato solo attraverso il programma. Wikipedia: Stima con variabili strumentali.

Un esperimento naturale è una situazione, derivante da politica, geografia o circostanza anziché dal disegno di un ricercatore, in cui alcune persone sono esposte a un programma e altre comparabili no, come se fosse stato condotto un esperimento senza che nessuno lo conducesse. Un cambiamento di politica che entra in vigore a una soglia di data di nascita, un confine che mette famiglie quasi identiche in giurisdizioni diverse o un sorteggio che razionalizza un posto in sovrannumero sono esperimenti naturali che RDD, IV o DiD possono poi analizzare. Wikipedia: Esperimento naturale.

L'effetto Hawthorne nomina il rischio che le persone cambino comportamento semplicemente perché sanno di essere osservate, indipendentemente dal contenuto effettivo del programma, il che può gonfiare un effetto stimato se il gruppo di controllo non è osservato con pari intensità — l'atto di misurare può diventare esso stesso parte del trattamento. Wikipedia: Effetto Hawthorne.

La potenza statistica è la probabilità che una valutazione rilevi un effetto reale di una data dimensione se esiste, e dipende principalmente dalla dimensione del campione, dalla dimensione dell'effetto cercato e da quanto i risultati variano all'interno dei gruppi. Una valutazione con potenza insufficiente che trova "nessun effetto significativo" spesso non ha dimostrato che il programma non fa nulla; ha dimostrato che la valutazione era troppo piccola per dirlo in un senso o nell'altro, una distinzione che i leader frequentemente perdono sotto la pressione di raggiungere un verdetto. Wikipedia: Potenza statistica.

Buone pratiche

1. Decidete il disegno della valutazione prima dell'avvio del programma, non dopo. Una valutazione randomizzata, un'introduzione scaglionata adatta alla differenza nelle differenze o una soglia di ammissibilità adatta al disegno a discontinuità della regressione sono tutte molto più facili da integrare dall'inizio che da aggiungere a posteriori quando l'erogazione è già iniziata in modo improvvisato.
2. Dichiarate esplicitamente il controfattuale in ogni documento di incarico della valutazione. Scrivete, in una frase, con che cosa state confrontando i partecipanti — nessun programma, il programma precedente, un intervento diverso — perché un controfattuale non dichiarato è dove le dispute valutative più aspre risultano di solito nascoste.
3. Trattate un semplice confronto prima-dopo come ipotesi di partenza, mai come una risultanza. I risultati derivano per molte ragioni estranee al vostro programma — il ciclo economico, gli effetti stagionali, altri cambiamenti di politica che arrivano nello stesso momento — e un disegno prima-dopo non può separare il contributo del vostro programma dal loro.
4. Abbinate il metodo alla regola che ha effettivamente assegnato il programma, non al metodo che vi è più familiare. Un programma razionato per sorteggio richiede la logica di una valutazione randomizzata anche se non lo chiamate mai studio; un programma assegnato da una soglia di punteggio richiede il disegno a discontinuità della regressione; un programma introdotto in alcune aree prima di altre richiede la differenza nelle differenze.
5. Preregistrate le misure di risultato e il piano di analisi prima di guardare i risultati. Decidere quale risultato conti come "successo" dopo aver visto quale si è mosso è una via ben documentata ai falsi positivi, e la preregistrazione è la difesa standard contro di essa.
6. Dimensionate la potenza della valutazione sul più piccolo effetto che giustificherebbe comunque il costo del programma, non per comodità. Una valutazione troppo piccola per rilevare un effetto rilevante per la politica produrrà un risultato non informativo di "nessuna differenza significativa" che viene scambiato per prova di fallimento.
7. Riferite le caratteristiche del gruppo di confronto accanto a quelle del gruppo di trattamento, non solo l'effetto principale. Una valutazione credibile permette a un lettore scettico di verificare che i due gruppi fossero simili prima del trattamento; una valutazione che lo nasconde costringe il lettore a prendere l'equilibrio sulla fiducia.
8. Commissionate la valutazione a una fonte indipendente dal team di erogazione, o isolate l'analisi se non potete. Un team con un interesse nel successo di un programma ha un incentivo strutturale, spesso inconscio, a interpretare le evidenze ambigue a favore del programma.
9. Separate la significatività statistica da quella pratica e fiscale in ogni rapporto. Un effetto minuscolo stimato con precisione e un effetto ampio stimato in modo impreciso sono risultanze diverse che richiedono decisioni diverse, e ridurre entrambi a "significativo" o "non significativo" cancella la distinzione di cui una decisione di finanziamento ha effettivamente bisogno.
10. Mettete a bilancio la valutazione come quota fissa del costo del programma in fase di progettazione, non come ciò che avanza. Un programma abbastanza grande da contare per il valore pubblico è di solito abbastanza grande da finanziare una credibile valutazione d'impatto, e trattare la valutazione come discrezionale è il modo in cui evidenze deboli diventano routine.
11. Pubblicate i risultati nulli e negativi con la stessa visibilità di quelli positivi. Un ambiente di committenza che rende pubbliche solo le valutazioni di successo crea una distorsione di selezione nella stessa base di evidenze pubblicata, orientando verso l'ottimismo il giudizio successivo di tutti su "che cosa funziona".
12. Alimentate ogni valutazione completata nella più ampia base di evidenze che il vostro settore mantiene, non solo nel vostro archivio. Una singola valutazione, per quanto ben progettata, è un solo dato; è la sintesi sistematica di molte che trasforma una risultanza di programma in conoscenza trasferibile (vedi Argomento 2.6 — Sintesi delle evidenze e ciò che funziona).

Domande da discutere con il vostro team

Qual è il controfattuale con cui stiamo effettivamente confrontando questo programma, e lo abbiamo detto ad alta voce? Ogni affermazione di impatto implica un confronto, ma i team lo lasciano di frequente implicito, permettendo a "questo ha funzionato" di scivolare silenziosamente tra "meglio di niente", "meglio di ciò che facevamo prima" e "meglio della migliore alternativa che avremmo potuto finanziare". Chiedete al vostro responsabile della valutazione di dichiarare il controfattuale in una sola frase in linguaggio semplice, poi verificate se le evidenze che avete sostengono effettivamente un'affermazione su quello specifico confronto. Se il controfattuale onesto è "non sappiamo che cosa sarebbe accaduto altrimenti", trattate l'attuale affermazione di impatto come ipotesi, non come risultanza, e discutete che cosa servirebbe per colmare quel divario.

Le persone o i luoghi che hanno aderito a questo programma potrebbero differire sistematicamente da quelli che non l'hanno fatto, in modi che influenzerebbero anche il risultato? È la domanda sulla distorsione di selezione, e vale la pena porla anche quando — soprattutto quando — la risposta sembra ovviamente "no". Motivazione, circostanze pregresse, capacità locale e schemi di segnalazione del personale sono fonti nascoste comuni di differenza che producono una stima di impatto fuorviante anche con un campione ampio e dall'aria accurata. Se il team non sa descrivere come i partecipanti siano finiti nel programma, non può escluderlo, e quel vuoto dovrebbe preoccuparvi più di un campione piccolo.

Il nostro disegno di valutazione è stato integrato nel programma, o aggiunto a posteriori, e che cosa ci è costato? Una valutazione randomizzata, un'introduzione scaglionata o una soglia di ammissibilità basata su un punteggio sono tutte molto più economiche e credibili se pianificate prima dell'avvio che se ricostruite da qualunque dato amministrativo sia sopravvissuto. Chiedete quali opzioni di disegno di valutazione furono considerate in fase di progettazione del programma e, se nessuna, trattatelo come un vuoto di processo da colmare prima del prossimo programma, non solo come un limite di questo. Discutete quali dati dovrebbero esistere fin dal primo giorno perché il prossimo programma importante sostenga una credibile stima causale.

Il nostro campione è abbastanza grande da rilevare un effetto che valga la pena conoscere, e riconosceremmo un risultato di "nessun effetto" con potenza insufficiente se lo vedessimo? Una valutazione che riferisce nessun effetto statisticamente significativo a volte dice correttamente che il programma non funziona, e a volte dice soltanto che la valutazione era troppo piccola per vedere un effetto che c'è davvero. Chiedete ai vostri analisti di dichiarare la dimensione minima dell'effetto che la valutazione aveva potenza di rilevare e confrontatela con la dimensione dell'effetto che giustificherebbe effettivamente il costo del programma. Se i due numeri sono molto distanti, la risultanza di "nessun effetto" può essere non informativa anziché condannatoria, e il team dovrebbe dirlo apertamente anziché lasciare che il silenzio sia letto come fallimento.

Chi trae beneficio, professionalmente o reputazionalmente, se questa valutazione risulta positiva, e ciò cambia quanto controllo indipendente le serva? Non è un'accusa di disonestà; è il riconoscimento che le persone che hanno progettato o erogano un programma sono strutturalmente più propense a interpretare con benevolenza risultati ambigui, spesso senza accorgersi di farlo. Discutete se la valutazione sia stata commissionata, analizzata o riesaminata da qualcuno indipendente dal team di erogazione e, se no, come potrebbe essere un isolamento proporzionato per un programma di questa dimensione. L'obiettivo è un risultato di cui si fiderebbe anche il vostro finanziatore più scettico, non solo uno che il vostro team si sente a proprio agio nel difendere.

Se la risultanza di questa valutazione è solida, che cosa faremmo effettivamente di diverso, e siamo pronti a farlo? Una valutazione commissionata ma mai destinata a cambiare una decisione è un costo irrecuperabile travestito da diligenza dovuta, e vale la pena nominare quel rischio prima che arrivino i risultati anziché dopo. Discutete in anticipo che cosa giustificherebbe una forte risultanza positiva (estensione, e di quanto) e che cosa innescherebbe una risultanza nulla o negativa (riprogettazione, o annullamento, e con quali tempi). Se nessuno nella stanza sa rispondere prima di vedere i risultati, la valutazione può servire una funzione di legittimazione anziché una funzione decisionale, ed è bene essere onesti su questo (vedi Argomento 2.1 — La scheda di valutazione del valore pubblico e i quadri di riferimento dei risultati).

In pratica: un esempio di valore pubblico

Illustrazione immaginaria. Il Ministero dei Servizi per l'Impiego di un paese di medie dimensioni non nominato condusse un progetto pilota di un anno di un servizio di coaching intensivo per disoccupati di lungo periodo, accanto al servizio standard esistente. Alla fine del progetto pilota, un rapporto interno confrontò il gruppo che aveva ricevuto il coaching intensivo con tutti gli altri usciti dalla disoccupazione nello stesso periodo: il gruppo seguito aveva un tasso di collocamento del 38% entro sei mesi, contro il 24% del resto del carico di casi. Ai ministri fu detto che il programma "funzionava" e un business case andò avanti per estenderlo a livello nazionale.

Prima di firmare il finanziamento, il comitato finanziario pose una domanda semplice: come erano finiti i disoccupati nel gruppo seguito? La risposta si rivelò enormemente importante. Gli operatori avevano segnalato al progetto pilota di coaching i disoccupati che ritenevano "più propensi a trarne beneficio", una decisione di selezione ben intenzionata che aveva di fatto selezionato fin dall'inizio un gruppo più pronto al lavoro nel trattamento. Il confronto 38% contro 24% era contaminato esattamente dalla distorsione di selezione contro cui questo argomento mette in guardia: era del tutto possibile che il gruppo seguito avrebbe superato il resto del carico di casi anche senza alcun coaching.

Anziché approvare o respingere l'estensione sulla base di quel confronto, l'unità di valutazione del ministero propose una seconda fase con un sorteggio. La domanda di coaching superava già i posti disponibili, così l'unità assegnò a caso i posti tra candidati ugualmente ammissibili e confrontò i tassi di collocamento tra i vincitori e i perdenti del sorteggio, un'applicazione della logica della valutazione randomizzata senza dover negare il servizio a nessuno che altrimenti lo avrebbe ricevuto. Dodici mesi dopo, il confronto del sorteggio mostrò un effetto più piccolo ma reale: un miglioramento di 9 punti percentuali nel collocamento a sei mesi, non il divario di 14 punti che il confronto originale aveva lasciato intendere. Il ministero usò la stima basata sul sorteggio, insieme ai propri dati di costo, per costruire un caso costo-efficacia difendibile (vedi Argomento 2.2 — Analisi costi-benefici sociale e analisi costo-efficacia) per un'estensione ridimensionata e vincolata dalle risorse, anziché la più ampia espansione irrealizzabile che il confronto iniziale viziato avrebbe giustificato.

Quattro prospettive settoriali

Amministrazione locale

Gli enti locali gestiscono tipicamente molti programmi piccoli e medi anziché pochi molto grandi, il che rende le valutazioni randomizzate costruite appositamente costose rispetto alla dimensione del programma e spinge i valutatori locali verso metodi quasi-sperimentali che riutilizzano dati amministrativi già raccolti — differenza nelle differenze tra aree di servizio che hanno adottato un cambiamento in momenti diversi, o disegno a discontinuità della regressione attorno a una soglia locale di ammissibilità. Le differenze di confine e di giurisdizione che altrove sarebbero un fastidio sono spesso il miglior esperimento naturale di un valutatore locale, poiché due quartieri o distretti vicini possono differire per politica pur restando simili in quasi tutto il resto.

Amministrazione nazionale

I governi nazionali hanno la scala per finanziare valutazioni randomizzate costruite appositamente e i dataset amministrativi, spesso collegati tra registri fiscali, previdenziali, sanitari e scolastici, per condurre disegni quasi-sperimentali credibili a basso costo marginale. Questa scala è anche dove tendono a collocarsi le unità operative "what works" e le linee guida centralizzate di valutazione, come il manuale standard di valutazione di un dipartimento del tesoro, perché solo un governo nazionale può giustificare il costo fisso di mantenere un'infrastruttura permanente di valutazione e uno standard metodologico comune tra molti ministeri.

Terzo settore e non profit

Le organizzazioni non profit e non governative hanno raramente le dimensioni di campione o i budget di cui ha bisogno una valutazione randomizzata ben dotata di potenza, e i loro programmi cambiano spesso in modo adattivo in risposta a ciò che il personale di prima linea osserva, il che complica qualsiasi disegno che presuppone un trattamento stabile e ben definito. La collaborazione con un gruppo di ricerca accademico o un intermediario specializzato di valutazione, del tipo cresciuto attorno al movimento della valutazione randomizzata nello sviluppo internazionale, è di frequente l'unica via realistica verso una stima causale rigorosa, e i finanziatori chiedono sempre più proprio questo tipo di partenariato esterno prima di impegnarsi in sovvenzioni pluriennali.

Livello multilaterale e internazionale

Gli organismi multilaterali finanziano programmi in molti paesi con sistemi di dati, capacità amministrative e norme di revisione etica diversi, il che rende i metodi causali standardizzati più difficili da applicare in modo uniforme ma crea anche una variazione naturale tra paesi che può diventare essa stessa un esperimento naturale quando una politica è adottata in alcuni Stati membri prima di altri. Le valutazioni randomizzate nell'economia dello sviluppo sono state particolarmente influenti a questa scala, producendo evidenze che hanno plasmato il modo in cui sono allocati i finanziamenti allo sviluppo internazionale, ma comportano anche un rischio documentato di fallimento della validità esterna: un risultato che vale nel paese e nel contesto studiati non si trasferisce automaticamente a un contesto diverso, un'avvertenza che la progettazione dei programmi multilaterali troppo spesso sorvola.

Modalità di fallimento comuni

Il semplice prima-dopo. Un programma è giudicato esclusivamente confrontando i risultati prima del suo avvio con quelli dopo, senza alcun gruppo di confronto, così qualsiasi tendenza già in corso — ripresa economica, cambiamento demografico, un distinto cambiamento di politica — viene erroneamente attribuita al programma. Il costo è una storia causale sicura di sé costruita su un disegno che non può distinguere l'effetto del programma da tutto il resto accaduto nello stesso momento.

Distorsione di selezione scambiata per effetto del programma. I partecipanti che hanno aderito, o sono stati segnalati perché sembravano propensi al successo, sono confrontati con tutti gli altri, producendo una stima di impatto che è in realtà una misura di chi il programma ha attratto anziché di che cosa ha fatto loro. Il costo è un programma esteso che appare meno efficace, a volte molto meno, una volta raggiunta una popolazione meno autoselezionata.

La valutazione con potenza insufficiente riferita come risultato nullo. Un piccolo progetto pilota trova "nessun effetto statisticamente significativo" e viene letto come prova che il programma non funziona, quando il campione era in realtà troppo piccolo per rilevare un effetto della dimensione che conterebbe. Il costo va in entrambe le direzioni: un programma davvero efficace può essere annullato sulla base di evidenze che non sono mai state in grado di mostrarne il funzionamento, oppure le risorse passano a finanziare uno studio più grande che non sarebbe stato necessario se l'incarico originale fosse stato dimensionato correttamente.

Estrapolare una stima locale oltre il suo contesto. Un disegno a discontinuità della regressione stima correttamente l'effetto per le unità vicine alla soglia di ammissibilità, e una stima a variabili strumentali stima correttamente l'effetto per le unità il cui stato di trattamento lo strumento ha davvero spostato, ma entrambe le risultanze vengono poi applicate all'intera popolazione come se la stima valesse ovunque. Il costo è una politica estesa sulla base di un numero che è sempre stato vero solo localmente.

Valutazione come teatro. Una valutazione è commissionata per creare l'apparenza di un processo decisionale basato sulle evidenze, ma la decisione è di fatto già stata presa e nessuna risultanza plausibile l'avrebbe cambiata. Il costo è un budget di valutazione sprecato e, in modo più corrosivo, una lenta erosione della fiducia nella valutazione stessa quando il personale nota che i risultati non sembrano mai cambiare gli esiti.

Modello di maturità

Lista di controllo

• Dichiarate il controfattuale di ogni valutazione di programma importante in una frase in linguaggio semplice.
• Confermate come i partecipanti sono finiti nel gruppo di trattamento e valutate se quel processo possa da solo spiegare la differenza di risultato.
• Scegliete il metodo di valutazione (valutazione randomizzata, differenza nelle differenze, disegno a discontinuità della regressione, variabili strumentali o esperimento naturale) per corrispondere alla regola di assegnazione effettiva, prima dell'avvio dell'erogazione ove possibile.
• Calcolate la potenza statistica necessaria per rilevare il più piccolo effetto che giustificherebbe il costo del programma.
• Preregistrate le misure di risultato e il piano di analisi prima di vedere i risultati.
• Riferite la comparabilità dei gruppi di trattamento e di confronto accanto all'effetto principale.
• Commissionate o riesaminate la valutazione attraverso una funzione indipendente dal team di erogazione.
• Separate la significatività statistica da quella fiscale e pratica in ogni rapporto ai decisori.
• Mettete a bilancio la valutazione come quota fissa del costo del programma in fase di progettazione.
• Pubblicate le risultanze nulle e negative con la stessa visibilità data a quelle positive.
• Verificate se una stima locale positiva (da disegno a discontinuità della regressione o da variabili strumentali) venga estrapolata oltre la popolazione che copre davvero.
• Instradate le valutazioni completate nella più ampia base di evidenze che il vostro settore mantiene, non solo nel vostro archivio.

Fonti chiave

Il nucleo metodologico di questo argomento attinge alla tradizione di econometria applicata associata a Joshua D. Angrist e Jörn-Steffen Pischke e al quadro dei risultati potenziali formalizzato da Donald Rubin. Il movimento della valutazione randomizzata nelle politiche pubbliche e nell'economia dello sviluppo, associato all'Abdul Latif Jameel Poverty Action Lab (J-PAL) e alla sua rete accademica, fornisce gran parte della pratica applicata richiamata nelle prospettive settoriali. Gli standard governativi di valutazione attingono alle linee guida Magenta Book del Tesoro del Regno Unito, e la pratica di sintesi delle evidenze attinge agli standard della Campbell Collaboration per la revisione sistematica nella politica sociale (vedi Argomento 2.6 — Sintesi delle evidenze e ciò che funziona).

Riferimenti

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network