Sintesi delle evidenze e ciò che funziona

Perché è importante per il valore pubblico

Un ministro, un sindaco o il direttore di programma di un ente benefico hanno raramente il lusso di un singolo studio pulito su cui agire. Più spesso sulla scrivania ci sono tre valutazioni in disaccordo, una rassegna della letteratura che le cita in modo selettivo, un gruppo di pressione che agita l'unico studio randomizzato che fa al caso suo, e una scadenza fissata da un ciclo di bilancio anziché dal ritmo della ricerca. La sintesi delle evidenze esiste perché i singoli studi sono rumorosi: i campioni sono piccoli, i contesti differiscono e un qualsiasi risultato potrebbe essere un caso, un'aderenza locale che non si trasferirà o un effetto genuino. La domanda a cui un leader ha bisogno di risposta è raramente "che cosa ha trovato questo studio?" ma "in tutto ciò che di credibile è stato tentato, che cosa devo aspettarmi se lo faccio qui, adesso?"

La teoria del valore pubblico rende tutto ciò più di una sottigliezza tecnica. Un programma finanziato con risorse collettive poggia su una proposta di valore che i cittadini, nel loro insieme, autorizzerebbero (vedi Argomento 2.1 — La scheda di valutazione del valore pubblico e i quadri di riferimento dei risultati per come quella proposta è dichiarata e seguita). Una proposta costruita su un singolo studio scelto ad arte, o su nessuna rassegna di evidenze, è una pretesa di legittimità più debole di una costruita su una sintesi accurata – e una base più debole per la capacità operativa, perché personale e bilanci vengono impegnati sulla sua forza. Il movimento del "what works" (che cosa funziona) – la rete di organismi indipendenti che valutano la qualità e la solidità delle evidenze di politica – è nato direttamente da questo problema: troppe decisioni pubbliche venivano prese sullo studio più rumoroso anziché su quello meglio sostenuto.

Il problema più difficile che questo argomento affronta è che cosa faccia un leader quando la sintesi stessa è inconcludente, contestata o semplicemente non disponibile in tempo. Le gerarchie delle evidenze sono state costruite per dare ordine a una base di evidenze disordinata, ma usate con noncuranza, "le evidenze non sono ancora abbastanza forti" diventa una scusa permanente per evitare una decisione che la realtà non aspetterà davvero. Un leader che capisce come funziona la sintesi, e dove stanno i suoi limiti, sa distinguere l'incertezza genuina che giustifica cautela da una gerarchia usata come copertura per l'inazione.

Questo argomento è il naturale seguito dei metodi di inferenza causale a cui una sintesi attinge (vedi Argomento 2.4 — Econometria del settore pubblico e valutazione dei programmi) e si colloca accanto a, anziché sostituire, i quadri dei risultati che una sintesi alla fine serve (vedi Argomento 2.1 — La scheda di valutazione del valore pubblico e i quadri di riferimento dei risultati). Un leader che sa leggere una revisione sistematica, comprendere una valutazione del tipo "what works" e ragionare con chiarezza su evidenze assenti rispetto a evidenze negative prende decisioni migliori, nell'immediato, di uno che sa solo pretendere "più evidenze" o accettare il primo studio che gli viene consegnato.

Concetti chiave

Una revisione sistematica è una sintesi delle evidenze su una questione definita che usa un metodo esplicito, prespecificato e riproducibile per trovare, valutare e combinare gli studi, in contrasto con una rassegna narrativa della letteratura, che seleziona le fonti a discrezione dell'autore (vedi Revisione sistematica). Le sue caratteristiche definitorie sono un protocollo registrato scritto prima che inizi la ricerca, una strategia di ricerca che comprende la letteratura non pubblicata e grigia, criteri di inclusione espliciti e un metodo standard per valutare il rischio di distorsione di ciascuno studio. È ciò che separa una revisione sistematica da un saggio ben scritto con note: un altro team che seguisse lo stesso protocollo troverebbe in linea di massima le stesse evidenze e giungerebbe a una conclusione in linea di massima simile.

La meta-analisi è la tecnica statistica più spesso abbinata a una revisione sistematica: mette in comune le dimensioni dell'effetto quantitative di più studi indipendenti in un'unica stima più precisa, di solito ponderando ciascuno studio per dimensione del campione e qualità (vedi Meta-analisi). Una meta-analisi vale quanto gli studi che la alimentano; mettere in comune cinque studi deboli produce una stima più precisa di un effetto forse distorto, non una stima affidabile. Gli analisti riferiscono perciò l'eterogeneità – quanto i risultati degli studi variano oltre quanto il caso prevederebbe – perché un'alta eterogeneità segnala che gli studi non verificavano davvero la stessa cosa, e un singolo numero aggregato può fuorviare.

La distorsione da pubblicazione (publication bias) è la tendenza per cui gli studi con risultati positivi e significativi vengono pubblicati mentre quelli nulli o negativi restano nel cassetto del ricercatore, facendo apparire un intervento più coerentemente efficace nella letteratura di quanto sia davvero (vedi Distorsione da pubblicazione). Una revisione rigorosa la corregge cercando nei registri degli studi e nelle valutazioni non pubblicate, non solo negli articoli di rivista. Un leader che legge una sintesi costruita solo su articoli pubblicati dovrebbe chiedere che cosa abbiano fatto i revisori per trovare gli studi che non sono mai arrivati alla stampa.

La gerarchia delle evidenze classifica i disegni di studio in base a quanto bene controllano il confondimento e la distorsione, collocando tipicamente in cima le meta-analisi di studi randomizzati, poi i singoli studi controllati randomizzati, poi i disegni quasi-sperimentali e osservazionali, e in fondo il parere di esperti (vedi Gerarchia delle evidenze). Uno studio controllato randomizzato assegna i partecipanti a un intervento o a un gruppo di confronto per caso, lo strumento singolarmente più potente per isolare un effetto causale da tutto ciò che accade intorno (vedi Studio controllato randomizzato; vedi Argomento 2.4 — Econometria del settore pubblico e valutazione dei programmi per come tali disegni sono costruiti e analizzati). La gerarchia è un'euristica davvero utile, ma un'euristica, non una legge: uno studio osservazionale ben condotto su una politica rara o a lenta evoluzione può superare uno studio mal condotto e con potenza insufficiente, e un leader che la tratta come una classifica assoluta scarterà talvolta le evidenze più pertinenti in favore del disegno più prestigioso.

L'approccio GRADE – Grading of Recommendations, Assessment, Development and Evaluations – formalizza un secondo giudizio distinto che la sola gerarchia non compie: valuta sia la certezza delle evidenze sia, indipendentemente, la forza di una raccomandazione ad agire su di esse, perché evidenze forti non giustificano sempre una raccomandazione forte, e evidenze deboli non giustificano sempre l'inazione di fronte a un danno grave e urgente (vedi Approccio GRADE). Questa separazione è l'idea singolarmente più utile di questo argomento per un decisore con poco tempo: permette a un leader di dire, onestamente, "le evidenze qui sono moderate e, date la posta in gioco e il costo dell'attesa, raccomando di procedere" – un giudizio difendibile e documentato, anziché una falsa scelta tra aspettare la certezza e ignorare del tutto le evidenze.

Una distinzione che ricorre costantemente nel dibattito politico in corso è quella tra assenza di evidenza ed evidenza di assenza: la mancanza di studi sull'effetto di un intervento ("nessuna evidenza di effetto") non è la stessa affermazione di un corpus di studi ben dotati di potenza che hanno positivamente trovato nessun effetto ("evidenza di nessun effetto") (vedi Evidenza di assenza). Un nuovo programma locale senza ancora valutazioni semplicemente non è stato testato; un programma nazionale ben studiato e ripetutamente trovato incapace di muovere un qualsiasi risultato è stato testato e mostrato non funzionare. Confondere le due cose è uno degli errori più consequenziali che un leader pubblico possa fare: uccidere un progetto pilota non testato ma promettente come se avesse fallito, o continuare a finanziare un programma ripetutamente smentito come se nessuno avesse ancora guardato abbastanza da vicino.

La politica basata sulle evidenze è il movimento più ampio e l'affermazione normativa secondo cui le decisioni pubbliche dovrebbero fondarsi su evidenze rigorosamente stabilite anziché su ideologia, aneddoto o la sola intuizione (vedi Politica basata sulle evidenze). I suoi critici, e sempre più i suoi stessi sostenitori, preferiscono "politica informata dalle evidenze", che ammette che le evidenze sono un input fra altri – valori, mandato, costo e le questioni di legittimità che questo libro tratta come fondamentali – anziché una regola decisionale meccanica che le sole evidenze possano risolvere.

Da questo movimento è nato lo schema del centro "what works" o clearinghouse: un organismo indipendente che esamina sistematicamente le evidenze per gli interventi in un ambito di politica e pubblica valutazioni accessibili e comparabili, anziché lasciare che ogni committente locale conduca la propria rassegna. Cochrane ha avviato il modello in sanità dal 1993, mantenendo un manuale vivo di metodologia delle revisioni sistematiche usato ben oltre la medicina (vedi Cochrane). La Campbell Collaboration ha esteso la stessa metodologia alla politica sociale, alla giustizia penale, all'istruzione e allo sviluppo internazionale (vedi Campbell Collaboration). Sono seguiti clearinghouse nazionali: la What Works Clearinghouse degli Stati Uniti, gestita dal suo Institute of Education Sciences dal 2002, esamina la ricerca educativa rispetto a standard di disegno espliciti (vedi What Works Clearinghouse); l'Education Endowment Foundation dell'Inghilterra pubblica un Teaching and Learning Toolkit ampiamente usato che valuta gli interventi in classe per costo, solidità delle evidenze e impatto tipico in un unico formato comparabile (vedi Education Endowment Foundation). Esistono centri equivalenti per la riduzione della criminalità, l'intervento precoce, l'assenza di dimora e l'invecchiamento in buona salute – una piccola famiglia internazionale costruita sullo stesso metodo: revisione sistematica, valutazione trasparente e un riepilogo rivolto ai professionisti che non richiede un metodologo per essere letto.

Buone pratiche

1. Chiedete la sintesi prima del singolo studio. Quando sulla vostra scrivania arriva un risultato clamoroso, chiedete prima se esista già una revisione sistematica o una valutazione "what works" per quell'intervento, non se lo studio sembri convincente preso isolatamente.
2. Leggete la revisione sottostante accanto a qualsiasi valutazione del toolkit, non al suo posto. Una valutazione di una riga o un'icona con un lucchetto riassume un giudizio; non sostituisce la comprensione di su quali evidenze poggi e di quanto direttamente si applichi al vostro contesto.
3. Separate esplicitamente la qualità delle evidenze dalla forza della vostra raccomandazione. Prendete in prestito la logica GRADE anche informalmente: dichiarate quanto siano certe le evidenze, poi dichiarate separatamente quanto fortemente quella certezza, combinata con posta in gioco e costo, giustifichi di agire ora.
4. Nominate se vi trovate di fronte a "nessuna evidenza ancora" o a "evidenza di nessun effetto" prima di decidere. Mettete questa distinzione per iscritto in ogni nota sulle evidenze, perché le due situazioni giustificano risposte quasi opposte – sperimentazione prudente contro interruzione o riprogettazione.
5. Verificate la corrispondenza tra il contesto della revisione e il vostro prima di presumere che l'effetto si trasferisca. Una dimensione dell'effetto aggregata da studi condotti altrove è una media, non una promessa; chiedete che cosa abbia moderato l'effetto all'origine e se quei moderatori siano presenti qui.
6. Commissionate una valutazione rapida delle evidenze quando una revisione sistematica completa non rientra nei vostri tempi. Una rassegna strutturata e a tempo della letteratura esistente – giorni o settimane, non mesi – è una via di mezzo legittima tra nuova ricerca primaria e nessuna rassegna.
7. Pubblicate le vostre valutazioni a prescindere dal risultato. I risultati nulli e negativi sono preziosi per la sintesi successiva quanto quelli positivi; trattenerli aggrava la distorsione da pubblicazione che mina ogni futura revisione nel vostro campo.
8. Costruite una relazione permanente con un centro "what works" o clearinghouse nel vostro ambito prima di averne bisogno. Cercare a freddo nel toolkit di un organismo di sintesi per la prima volta durante una crisi in corso è molto più lento che sapere già che cosa copre e a chi rivolgersi per una lacuna.
9. Fissate la vostra soglia di evidenza prima che arrivino i risultati, non dopo. Concordate in anticipo quale livello di evidenza giustificherebbe l'estensione, un'ulteriore sperimentazione o l'interruzione, per ridurre la tentazione di reinterpretare risultanze ambigue in modo da adattarle a una decisione già presa.
10. Mettete un limite di tempo alla ricerca di uno studio che elimini ogni dubbio. Aspettare una base di evidenze perfetta e inequivoca è di per sé una decisione, di solito quella di continuare a fare ciò che già fate; fissate una scadenza che rispetti il costo del ritardo oltre al costo di agire su evidenze deboli.
11. Trattate la sintesi come un input della proposta di valore, non come sua sostituzione. L'intervento meglio sostenuto non è automaticamente la scelta giusta una volta ponderati accanto ad esso costo, effetto distributivo e legittimità (vedi Argomento 2.1 — La scheda di valutazione del valore pubblico e i quadri di riferimento dei risultati).
12. Documentate quali evidenze avete considerato e perché le avete ponderate così. Un registro scritto degli studi esaminati e del ragionamento dietro il giudizio finale protegge sia la legittimità della decisione sia la capacità del revisore successivo di imparare da essa.

Domande da discutere con il vostro team

Quando abbiamo cambiato per l'ultima volta una decisione in corso perché una revisione sistematica o una valutazione "what works" contraddiceva ciò che avevamo già pianificato di fare? Se la risposta onesta è "mai", vale la pena fermarsi a pensarci, perché suggerisce che la rassegna delle evidenze possa funzionare come esercizio di conferma anziché come vero controllo. Discutete una decisione recente in cui la base di evidenze era mista e ripercorrete se abbia davvero plasmato la scelta o sia stata raccolta soprattutto per sostenere una conclusione raggiunta in anticipo. Considerate che cosa dovrebbe cambiare nel modo e nel momento in cui le evidenze raggiungono i decisori perché abbiano un'influenza reale anziché un peso simbolico.

Stiamo trattando da qualche parte "nessuna evidenza di effetto" come se fosse "evidenza di nessun effetto", o il contrario? Ripercorrete il vostro attuale portafoglio di programmi e individuate qualsiasi programma abbiate silenziosamente deprioritizzato perché "le evidenze non ci sono", e verificate se ciò significhi davvero non testato o davvero smentito. Fate lo stesso nell'altra direzione: qualsiasi programma continuiate a finanziare perché "nessuno ha mostrato che non funziona", quando in realtà nessuno ha guardato. Discutete che cosa servirebbe per correggere i due o tre esempi più consequenziali e chi dovrebbe possedere quella correzione.

Se una decisione richiedesse evidenze entro venerdì, abbiamo davvero un processo di valutazione rapida delle evidenze, o ne improvviseremmo uno sotto pressione? La pressione del tempo non è ipotetica; è la condizione normale in cui si prendono la maggior parte delle decisioni basate su evidenze reali. Discutete se la vostra organizzazione abbia un metodo permanente – un team nominato, un modello, un breve elenco di centri "what works" da controllare per primi – o se ogni richiesta urgente parta da una pagina bianca. Se la seconda, discutete come potrebbe essere un processo minimo praticabile di valutazione rapida e chi lo possiederebbe.

Di chi è la gerarchia delle evidenze che stiamo effettivamente usando, e si adatta alla posta in gioco e alla reversibilità di questa decisione? Ambiti diversi applicano diversamente i propri standard di evidenza, e una gerarchia tarata su decisioni irreversibili e ad alta posta non è sempre la soglia giusta per un progetto pilota economico, reversibile e facile da monitorare. Discutete se la vostra organizzazione applichi un unico standard di evidenza uniformemente a prescindere dalla posta in gioco, e se ciò vi protegga da cattive decisioni o rallenti semplicemente quelle buone. Concordate, come team, quale standard dovrebbe essere richiesto per le prossime tre decisioni nella vostra agenda, prima di sapere che cosa dicono le evidenze.

Che cosa abbiamo fatto, concretamente, per impedire che le nostre stesse valutazioni scompaiano in un cassetto? Ogni risultato nullo non pubblicato su cui la vostra organizzazione sta seduta è una lacuna che qualche altra organizzazione dovrà riscoprire nel modo più duro. Discutete onestamente il vostro storico: quante delle vostre ultime 10 valutazioni sono state condivise all'esterno e che cosa è successo a quelle che non lo sono state. Concordate un impegno concreto e dotato di risorse – una politica di pubblicazione, un registro condiviso – anziché una generica aspirazione a essere più trasparenti.

Stiamo usando la frase "servono più evidenze" onestamente, o come modo per evitare una decisione che non vogliamo prendere? È la domanda più scomoda di questo argomento e merita di essere posta direttamente. Individuate una decisione specifica attualmente bloccata per ragioni di evidenza e discutete, con franchezza, che cosa cambierebbe davvero la vostra opinione e se le evidenze che aspettate arriveranno realisticamente in tempo. Se no, discutete come potrebbe essere una decisione onesta in condizioni di genuina incertezza anziché continuare ad aspettare, e chi abbia l'autorità di prenderla.

In pratica: un esempio di valore pubblico

Un'agenzia regionale per l'impiego, parte di un ministero nazionale responsabile dei programmi del mercato del lavoro, era sotto pressione per decidere entro un ciclo di bilancio se estendere un progetto pilota di formazione professionale da tre distretti all'intera regione. Il pilota combinava tirocini lavorativi sovvenzionati con un mentoring strutturato, e lo studio randomizzato dell'agenzia stessa nei tre distretti pilota aveva trovato un aumento modesto ma statisticamente significativo dell'occupazione duratura a 12 mesi. Una fonte di evidenza rivale complicava il quadro: una revisione sistematica pubblicata l'anno precedente, che metteva in comune nove programmi simili in diversi paesi, aveva trovato un effetto medio quasi nullo, con ampia variazione tra gli studi e nessuno schema chiaro a spiegare quali programmi funzionassero.

L'unità di evidenze dell'agenzia aveva sei settimane prima della scadenza di presentazione del bilancio per conciliare le due risultanze. Il primo istinto di un analista junior fu di considerare la revisione aggregata più autorevole semplicemente perché combinava più studi, e di raccomandare di abbandonare il pilota. La consulente principale sulle evidenze dell'unità si oppose: una media aggregata quasi nulla tra programmi realmente diversi non era una forte evidenza che questo specifico programma locale ben realizzato avrebbe fallito – era evidenza che i programmi di formazione professionale in generale sono eterogenei per qualità e adeguatezza, cosa già nota. L'alta eterogeneità riferita nella revisione era essa stessa la risultanza più importante della media aggregata.

La consulente propose una via di mezzo anziché una scelta binaria. Raccomandò un'estensione a fasi a metà della regione, con i distretti di espansione selezionati a caso così che l'introduzione stessa generasse ulteriori evidenze anziché limitarsi a spendere a fronte di un'ipotesi (vedi Argomento 2.4 — Econometria del settore pubblico e valutazione dei programmi per come un'introduzione a fasi possa essere progettata come ulteriore valutazione). Raccomandò inoltre di pubblicare per intero lo studio originario, metodi e dati grezzi inclusi, così che potesse essere raccolto dalla successiva revisione sistematica anziché restare in un rapporto interno che nessuno fuori dall'agenzia avrebbe mai visto.

I vertici del ministero approvarono l'approccio a fasi, inquadrato esplicitamente nel business case (vedi Argomento 2.5 — Business case e rapporto qualità-prezzo) come una decisione presa con evidenze di certezza moderata e con un meccanismo incorporato per risolvere l'incertezza entro 18 mesi, non come una decisione presa perché le evidenze fossero conclusive. Dopo 18 mesi, i distretti di espansione mostrarono un effetto vicino a quello del pilota originario, e il ministero estese ulteriormente con una base di evidenze più solida di quella offerta da ciascuna delle due fonti da sola – e con una chiara traccia documentale del perché avesse scelto di agire anziché aspettare.

Questo scenario è illustrativo e immaginario; non descrive il programma né la valutazione di alcun ministero reale.

Quattro prospettive settoriali

Amministrazione locale

Un ente locale ha raramente il budget o il carico di casi per commissionare una propria revisione sistematica, per cui la sua abilità pratica è tradurre le evidenze di sintesi nazionali e internazionali in uno specifico contesto locale sotto reale pressione di tempo – verificando se la base di evidenze di un intervento valutato dal toolkit assomigli alla propria popolazione, al proprio sistema di servizi e al proprio livello di finanziamento prima di presumere che l'effetto valutato si trasferisca. I leader locali sono anche i più vicini al costo di entrambi gli errori da cui questo argomento mette in guardia: agire su un intervento che una sintesi ha già mostrato non funzionare, e rifiutare un'innovazione locale genuinamente promettente ma poco valutata perché nessun centro "what works" l'ha ancora valutata.

Amministrazione nazionale

L'amministrazione nazionale è dove si trovano la maggior parte dei centri "what works" e delle linee guida formali sulla gerarchia delle evidenze, il che dà ai ministeri nazionali la prossimità all'infrastruttura di sintesi ma anche la massima esposizione al trattare una gerarchia delle evidenze come un ostacolo burocratico anziché un ausilio decisionale. Il compito nazionale caratteristico è commissionare e mantenere quell'infrastruttura – finanziare un clearinghouse, fissarne gli standard di evidenza e assicurare che le sue valutazioni raggiungano davvero i funzionari che scrivono i business case (vedi Argomento 2.5 — Business case e rapporto qualità-prezzo), anziché esistere come un sito ben considerato che i team di politica raramente consultano sotto la pressione delle scadenze.

Terzo settore e non profit

Le organizzazioni non profit e gli enti benefici mancano tipicamente delle risorse per condurre valutazioni rigorose su larga scala, il che li rende fortemente dipendenti da organismi esterni di sintesi e, sempre più, da finanziatori che richiedono come condizione di sovvenzione l'allineamento a un livello di evidenza valutato. Ciò crea un rischio distintivo: le organizzazioni sotto pressione finanziaria possono essere tentate di sopravvalutare quanto bene il loro programma si adatti a una valutazione favorevole – una forma di evidence-washing – oppure, al contrario, piccoli enti benefici locali genuinamente efficaci possono essere estromessi dai finanziamenti perché non sono mai stati abbastanza grandi da generare le evidenze che un clearinghouse nazionale valuta in alto (vedi Argomento 3.8 — Gestione del terzo settore e del non profit per le strutture di finanziamento dietro questa pressione).

Livello multilaterale e internazionale

Gli organismi multilaterali e internazionali affrontano il problema della generalizzabilità nella sua forma più acuta: un intervento provato nel sistema sanitario, nel settore agricolo o nel mercato del lavoro di un paese viene abitualmente proposto per un contesto economico e istituzionale molto diverso, e la letteratura di sintesi è migliore nel segnalare questo trasferimento non sostenuto a posteriori che a priori. Le reti di ricerca costruite per colmare questo divario, come l'Abdul Latif Jameel Poverty Action Lab, hanno spinto la politica di sviluppo verso la replicazione specifica per contesto anziché la dimostrazione di concetto in un solo paese, ma la tensione tra evidenze globalmente comparabili ed effetti dipendenti dal contesto resta una caratteristica definitoria della sintesi a questa scala.

Modalità di fallimento comuni

La gerarchia delle evidenze come scusa per l'inazione. Un team di fronte a una decisione difficile e contestata cita "evidenze insufficienti" o "ancora nessuno studio randomizzato" come ragione per rimandare indefinitamente, quando il vero motivo del ritardo è il disagio politico o il desiderio di evitare la responsabilità. Ciò costa all'organizzazione l'opportunità stessa, e costa alla base di evidenze una prova nel mondo reale che avrebbe potuto risolvere l'incertezza, lasciando il prossimo decisore di fronte esattamente allo stesso vuoto.

Confondere assenza di evidenza con evidenza di assenza. Un'innovazione locale promettente ma non testata viene uccisa come se fosse stata provata e fallita, mentre un programma nazionale ripetutamente smentito continua a essere finanziato perché nessuno ha inquadrato le evidenze come risultanza negativa anziché come lacuna. Entrambi gli errori sono costosi: uno preclude opzioni promettenti, l'altro protegge programmi che una sintesi lucida avrebbe ritirato anni prima.

Trattare una valutazione del toolkit come l'intera analisi. Un decisore legge una singola icona con un lucchetto o una valutazione a stelle e si ferma lì, senza verificare se gli studi sottostanti corrispondano al suo contesto, alla sua popolazione o alla sua scala. Le valutazioni sono deliberatamente compresse per essere accessibili; usate senza la revisione sottostante, possono produrre decisioni sicure di sé costruite su una base di evidenze più sottile di quanto la semplicità della valutazione suggerisca.

Ignorare l'eterogeneità a favore del risultato aggregato principale. L'unica dimensione dell'effetto media di una meta-analisi viene citata in un briefing mentre l'ampia variazione fra gli studi che l'hanno prodotta – spesso la risultanza più informativa – viene lasciata cadere. Ne deriva una falsa precisione: un decisore agisce come se ogni realizzazione si comportasse allo stesso modo, quando la qualità di realizzazione e il contesto svolgono tanto lavoro quanto l'intervento stesso.

Lasciare che la distorsione da pubblicazione plasmi silenziosamente la base di evidenze. Un'organizzazione legge solo la letteratura accademica pubblicata nel valutare un intervento, mancando gli studi negativi non pubblicati e le valutazioni interne che non sono mai finite su una rivista. Il quadro risultante di "ciò che funziona" è sistematicamente sbilanciato in senso positivo, e le decisioni costruite su di esso ereditano quello sbilanciamento senza che nessuno l'abbia scelto deliberatamente.

Modello di maturità

Lista di controllo

• Revisione sistematica o valutazione "what works" controllata prima di affidarsi a un singolo studio.
• Revisione di evidenze sottostante letta, non solo la valutazione di sintesi o l'icona.
• Qualità delle evidenze e forza della raccomandazione dichiarate come due giudizi separati.
• "Nessuna evidenza di effetto" ed "evidenza di nessun effetto" esplicitamente distinte nella nota scritta.
• Corrispondenza di contesto tra gli studi esaminati e la decisione in questione verificata (popolazione, scala, sistema di servizi).
• Processo di valutazione rapida delle evidenze disponibile e usato quando una revisione completa non rientra nei tempi.
• Soglia di evidenza per la decisione concordata prima di esaminare i risultati.
• Piano in atto per pubblicare la valutazione di questa organizzazione, qualunque sia il risultato.
• Relazione permanente con un pertinente centro "what works" o clearinghouse stabilita, non costruita da zero sotto pressione.
• Ragionamento dietro il giudizio finale documentato, comprese le evidenze considerate e scartate.
• Decisione riesaminata rispetto alla proposta di valore e alle considerazioni di legittimità, non alla sola solidità delle evidenze.

Fonti chiave

• Il Cochrane Handbook for Systematic Reviews of Interventions, mantenuto da Cochrane, per la metodologia fondativa su cui poggia la pratica delle revisioni sistematiche tra i settori.
• Le linee guida della Campbell Collaboration sulle revisioni sistematiche e sulla sintesi delle evidenze per la politica sociale, comportamentale e criminologica, per l'estensione diretta di quella metodologia ad ambiti di politica pubblica oltre la sanità.
• Lo Standards Handbook della What Works Clearinghouse (Institute of Education Sciences, Stati Uniti), per un esempio concreto di come un clearinghouse nazionale fissi standard espliciti di disegno degli studi e valuti le evidenze rispetto ad essi.
• Il Teaching and Learning Toolkit dell'Education Endowment Foundation, per un esempio pratico, rivolto ai professionisti, di traduzione delle evidenze aggregate in valutazioni comparabili di costo, impatto e solidità delle evidenze.
• Il lavoro dell'Organizzazione per la cooperazione e lo sviluppo economico (OCSE) sulla costruzione di capacità per una definizione delle politiche informata dalle evidenze, per un resoconto tra paesi di come i governi organizzino i lati della domanda e dell'offerta dell'uso delle evidenze.
• Il What Works Center for Crime Reduction del College of Policing e il suo toolkit sulla riduzione della criminalità, per un ulteriore esempio concreto dello schema del clearinghouse applicato fuori dalla sanità e dall'istruzione.

Riferimenti

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Center for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-center-crime-reduction