La scheda di valutazione del valore pubblico e i quadri di riferimento dei risultati

Perché è importante per il valore pubblico

La maggior parte dei leader del settore pubblico e del terzo settore sa produrre un documento strategico che parla con scioltezza di risultati. Molti meno sanno produrre, un anno dopo, le evidenze che mostrano se quei risultati si siano davvero mossi. Il divario fra le due cose non è di solito una carenza di dati – la maggior parte delle organizzazioni ne raccoglie enormi quantità – ma una carenza di una struttura disciplinata che trasformi i conteggi grezzi di attività in un'affermazione difendibile sul valore creato. L'Argomento 1.2 — Il triangolo strategico: legittimità, valore e capacità ha delineato legittimità e sostegno, proposta di valore e capacità operativa come i tre vertici che la strategia di un'organizzazione deve soddisfare contemporaneamente (vedi Argomento 1.2 — Il triangolo strategico: legittimità, valore e capacità). Questo argomento riguarda gli strumenti che rendono misurabili, anziché semplicemente asseriti, quei tre vertici.

La posta in gioco è immediata e ricorrente. Un finanziatore o un legislativo chiede, al prossimo ciclo di bilancio, "che cosa abbiamo ottenuto per questo denaro" – e un'organizzazione con soli conteggi di output (ambulatori aperti, pratiche trattate, sessioni di formazione svolte) non ha risposta alla domanda sul risultato che c'è sotto. Un team di programma ritiene di avere successo perché l'attività è alta e intensa, senza avere separato l'attività dal cambiamento nel mondo che l'attività intendeva causare. Un consiglio approva una nuova iniziativa sulla base di una narrazione persuasiva, poi non ha una base concordata, un anno dopo, per decidere se continuare, estendere o fermare l'iniziativa. Ciascuno di questi è un fallimento di misurazione con conseguenze strategiche, non un inconveniente tecnico.

Gli strumenti di questo argomento – la scheda di valutazione del valore pubblico di Mark Moore, il modello logico e la responsabilità basata sui risultati e i suoi affini – non risolvono ogni problema di misurazione che un'organizzazione pubblica o del terzo settore affronta. Gli argomenti successivi trattano gli strati più difficili e più tecnici: monetizzare i risultati attraverso l'analisi costi-benefici e costo-efficacia (vedi Argomento 2.2 — Analisi costi-benefici sociale e analisi costo-efficacia), valorizzare i risultati che resistono alla monetizzazione tramite il ritorno sociale sull'investimento (vedi Argomento 2.3 — Ritorno sociale sull'investimento e misurazione dell'impatto) e stabilire che un programma abbia davvero causato un cambiamento osservato tramite la valutazione di programma formale (vedi Argomento 2.4 — Econometria del settore pubblico e valutazione dei programmi). Ciò che questo argomento fornisce è lo strato sottostante a tutti e tre: un vocabolario condiviso e un piccolo numero di quadri durevoli per dichiarare, prima che inizi qualsiasi lavoro tecnico di questo tipo, che cosa un'organizzazione stia effettivamente cercando di cambiare, per chi e come saprà di esserci riuscita.

Concetti chiave

La scheda di valutazione del valore pubblico è la proposta di Mark H. Moore di seguire ciascun vertice del triangolo strategico con un proprio insieme di indicatori, anziché ripiegare sulle misure finanziarie e operative che userebbe una balanced scorecard del settore privato. Moore ha adattato la balanced scorecard – lo strumento di Robert Kaplan e David Norton per seguire un'impresa lungo le prospettive finanziaria, del cliente, dei processi interni e dell'apprendimento – perché un unico risultato economico non può rappresentare un'organizzazione la cui ragione d'essere principale è creare valore che nessun prezzo di mercato coglie. La scheda di valutazione del valore pubblico chiede invece a un'organizzazione di specificare misure sotto tre voci che rispecchiano il triangolo: un conto di legittimità e sostegno (l'ambiente autorizzativo è soddisfatto – finanziatori, organi di controllo, pubblico), un conto di valore pubblico (la proposta di valore si sta realizzando – risultati per cittadini e utenti) e un conto di capacità operativa (l'organizzazione è in grado di sostenere e migliorare l'erogazione – personale, sistemi, finanze, partenariati). La disciplina sta nel rifiutarsi di lasciare che un solo conto rappresenti l'insieme; un'organizzazione che riferisce solo l'efficienza finanziaria, o solo la soddisfazione degli utenti, non ha riferito affatto rispetto al triangolo.

I modelli logici danno al conto del valore della scheda la sua struttura interna. Un modello logico espone la catena causale che un programma afferma di far funzionare: input (il denaro, il personale e le altre risorse impegnate), attività (che cosa l'organizzazione fa con essi), output (i prodotti immediati e contabilizzabili di quelle attività – sessioni erogate, permessi rilasciati, famiglie visitate), risultati (outcome; i cambiamenti di conoscenza, comportamento, condizione o status che gli output intendono provocare, tipicamente nell'arco di mesi o di pochi anni) e impatto (il cambiamento di più lungo periodo, spesso a livello di popolazione, a cui i risultati intendono contribuire, di solito condiviso con altri attori e più difficile da attribuire a un singolo programma). La distinzione tra output e risultato è la più consequenziale di questo argomento: un output è qualcosa che l'organizzazione ha fatto; un risultato è qualcosa che è cambiato per qualcun altro in conseguenza. L'output di un programma di formazione è il numero di persone formate; il suo risultato è ciò che quelle persone possono poi fare, o come cambiano le loro circostanze, che prima non potevano.

La teoria del cambiamento è la disciplina strettamente affine di rendere espliciti, anziché impliciti, i presupposti dietro un modello logico – perché l'organizzazione crede che l'attività A produrrà il risultato B e a quali condizioni quell'affermazione causale potrebbe fallire. Una teoria del cambiamento non è semplicemente un modello logico più dettagliato; mette in primo piano il ragionamento "se... allora... perché" e i presupposti di contesto che il diagramma a riquadri e frecce di un modello logico tende a lasciare impliciti. L'Argomento 2.3 usa la teoria del cambiamento come punto di partenza della misurazione dell'impatto nel terzo settore in modo più approfondito (vedi Argomento 2.3 — Ritorno sociale sull'investimento e misurazione dell'impatto); qui conta soprattutto come la disciplina che mantiene onesto un modello logico su ciò che afferma di causare, a differenza di ciò che si limita a sperare ne consegua.

La responsabilità basata sui risultati (results-based accountability, RBA) è il membro più noto di una famiglia di quadri basati sui risultati usati in governi e nel terzo settore per collegare i risultati a livello di popolazione alla prestazione di programmi specifici. Sviluppata da Mark Friedman ed esposta nel suo libro Trying Hard Is Not Good Enough, la RBA separa due tipi distinti di responsabilità che le organizzazioni confondono di routine. La responsabilità di popolazione chiede come se la cavi un'intera comunità o giurisdizione su una condizione di benessere – povertà infantile, sicurezza della comunità, livello di istruzione – usando un piccolo numero di indicatori principali che nessuna singola agenzia possiede o controlla pienamente. La responsabilità di prestazione chiede quanto bene stia operando un programma o un'agenzia specifici, usando tre tipi di indicatore di prestazione che il quadro di Friedman insiste nel distinguere: quanto è stato fatto (sforzo – il conteggio degli output), quanto bene è stato fatto (qualità) e se qualcuno sta meglio (effetto – il risultato). Il metodo pratico della RBA, chiamato talvolta analisi "turn the curve" (invertire la curva), lavora a ritroso da un indicatore scelto – chiedendo quale storia racconti il dato, che cosa la causi, chi siano i partner con un ruolo nel cambiarla, che cosa funzionerebbe e che cosa l'organizzazione proponga di fare – una versione strutturata del ragionamento che un modello logico e una teoria del cambiamento formalizzano separatamente. La RBA è un'istanza di un più ampio schema di gestione basata sui risultati, strettamente affine alla prassi di routine del monitoraggio e valutazione usata nello sviluppo internazionale e nella pubblica amministrazione, promossa in varie forme da governi nazionali, finanziatori filantropici e organismi multilaterali come disciplina condivisa per collegare la spesa ai risultati anziché soltanto agli output.

Output, risultati e scheda di valutazione insieme. Il motivo per cui questi quadri appartengono a un solo argomento, anziché a tre, è che rispondono alla stessa domanda di fondo in punti diversi del ciclo di pianificazione e rendicontazione di un'organizzazione. Il modello logico è disegnato in fase di progettazione, per dichiarare l'affermazione causale. La responsabilità basata sui risultati e i quadri comparabili sono applicati in fase di rendicontazione, per mantenere onesto il confronto tra sforzo ed effetto nelle misure di prestazione. La scheda di valutazione del valore pubblico si colloca sopra entrambi, come struttura permanente che garantisce che le evidenze di risultato – comunque prodotte – raggiungano effettivamente le conversazioni su legittimità e capacità in cui si prendono le decisioni di bilancio e di mandato, anziché restare dentro la rendicontazione del team di programma. Insieme, i tre quadri sono ciò che trasforma il valore pubblico da un'affermazione che un'organizzazione fa su di sé in un'affermazione che può difendere con le evidenze.

Buone pratiche

1. Disegnate il modello logico prima degli indicatori, non dopo. Scegliere che cosa misurare prima di concordare che cosa si afferma di causare produce un elenco di ciò che è facile da contare; disegnate prima la catena dagli input all'impatto, poi scegliete le misure che mettono alla prova ciascun anello.
2. Riferite contemporaneamente su tutti e tre i conti della scheda, non uno alla volta. Un aggiornamento sulla legittimità senza evidenze di risultato, o un rapporto sui risultati senza un conto di capacità di che cosa sia costato sostenerli, raccontano ciascuno solo parte della storia di cui un finanziatore o un organo di controllo ha bisogno per prendere una decisione reale.
3. Separate esplicitamente sforzo, qualità ed effetto in ogni rapporto di prestazione. Adottate la tripartizione di Friedman anche fuori da un'implementazione formale della RBA; un rapporto che mescola "sessioni erogate" con "vite migliorate" senza distinguerli ripiegherà sempre su quella più facile da gonfiare.
4. Scegliete un piccolo numero di indicatori principali di popolazione e manteneteli per anni, non per trimestri. Le condizioni a livello di popolazione si muovono lentamente e sono influenzate da molti attori; cambiare la misura principale a ogni ciclo di rendicontazione rende impossibile capire se la curva stia davvero invertendo.
5. Dite ad alta voce ciò che l'organizzazione non controlla. Un modello logico che lascia intendere che un singolo programma causi interamente un risultato a livello di popolazione invita proprio lo scetticismo che mina la legittimità quando il risultato non si muove secondo i tempi; dichiarate fin dall'inizio gli altri fattori che contribuiscono.
6. Pubblicate il quadro dei risultati prima del ciclo di bilancio, non dopo. Un quadro dei risultati prodotto per giustificare una decisione di bilancio già presa suona come razionalizzazione a posteriori; uno pubblicato prima del ciclo è evidenza che una decisione reale viene messa alla prova rispetto ad esso.
7. Tenete scheda e modello logico come documenti vivi, riesaminati quando il contesto cambia, non come artefatti annuali. Un modello logico disegnato per un ambiente di politiche può silenziosamente smettere di corrispondere alla realtà – una nuova legge, un cambiamento demografico, una variazione di finanziamento – molto prima che una revisione programmata se ne accorga; trattateli come di proprietà dei team di erogazione, non come un adempimento di un ufficio centrale.
8. Tenete le misure del conto di prestazione vicine alle persone che possono agire su di esse. Un team di programma può migliorare direttamente le misure di qualità e sforzo; consegnategli obiettivi di risultato a livello di popolazione che non può muovere da solo e la misurazione diventa fonte di scoraggiamento anziché di direzione.
9. Trattate un obiettivo di risultato mancato come uno stimolo a chiedersi perché, non come un verdetto da nascondere. L'abitudine "turn the curve" di chiedersi che cosa stia causando l'andamento prima di attribuire colpe mantiene utile la rendicontazione dei risultati; una cultura che punisce gli obiettivi mancati insegna al personale a proteggere il numero anziché il risultato.
10. Rendete falsificabili i presupposti della teoria del cambiamento. Un presupposto scritto in modo così vago che nessuna evidenza potrebbe mai contraddirlo non aggiunge rigore al modello logico; scrivete i presupposti con specificità sufficiente perché una futura valutazione possa mostrare che sono sbagliati.

Domande da discutere con il vostro team

Sappiamo attualmente distinguere, per il nostro programma più importante, un output da un risultato – e il nostro stesso personale usa correttamente quelle due parole? Molte organizzazioni riferiscono conteggi di attività con il linguaggio dei risultati senza accorgersi della sostituzione, il che erode silenziosamente la differenza che questo argomento tratta come fondamentale. Usate questa domanda per prendere un rapporto attuale reale e verificare, riga per riga, quali numeri descrivano ciò che l'organizzazione ha fatto rispetto a ciò che è cambiato per qualcun altro. Discutete dove il linguaggio sia scivolato e se quella deriva rifletta una vera confusione sulla logica del programma o semplicemente il fatto che i dati sui risultati siano più difficili da ottenere di quelli sugli output. Se la risposta onesta è la seconda, ciò è di per sé una risultanza da registrare, non una ragione per continuare a usare linguaggio da output travestito da risultato.

Dove la nostra rendicontazione attuale riduce sforzo, qualità ed effetto a un unico numero, e che cosa dice davvero quel numero a un lettore? La tripartizione di Friedman esiste perché le organizzazioni ripiegano di routine sul riferire lo sforzo – il più facile dei tre da contare – lasciando intendere di aver riferito l'effetto. Usate questa domanda per individuare una metrica di punta che l'organizzazione riferisce attualmente e stabilire, insieme, quale dei tre misuri davvero. Discutete che cosa servirebbe per riferire separatamente tutti e tre per quella metrica, e se farlo cambierebbe il modo in cui l'organizzazione è percepita da chi oggi vede solo il numero fuso.

Se il nostro risultato principale a livello di popolazione non si muove per altri due cicli di rendicontazione, che cosa faremmo diversamente e che cosa non cambieremmo? Questa domanda verifica se l'organizzazione stia davvero usando il proprio quadro dei risultati per governare o semplicemente lo produca come obbligo di rendicontazione. Usatela per distinguere quali parti della strategia attuale dipendono dai dati sui risultati e quali sono fisse a prescindere da ciò che i dati mostrano. Discutete onestamente se una parte del programma attuale sopravvivrebbe invariata anche se le evidenze si volgessero con decisione contro di esso, poiché quella è la parte che in realtà non è gestita dal quadro.

La nostra scheda di valutazione del valore pubblico, se ne abbiamo una, riferisce tutti e tre i vertici del triangolo, o è diventata silenziosamente una scheda per un solo vertice? È comune che un quadro dei risultati inizi con una genuina ambizione a tre vertici e scivoli, sotto la pressione della rendicontazione, in un documento solo di risultati o solo finanziario. Usate questa domanda per verificare gli ultimi due o tre rapporti formali rispetto alla struttura a tre conti che questo argomento descrive. Discutete quale vertice tenda a essere abbandonato per primo sotto pressione di tempo e che cosa ciò dica su quale vertice l'organizzazione tratti implicitamente come facoltativo.

Chi, fuori da questa organizzazione, dovrebbe concordare con il nostro modello logico perché sia credibile, e glielo abbiamo davvero chiesto? Un modello logico disegnato interamente dal team di programma che ha progettato l'intervento può incorporare silenziosamente presupposti ottimistici che nessuno fuori dalla stanza è in condizione di contestare. Usate questa domanda per individuare quali attori esterni – finanziatori, partner di erogazione, persone che il programma serve – abbiano un interesse a che la catena causale sia giusta, e se qualcuno di loro l'abbia davvero riesaminata. Discutete che cosa è cambiato, se è cambiato qualcosa, l'ultima volta che una prospettiva esterna è stata invitata in quella revisione.

Qual è il più piccolo insieme di indicatori di popolazione e di prestazione che potremmo riferire e che consentirebbe comunque a un esterno di giudicare se questa organizzazione stia creando valore pubblico? I sistemi di misurazione tendono ad accumulare indicatori molto più in fretta di quanto li ritirino, finché il quadro diventa troppo grande perché qualcuno lo usi davvero in una decisione. Usate questa domanda per tentare, come esercizio, di dimezzare l'insieme attuale di indicatori senza perdere la capacità di rispondere alle domande di responsabilità di popolazione e di prestazione che questo argomento descrive. Discutete quale resistenza quell'esercizio faccia emergere, poiché la resistenza a tagliare uno specifico indicatore è spesso un segno di ciò di cui l'organizzazione sia davvero ritenuta responsabile, che corrisponda o meno alla sua strategia dichiarata.

In pratica: un esempio di valore pubblico

Una rete regionale di enti benefici per il sostegno alle famiglie – immaginaria, illustrativa di uno schema anziché un resoconto di un'organizzazione reale – aveva trascorso un decennio a gestire programmi di visite domiciliari per i neogenitori nei quartieri a basso reddito. I suoi rapporti annuali ai finanziatori erano dettagliati e, secondo le misure di output, impressionanti: migliaia di visite domiciliari completate ogni anno, alta frequenza ai laboratori per genitori, punteggi di soddisfazione elevati da parte delle famiglie che vi avevano preso parte. Sulla base di quel curriculum la rete era cresciuta con costanza, aggiungendo nuove sedi locali circa ogni due anni.

Un nuovo finanziatore nazionale, valutando una sovvenzione pluriennale abbastanza ampia da raddoppiare la portata della rete, pose una domanda che il consiglio della rete non aveva mai formalmente rivolto alla direzione: quali evidenze mostrassero che i bambini nelle famiglie che avevano ricevuto le visite domiciliari stessero davvero meglio, in seguito, rispetto a bambini comparabili le cui famiglie non le avevano ricevute. La dirigenza della rete si rese conto, ragionando sulla domanda, che la sua rendicontazione non aveva mai separato lo sforzo dall'effetto. I conteggi delle visite e i punteggi di soddisfazione erano evidenze genuine che il programma venisse erogato e ben accolto; nessuno dei due era evidenza che cambiasse i risultati di sviluppo di un bambino, che era l'affermazione incorporata nella dichiarazione di missione della rete e, implicitamente, in ogni domanda di finanziamento che avesse mai scritto.

La rete costruì da zero un modello logico, partendo dai risultati che voleva davvero – migliori indicatori di sviluppo della prima infanzia, minori casi di negligenza accertata sui minori, maggiore fiducia dei genitori – e lavorando a ritroso verso le attività e gli output da cui ciascuno doveva dipendere, nominando esplicitamente i presupposti intermedi. Adottò una struttura semplificata di responsabilità basata sui risultati: indicatori di popolazione seguiti a livello di quartiere e condivisi con le scuole e i servizi sanitari locali, accanto a indicatori di prestazione su cui i suoi stessi team potevano agire direttamente – frequenza delle visite, completamento dei laboratori e fiducia genitoriale valutata dal personale a tre e dodici mesi. Due dei cinque indicatori di risultato non si mossero come sperato in un quartiere nel primo ciclo di rendicontazione. Anziché sopprimere il risultato, la rete usò il proprio processo "turn the curve" per indagare, scoprì che un cambiamento nell'organico degli operatori sanitari locali aveva interrotto i percorsi di segnalazione e adeguò i propri accordi di partenariato anziché il proprio modello di fondo. Il finanziatore rinnovò e ampliò la sovvenzione, citando come ragione di fiducia l'onestà della rendicontazione, non l'assenza di una mancanza.

Quattro prospettive settoriali

Amministrazione locale

Il quadro dei risultati di un ente locale si colloca tipicamente all'interno di un insieme più ampio di indicatori definiti a livello nazionale che esso non ha scelto ma deve riferire, accanto a misure scelte localmente che riflettono le priorità del proprio consiglio. Questa doppia struttura significa che una scheda locale deve spesso conciliare due destinatari con domande diverse – un ispettore nazionale che chiede della conformità a un insieme standard di indicatori e residenti locali che chiedono di una specifica, visibile condizione locale, come una particolare strada o un servizio. I modelli logici alla scala dell'amministrazione locale sono di solito più facili da costruire per un singolo servizio (un cambiamento della raccolta del riciclo, una riprogettazione di una biblioteca) e più difficili da costruire in modo credibile per risultati trasversali come la coesione della comunità, a cui contribuiscono molti attori fuori dal controllo del consiglio.

Amministrazione nazionale

I quadri nazionali dei risultati operano a una scala in cui la distinzione tra responsabilità di popolazione e di prestazione della responsabilità basata sui risultati diventa essenziale anziché facoltativa: un indicatore nazionale di salute o di istruzione è influenzato da centinaia di programmi, solo pochi dei quali un singolo ministero finanzia direttamente, per cui un ministero che rivendica il merito o la colpa esclusiva di un andamento nazionale è raramente difendibile. I governi nazionali sono anche la fonte più comune di grandi quadri dei risultati imposti centralmente che gli enti di erogazione più in basso nella catena devono adottare, il che crea il rischio ricorrente che il quadro sia progettato per l'aggregazione e il confronto tra ministeri anziché per governare effettivamente l'erogazione di un singolo programma.

Terzo settore e non profit

Le organizzazioni non profit e le organizzazioni non governative (ONG) costruiscono più spesso i propri modelli logici e le proprie teorie del cambiamento dai principi primi anziché adottare un quadro calato da un'autorità autorizzante, perché i loro finanziatori sono di frequente quelli che chiedono l'argomento causale anziché fornire un modello standard. Ciò dà alle organizzazioni del terzo settore più libertà di progettare un quadro dei risultati che si adatti alla loro effettiva logica di programma, ma anche maggiore esposizione alla fatica da misurazione guidata dai finanziatori, in cui ogni sovvenzione porta con sé i propri requisiti di rendicontazione e un'organizzazione finisce per mantenere più quadri di risultati paralleli per lo stesso lavoro di fondo. La distinzione della responsabilità basata sui risultati tra popolazione e prestazione è particolarmente utile qui, perché dà a un'organizzazione non profit il linguaggio per dire chiaramente a un finanziatore che può essere ritenuta responsabile delle proprie misure di prestazione ma non, da sola, di un indicatore di popolazione che molti altri attori influenzano.

Livello multilaterale e internazionale

Gli organismi multilaterali praticano la gestione basata sui risultati a una scala in cui i presupposti del modello logico viaggiano contemporaneamente attraverso decine di contesti nazionali, così una logica di intervento che regge in un paese può fallire silenziosamente in un altro senza che l'indicatore globale principale riveli quale contesto sia il problema. I quadri dei risultati in questo ambito sono spesso costruiti per soddisfare contemporaneamente più governi donatori, ciascuno con le proprie preferenze di rendicontazione, il che spinge verso insiemi standardizzati di indicatori (del tipo promosso attraverso le linee guida internazionali di gestione basata sui risultati) a scapito della specificità locale. Il divario tra un output che un partner di attuazione può riferire rapidamente – formazioni erogate, ambulatori riforniti – e un risultato che emerge solo in un'indagine nazionale anni dopo è qui al massimo, il che rende particolarmente importante la disciplina di dichiarare esplicitamente, anziché presumere, la catena causale ipotizzata.

Modalità di fallimento comuni

Output spacciato per risultato. Un'organizzazione riferisce conteggi di attività con linguaggio da risultato – "migliorata la sicurezza della comunità" quando la misura effettiva sono le pattuglie svolte – per genuina confusione o perché i dati sui risultati sono più difficili e lenti da raccogliere. Il costo emerge quando un revisore esterno chiede direttamente le evidenze di risultato e trova dietro l'affermazione solo output, danneggiando la credibilità dell'organizzazione più di quanto avrebbe fatto un risultato modesto riferito onestamente.

Proliferazione degli indicatori. Una scheda o un modello logico accumula misure più in fretta di quanto le ritiri, spinto da ogni nuova richiesta di un portatore di interesse che aggiunge una riga in più anziché sostituirne una esistente. Il risultato finale è un quadro troppo grande perché un dirigente lo usi davvero in una decisione, il che riporta silenziosamente l'organizzazione al giudizio informale mentre il quadro ufficiale diventa un artefatto di rendicontazione che nessuno consulta.

Cattura da parte dell'obiettivo. Una misura di prestazione, una volta collegata a finanziamento o ricompensa, diventa ciò che il personale ottimizza direttamente anziché il risultato che doveva rappresentare – lo schema che la legge di Goodhart descrive, per cui una misura usata come obiettivo smette di essere una misura affidabile. La sede di questo argomento per questa dinamica nel settore pubblico in particolare, compreso il modo in cui i regimi di qualità cercano di individuarla e limitarla, è altrove (vedi Argomento 3.11 — Gestione della qualità, della sicurezza e della performance); qui conta come ragione per tenere separate le misure di sforzo, qualità ed effetto e per riesaminare gli obiettivi prima che distorcano il comportamento.

Eccesso di attribuzione. La rendicontazione di un programma lascia intendere una responsabilità causale esclusiva per un risultato a livello di popolazione a cui molti altri attori contribuiscono, per linguaggio incauto o per genuina convinzione. Quando il risultato non si muove – spesso per ragioni fuori dal controllo del programma – l'organizzazione si assume una colpa sproporzionata rispetto al suo contributo effettivo, il che scoraggia poi nei cicli futuri la rendicontazione onesta delle carenze.

Quadro senza riscontro. Un'organizzazione costruisce un modello logico e un quadro dei risultati davvero ben progettati, poi non li riesamina mai rispetto ai risultati effettivi, così si irrigidiscono in un documento fisso anziché restare uno strumento di gestione vivo. La strategia sottostante continua a girare sui presupposti originari per anni dopo che le evidenze avrebbero giustificato di rivederli, a spese proprio dell'adattabilità che il quadro intendeva consentire.

Modello di maturità

Lista di controllo

• Disegnate un modello logico (input, attività, output, risultati, impatto) per ciascun programma importante prima di mettere a punto i suoi indicatori.
• Scrivete i presupposti causali della teoria del cambiamento con specificità sufficiente perché le evidenze possano contraddirli.
• Separate le misure di sforzo, qualità ed effetto in ogni rapporto di prestazione, anche fuori da un'implementazione formale della responsabilità basata sui risultati.
• Costruite o aggiornate la scheda di valutazione del valore pubblico in modo che tutti e tre i vertici – legittimità, valore, capacità – siano riferiti insieme, non separatamente.
• Scegliete un piccolo insieme stabile di indicatori principali a livello di popolazione e impegnatevi a mantenerli per diversi cicli di rendicontazione.
• Controllate nei rapporti attuali il linguaggio che descrive un output con parole da risultato e correggetelo.
• Pubblicate il quadro dei risultati prima del prossimo ciclo di bilancio o di finanziamento, non come sua conseguenza.
• Nominate esplicitamente ciò che l'organizzazione non controlla da sola per qualsiasi affermazione a livello di popolazione che riferisce.
• Fissate un ciclo per riesaminare i modelli logici rispetto alle evidenze effettive, non solo a una valutazione formale programmata.
• Individuate almeno un portatore di interesse esterno che riesamini i presupposti del modello logico prima che sia ultimato.
• Verificate l'insieme attuale di indicatori per cogliere opportunità di ritirare misure che nessuno usa in una decisione effettiva.
• Concordate in anticipo che cosa farà l'organizzazione di diverso se un risultato principale non si muove per due cicli di rendicontazione.

Fonti chiave

• Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) e Recognizing Public Value (2013) — i testi originari della scheda di valutazione del valore pubblico, che adatta la tradizione della balanced scorecard ai tre vertici del triangolo strategico.
• Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities — il testo originario della responsabilità basata sui risultati, compresa la distinzione tra responsabilità di popolazione e di prestazione e l'analisi "turn the curve".
• La letteratura di Robert Kaplan e David Norton sulla balanced scorecard — la fonte del settore privato che Moore ha adattato al contesto del valore pubblico.
• Le linee guida dell'OCSE sulla gestione basata sui risultati e sulla terminologia della valutazione, usate nello sviluppo e nella pubblica amministrazione per standardizzare il linguaggio di risultato e impatto.
• Le linee guida dell'Independent Evaluation Group della Banca Mondiale su quadri dei risultati e teorie del cambiamento per le operazioni di sviluppo.
• Il resoconto pubblico della Vermont Agency of Human Services sull'applicazione della responsabilità basata sui risultati a livello statale e comunitario — un esempio del quadro in uso reale nel governo.

Riferimenti

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf