Intelligenza artificiale e decisioni algoritmiche nel governo

Perché è importante per il valore pubblico

Gli enti pubblici hanno sempre razionato l'attenzione: un assistente sociale non può intervistare personalmente ogni richiedente, un doganiere non può ispezionare ogni container, una squadra antifrode non può riesaminare ogni richiesta. L'intelligenza artificiale (IA) – il vasto campo di costruire sistemi che svolgono compiti che richiedono normalmente giudizio umano – e la pratica più ristretta del processo decisionale algoritmico e automatizzato (ADM) promettono di razionare quell'attenzione con più coerenza e su scala molto maggiore, attribuendo punteggi, segnalando o decidendo direttamente casi che un gruppo umano non potrebbe mai riesaminare per intero. L'Argomento 5.1 copre gli schemi di erogazione di servizi digitali entro cui questa capacità sta (vedi Argomento 5.1 — Governo digitale e trasformazione digitale); questo argomento riguarda che cosa accada quando un modello, anziché un funzionario nominato, sta svolgendo in tutto o in parte la decisione.

La promessa è reale: un modello ben costruito può cogliere schemi di frode invisibili a un assistente, applicare le regole di ammissibilità con perfetta coerenza su un milione di richieste e liberare tempo scarso di esperti per i casi che richiedono davvero giudizio. Il rischio è altrettanto reale e più difficile da vedere dall'interno dell'organizzazione che ha costruito il sistema. Un modello addestrato su dati storici può riprodurre e amplificare proprio la discriminazione che un ente pubblico esiste per correggere; un modello complesso può essere così opaco che né il cittadino né il funzionario che vi fa affidamento sanno dire perché abbia deciso ciò che ha deciso; e una decisione che un algoritmo informa pesantemente può comunque, sul piano procedurale, lasciare nessuno in grado di dare al cittadino una motivazione o di ascoltare il suo caso. Niente di tutto ciò è ipotetico: regolatori, tribunali e organi equivalenti a un difensore civico in più giurisdizioni hanno già trovato sistemi di punteggio del rischio e di rilevamento delle frodi del settore pubblico che segnalavano in modo sproporzionato le persone per quartiere, storia migratoria o struttura familiare, in ogni caso perché lo schema che rendeva accurato il modello capitava anche di seguire una caratteristica protetta o sensibile.

La posta in gioco del valore pubblico non è quindi efficienza contro equità come compromesso da bilanciare una volta, ma una disciplina di progettazione da sostenere continuamente. Un cittadino a cui una prestazione è negata da un funzionario umano può chiedere a quel funzionario perché, e può ricorrere a un altro essere umano con la posizione e il potere di cambiare la risposta – il meccanismo di responsabilità che l'Argomento 3.4 descrive (vedi Argomento 3.4 — Responsabilità, trasparenza e legittimità). Un cittadino a cui una prestazione è negata da un modello ha bisogno dello stesso diritto a una spiegazione e della stessa via verso un essere umano in grado di ribaltare la decisione, altrimenti l'ente pubblico ha silenziosamente esportato una garanzia di giusto processo che non ha mai formalmente ritirato. Farlo bene è ciò che permette a un ente pubblico di cogliere i genuini guadagni di coerenza e di scala del processo decisionale algoritmico senza convertire "l'ha deciso l'algoritmo" in una frase che pone fine alla responsabilità anziché avviarla.

Concetti chiave

Il processo decisionale automatizzato (ADM) è l'uso di dati, software e algoritmi per prendere o informare in modo sostanziale decisioni con vari gradi di supervisione umana, che spazia da un sistema che si limita a far emergere informazioni per un essere umano a uno che decide e agisce senza alcun coinvolgimento umano (vedi processo decisionale automatizzato). Dove un sistema si collochi su quello spettro – supporto alla decisione, potenziamento della decisione o piena automazione – determina quali obblighi di responsabilità e di giusto processo si applichino, ed è per questo che i regolatori classificano sempre più i sistemi in base alla posizione su di esso anziché in base alla tecnologia sottostante.

L'essere umano nel circuito (human-in-the-loop) descrive un assetto in cui una persona riesamina o approva l'output di un algoritmo prima che abbia effetto, a distinzione dall'essere umano sul circuito (human-on-the-loop; una persona monitora e può intervenire) o dall'elaborazione pienamente automatizzata senza alcun riesame (vedi human-in-the-loop). Un genuino controllo con l'essere umano nel circuito richiede che il revisore abbia il tempo, le informazioni e la posizione per dissentire effettivamente dal sistema; un revisore che approva quasi ogni raccomandazione algoritmica perché dissentire richiede più tempo o comporta più rischio personale che concordare non sta esercitando supervisione, anche se l'organigramma del processo mostra un passaggio umano. Questo schema, spesso chiamato distorsione da automazione (automation bias), è uno dei fallimenti più comuni e meno visibili della materia di questo argomento.

La distorsione algoritmica (algorithmic bias) è la tendenza sistematica e ripetibile di un sistema informatico a produrre esiti iniqui – per esempio, privilegiando un gruppo rispetto a un altro in modi che i progettisti del sistema non intendevano né, spesso, notavano (vedi distorsione algoritmica). Nella pubblica amministrazione la fonte dominante è la distorsione dei dati di addestramento: un modello addestrato su registri storici di applicazione, di credito o di casistica apprende gli schemi in quei registri, compresa qualsiasi storica eccessiva sorveglianza, carenza di servizio o prassi discriminatoria incorporata in chi sia stato investigato, approvato o segnalato in passato. Un modello può riprodurre questo esito anche quando una caratteristica sensibile – razza, disabilità, status migratorio – è esplicitamente esclusa dai dati, perché un indicatore indiretto correlato (codice postale, cognome, turno di lavoro, storico delle prestazioni) porta lo stesso segnale con un altro nome; rimuovere la variabile nominata senza verificare i suoi indicatori indiretti è un modo comune in cui un ente pubblico crede di aver corretto un problema di distorsione che non ha affatto corretto.

L'equità nell'apprendimento automatico (fairness in machine learning) si riferisce alla famiglia di approcci tecnici e procedurali per misurare e correggere la distorsione algoritmica nelle decisioni automatizzate (vedi equità (apprendimento automatico)). Una caratteristica genuinamente difficile di questo campo, non una nota tecnica risolvibile, è che diverse definizioni intuitivamente ragionevoli di equità – uguali tassi di approvazione fra gruppi, uguali tassi di errore fra gruppi e accuratezza calibrata in modo uguale entro ciascun gruppo – sono matematicamente incompatibili ogni volta che i gruppi di fondo hanno tassi di base diversi nei dati. Un ente pubblico non può soddisfare simultaneamente ogni definizione; può solo scegliere, esplicitamente e con ragioni che è disposto a difendere, per quale definizione ottimizzare la decisione in questione, che è un giudizio di politica travestito da tecnico.

Spiegabilità e problema della scatola nera. Un modello è una scatola nera quando il suo funzionamento interno non può essere ispezionato né compreso dai soli input e output – vero di molti modelli di apprendimento automatico ad alte prestazioni, la cui accuratezza deriva spesso proprio dalla complessità che li rende difficili da interpretare. L'intelligenza artificiale spiegabile, o XAI, è il campo dei metodi per rendere ispezionabile il ragionamento di un modello, che va dalla scelta di tipi di modello intrinsecamente interpretabili per le decisioni consequenziali alla generazione di spiegazioni a posteriori che approssimano, anziché rivelare, ciò che un modello complesso ha effettivamente fatto. La distinzione conta giuridicamente tanto quanto tecnicamente: una spiegazione approssimata che suona plausibile ma non riflette il ragionamento effettivo del modello può soddisfare una lista di controllo di trasparenza mancando al cittadino che vi fa affidamento per contestare la base reale di una decisione contro di lui.

Il diritto alla spiegazione è il principio giuridico contestato per cui una persona soggetta a una decisione automatizzata significativa ha diritto a una spiegazione significativa della logica coinvolta, più strettamente associato al Regolamento generale sulla protezione dei dati dell'Unione europea, che limita le decisioni basate unicamente sul trattamento automatizzato che producono effetti giuridici o similmente significativi e dà all'interessato diritti di ottenere un intervento umano e di contestare la decisione (vedi diritto alla spiegazione e Regolamento generale sulla protezione dei dati). Gli studiosi di diritto discutono quanto forte sia in pratica questo diritto, e le giurisdizioni fuori dall'Unione europea sono in gran parte prive di un diritto equivalente di legge, ed è per questo che un ente pubblico non dovrebbe trattare "rispettiamo la pertinente legge sulla protezione dei dati" come equivalente a "possiamo spiegare questa decisione alla persona che riguarda" – le due affermazioni sono correlate ma non uguali, e solo la seconda è ciò che il giusto processo richiede davvero.

Giusto processo e giustizia naturale. Nel diritto amministrativo, il giusto processo (due process) – il principio, più sviluppato nel diritto costituzionale degli Stati Uniti ma ripreso in forma comparabile in molti ordinamenti, per cui lo Stato deve seguire procedure eque prima di privare una persona di un diritto o di un'aspettativa – e la giustizia naturale (natural justice) – la tradizione di diritto amministrativo del Commonwealth che richiede un'udienza equa e l'assenza di parzialità nel decisore – poggiano entrambi su un presupposto scritto prima che esistessero i computer: che una decisione abbia un decisore identificabile che può dare ragioni, che può essere dimostrato privo di una parzialità che lo squalifichi e a cui si può chiedere di riconsiderare. Un algoritmo mette sotto sforzo tutti e tre i presupposti insieme – le ragioni possono essere tecnicamente indisponibili, la "parzialità" in questione è statistica anziché personale e la riconsiderazione da parte dello stesso modello produce la stessa risposta – ed è per questo che il giusto processo per le decisioni algoritmiche deve essere progettato esplicitamente anziché ereditato da procedure costruite per decisori umani.

Regolazione dell'IA basata sul rischio. Anziché regolare tutta l'IA in modo uniforme, uno schema regolatorio emergente – sviluppato più pienamente nell'AI Act (Regolamento sull'intelligenza artificiale) dell'Unione europea – gradua gli obblighi in base alla posta in gioco dell'applicazione, vietando del tutto un ristretto insieme di usi, imponendo gli obblighi di conformità più pesanti agli usi "ad alto rischio" (che includono esplicitamente la determinazione di ammissibilità nel settore pubblico, la valutazione del rischio nell'applicazione della legge e le decisioni sulla migrazione), richiedendo divulgazioni di trasparenza per gli usi a rischio inferiore e lasciando gli usi a rischio minimo in gran parte non regolati (vedi AI Act). Qualunque sia lo schema regolatorio in una data giurisdizione, l'idea di fondo – che gli obblighi di governance debbano scalare con la posta in gioco della decisione, non con la sofisticazione della tecnologia – è un utile principio di progettazione anche senza un obbligo giuridico diretto di seguire lo specifico regime dell'UE.

Buone pratiche

1. Classificate ogni sistema in base alla posta in gioco della decisione prima di scegliere il modello, non dopo. Un sistema che segnala un caso per il riesame umano comporta un obbligo diverso da uno che nega una prestazione a titolo definitivo; decidete in quale livello rientri un caso d'uso, usando come punto di riferimento un quadro come le categorie di rischio dell'AI Act dell'UE, prima di costruire anziché dopo che il dispiegamento rivela la lacuna.
2. Dite alle persone, in linguaggio semplice, quando un algoritmo è coinvolto in una decisione che le riguarda. Un'informativa generica sulla privacy sepolta nei termini e condizioni non soddisfa questo requisito; l'avviso dovrebbe dire che cosa faccia il sistema, quali dati usi e che cosa accada se la persona non concorda con il suo output.
3. Costruite un controllo con l'essere umano nel circuito che un revisore possa effettivamente esercitare e misurate se lo faccia. Seguite il tasso di sostituzione (override), il tempo medio dedicato per caso e se i revisori che dissentono dal modello incontrino un qualsiasi attrito che concordare non comporta – se il tasso di sostituzione è vicino a zero, il riesame è molto probabilmente decorativo.
4. Verificate l'impatto sproporzionato usando gli esiti reali, non le intenzioni degli sviluppatori. Prima del dispiegamento e poi a una cadenza ricorrente fissa, misurate gli esiti del modello disaggregati per caratteristiche protette e sensibili, anche attraverso probabili indicatori indiretti come codice postale o storico delle prestazioni, perché un modello che non usa mai direttamente una variabile protetta può comunque produrre un esito nettamente ineguale.
5. Date a ogni persona interessata una via verso un essere umano che abbia il potere di ribaltare la decisione dell'algoritmo, non soltanto di spiegarla. Un canale di ricorso che ripete il ragionamento del modello senza una genuina possibilità di ribaltamento soddisfa la lettera di un diritto alla spiegazione sconfiggendone lo scopo.
6. Preferite un modello interpretabile a un modello scatola nera marginalmente più accurato per le decisioni giuridicamente consequenziali. Dove il divario di accuratezza fra un modello interpretabile e uno complesso è piccolo, il guadagno di interpretabilità vale di solito molto di più per il cittadino, il funzionario del ricorso e il revisore di quanto l'accuratezza marginale valga per l'organizzazione.
7. Documentate in un registro permanente scopo, dati di addestramento, limiti noti e uso previsto di ciascun sistema, e aggiornatelo quando uno di essi cambia. Un modello dispiegato per uno scopo e silenziosamente riadattato a un altro – lo screening antifrode esteso al triage generale dell'ammissibilità, per esempio – ha di solito lasciato indietro la propria convalida originale e la verifica delle distorsioni.
8. Mantenete i dati di addestramento e operativi di un modello ad alta posta all'interno di una filiera governata e limitata allo scopo. Riutilizzare un insieme di dati raccolto per uno scopo amministrativo per addestrare un modello per uno scopo non correlato è un fallimento di governance dei dati tanto quanto di modellazione (vedi Argomento 5.4 — Dati, interoperabilità e dati aperti nel settore pubblico).
9. Ponete l'audit algoritmico sotto una funzione che non risponde al gruppo che ha costruito o gestisce il sistema. Un audit condotto dagli sviluppatori stessi del sistema trova problemi diversi, e meno, di uno condotto da un revisore genuinamente indipendente con la posizione di pubblicare una risultanza sfavorevole (vedi Argomento 3.4 — Responsabilità, trasparenza e legittimità).
10. Eseguite un periodo ombra prima di attivare un sistema per decisioni reali. Confrontate le raccomandazioni del modello con le decisioni umane effettive sugli stessi casi per un periodo definito prima che cominci ad agire, così che qualsiasi divergenza sistematica emerga prima che un cittadino ne sia toccato.
11. Riservate la piena automazione, senza alcun riesame umano, alle decisioni meno consequenziali e più reversibili. Quanto più una decisione è grave e meno reversibile – la cessazione di una prestazione, una segnalazione di frode che innesca un'indagine penale, un diniego di ingresso – tanto più forte è il caso per tenere un essere umano genuinamente nel circuito, qualunque sia l'accuratezza misurata del modello.
12. Riaddestrate, riconvalidate e riverificate le distorsioni a una scadenza fissa, non solo quando un problema è segnalato. Le proprietà di accuratezza ed equità di un modello possono derivare silenziosamente man mano che la popolazione e il mondo su cui è stato addestrato cambiano, e un ente pubblico che indaga solo dopo un reclamo ha già lasciato correre la deriva per tutto il tempo che il reclamo ha impiegato a emergere.

Domande da discutere con il vostro team

Dove nella nostra organizzazione un algoritmo prende o informa pesantemente oggi una decisione che incide sui diritti, le aspettative o la libertà di una persona, e ogni persona interessata potrebbe effettivamente scoprire che è accaduto? Molte organizzazioni scoprono, quando inventariano davvero i propri sistemi, che il punteggio o il triage algoritmico si è insinuato in più punti decisionali di quanti un singolo gruppo abbia realizzato, spesso introdotto in origine come strumento di efficienza a bassa posta. Usate questa domanda per costruire onestamente quell'inventario, compresi i sistemi acquistati da un fornitore anziché costruiti internamente, poiché l'acquisto può oscurare quanto uno strumento acquistato stia effettivamente decidendo. Discutete se le vostre attuali prassi di avviso permetterebbero a un cittadino interessato di scoprire, senza competenze specialistiche, che un modello era coinvolto nel suo caso.

Se un cittadino contestasse formalmente domani una delle nostre decisioni automatizzate, potremmo dargli una ragione reale e specifica, o solo una descrizione del processo? Una descrizione del processo – "il sistema ha considerato il reddito, la dimensione del nucleo familiare e lo storico dei pagamenti" – non è la stessa cosa di una spiegazione del perché quegli input abbiano prodotto questo particolare esito per questa particolare persona. Usate questa domanda per scegliere un sistema vivo e provare, come team, a scrivere la spiegazione che un cittadino reale riceverebbe se ricorresse. Se l'esercizio è difficile, quella difficoltà è di per sé la risultanza.

Sappiamo se i nostri dati di addestramento riproducano uno schema storico di distorsione, e l'abbiamo verificato rispetto agli esiti effettivi anziché rispetto alle nostre intenzioni? Escludere una caratteristica protetta da un insieme di dati non equivale a escluderne l'influenza, perché indicatori indiretti correlati possono portare lo stesso segnale sotto un altro nome. Usate questa domanda per individuare quali dei vostri sistemi siano stati verificati per impatto sproporzionato usando esiti reali successivi al dispiegamento, disaggregati per caratteristiche rilevanti, anziché verificati solo per la presenza di una variabile protetta nei dati di input. Discutete che cosa servirebbe per eseguire quella verifica basata sugli esiti sul vostro sistema a più alta posta se non è già stata fatta.

Il nostro riesame con l'essere umano nel circuito è un genuino controllo, o un timbro di approvazione che non abbiamo misurato abbastanza da notarlo? Un revisore umano sotto pressione di tempo, senza il pieno contesto o che affronta più attrito nel dissentire che nel concordare tenderà ad approvare la raccomandazione dell'algoritmo a prescindere dalla sua qualità. Usate questa domanda per trovare il vostro effettivo tasso di sostituzione per almeno un sistema e discutete che cosa quel numero vi dica su se il riesame funzioni come controllo o come formalità di conformità.

Che cosa accade effettivamente, sul piano procedurale, quando qualcuno vuole ricorrere contro una decisione che il nostro algoritmo ha preso o informato pesantemente – e un essere umano con reale potere di ribaltarla vede mai il ricorso? Molti processi di ricorso rimandano un cittadino a una descrizione della logica del modello senza mai raggiungere una persona che possa ribaltare l'esito nel merito. Usate questa domanda per ripercorrere un ricorso, dall'inizio alla fine, per un caso reale o realistico, e individuare l'esatto punto, se esiste, in cui interviene un essere umano con genuina autorità di cambiare la risposta.

Chi possiede il rischio se uno dei nostri modelli si degrada o deriva dopo il dispiegamento, e come lo sapremmo prima che ce lo dicesse un cittadino o un giornalista? Le proprietà di equità e accuratezza di un modello non sono fissate al lancio; possono cambiare man mano che la popolazione, l'economia o una politica adiacente mutano, spesso in modo invisibile al gruppo che ha costruito il sistema. Usate questa domanda per individuare chi sia responsabile del monitoraggio successivo al dispiegamento, con quale cadenza e che cosa specificamente innescherebbe un riaddestramento o una pausa. Se la risposta onesta è "nessuno sta specificamente osservando questo", trattatela come la risultanza più urgente che questa discussione possa produrre.

In pratica: un esempio di valore pubblico

Un'agenzia nazionale immaginaria di assicurazione sociale costruì un modello di punteggio del rischio per dare priorità a quali richieste di indennità di disoccupazione la sua squadra di indagine antifrode dovesse riesaminare per prime, dopo anni di un arretrato per cui una frode genuina restava non investigata per mesi mentre i richiedenti onesti attendevano per ritardi di elaborazione non correlati. Il modello fu addestrato su cinque anni di fascicoli di indagini chiuse, apprendendo quali caratteristiche delle richieste avessero storicamente preceduto una constatazione confermata di frode, e si comportò bene nei test: le richieste che valutava ad alto rischio erano confermate fraudolente a un tasso molto più alto di un campione casuale, e i vertici dell'agenzia, osservando l'arretrato calare per la prima volta in anni, trattarono la messa in produzione come un successo inequivocabile.

Diciotto mesi dopo, un ufficio interno equivalente a un difensore civico notò qualcosa che il cruscotto di performance della squadra antifrode stessa non aveva fatto emergere: i richiedenti residenti in un piccolo numero di distretti postali, in modo sproporzionato a basso reddito e in modo sproporzionato migranti recenti, erano segnalati per indagine a un tasso quasi tre volte superiore a quello di richiedenti per altri versi simili altrove, e una quota molto più alta delle loro richieste segnalate era chiusa senza alcuna frode trovata. Lo schema risaliva ai dati di addestramento: i fascicoli storici delle indagini riflettevano anni in cui gli investigatori sul campo, lavorando dalle proprie euristiche informali, avevano concentrato i controlli manuali a campione proprio in quei distretti, così il modello aveva imparato a trattare il viverci come predittivo di frode, quando era in realtà predittivo solo dell'essere stati controllati più spesso in passato. Il distretto postale non era mai stato un input del modello; non ne aveva bisogno, perché composizione del nucleo familiare, settore del datore di lavoro e campi del metodo di pagamento correlavano abbastanza strettamente con esso da portare lo stesso segnale per via indiretta.

L'indagine dell'agenzia confermò che lo schema era reale e confermò anche un secondo problema, più silenzioso: i revisori umani che dovevano approvare un caso per la piena indagine prima che procedesse avevano approvato le raccomandazioni con il punteggio più alto del modello nella stragrande maggioranza dei casi, con tempi di riesame in media inferiori a due minuti per caso – lontanissimi da quanto basterebbe per mettere in discussione in modo significativo un punteggio statistico, il che significava che il controllo con l'essere umano nel circuito a cui i vertici avevano additato come salvaguardia non aveva effettivamente colto la disparità che esisteva per cogliere. La risposta dell'agenzia combinò più buone pratiche di questo argomento insieme: riaddestrò il modello con lo schema storico di eccessiva sorveglianza corretto, allungò il tempo di riesame e diede ai revisori l'autorità di chiudere un caso segnalato senza escalation quando il loro giudizio dissentiva dal punteggio e costruì un avviso in linguaggio semplice e una genuina via di ricorso a un funzionario di pratica nominato per chiunque vedesse segnalata la propria richiesta. Il rendimento delle indagini per ora-revisore calò in qualche misura, ma il tasso di frode confermata fra le richieste segnalate dai distretti prima sovrasegnalati salì fino a eguagliare il resto del carico, cosa che l'audit stesso dell'agenzia trattò come la vera misura di successo – non il volume delle richieste segnalate, ma se la segnalazione seguisse la frode effettiva anziché uno schema storico che il modello aveva imparato a riprodurre.

Quattro prospettive settoriali

Amministrazione locale

Gli enti locali dispiegano sempre più strumenti algoritmici per le decisioni con la posta in gioco più immediata e personale per i residenti – priorità nell'assegnazione di alloggi, punteggio del rischio nella tutela dei minori e triage delle frodi sui tributi locali o sulle prestazioni – spesso senza la capacità interna di data science per costruire, convalidare o sottoporre ad audit questi sistemi da soli, lasciando molti a fare affidamento su modelli forniti da fornitori i cui dati di addestramento e la cui convalida l'ente non può ispezionare pienamente. Ciò crea una particolare disciplina degli appalti: un ente locale che commissiona un sistema algoritmico dovrebbe esigere, come condizione contrattuale, la stessa spiegabilità, verifica delle distorsioni e accesso di audit che richiederebbe a una costruzione interna, perché i diritti di giusto processo di un residente non diminuiscono perché l'ente ha acquistato il sistema anziché costruirlo. La prossimità dell'amministrazione locale ai residenti significa anche che un errore algoritmico ha più probabilità di diventare personalmente noto nella comunità prima di diventare un reclamo formale, il che argomenta a favore di un riesame locale leggero e precoce.

Amministrazione nazionale

Le agenzie nazionali gestiscono i sistemi di scala più grande nell'ambito di questo argomento – rilevamento delle frodi fiscali, valutazione del rischio migratorio, ammissibilità alle prestazioni nazionali – dove anche un piccolo tasso di errore si traduce in un numero assoluto molto grande di persone interessate, e dove l'agenzia ha tipicamente la capacità tecnica e giuridica più profonda per costruire genuine salvaguardie. I governi nazionali sono anche di solito il livello in cui la regolazione dell'IA basata sul rischio, dove esiste, è scritta e fatta rispettare, dando alle agenzie nazionali gli obblighi formali più chiari e la maggiore esposizione quando un audit o un tribunale constata che un sistema automatizzato ha prodotto esiti discriminatori o non riesaminabili su larga scala. La posta in gioco del giusto processo è più alta qui anche in un altro senso: un punteggio di rischio migratorio o di applicazione della legge può incidere sulla libertà oltre che sulle aspettative, il che argomenta a favore della postura di automazione più conservativa – la minima piena automazione e il riesame umano più genuino – proprio dove il caso tecnico per l'automazione è spesso più forte per il volume dei casi.

Terzo settore e non profit

Le organizzazioni non profit e non governative (ONG) usano sempre più strumenti algoritmici per il triage della distribuzione di aiuti, per selezionare i beneficiari per l'ammissibilità o per dare priorità alla casistica proprio negli ambiti che questo argomento copre, spesso sotto reali vincoli di risorse che rendono genuinamente convincente il caso di efficienza dell'automazione. La struttura di responsabilità è tuttavia nettamente diversa da quella del governo: i beneficiari di una non profit hanno raramente i diritti di ricorso di legge che un cittadino ha contro un'agenzia statale, e il principale rapporto di responsabilità dell'organizzazione corre spesso verso i finanziatori anziché verso le persone su cui l'algoritmo decide, che è proprio il divario di responsabilità che l'Argomento 3.8 — Gestione del terzo settore e del non profit descrive per il settore in generale. Una non profit che adotta il triage algoritmico dovrebbe quindi costruire i diritti di spiegazione e di ricorso che questo argomento descrive come standard volontario, non perché un regolatore lo richieda, ma perché le persone che l'organizzazione serve non hanno altra via per ottenerli.

Livello multilaterale e internazionale

Gli organismi multilaterali e le agenzie umanitarie internazionali applicano strumenti algoritmici di individuazione dei destinatari e di punteggio del rischio attraverso confini e ordinamenti, spesso in contesti di crisi in cui il vantaggio di velocità dell'automazione è più acuto e i dati disponibili sono meno affidabili – dati di registrazione incompleti, dati raccolti per una crisi e riutilizzati per un'altra, e popolazioni con limitata capacità di contestare una decisione di punteggio che determina se ricevano aiuti. Nessuna singola legge nazionale sul giusto processo né regime di diritto alla spiegazione si applica uniformemente alle operazioni di un organismo multilaterale, per cui le salvaguardie che questo argomento descrive devono essere incorporate negli standard operativi propri dell'organizzazione anziché ereditate da un quadro giuridico esterno applicabile, facendo eco al divario di rappresentanza e di responsabilità che l'Argomento 3.4 individua per gli organismi multilaterali in generale (vedi Argomento 3.4 — Responsabilità, trasparenza e legittimità). La posta in gioco è anche severa qui, poiché una decisione algoritmica può determinare l'accesso a cibo, ricovero o elaborazione dell'asilo per persone con la minore capacità pratica di ogni gruppo di questo argomento di ricorrere contro un esito sbagliato.

Modalità di fallimento comuni

Discriminazione per indicatore indiretto. Un modello esclude direttamente una caratteristica protetta ma apprende un segnale equivalente da una variabile correlata – codice postale, cognome, settore di impiego, storico delle prestazioni – riproducendo lo stesso schema discriminatorio che l'esclusione doveva prevenire. Il costo è un falso senso di sicurezza: l'organizzazione può dire con verità che la variabile protetta non è mai stata usata, mentre l'esito resta altrettanto ineguale come se lo fosse stata.

Distorsione da automazione nel riesame umano. Un revisore umano, formalmente tenuto a controllare la raccomandazione di un algoritmo, la approva nella stragrande maggioranza dei casi perché dissentire richiede più tempo, più giustificazione o più rischio personale che concordare. Il costo è che un controllo che l'organizzazione crede colga gli errori è, in pratica, un timbro che li approva, e questo diventa di solito visibile solo una volta che qualcuno misura direttamente il tasso di sostituzione anziché fidarsi che il processo esista.

Teatro della spiegabilità. Un'organizzazione fornisce una spiegazione per una decisione automatizzata che suona specifica e soddisfacente ma è generata a posteriori con un metodo che approssima, anziché rivelare, il ragionamento effettivo del modello. Il costo emerge quando la spiegazione è messa alla prova sotto reale vaglio – un ricorso, un audit, una contestazione legale – e si rivela non corrispondere al perché il sistema abbia effettivamente prodotto quel particolare output.

Distorsione storica riprodotta attraverso circuiti di retroazione. Un modello addestrato sugli esiti di decisioni passate – quali quartieri siano stati investigati, quali domande approvate – apprende e poi perpetua qualunque schema di eccessiva sorveglianza o di carenza di servizio abbia plasmato quelle decisioni passate, e ogni nuovo giro di decisioni che produce diventa dati di addestramento per la versione successiva, approfondendo lo schema anziché correggerlo. Ciò è stato documentato in più domini del settore pubblico a livello internazionale, compresi la polizia basata sul rischio e lo screening delle frodi sul welfare, e il meccanismo di fondo è abbastanza coerente fra quei casi documentati da trattarlo come rischio generale in qualsiasi sistema addestrato su dati storici di applicazione o di casistica, a prescindere dalla giurisdizione.

Il divario di responsabilità, o problema delle "molte mani". Quando una decisione passa attraverso il modello di un fornitore, i dati di un'agenzia, la fissazione delle soglie di un gruppo di politica e la firma nominale di un assistente, la responsabilità di un esito sbagliato può finire per essere genuinamente poco chiara anche all'organizzazione stessa, con ciascuna parte in grado di additare un'altra come fonte dell'errore. Il costo non è solo che il cittadino interessato non ottiene una risposta chiara, ma che l'organizzazione non può correggere in modo affidabile la causa effettiva, perché non esiste alcun responsabile unico nominato per la decisione nel suo insieme (vedi Argomento 3.4 — Responsabilità, trasparenza e legittimità).

Modello di maturità

Lista di controllo

• Costruite un inventario completo di ogni sistema che prende o informa in modo sostanziale una decisione che incide sui diritti o sulle aspettative di una persona, compresi gli strumenti forniti da fornitori.
• Classificate ogni sistema in quell'inventario in base alla posta in gioco della decisione che informa, usando un livello di rischio definito.
• Confermate che ogni persona interessata riceva un avviso in linguaggio semplice che un algoritmo è stato coinvolto nel suo caso.
• Redigete la spiegazione specifica, a livello di caso, che un cittadino reale riceverebbe in sede di ricorso e verificate se lo soddisferebbe davvero.
• Verificate ogni sistema ad alta posta per impatto sproporzionato usando esiti reali successivi al dispiegamento, disaggregati per caratteristiche rilevanti, non solo controllando le variabili di input escluse.
• Misurate il tasso di sostituzione e il tempo medio di riesame di ogni controllo con l'essere umano nel circuito e trattate un tasso di sostituzione vicino a zero come una risultanza.
• Confermate che un essere umano nominato, con genuina autorità di ribaltare la decisione, riesamini ogni ricorso.
• Ponete l'audit algoritmico sotto una funzione indipendente dal gruppo che ha costruito o gestisce il sistema.
• Confermate che i dati di addestramento e operativi di ciascun sistema restino all'interno di una filiera governata e limitata allo scopo.
• Fissate una scadenza fissa di riaddestramento e riconvalida per ogni modello dispiegato, anziché attendere che un reclamo inneschi il riesame.
• Individuate quali dei vostri sistemi non abbiano attualmente alcuna salvaguardia contro la piena automazione per le decisioni più gravi e meno reversibili e correggetelo per primo.
• Ponete al vostro team le sei domande di discussione sopra e registrate dove la risposta onesta differisce da quella ufficiale.

Fonti chiave

• OECD AI Principles (2019, aggiornati nel 2024) — il primo standard intergovernativo per un'IA affidabile, che copre crescita inclusiva, diritti umani, trasparenza, robustezza e responsabilità.
• AI Act dell'Unione europea (Regolamento (UE) 2024/1689) — il primo quadro giuridico completo, graduato per rischio, per l'IA, che affronta esplicitamente gli usi di ammissibilità nel settore pubblico, di applicazione della legge e di migrazione.
• US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — un quadro di governance, dati, performance e monitoraggio per la responsabilità dell'IA nel settore pubblico.
• La ricerca di Danielle Keats Citron sul "giusto processo tecnologico", che sostiene che i sistemi automatizzati richiedano garanzie procedurali costruite apposta per il processo decisionale algoritmico anziché umano.
• La ricerca divulgativa di Cathy O'Neil, Virginia Eubanks e Frank Pasquale sulla distorsione algoritmica, sull'amministrazione automatizzata del welfare e sui sistemi opachi di punteggio, citata in tutta la discussione di questo argomento sulla distorsione dei dati di addestramento e sul problema della scatola nera.

Riferimenti

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp