AI och algoritmiskt beslutsfattande i offentlig sektor

Varför detta är viktigt för offentligt värde

Offentliga organ har alltid ransonerat uppmärksamhet: en handläggare kan inte personligen intervjua varje sökande, en tulltjänsteman kan inte inspektera varje container, ett bedrägeriteam kan inte granska varje ansökan. Artificiell intelligens (AI) – det breda fältet att bygga system som utför uppgifter som normalt kräver mänskligt omdöme – och den snävare praxis som algoritmiskt och automatiserat beslutsfattande (ADM) utgör lovar att ransonera den uppmärksamheten mer konsekvent och i långt större skala, genom att poängsätta, flagga eller direkt avgöra ärenden som ett mänskligt team aldrig fullt ut kunde granska. Ämne 5.1 behandlar de mönster för digital tjänsteleverans som denna förmåga ryms inom (se Ämne 5.1 — Digital förvaltning och digital omställning); det här ämnet handlar om vad som händer när en modell, snarare än en namngiven tjänsteman, gör hela eller delar av avgörandet.

Löftet är verkligt: en välbyggd modell kan fånga bedrägerimönster som är osynliga för en handläggare, tillämpa behörighetsregler med perfekt konsekvens över en miljon ansökningar och frigöra knapp expertis för de ärenden som genuint behöver omdöme. Risken är lika verklig och svårare att se inifrån den organisation som byggde systemet. En modell som tränats på historiska data kan reproducera och förstärka just den diskriminering ett offentligt organ finns för att rätta till; en komplex modell kan vara så ogenomskinlig att varken medborgaren eller den tjänsteman som förlitar sig på den kan säga varför den avgjorde det den avgjorde; och ett beslut som en algoritm i hög grad informerar kan ändå, procedurmässigt, lämna ingen som kan ge medborgaren ett skäl eller höra deras ärende. Inget av detta är hypotetiskt: tillsynsmyndigheter, domstolar och organ motsvarande ombudsmän i flera jurisdiktioner har redan funnit riskpoängsättnings- och bedrägeriupptäcktssystem i offentlig sektor som oproportionerligt flaggade människor efter bostadsområde, migrationshistorik eller familjestruktur, i varje fall därför att det mönster som gjorde modellen träffsäker också råkade följa en skyddad eller känslig egenskap.

Insatsen för offentligt värde är därför inte effektivitet kontra rättvisa som en avvägning att göra en gång, utan en designdisciplin som ska upprätthållas kontinuerligt. En medborgare som nekas en förmån av en mänsklig tjänsteman kan fråga tjänstemannen varför, och kan överklaga till en annan människa med ställning och makt att ändra svaret – den ansvarsapparat som Ämne 3.4 beskriver (se Ämne 3.4 — Ansvarsutkrävande, transparens och legitimitet). En medborgare som nekas en förmån av en modell behöver samma rätt till en förklaring och samma väg till en människa som kan upphäva beslutet, annars har det offentliga organet i det tysta exporterat en rättssäkerhetsgaranti som det aldrig formellt drog tillbaka. Att få detta rätt är det som låter ett offentligt organ ta tillvara algoritmiskt beslutsfattandes genuina vinster i konsekvens och skala utan att förvandla ”algoritmen bestämde” till en fras som avslutar ansvarsutkrävande i stället för att inleda det.

Grundläggande begrepp

Automatiserat beslutsfattande (ADM) är användningen av data, programvara och algoritmer för att fatta eller väsentligt informera beslut med varierande grad av mänsklig tillsyn, och spänner över ett spektrum från ett system som bara lyfter fram information för en människa till ett som avgör och agerar utan någon människa inblandad alls (se automated decision-making). Var ett system befinner sig på det spektrumet – beslutsstöd, beslutsförstärkning eller full automatisering – avgör vilka skyldigheter om ansvarsutkrävande och rättssäkerhet som gäller, vilket är skälet till att tillsynsmyndigheter alltmer klassificerar system efter position på det snarare än efter den underliggande tekniken.

Människa i loopen (human-in-the-loop) beskriver ett arrangemang där en person granskar eller godkänner en algoritms utdata innan den får verkan, i skillnad från människa på loopen (en person övervakar och kan ingripa) eller fullt automatiserad behandling utan granskning alls (se human-in-the-loop). En genuin kontroll med människa i loopen kräver att granskaren har tid, information och ställning att faktiskt vara oenig med systemet; en granskare som godkänner nästan varje algoritmisk rekommendation därför att det tar längre tid eller medför större personlig risk att vara oenig än att hålla med utövar inte tillsyn, trots att processkartan visar ett mänskligt steg. Det mönstret, ofta kallat automatiseringsbias (automation bias), är ett av de vanligaste och minst synliga misslyckandena i det här ämnets föremål.

Algoritmisk bias är den systematiska, upprepbara tendensen hos ett datoriserat system att ge orättvisa utfall – till exempel att gynna en grupp framför en annan på sätt som systemets utformare varken avsåg eller, ofta, märkte (se algorithmic bias). I offentlig förvaltning är den dominerande källan träningsdatabias: en modell tränad på historiska register över tillsyn, utlåning eller ärendehantering lär sig mönstren i dessa register, inklusive all historisk överbevakning, underservice eller diskriminerande praxis inbakad i vem som utreddes, godkändes eller flaggades tidigare. En modell kan reproducera detta utfall även när en känslig egenskap – etnicitet, funktionsnedsättning, migrationsstatus – uttryckligen utesluts ur data, eftersom en korrelerad ersättare (postnummer, efternamn, skiftmönster, förmånshistorik) bär samma signal under annat namn; att ta bort den namngivna variabeln utan att pröva dess ersättare är ett vanligt sätt på vilket ett offentligt organ tror att det har rättat till ett biasproblem som det inte alls har rättat till.

Rättvisa i maskininlärning (fairness in machine learning) avser den familj av tekniska och procedurmässiga angreppssätt för att mäta och korrigera algoritmisk bias i automatiserade beslut (se fairness (machine learning)). Ett genuint svårt drag hos fältet, inte en lösbar teknisk fotnot, är att flera intuitivt rimliga definitioner av rättvisa – lika godkännandegrader över grupper, lika felgrader över grupper och träffsäkerhet kalibrerad lika inom varje grupp – är matematiskt oförenliga närhelst de underliggande grupperna har olika basfrekvenser i data. Ett offentligt organ kan inte uppfylla alla definitioner samtidigt; det kan bara välja, uttryckligen och med skäl det är berett att försvara, vilken definition det aktuella beslutet bör optimera för, vilket är ett politiskt omdöme förklätt till ett tekniskt.

Förklarbarhet och svartlådeproblemet. En modell är en svart låda när dess inre funktion inte kan inspekteras eller förstås enbart utifrån dess indata och utdata – sant för många högpresterande maskininlärningsmodeller, vars träffsäkerhet ofta kommer just av den komplexitet som gör dem svåra att tolka. Förklarbar artificiell intelligens, eller XAI, är fältet av metoder för att göra en modells resonemang inspekterbart, från att välja inneboende tolkbara modelltyper för följdtunga beslut till att generera efterhandsförklaringar som approximerar, snarare än avslöjar, vad en komplex modell faktiskt gjorde. Skillnaden betyder lika mycket rättsligt som tekniskt: en approximativ förklaring som låter rimlig men inte speglar modellens faktiska resonemang kan uppfylla en transparenschecklista medan den sviker den medborgare som förlitar sig på den för att bestrida den verkliga grunden för ett beslut mot dem.

Rätten till förklaring (right to explanation) är den omstridda rättsprincipen att en person som är föremål för ett betydande automatiserat beslut har rätt till en meningsfull förklaring av den logik som ligger bakom, närmast förknippad med Europeiska unionens allmänna dataskyddsförordning, som begränsar beslut som enbart grundas på automatiserad behandling och som medför rättsliga eller liknande betydande följder och ger den registrerade rätt att få mänsklig inblandning och att bestrida beslutet (se right to explanation och General Data Protection Regulation). Juridiska forskare är oense om hur stark denna rätt faktiskt är i praktiken, och jurisdiktioner utanför Europeiska unionen saknar till stor del en motsvarande lagstadgad rätt, vilket är skälet till att ett offentligt organ inte bör behandla ”vi följer tillämplig dataskyddslag” som likvärdigt med ”vi kan förklara det här beslutet för den det berör” – de två påståendena är besläktade men inte desamma, och bara det andra är vad rättssäkerhet faktiskt kräver.

Rättssäkerhet och naturlig rättvisa. I förvaltningsrätten vilar både rättssäkerhet (due process) – principen, mest utvecklad i amerikansk konstitutionell rätt men ekad i jämförbar form i många rättssystem, att staten måste följa rättvisa förfaranden innan den berövar en person en rättighet eller förmån – och naturlig rättvisa (natural justice) – den förvaltningsrättsliga traditionen i Samväldet som kräver en rättvis förhandling och frihet från jäv hos beslutsfattaren – på ett antagande som skrevs före datorernas tid: att ett beslut har en identifierbar beslutsfattare som kan ge skäl, som kan visas vara fri från ett diskvalificerande jäv och som kan ombes ompröva. En algoritm sträcker alla tre antagandena på en gång – skäl kan vara tekniskt otillgängliga, den ”bias” det handlar om är statistisk snarare än personlig och omprövning av samma modell ger samma svar – vilket är skälet till att rättssäkerhet för algoritmiska beslut måste konstrueras uttryckligen snarare än ärvas från förfaranden byggda för mänskliga beslutsfattare.

Riskbaserad reglering av AI. I stället för att reglera all AI enhetligt tillämpar ett framväxande regleringsmönster – mest fullt utvecklat i Europeiska unionens AI-förordning – nivåindelade skyldigheter efter insatserna i tillämpningen, förbjuder en snäv uppsättning användningar helt, ålägger de tyngsta efterlevnadsskyldigheterna för ”högrisk”-användningar (som uttryckligen omfattar offentlig behörighetsprövning, riskbedömning inom brottsbekämpning och migrationsbeslut), kräver transparensredovisning för användningar med lägre risk och lämnar användningar med minimal risk i stort sett oreglerade (se Artificial Intelligence Act). Vilket regleringsmönster som än gäller i en given jurisdiktion är den underliggande idén – att styrningsskyldigheter bör skalas efter insatserna i beslutet, inte efter teknikens sofistikering – en användbar designprincip även utan en direkt rättslig skyldighet att följa EU:s särskilda regim.

Bästa praxis

1. Klassificera varje system efter insatserna i beslutet innan du väljer modell, inte efteråt. Ett system som flaggar ett ärende för mänsklig granskning bär en annan skyldighet än ett som avslår en förmån helt; avgör vilken nivå ett användningsfall hör hemma i, med ett ramverk såsom EU:s AI-förordnings riskkategorier som referenspunkt, före bygget snarare än efter att driftsättningen avslöjar glappet.
2. Tala om för människor, på klarspråk, när en algoritm är inblandad i ett beslut om dem. En generisk integritetspolicy begravd i villkor uppfyller inte detta; meddelandet bör säga vad systemet gör, vilka data det använder och vad som händer om personen är oense med dess utdata.
3. Bygg en kontroll med människa i loopen som en granskare faktiskt kan utöva, och mät om de gör det. Följ upp övertrumfningsgraden, den genomsnittliga tiden per ärende och om granskare som är oeniga möter någon friktion som att hålla med inte medför – om övertrumfningsgraden är nära noll är granskningen med största sannolikhet dekorativ.
4. Pröva för oproportionerlig påverkan med verkliga utfall, inte utvecklarnas avsikter. Före driftsättning och med fast återkommande takt därefter, mät modellens utfall disaggregerade efter skyddade och känsliga egenskaper, inklusive genom sannolika ersättare såsom postnummer eller förmånshistorik, eftersom en modell som aldrig direkt använder en skyddad variabel ändå kan ge ett skarpt ojämlikt utfall.
5. Ge varje berörd person en väg till en människa med makt att upphäva algoritmens beslut, inte bara förklara det. En överklagandekanal som återger modellens resonemang utan någon genuin möjlighet till omprövning uppfyller bokstaven i en rätt till förklaring medan den omintetgör dess syfte.
6. Föredra en tolkbar modell framför en marginellt träffsäkrare svart låda för rättsligt följdtunga beslut. Där träffsäkerhetsglappet mellan en tolkbar modell och en komplex är litet är vinsten i tolkbarhet vanligen värd långt mer för medborgaren, överklagandehandläggaren och revisorn än den marginella träffsäkerheten är värd för organisationen.
7. Dokumentera varje systems syfte, träningsdata, kända begränsningar och avsedda användning i en stående journal, och uppdatera den när något av dessa ändras. En modell som driftsatts för ett syfte och i det tysta ändrats för ett annat – bedrägeriscreening som utsträckts till allmän behörighetstriage, till exempel – har vanligen lämnat sin ursprungliga validering och biasprövning bakom sig.
8. Håll tränings- och driftsdata för en högrisk-modell inom en styrd, ändamålsbegränsad pipeline. Att återanvända ett dataset som samlats in för ett administrativt syfte för att träna en modell för ett orelaterat syfte är ett datastyrningsmisslyckande lika mycket som ett modelleringsmisslyckande (se Ämne 5.4 — Data, interoperabilitet och öppna data i offentlig sektor).
9. Placera algoritmisk revision under en funktion som inte rapporterar till det team som byggde eller driver systemet. En revision genomförd av systemets egna utvecklare hittar andra problem, och färre, än en genomförd av en genuint oberoende granskare med ställning att publicera ett ogynnsamt fynd (se Ämne 3.4 — Ansvarsutkrävande, transparens och legitimitet).
10. Kör en skuggperiod innan du slår på ett system för verkliga beslut. Jämför modellens rekommendationer mot faktiska mänskliga beslut i samma ärenden under en definierad period innan den börjar agera, så att all systematisk divergens syns innan en medborgare påverkas av den.
11. Reservera full automatisering, utan mänsklig granskning alls, för de minst följdtunga och mest reversibla besluten. Ju allvarligare och mindre reversibelt ett beslut är – avslutande av en förmån, en bedrägerianmälan som utlöser en brottsutredning, ett avslag på inresa – desto starkare är argumentet för att hålla en människa genuint i loopen, vad modellens uppmätta träffsäkerhet än är.
12. Träna om, validera om och pröva för bias på nytt enligt ett fast schema, inte bara när ett problem rapporteras. En modells träffsäkerhet och rättviseegenskaper kan driva i det tysta när den befolkning och den värld den tränades på förändras, och ett offentligt organ som bara undersöker efter ett klagomål har redan låtit driften pågå så länge klagomålet tog på sig att komma upp.

Frågor att diskutera med ditt team

Var i vår organisation avgör eller informerar en algoritm i dag i hög grad ett beslut som påverkar en persons rättigheter, förmåner eller frihet, och skulle varje berörd person faktiskt kunna få veta att det hände? Många organisationer upptäcker, när de faktiskt inventerar sina system, att algoritmisk poängsättning eller triage har kryppt in i fler beslutspunkter än något enskilt team insåg, ofta ursprungligen införd som ett lågrisk-effektivitetsverktyg. Använd frågan för att ärligt bygga den inventeringen, inklusive system som upphandlats från en leverantör snarare än byggts internt, eftersom upphandling kan skymma hur mycket ett köpt verktyg faktiskt avgör. Diskutera om era nuvarande meddelandepraxis skulle låta en berörd medborgare upptäcka, utan specialistkunskap, att en modell var inblandad i deras ärende.

Om en medborgare formellt bestred ett av våra automatiserade beslut i morgon, skulle vi kunna ge dem ett verkligt, specifikt skäl, eller bara en beskrivning av processen? En processbeskrivning – ”systemet beaktade din inkomst, hushållsstorlek och betalningshistorik” – är inte detsamma som en förklaring av varför dessa indata gav just det här utfallet för just den här personen. Använd frågan för att välja ett levande system och försöka, som team, skriva den förklaring en verklig medborgare skulle få om de överklagade. Om övningen är svår är den svårigheten i sig fyndet.

Vet vi om vår träningsdata reproducerar ett historiskt mönster av bias, och har vi prövat det mot faktiska utfall snarare än mot våra avsikter? Att utesluta en skyddad egenskap ur ett dataset är inte detsamma som att utesluta dess inflytande, eftersom korrelerade ersättare kan bära samma signal under annat namn. Använd frågan för att identifiera vilka av era system som har prövats för oproportionerlig påverkan med verkliga utfall efter driftsättning, disaggregerade efter relevanta egenskaper, snarare än bara prövats för närvaron av en skyddad variabel i indata. Diskutera vad som skulle krävas för att köra det utfallsbaserade provet på ert system med högst insatser om det inte redan har gjorts.

Är vår granskning med människa i loopen en genuin kontroll, eller en gummistämpel vi inte har mätt noggrant nog för att märka? En mänsklig granskare under tidspress, utan full kontext eller som möter mer friktion för att vara oenig än för att hålla med kommer att luta mot att godkänna algoritmens rekommendation oavsett dess kvalitet. Använd frågan för att ta reda på er faktiska övertrumfningsgrad för minst ett system, och diskutera vad det talet säger er om huruvida granskningen fungerar som en kontroll eller som en efterlevnadsformalitet.

Vad händer egentligen, procedurmässigt, när någon vill överklaga ett beslut som vår algoritm fattade eller i hög grad informerade – och ser en människa med verklig makt att upphäva det någonsin överklagandet? Många överklagandeprocesser leder en medborgare tillbaka genom en beskrivning av modellens logik utan att någonsin nå en person som kan upphäva utfallet i sak. Använd frågan för att spåra ett överklagande, från början till slut, för ett verkligt eller realistiskt fall, och identifiera den exakta punkt, om någon, där en människa med genuin befogenhet att ändra svaret är involverad.

Vem äger risken om en av våra modeller försämras eller driver efter driftsättning, och hur skulle vi faktiskt veta det innan en medborgare eller en journalist berättade det för oss? En modells rättvise- och träffsäkerhetsegenskaper är inte fasta vid lanseringen; de kan förskjutas när befolkningen, ekonomin eller närliggande politik förändras, ofta osynligt för det team som byggde systemet. Använd frågan för att identifiera vem som är ansvarig för uppföljning efter driftsättning, med vilken takt och vad som specifikt skulle utlösa en omträning eller ett uppehåll. Om det ärliga svaret är ”ingen bevakar detta specifikt”, behandla det som det mest brådskande fynd den här diskussionen kan ge.

I praktiken: ett exempel på offentligt värde

En fiktiv nationell socialförsäkringsmyndighet byggde en riskpoängsättningsmodell för att prioritera vilka arbetslöshetsersättningsansökningar dess bedrägeriutredningsteam skulle granska först, efter år av en kö som innebar att genuint bedrägeri låg outrett i månader medan hederliga sökande väntade på orelaterade handläggningsförseningar. Modellen tränades på fem års avslutade utredningsakter och lärde sig vilka ansökningsegenskaper som historiskt hade föregått ett bekräftat bedrägerifynd, och den presterade väl i prövning: ansökningar den poängsatte som högrisk bekräftades som bedrägliga i en mycket högre grad än ett slumpmässigt urval, och myndighetens ledning, som såg sin kö falla för första gången på år, behandlade utrullningen som en otvetydig framgång.

Arton månader in märkte ett internt organ motsvarande en ombudsman något som bedrägeriteamets egen resultatinstrumentpanel inte hade lyft fram: sökande boende i ett litet antal postdistrikt, oproportionerligt ofta låginkomsttagare och oproportionerligt ofta nyligen invandrade, flaggades för utredning i nästan tre gånger så hög takt som i övrigt liknande sökande på andra håll, och en mycket högre andel av deras flaggade ansökningar avslutades utan att något bedrägeri hittades alls. Mönstret spårades till träningsdata: de historiska utredningsakterna speglade år då fältutredare, som arbetade utifrån egna informella tumregler, hade koncentrerat manuella stickprovskontroller till exakt dessa distrikt, så att modellen hade lärt sig behandla att bo där som prediktivt för bedrägeri, när det i själva verket bara var prediktivt för att ha kontrollerats oftare förut. Postdistrikt hade aldrig varit en indata i modellen; det behövde det inte vara, eftersom hushållssammansättning, arbetsgivarsektor och betalningsmetodfält korrelerade tillräckligt nära med det för att bära samma signal som ersättare.

Myndighetens utredning bekräftade att mönstret var verkligt, och bekräftade också ett andra, tystare problem: de mänskliga granskare som skulle godkänna ett ärende för full utredning innan det gick vidare hade godkänt modellens högst poängsatta rekommendationer i det överväldigande flertalet fall, med granskningstider i genomsnitt under två minuter per ärende – långt ifrån tillräckligt för att meningsfullt ifrågasätta en statistisk poäng, vilket innebar att den kontroll med människa i loopen som ledningen hade pekat på som ett skydd inte faktiskt hade fångat den skillnad den fanns för att fånga. Myndighetens svar kombinerade flera av det här ämnets bästa praxis på en gång: den tränade om modellen med det historiska överbevakningsmönstret korrigerat, förlängde granskningstiden och gav granskare befogenhet att avsluta ett flaggat ärende utan eskalering när deras eget omdöme avvek från poängen, och byggde ett meddelande på klarspråk och en genuin överklagandeväg till en namngiven handläggare för var och en vars ansökan flaggades. Utredningsutbytet per granskartimme föll något, men andelen bekräftade bedrägerier bland flaggade ansökningar från de tidigare överflaggade distrikten steg till att motsvara resten av ärendeflödet, vilket myndighetens egen revision behandlade som det verkliga måttet på framgång – inte volymen flaggade ansökningar, utan om flaggningen följde faktiskt bedrägeri snarare än ett historiskt mönster som modellen hade lärt sig reproducera.

Fyra sektorperspektiv

Lokal förvaltning

Kommuner sätter alltmer in algoritmiska verktyg för de beslut med mest omedelbara och personliga insatser för invånarna – prioritet vid bostadstilldelning, riskpoängsättning inom barnavård och triage av bedrägerier kring kommunalskatt eller förmåner – ofta samtidigt som de saknar intern datavetenskaplig kapacitet att bygga, validera eller granska dessa system själva, vilket lämnar många att förlita sig på leverantörsförsedda modeller vars träningsdata och validering myndigheten inte fullt ut kan inspektera. Det skapar en särskild upphandlingsdisciplin: en kommun som beställer ett algoritmiskt system bör kräva, som avtalsvillkor, samma förklarbarhet, biasprövning och revisionstillgång som den skulle kräva av ett internt bygge, eftersom en invånares rättssäkerhetsrättigheter inte minskar därför att myndigheten köpte systemet i stället för att bygga det. Den lokala förvaltningens närhet till invånarna innebär också att en algoritmisk missträff mer sannolikt blir personligen känd i samhället innan den blir ett formellt klagomål, vilket talar för lättviktig, tidig lokal granskning.

Nationell förvaltning

Nationella myndigheter driver de största systemen inom det här ämnets omfång – upptäckt av skattebedrägeri, riskbedömning av invandring, nationell förmånsbehörighet – där även en liten felgrad innebär ett mycket stort absolut antal berörda människor, och där myndigheten vanligen har den djupaste tekniska och juridiska kapaciteten att bygga genuina skyddsåtgärder. Nationella regeringar är också vanligen den nivå där riskbaserad AI-reglering, där den finns, skrivs och verkställs, vilket ger nationella myndigheter de tydligaste formella skyldigheterna och den största exponeringen när en revision eller en domstol finner att ett automatiserat system har gett diskriminerande eller ogranskbara utfall i stor skala. Insatserna för rättssäkerheten är högst här också i en annan mening: en riskpoäng för invandring eller brottsbekämpning kan påverka frihet såväl som förmåner, vilket talar för den mest konservativa automatiseringshållningen – minst full automatisering och mest genuin mänsklig granskning – just där det tekniska argumentet för automatisering ofta är starkast på grund av ärendevolymen.

Social sektor och ideell sektor

Ideella organisationer och icke-statliga organisationer (NGO) använder alltmer algoritmiska verktyg för att triagera biståndsfördelning, screena förmånstagare för behörighet eller prioritera ärendehantering inom just de områden det här ämnet täcker, ofta under verkliga resursbegränsningar som gör effektivitetsargumentet för automatisering genuint övertygande. Ansvarsstrukturen är dock markant annorlunda än i staten: en ideell organisations förmånstagare har sällan de lagstadgade överklaganderättigheter en medborgare har mot en statlig myndighet, och organisationens främsta ansvarsrelation löper ofta till dess finansiärer snarare än till de människor algoritmen avgör om, vilket är just det ansvarsglapp som Ämne 3.8 — Ledning av socialsektorn och ideella organisationer – beskriver för sektorn i allmänhet. En ideell organisation som antar algoritmisk triage bör därför bygga de förklarings- och överklaganderättigheter som det här ämnet beskriver som en frivillig standard, inte därför att en tillsynsmyndighet kräver det, utan därför att de människor organisationen tjänar inte har någon annan väg till en.

Multilaterala och internationella organ

Multilaterala organ och internationella humanitära organisationer tillämpar algoritmiska verktyg för målgruppsstyrning och riskpoängsättning över gränser och rättssystem, ofta i krissituationer där automatiseringens snabbhetsfördel är som mest akut och tillgängliga data är minst tillförlitliga – ofullständiga registreringsdata, data som samlats in för en kris och återanvänds för en annan och befolkningar med begränsad förmåga att bestrida ett poängsättningsbeslut som avgör om de får bistånd. Ingen enskild nationell rättssäkerhetslag eller regim för rätt till förklaring gäller enhetligt över ett multilateralt organs verksamhet, så de skyddsåtgärder det här ämnet beskriver måste byggas in i organisationens egna driftstandarder snarare än ärvas från ett verkställbart externt rättsligt ramverk, vilket ekar det representations- och ansvarsglapp som Ämne 3.4 identifierar för multilaterala organ i allmänhet (se Ämne 3.4 — Ansvarsutkrävande, transparens och legitimitet). Insatserna är också svåra här, eftersom ett algoritmiskt beslut kan avgöra tillgång till mat, tak över huvudet eller asylhandläggning för människor med den minsta praktiska förmåga av alla grupper i det här ämnet att överklaga ett felaktigt utfall.

Vanliga felmönster

Diskriminering via ersättare. En modell utesluter direkt en skyddad egenskap men lär sig en motsvarande signal från en korrelerad variabel – postnummer, efternamn, anställningssektor, förmånshistorik – och reproducerar samma diskriminerande mönster som uteslutningen var avsedd att förhindra. Kostnaden är en falsk trygghetskänsla: organisationen kan sanningsenligt säga att den skyddade variabeln aldrig användes, medan utfallet förblir lika ojämlikt som om den hade gjort det.

Automatiseringsbias vid mänsklig granskning. En mänsklig granskare, formellt skyldig att kontrollera en algoritms rekommendation, godkänner den i det överväldigande flertalet fall därför att att vara oenig tar mer tid, mer motivering eller mer personlig risk än att hålla med. Kostnaden är att en kontroll organisationen tror fångar fel i praktiken gummistämplar dem, och det blir vanligen synligt först när någon mäter övertrumfningsgraden direkt i stället för att lita på att processen finns.

Förklaringsteater. En organisation ger en förklaring av ett automatiserat beslut som låter specifik och tillfredsställande men som genereras i efterhand med en metod som approximerar, snarare än avslöjar, modellens faktiska resonemang. Kostnaden visar sig när förklaringen prövas under verklig granskning – ett överklagande, en revision, en rättslig utmaning – och visar sig inte motsvara varför systemet faktiskt gav just den utdatan.

Historisk bias som reproduceras genom återkopplingsslingor. En modell tränad på utfallen av tidigare beslut – vilka grannskap som utreddes, vilka ansökningar som godkändes – lär sig och vidmakthåller sedan det mönster av överbevakning eller underservice som formade dessa tidigare beslut, och varje ny omgång beslut den producerar blir träningsdata för nästa version, vilket fördjupar mönstret i stället för att rätta till det. Det har dokumenterats över flera områden i offentlig sektor internationellt, inklusive riskbaserad polisverksamhet och screening av bidragsbedrägeri, och den underliggande mekanismen är tillräckligt konsekvent över dessa dokumenterade fall för att behandla som en allmän risk i varje system tränat på historiska tillsyns- eller ärendedata, oavsett jurisdiktion.

Ansvarsglappet, eller ”många händer”-problemet. När ett beslut löper genom en leverantörs modell, en myndighets data, ett policyteams tröskelinställning och en handläggares nominella godkännande kan ansvaret för ett felaktigt utfall bli genuint oklart även för organisationen själv, där var och en av parterna kan peka på en annan som källan till felet. Kostnaden är inte bara att den berörda medborgaren inte kan få ett tydligt svar, utan att organisationen inte pålitligt kan åtgärda den faktiska orsaken, eftersom ingen enskild ansvarig ägare finns för beslutet som helhet (se Ämne 3.4 — Ansvarsutkrävande, transparens och legitimitet).

Mognadsmodell

Checklista

• Bygg en fullständig inventering av varje system som fattar eller väsentligt informerar ett beslut som påverkar en persons rättigheter eller förmåner, inklusive leverantörsförsedda verktyg.
• Klassificera varje system i den inventeringen efter insatserna i det beslut det informerar, med en definierad risknivå.
• Bekräfta att varje berörd person får ett meddelande på klarspråk om att en algoritm var inblandad i deras ärende.
• Utarbeta den specifika, ärendenivåförklaring en verklig medborgare skulle få vid överklagande, och pröva om den faktiskt skulle tillfredsställa dem.
• Pröva varje högrisk-system för oproportionerlig påverkan med verkliga utfall efter driftsättning, disaggregerade efter relevanta egenskaper, inte bara genom att kontrollera uteslutna indatavariabler.
• Mät övertrumfningsgraden och den genomsnittliga granskningstiden för varje kontroll med människa i loopen, och behandla en övertrumfningsgrad nära noll som ett fynd.
• Bekräfta att en namngiven människa, med genuin befogenhet att upphäva beslutet, granskar varje överklagande.
• Placera algoritmisk revision under en funktion oberoende av det team som byggde eller driver systemet.
• Bekräfta att tränings- och driftsdata för varje system stannar inom en styrd, ändamålsbegränsad pipeline.
• Fastställ ett fast schema för omträning och omvalidering för varje driftsatt modell, i stället för att vänta på att ett klagomål utlöser en översyn.
• Identifiera vilka av era system som för närvarande saknar skydd mot full automatisering för de allvarligaste och minst reversibla besluten, och rätta till det först.
• Kör de sex diskussionsfrågorna ovan med ditt team och anteckna var det ärliga svaret skiljer sig från det officiella.

Viktiga källor

• OECD:s AI-principer (2019, uppdaterade 2024) — den första mellanstatliga standarden för tillförlitlig AI, som täcker inkluderande tillväxt, mänskliga rättigheter, transparens, robusthet och ansvarsutkrävande.
• Europeiska unionens AI-förordning (förordning (EU) 2024/1689) — det första omfattande, risknivåindelade rättsliga ramverket för AI, som uttryckligen tar upp användningar inom offentlig behörighetsprövning, brottsbekämpning och migration.
• USA:s Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — ett ramverk för styrning, data, prestation och uppföljning av AI-ansvarsutkrävande i offentlig sektor.
• Danielle Keats Citrons forskning om ”technological due process”, som hävdar att automatiserade system kräver processuella skyddsåtgärder avsedda särskilt för algoritmiskt, snarare än mänskligt, beslutsfattande.
• Cathy O’Neils, Virginia Eubanks och Frank Pasquales publikinriktade forskning om algoritmisk bias, automatiserad välfärdsadministration och ogenomskinliga poängsättningssystem, anförd genomgående i det här ämnets diskussion om träningsdatabias och svartlådeproblemet.

Referenser

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp