AI og algoritmisk beslutningstagning i den offentlige sektor

Hvorfor det er vigtigt for offentlig værdi

Offentlige organer har altid rationeret opmærksomhed: en sagsbehandler kan ikke personligt interviewe hver ansøger, en toldbetjent kan ikke inspicere hver container, et svindelteam kan ikke gennemgå hver sag. Kunstig intelligens (AI) – det brede felt at bygge systemer, der udfører opgaver, som normalt kræver menneskelig dømmekraft – og den snævrere praksis algoritmisk og automatiseret beslutningstagning (ADM) lover at rationere den opmærksomhed mere konsekvent og i langt større skala ved at score, markere eller direkte afgøre sager, et menneskeligt team aldrig kunne gennemgå fuldt ud. Emne 5.1 dækker de digitale servicelevereringsmønstre, denne kapacitet sidder inde i (se Emne 5.1 — Digital forvaltning og digital transformation); dette emne handler om, hvad der sker, når en model, frem for en navngiven embedsperson, afgør noget af eller hele afgørelsen.

Løftet er reelt: en velbygget model kan fange svindelmønstre, en sagsbehandler ikke kan se, anvende berettigelsesregler med perfekt konsistens på tværs af en million sager og frigøre knap ekspertise til de sager, der virkelig kræver dømmekraft. Risikoen er lige så reel og sværere at se indefra den organisation, der byggede systemet. En model trænet på historiske data kan reproducere og forstærke netop den diskrimination, et offentligt organ findes for at rette; en kompleks model kan være så uigennemsigtig, at hverken borgeren eller embedspersonen, der støtter sig til den, kan sige, hvorfor den afgjorde, som den gjorde; og en afgørelse, en algoritme i høj grad informerer, kan procedurelt stadig efterlade ingen i stand til at give borgeren en begrundelse eller høre vedkommendes sag. Intet af dette er hypotetisk: tilsynsmyndigheder, domstole og ombudsmandslignende organer i flere jurisdiktioner har allerede fundet offentlige risikoscore- og svindeldetektionssystemer, der uforholdsmæssigt markerede mennesker efter kvarter, indvandringshistorie eller familiestruktur, i hvert tilfælde fordi det mønster, der gjorde modellen nøjagtig, tilfældigvis også fulgte en beskyttet eller følsom egenskab.

Indsatsen for offentlig værdi er derfor ikke effektivitet versus retfærdighed som en afvejning, der skal balanceres én gang, men en designdisciplin, der skal opretholdes kontinuerligt. En borger, der får afslag på en ydelse af en menneskelig embedsperson, kan spørge den embedsperson hvorfor og kan klage til et andet menneske med stilling og magt til at ændre svaret – den ansvarlighedsmaskineri, Emne 3.4 beskriver (se Emne 3.4 — Ansvarlighed, gennemsigtighed og legitimitet). En borger, der får afslag på en ydelse af en model, har brug for den samme ret til en forklaring og den samme vej til et menneske, der kan omstøde den, ellers har det offentlige organ stille og roligt eksporteret en retssikkerhedsgaranti, det aldrig formelt har trukket tilbage. At få dette rigtigt er det, der lader et offentligt organ indfange algoritmisk beslutningstagnings ægte gevinster i konsistens og skala uden at forvandle «algoritmen afgjorde det» til en vending, der afslutter ansvarlighed frem for at starte den.

Kernebegreber

Automatiseret beslutningstagning (ADM) er brugen af data, software og algoritmer til at træffe eller væsentligt informere afgørelser med varierende grader af menneskeligt tilsyn, spændende fra et system, der blot fremlægger information for et menneske, til et, der afgør og handler uden noget menneske involveret overhovedet (se automatiseret beslutningstagning). Hvor et system sidder på det spektrum – beslutningsstøtte, beslutningsudvidelse eller fuld automatisering – afgør, hvilke ansvarligheds- og retssikkerhedsforpligtelser der gælder, hvorfor tilsynsmyndigheder i stigende grad klassificerer systemer efter position på det frem for efter den underliggende teknologi.

Human-in-the-loop beskriver et arrangement, hvor en person gennemgår eller godkender en algoritmes output, før det træder i kraft, i modsætning til human-on-the-loop (en person overvåger og kan gribe ind) eller fuldt automatiseret behandling uden nogen gennemgang overhovedet (se human-in-the-loop). En ægte human-in-the-loop-kontrol kræver, at den gennemgående har tid, information og stilling til faktisk at være uenig med systemet; en gennemgående, der godkender næsten enhver algoritmisk anbefaling, fordi uenighed tager længere tid eller indebærer mere personlig risiko end enighed, udøver ikke tilsyn, selv om procesdiagrammet viser et menneskeligt trin. Dette mønster, ofte kaldet automatiseringsbias, er et af de mest almindelige og mindst synlige svigt i dette emnes genstand.

Algoritmisk bias er et computerbaseret systems systematiske, gentagelige tendens til at frembringe uretfærdige udfald – for eksempel at privilegere én gruppe frem for en anden på måder, systemets designere hverken havde til hensigt eller, ofte, bemærkede (se algoritmisk bias). I offentlig forvaltning er den dominerende kilde træningsdatabias: en model trænet på historiske håndhævelses-, udlåns- eller sagsbehandlingsregistre lærer mønstrene i disse registre, herunder enhver historisk overpolitiering, undertjeneste eller diskriminerende praksis indbygget i, hvem der blev undersøgt, godkendt eller markeret tidligere. En model kan reproducere dette udfald, selv når en følsom egenskab – race, handicap, migrationsstatus – eksplicit er udeladt af dataene, fordi en korreleret proxy (postnummer, efternavn, vagtmønster, ydelseshistorik) bærer det samme signal under et andet navn; at fjerne den navngivne variabel uden at teste for dens proxyer er en almindelig måde, hvorpå et offentligt organ tror, det har rettet et biasproblem, det slet ikke har rettet.

Retfærdighed i maskinlæring henviser til familien af tekniske og proceduremæssige tilgange til at måle og korrigere algoritmisk bias i automatiserede afgørelser (se retfærdighed (maskinlæring)). Et reelt vanskeligt træk ved dette felt, ikke en løselig teknisk fodnote, er, at flere intuitivt rimelige definitioner af retfærdighed – lige godkendelsesrater på tværs af grupper, lige fejlrater på tværs af grupper og nøjagtighed kalibreret ens inden for hver gruppe – er matematisk uforenelige, når de underliggende grupper har forskellige basisrater i dataene. Et offentligt organ kan ikke tilfredsstille alle definitioner samtidig; det kan kun vælge, eksplicit og med begrundelser, det er villigt til at forsvare, hvilken definition den aktuelle afgørelse bør optimere for, hvilket er en politisk dom klædt ud som en teknisk.

Forklarlighed og black box-problemet. En model er en black box, når dens indre virkemåde ikke kan inspiceres eller forstås ud fra dens input og output alene – sandt for mange højtydende maskinlæringsmodeller, hvis nøjagtighed ofte netop kommer fra den kompleksitet, der gør dem svære at fortolke. Forklarlig kunstig intelligens, eller XAI, er feltet af metoder til at gøre en models ræsonnement inspicerbart, spændende fra at vælge i sig selv fortolkelige modeltyper til konsekvensfulde afgørelser til at generere post hoc-forklaringer, der tilnærmer, frem for afslører, hvad en kompleks model faktisk gjorde. Forskellen betyder lige så meget juridisk som teknisk: en tilnærmet forklaring, der lyder plausibel men ikke afspejler modellens faktiske ræsonnement, kan opfylde en gennemsigtighedstjekliste, mens den svigter borgeren, der støtter sig til den for at anfægte det reelle grundlag for en afgørelse imod vedkommende.

Retten til forklaring er det omstridte retsprincip, at en person underlagt en betydelig automatiseret afgørelse har ret til en meningsfuld forklaring af den involverede logik, tættest forbundet med Den Europæiske Unions generelle forordning om databeskyttelse, som begrænser afgørelser udelukkende baseret på automatiseret behandling, der har retlige eller tilsvarende betydelige virkninger, og giver den registrerede ret til at opnå menneskelig indgriben og til at anfægte afgørelsen (se ret til forklaring og generel forordning om databeskyttelse). Juridiske forskere strides om, hvor stærk denne ret faktisk er i praksis, og jurisdiktioner uden for Den Europæiske Union mangler i vid udstrækning en tilsvarende lovbestemt ret, hvorfor et offentligt organ ikke bør behandle «vi overholder den relevante databeskyttelseslovgivning» som ensbetydende med «vi kan forklare denne afgørelse for den person, den berører» – de to påstande er beslægtede men ikke ens, og kun den anden er, hvad retssikkerhed faktisk kræver.

Retssikkerhed og naturlig retfærdighed. I forvaltningsretten hviler due process – princippet, mest udviklet i amerikansk forfatningsret men ekkoet i sammenlignelig form på tværs af mange retssystemer, at staten skal følge retfærdige procedurer, før den fratager en person en ret eller berettigelse – og naturlig retfærdighed – Commonwealth-forvaltningsrettens tradition, der kræver en retfærdig høring og frihed for bias hos beslutningstageren – begge på en antagelse skrevet før computere fandtes: at en afgørelse har en identificerbar beslutningstager, der kan give begrundelser, kan påvises fri for en diskvalificerende bias og kan bedes genoverveje. En algoritme belaster alle tre antagelser på én gang – begrundelser kan være teknisk utilgængelige, den pågældende «bias» er statistisk snarere end personlig, og genovervejelse af den samme model giver det samme svar – hvorfor retssikkerhed for algoritmiske afgørelser skal konstrueres eksplicit frem for at arves fra procedurer bygget til menneskelige beslutningstagere.

Risikobaseret regulering af AI. I stedet for at regulere al AI ensartet indebærer et fremvoksende reguleringsmønster – mest fuldt udviklet i Den Europæiske Unions AI-forordning – at forpligtelser trappes efter anvendelsens indsats, ved at forbyde et snævert sæt anvendelser direkte, pålægge de tungeste overholdelsesforpligtelser på «højrisiko»-anvendelser (som eksplicit omfatter offentlig berettigelsesfastlæggelse, retshåndhævelsesrisikovurdering og migrationsafgørelser), kræve gennemsigtighedsoplysninger for lavere-risiko-anvendelser og lade minimalrisiko-anvendelser stort set uregulerede (se AI-forordningen). Uanset reguleringsmønstret i en given jurisdiktion er den underliggende idé – at styringsforpligtelser bør skalere med afgørelsens indsats, ikke teknologiens sofistikation – et nyttigt designprincip, selv uden en direkte juridisk forpligtelse til at følge EU's specifikke regime.

Bedste praksis

1. Klassificér hvert system efter afgørelsens indsats, før modellen vælges, ikke efter. Et system, der markerer en sag til menneskelig gennemgang, bærer en anden forpligtelse end et, der afviser en ydelse direkte; beslut, hvilket niveau en anvendelse sidder i, ved hjælp af et rammeværk som EU's AI-forordnings risikokategorier som referencepunkt, før bygning frem for efter at idriftsættelsen afslører hullet.
2. Fortæl mennesker, i almindeligt sprog, når en algoritme er involveret i en afgørelse om dem. En generisk privatlivsmeddelelse begravet i vilkår og betingelser opfylder ikke dette; meddelelsen bør sige, hvad systemet gør, hvilke data det bruger, og hvad der sker, hvis personen er uenig i dets output.
3. Byg en human-in-the-loop-kontrol, som en gennemgående faktisk kan udøve, og mål, om de gør det. Følg tilsidesættelsesraten, den gennemsnitlige tid brugt pr. sag og om gennemgående, der er uenige, møder friktion, som enighed ikke gør – hvis tilsidesættelsesraten er nær nul, er gennemgangen meget sandsynligt dekorativ.
4. Test for forskelsbehandlende virkning ved hjælp af reelle udfald, ikke udviklernes hensigter. Før idriftsættelse og efterfølgende efter en fast tilbagevendende kadence, mål modellens udfald disaggregeret efter beskyttede og følsomme egenskaber, herunder gennem sandsynlige proxyer som postnummer eller ydelseshistorik, fordi en model, der aldrig bruger en beskyttet variabel direkte, stadig kan frembringe et skarpt ulige udfald.
5. Giv hver berørt person en vej til et menneske med magt til at omstøde algoritmens afgørelse, ikke blot forklare den. En klagekanal, der gentager modellens ræsonnement uden en reel mulighed for omstødelse, opfylder bogstavet i en ret til forklaring, mens den besejrer dens formål.
6. Foretræk en fortolkelig model frem for en marginalt mere nøjagtig black box-model til juridisk konsekvensfulde afgørelser. Hvor nøjagtighedshullet mellem en fortolkelig model og en kompleks er lille, er fortolkelighedsgevinsten normalt langt mere værd for borgeren, klageembedsmanden og revisoren, end den marginale nøjagtighed er værd for organisationen.
7. Dokumentér hvert systems formål, træningsdata, kendte begrænsninger og tilsigtede brug i en stående optegnelse, og opdatér den, når noget af det ændrer sig. En model idriftsat til ét formål og stille og roligt ændret til et andet – svindelscreening udvidet til generel berettigelsestriage, for eksempel – har normalt efterladt sin oprindelige validering og biastest bag sig.
8. Hold trænings- og driftsdata for en højrisiko-model inden for en styret, formålsbegrænset pipeline. At genbruge et datasæt indsamlet til ét administrativt formål til at træne en model til et urelateret formål er et datastyringssvigt lige så meget som et modelleringssvigt (se Emne 5.4 — Data, interoperabilitet og åbne data i den offentlige sektor).
9. Placér algoritmisk audit under en funktion, der ikke refererer til det team, der byggede eller driver systemet. En audit udført af systemets egne udviklere finder andre problemer, og færre af dem, end en udført af en reelt uafhængig gennemgående med stilling til at offentliggøre et negativt fund (se Emne 3.4 — Ansvarlighed, gennemsigtighed og legitimitet).
10. Kør en skyggeperiode, før et system tændes for reelle afgørelser. Sammenlign modellens anbefalinger med faktiske menneskelige afgørelser på de samme sager i en defineret periode, før den begynder at handle, så enhver systematisk afvigelse viser sig, før en borger berøres af den.
11. Forbehold fuld automatisering, uden menneskelig gennemgang overhovedet, til de mindst konsekvensfulde og mest reversible afgørelser alene. Jo mere alvorlig og mindre reversibel en afgørelse er – ophør af en ydelse, en svindelhenvisning, der udløser en strafferetlig efterforskning, et afslag på indrejse – desto stærkere er argumentet for at holde et menneske reelt i løkken, uanset modellens målte nøjagtighed.
12. Gentræn, genvalidér og gentest for bias efter en fast tidsplan, ikke kun når et problem rapporteres. En models nøjagtigheds- og retfærdighedsegenskaber kan drive stille, efterhånden som befolkningen og verden, den blev trænet på, ændrer sig, og et offentligt organ, der kun undersøger efter en klage, har allerede ladet driften løbe, så længe det tog klagen at dukke op.

Spørgsmål at drøfte med dit team

Hvor i vores organisation afgør eller informerer en algoritme i øjeblikket i høj grad en afgørelse, der berører en persons rettigheder, berettigelser eller frihed, og kunne hver berørt person faktisk finde ud af, at det skete? Mange organisationer opdager, når de faktisk opgør deres systemer, at algoritmisk scoring eller triage har sneget sig ind i flere beslutningspunkter, end noget enkelt team var klar over, ofte oprindeligt indført som et lavindsats-effektivitetsværktøj. Brug dette spørgsmål til at bygge den opgørelse ærligt, herunder systemer indkøbt fra en leverandør frem for bygget internt, da indkøb kan sløre, hvor meget et købt værktøj faktisk afgør. Drøft, om jeres nuværende meddelelsespraksis ville lade en berørt borger opdage, uden specialistviden, at en model var involveret i vedkommendes sag.

Hvis en borger formelt anfægtede en af vores automatiserede afgørelser i morgen, kunne vi så give vedkommende en reel, specifik begrundelse, eller kun en beskrivelse af processen? En procesbeskrivelse – «systemet overvejede din indkomst, husstandsstørrelse og betalingshistorik» – er ikke det samme som en forklaring på, hvorfor disse input frembragte netop dette udfald for netop denne person. Brug dette spørgsmål til at vælge ét levende system og forsøge, som team, at skrive den forklaring, en reel borger ville modtage, hvis vedkommende klagede. Hvis øvelsen er vanskelig, er den vanskelighed selv fundet.

Ved vi, om vores træningsdata reproducerer et historisk mønster af bias, og har vi testet det mod faktiske udfald frem for mod vores hensigter? At udelade en beskyttet egenskab fra et datasæt er ikke det samme som at udelade dens indflydelse, fordi korrelerede proxyer kan bære det samme signal under et andet navn. Brug dette spørgsmål til at identificere, hvilke af jeres systemer der er testet for forskelsbehandlende virkning ved hjælp af reelle udfald efter idriftsættelse, disaggregeret efter relevante egenskaber, frem for kun testet for tilstedeværelsen af en beskyttet variabel i inputdataene. Drøft, hvad der skal til for at køre den udfaldsbaserede test på jeres højindsats-system, hvis det ikke allerede er gjort.

Er vores human-in-the-loop-gennemgang et ægte tjek eller et gummistempel, vi ikke har målt tæt nok på til at bemærke? En menneskelig gennemgående under tidspres, uden fuld kontekst eller med mere friktion ved uenighed end enighed vil have tendens til at godkende algoritmens anbefaling uanset dens kvalitet. Brug dette spørgsmål til at finde jeres faktiske tilsidesættelsesrate for mindst ét system og drøft, hvad det tal fortæller om, hvorvidt gennemgang fungerer som en kontrol eller som en overholdelsesformalitet.

Hvad sker der egentlig, procedurelt, når nogen vil klage over en afgørelse, vores algoritme traf eller i høj grad informerede – og ser et menneske med reel magt til at omstøde den nogensinde klagen? Mange klageprocesser fører en borger tilbage gennem en beskrivelse af modellens logik uden nogensinde at nå en person, der kan omstøde udfaldet på realiteten. Brug dette spørgsmål til at spore én klage, fra ende til anden, for en reel eller realistisk sag, og identificér det præcise punkt, hvis nogen, hvor et menneske med ægte myndighed til at ændre svaret er involveret.

Hvem ejer risikoen, hvis en af vores modeller forringes eller driver efter idriftsættelse, og hvordan ville vi faktisk vide det, før en borger eller en journalist fortalte os det? En models retfærdigheds- og nøjagtighedsegenskaber er ikke faste ved lancering; de kan skifte, efterhånden som befolkningen, økonomien eller tilstødende politik ændrer sig, ofte usynligt for det team, der byggede systemet. Brug dette spørgsmål til at identificere, hvem der er ansvarlig for overvågning efter idriftsættelse, efter hvilken kadence, og hvad specifikt der ville udløse en gentræning eller en pause. Hvis det ærlige svar er «ingen holder specifikt øje med dette», så behandl det som det mest presserende fund, denne drøftelse kan frembringe.

I praksis: et eksempel på offentlig værdi

En fiktiv national socialforsikringsmyndighed byggede en risikoscoremodel til at prioritere, hvilke dagpengesager dens svindelefterforskningsteam skulle gennemgå først, efter år med en bunke af sager, der betød, at ægte svindel lå uefterforsket i måneder, mens ærlige ansøgere ventede på urelaterede sagsbehandlingsforsinkelser. Modellen blev trænet på fem års afsluttede efterforskningssager og lærte, hvilke sagsegenskaber der historisk var gået forud for et bekræftet svindelfund, og den præsterede godt i test: sager, den scorede som høj risiko, blev bekræftet som svigagtige i en meget højere rate end en tilfældig stikprøve, og myndighedens ledelse, som så sin bunke falde for første gang i årevis, behandlede udrulningen som en utvetydig succes.

Atten måneder inde bemærkede et internt ombudsmandslignende kontor noget, svindelteamets eget præstationsdashboard ikke havde bragt frem: ansøgere bosat i et lille antal postdistrikter, uforholdsmæssigt lavindkomst og uforholdsmæssigt nyligt tilflyttede migranter, blev markeret til efterforskning i næsten tre gange den rate som ellers lignende ansøgere andetsteds, og en meget højere andel af deres markerede sager blev afsluttet uden at finde svindel overhovedet. Mønstret kunne spores til træningsdataene: de historiske efterforskningssager afspejlede år, hvor feltefterforskere, der arbejdede ud fra egne uformelle heuristikker, havde koncentreret manuelle stikprøvekontroller netop i de distrikter, så modellen havde lært at behandle bopæl dér som forudsigende for svindel, når det i virkeligheden kun var forudsigende for at være blevet kontrolleret oftere tidligere. Postdistrikt havde aldrig været et input til modellen; det behøvede ikke at være det, fordi husstandssammensætning, arbejdsgiversektor og betalingsmetodefelter korrelerede tæt nok med det til at bære det samme signal ved proxy.

Myndighedens undersøgelse bekræftede, at mønstret var reelt, og bekræftede også et andet, mere stille problem: de menneskelige gennemgående, som skulle godkende en sag til fuld efterforskning, før den fortsatte, havde godkendt modellens højest scorede anbefalinger i det overvældende flertal af tilfælde, med gennemgangstider i gennemsnit under to minutter pr. sag – langt fra nok til meningsfuldt at anfægte en statistisk score, hvilket betød, at human-in-the-loop-kontrollen, ledelsen havde peget på som et sikkerhedsværn, ikke faktisk havde fanget den skævhed, den fandtes for at fange. Myndighedens svar kombinerede flere af dette emnes bedste praksisser på én gang: den gentrænede modellen med det historiske overpolitieringsmønster korrigeret, forlængede gennemgangstiden og gav gennemgående myndighed til at afslutte en markeret sag uden eskalering, når deres egen dømmekraft var uenig med scoren, og byggede en almindeligt-sprogs meddelelse og en reel klagevej til en navngiven sagsbehandler for enhver, hvis sag blev markeret. Efterforskningsudbyttet pr. gennemgangstime faldt noget, men den bekræftede svindelrate blandt markerede sager fra de tidligere overmarkerede distrikter steg til at matche resten af sagsporteføljen, hvilket myndighedens egen audit behandlede som det reelle succesmål – ikke antallet af markerede sager, men om markering fulgte faktisk svindel frem for et historisk mønster, modellen havde lært at reproducere.

Fire sektorlinser

Lokal forvaltning

Lokale myndigheder anvender i stigende grad algoritmiske værktøjer til de afgørelser med den mest umiddelbare og personlige indsats for beboere – boligtildelingsprioritet, børnebeskyttelsesrisikoscore og kommuneskat- eller ydelsessvindeltriage – ofte mens de mangler intern datavidenskabelig kapacitet til selv at bygge, validere eller auditere disse systemer, hvilket efterlader mange til at støtte sig til leverandørleverede modeller, hvis træningsdata og validering myndigheden ikke fuldt ud kan inspicere. Det skaber en særlig indkøbsdisciplin: en lokal myndighed, der bestiller et algoritmisk system, bør kræve, som en kontraktlig betingelse, den samme forklarlighed, biastest og auditadgang, den ville kræve af en intern bygning, fordi en beboers retssikkerhedsrettigheder ikke mindskes, fordi myndigheden købte systemet frem for at bygge det. Lokal forvaltnings nærhed til beboere betyder også, at en algoritmisk fejltagelse sandsynligvis bliver personligt kendt i lokalsamfundet, før den bliver en formel klage, hvilket taler for let, tidlig lokal gennemgang.

National forvaltning

Nationale myndigheder driver de største systemer i dette emnes rækkevidde – skattesvindeldetektion, immigrationsrisikovurdering, national ydelsesberettigelse – hvor selv en lille fejlrate omsættes til et meget stort absolut antal berørte mennesker, og hvor myndigheden typisk har den dybeste tekniske og juridiske kapacitet til at bygge ægte sikkerhedsværn. Nationale regeringer er også normalt det niveau, hvor risikobaseret AI-regulering, hvor den findes, skrives og håndhæves, hvilket giver nationale myndigheder de klareste formelle forpligtelser og den største eksponering, når en audit eller en domstol finder, at et automatiseret system har frembragt diskriminerende eller ugennemgåelige udfald i skala. Retssikkerhedsindsatsen er højest her i en anden forstand også: en immigrations- eller retshåndhævelsesrisikoscore kan berøre frihed såvel som berettigelse, hvilket taler for den mest konservative automatiseringsholdning – mindst fuld automatisering og mest ægte menneskelig gennemgang – netop hvor det tekniske argument for automatisering ofte er stærkest på grund af sagsvolumen.

Den sociale sektor og nonprofit

Nonprofitorganisationer og ikke-statslige organisationer (NGO'er) bruger i stigende grad algoritmiske værktøjer til at triagere bistandsfordeling, screene modtagere for berettigelse eller prioritere sagsbehandling i netop de domæner, dette emne dækker, ofte under reelle ressourcebegrænsninger, der gør effektivitetsargumentet for automatisering ægte overbevisende. Ansvarlighedsstrukturen er dog markant anderledes end det offentliges: en nonprofitorganisations modtagere har sjældent de lovbestemte klageret, en borger har over for en statslig myndighed, og organisationens primære ansvarlighedsforhold løber ofte til dens finansieringsgivere frem for til de mennesker, algoritmen afgør om, hvilket netop er det ansvarlighedshul, Emne 3.8 — Ledelse af den sociale sektor og nonprofitorganisationer beskriver for sektoren generelt. En nonprofitorganisation, der vedtager algoritmisk triage, bør derfor bygge de forklarings- og klageret, dette emne beskriver, som en frivillig standard, ikke fordi en tilsynsmyndighed kræver det, men fordi de mennesker, organisationen tjener, ikke har nogen anden vej til en.

Multilateral og international

Multilaterale organer og internationale humanitære organisationer anvender algoritmiske målretnings- og risikoscoreværktøjer på tværs af grænser og retssystemer, hyppigt i krisesituationer, hvor hastighedsfordelen ved automatisering er mest akut og de tilgængelige data er mindst pålidelige – ufuldstændige registreringsdata, data indsamlet til én krise og genbrugt til en anden og befolkninger med begrænset evne til at anfægte en scoringsafgørelse, der afgør, om de modtager bistand. Ingen enkelt national retssikkerhedslov eller ret-til-forklaring-regime gælder ensartet på tværs af et multilateralt organs operationer, så de sikkerhedsværn, dette emne beskriver, må bygges ind i organisationens egne driftsstandarder frem for at arves fra en håndhævelig ekstern retlig ramme, hvilket ekkoer det repræsentations- og ansvarlighedshul, Emne 3.4 identificerer for multilaterale organer generelt (se Emne 3.4 — Ansvarlighed, gennemsigtighed og legitimitet). Indsatsen er også alvorlig her, da en algoritmisk afgørelse kan afgøre adgang til mad, husly eller asylbehandling for mennesker med den mindste praktiske evne af nogen gruppe i dette emne til at klage over et forkert udfald.

Almindelige fejlmønstre

Proxydiskrimination. En model udelader direkte en beskyttet egenskab men lærer et tilsvarende signal fra en korreleret variabel – postnummer, efternavn, beskæftigelsessektor, ydelseshistorik – og reproducerer det samme diskriminerende mønster, udelukkelsen skulle forhindre. Omkostningen er en falsk tryghedsfølelse: organisationen kan sandfærdigt sige, at den beskyttede variabel aldrig blev brugt, mens udfaldet forbliver lige så uligt, som hvis den var.

Automatiseringsbias i menneskelig gennemgang. En menneskelig gennemgående, formelt forpligtet til at tjekke en algoritmes anbefaling, godkender den i det overvældende flertal af tilfælde, fordi uenighed tager mere tid, mere begrundelse eller mere personlig risiko end enighed. Omkostningen er, at en kontrol, organisationen tror fanger fejl, i praksis gummistempler dem, og dette bliver normalt først synligt, når nogen måler tilsidesættelsesraten direkte frem for at stole på, at processen findes.

Forklarlighedsteater. En organisation giver en forklaring på en automatiseret afgørelse, der lyder specifik og tilfredsstillende, men er genereret bagefter ved en metode, der tilnærmer, frem for afslører, modellens faktiske ræsonnement. Omkostningen viser sig, når forklaringen afprøves under reel granskning – en klage, en audit, en retssag – og viser sig ikke at svare til, hvorfor systemet faktisk frembragte netop det output.

Historisk bias reproduceret gennem feedbacksløjfer. En model trænet på udfaldene af tidligere afgørelser – hvilke kvarterer der blev undersøgt, hvilke ansøgninger der blev godkendt – lærer og foreviger derefter det mønster af overgranskning eller undertjeneste, der formede de tidligere afgørelser, og hver ny runde af afgørelser, den frembringer, bliver træningsdata til den næste version, hvilket uddyber mønstret frem for at rette det. Dette er dokumenteret på tværs af flere offentlige domæner internationalt, herunder risikobaseret politiarbejde og velfærdssvindelscreening, og den underliggende mekanisme er konsistent nok på tværs af disse dokumenterede tilfælde til at behandle som en generel risiko i ethvert system trænet på historiske håndhævelses- eller sagsdata, uanset jurisdiktion.

Ansvarlighedshullet, eller «mange hænder»-problemet. Når en afgørelse løber gennem en leverandørs model, en myndigheds data, et politikteams tærskelfastsættelse og en sagsbehandlers nominelle godkendelse, kan ansvaret for et forkert udfald ende med at være ægte uklart selv for organisationen selv, hvor hver part kan pege på en anden som fejlens kilde. Omkostningen er ikke blot, at den berørte borger ikke kan få et klart svar, men at organisationen ikke pålideligt kan rette den faktiske årsag, fordi ingen enkelt ansvarlig ejer findes for afgørelsen som helhed (se Emne 3.4 — Ansvarlighed, gennemsigtighed og legitimitet).

Modenhedsmodel

Tjekliste

• Byg en komplet opgørelse over hvert system, der træffer eller væsentligt informerer en afgørelse, der berører en persons rettigheder eller berettigelser, herunder leverandørleverede værktøjer.
• Klassificér hvert system i den opgørelse efter indsatsen i den afgørelse, det informerer, ved hjælp af et defineret risikoniveau.
• Bekræft, at hver berørt person modtager en almindeligt-sprogs meddelelse om, at en algoritme var involveret i vedkommendes sag.
• Udarbejd den specifikke, sagsniveau-forklaring, en reel borger ville modtage ved klage, og test, om den faktisk ville tilfredsstille vedkommende.
• Test hvert højindsats-system for forskelsbehandlende virkning ved hjælp af reelle udfald efter idriftsættelse, disaggregeret efter relevante egenskaber, ikke kun ved at tjekke for udeladte inputvariabler.
• Mål tilsidesættelsesraten og den gennemsnitlige gennemgangstid for hver human-in-the-loop-kontrol, og behandl en næsten-nul tilsidesættelsesrate som et fund.
• Bekræft, at et navngivet menneske med ægte myndighed til at omstøde afgørelsen gennemgår hver klage.
• Placér algoritmisk audit under en funktion uafhængig af det team, der byggede eller driver systemet.
• Bekræft, at trænings- og driftsdata for hvert system forbliver inden for en styret, formålsbegrænset pipeline.
• Fastsæt en fast gentrænings- og genvalideringsplan for hver idriftsat model, frem for at vente på, at en klage udløser gennemgang.
• Identificér, hvilke af jeres systemer der i øjeblikket ikke har noget sikkerhedsværn mod fuld automatisering til de mest alvorlige og mindst reversible afgørelser, og ret det først.
• Kør de seks drøftelsesspørgsmål ovenfor med dit team og registrér, hvor det ærlige svar afviger fra det officielle.

Centrale kilder

• OECD AI Principles (2019, opdateret 2024) – den første mellemstatslige standard for troværdig AI, der dækker inklusiv vækst, menneskerettigheder, gennemsigtighed, robusthed og ansvarlighed.
• Den Europæiske Unions AI-forordning (Forordning (EU) 2024/1689) – den første omfattende risikotrinnede retlige ramme for AI, der eksplicit adresserer anvendelser inden for offentlig berettigelse, retshåndhævelse og migration.
• US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) – et styrings-, data-, præstations- og overvågningsrammeværk for AI-ansvarlighed i den offentlige sektor.
• Danielle Keats Citrons forskning i «technological due process», der argumenterer for, at automatiserede systemer kræver proceduremæssige sikkerhedsværn bygget specifikt til algoritmisk, frem for menneskelig, beslutningstagning.
• Cathy O'Neils, Virginia Eubanks' og Frank Pasquales offentligt rettede forskning i algoritmisk bias, automatiseret velfærdsadministration og uigennemsigtige scoringssystemer, citeret gennem dette emnes drøftelse af træningsdatabias og black box-problemet.

Henvisninger

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp