AI en algoritmische besluitvorming bij de overheid

Waarom dit ertoe doet bij publieke waarde

Publieke organen hebben altijd aandacht moeten rantsoeneren: een casemanager kan niet persoonlijk elke aanvrager interviewen, een douanebeambte kan niet elke container inspecteren, een fraudeteam kan niet elke aanvraag beoordelen. Kunstmatige intelligentie (AI) – het brede vakgebied van het bouwen van systemen die taken uitvoeren die normaal menselijk oordeel vereisen – en de smallere praktijk van algoritmische en geautomatiseerde besluitvorming (ADM) beloven die aandacht consistenter en op veel grotere schaal te rantsoeneren, door zaken te scoren, te markeren of rechtstreeks te beslissen die een menselijk team nooit volledig zou kunnen beoordelen. Onderwerp 5.1 behandelt de patronen van digitale dienstverlening waarbinnen deze capaciteit zit (zie Onderwerp 5.1 — Digitale overheid en digitale transformatie); dit onderwerp gaat over wat er gebeurt wanneer een model, in plaats van een genoemde ambtenaar, een deel of het geheel van de beslissing neemt.

De belofte is reëel: een goed gebouwd model kan fraudepatronen opsporen die voor een casemanager onzichtbaar zijn, geschiktheidsregels met perfecte consistentie toepassen op een miljoen aanvragen en schaarse deskundigentijd vrijmaken voor de zaken die werkelijk oordeel vereisen. Het risico is even reëel en moeilijker te zien van binnen de organisatie die het systeem bouwde. Een model getraind op historische gegevens kan juist de discriminatie reproduceren en versterken die een publiek orgaan hoort te corrigeren; een complex model kan zo ondoorzichtig zijn dat noch de burger noch de ambtenaar die erop vertrouwt kan zeggen waarom het besliste zoals het besliste; en een beslissing waarover een algoritme sterk heeft geïnformeerd kan procedureel toch niemand achterlaten die de burger een reden kan geven of zijn zaak kan horen. Niets hiervan is hypothetisch: toezichthouders, rechtbanken en ombudsmanachtige organen in meerdere rechtsgebieden hebben al publieke risicoscore- en fraudedetectiesystemen gevonden die mensen onevenredig markeerden naar buurt, migratiegeschiedenis of gezinsstructuur, in elk geval omdat het patroon dat het model nauwkeurig maakte ook toevallig een beschermd of gevoelig kenmerk volgde.

De publieke-waardeinzet is daarom niet efficiëntie versus eerlijkheid als afweging die eenmaal moet worden gemaakt, maar een ontwerpdiscipline die voortdurend moet worden volgehouden. Een burger aan wie een uitkering door een menselijke ambtenaar wordt geweigerd, kan die ambtenaar vragen waarom en in beroep gaan bij een andere mens met de status en macht om het antwoord te veranderen – de verantwoordingsmachinerie die Onderwerp 3.4 beschrijft (zie Onderwerp 3.4 — Verantwoording, transparantie en legitimiteit). Een burger aan wie een uitkering door een model wordt geweigerd, heeft datzelfde recht op uitleg en dezelfde route naar een mens die het kan omkeren nodig, anders heeft het publieke orgaan stilletjes een waarborg van behoorlijke procedure geëxporteerd die het nooit formeel introk. Dit goed doen is wat een publiek orgaan in staat stelt de werkelijke winst van algoritmische besluitvorming in consistentie en schaal te halen zonder “het algoritme besliste” te veranderen in een zin die verantwoording beëindigt in plaats van begint.

Kernbegrippen

Geautomatiseerde besluitvorming (automated decision-making, ADM) is het gebruik van gegevens, software en algoritmen om beslissingen te nemen of wezenlijk te informeren met wisselende mate van menselijk toezicht, een spectrum van een systeem dat slechts informatie voor een mens naar boven haalt tot een systeem dat zonder enige menselijke betrokkenheid beslist en handelt (zie automated decision-making). Waar een systeem op dat spectrum zit – beslissingsondersteuning, beslissingsversterking of volledige automatisering – bepaalt welke verantwoordings- en rechtsbeschermingsverplichtingen gelden, en daarom classificeren toezichthouders systemen steeds vaker naar hun positie daarop en niet naar de onderliggende technologie.

Human-in-the-loop beschrijft een regeling waarin een persoon de uitkomst van een algoritme beoordeelt of goedkeurt voordat die van kracht wordt, te onderscheiden van human-on-the-loop (een persoon monitort en kan ingrijpen) of volledig geautomatiseerde verwerking zonder enige toetsing (zie human-in-the-loop). Een echte human-in-the-loopcontrole vereist dat de beoordelaar de tijd, informatie en status heeft om het werkelijk met het systeem oneens te zijn; een beoordelaar die vrijwel elke algoritmische aanbeveling goedkeurt omdat oneens zijn langer duurt of meer persoonlijk risico meebrengt dan het eens te zijn, oefent geen toezicht uit, ook al toont het processchema een menselijke stap. Dit patroon, vaak automatiseringsbias genoemd, is een van de meest voorkomende en minst zichtbare faalpatronen in dit onderwerp.

Algoritmische bias is de systematische, herhaalbare neiging van een computersysteem om oneerlijke uitkomsten voort te brengen – bijvoorbeeld door de ene groep te bevoordelen boven de andere op manieren die de ontwerpers van het systeem noch beoogden noch, vaak, opmerkten (zie algorithmic bias). In het openbaar bestuur is de dominante bron trainingsdatabias: een model getraind op historische handhavings-, krediet- of zaakdossiers leert de patronen in die dossiers, inclusief elke historische overmatige politiecontrole, ondermaatse dienstverlening of discriminerende praktijk die erin is ingebakken over wie werd onderzocht, goedgekeurd of gemarkeerd. Een model kan deze uitkomst reproduceren zelfs als een gevoelig kenmerk – ras, beperking, migratiestatus – expliciet uit de gegevens is weggelaten, omdat een gecorreleerde proxy (postcode, achternaam, dienstrooster, uitkeringsgeschiedenis) hetzelfde signaal onder een andere naam draagt; de genoemde variabele verwijderen zonder op haar proxy’s te testen is een veelgebruikte manier waarop een publiek orgaan gelooft een biasprobleem te hebben opgelost dat het helemaal niet heeft opgelost.

Eerlijkheid in machine learning verwijst naar de familie van technische en procedurele benaderingen om algoritmische bias in geautomatiseerde beslissingen te meten en te corrigeren (zie fairness (machine learning)). Een werkelijk moeilijk kenmerk van dit vakgebied, geen oplosbare technische voetnoot, is dat verschillende intuïtief redelijke definities van eerlijkheid – gelijke goedkeuringspercentages over groepen, gelijke foutpercentages over groepen en binnen elke groep gelijk gekalibreerde nauwkeurigheid – wiskundig onverenigbaar zijn wanneer de onderliggende groepen verschillende basispercentages in de gegevens hebben. Een publiek orgaan kan niet aan alle definities tegelijk voldoen; het kan alleen, expliciet en met redenen die het bereid is te verdedigen, kiezen voor welke definitie de voorliggende beslissing moet worden geoptimaliseerd, wat een beleidsoordeel is dat als technisch oordeel is vermomd.

Verklaarbaarheid en het black-boxprobleem. Een model is een black box wanneer de interne werking ervan niet kan worden geïnspecteerd of begrepen uit alleen zijn invoer en uitvoer – zoals bij veel goed presterende machine-learningmodellen, wier nauwkeurigheid vaak juist voortkomt uit de complexiteit die ze moeilijk interpreteerbaar maakt. Verklaarbare kunstmatige intelligentie, of XAI, is het vakgebied van methoden om de redenering van een model inspecteerbaar te maken, uiteenlopend van het kiezen van inherent interpreteerbare modeltypes voor ingrijpende beslissingen tot het genereren van uitleg achteraf die benadert, in plaats van onthult, wat een complex model werkelijk deed. Het onderscheid doet er juridisch evenveel toe als technisch: een benaderende uitleg die plausibel klinkt maar de werkelijke redenering van het model niet weerspiegelt, kan aan een transparantiechecklist voldoen en tegelijk de burger tekortdoen die erop vertrouwt om de werkelijke grondslag van een besluit tegen hem te betwisten.

Het recht op uitleg is het omstreden juridische beginsel dat een persoon die aan een significante geautomatiseerde beslissing is onderworpen recht heeft op een betekenisvolle uitleg van de betrokken logica, het nauwst geassocieerd met de Algemene verordening gegevensbescherming van de Europese Unie, die beslissingen beperkt die uitsluitend op geautomatiseerde verwerking berusten en rechtsgevolgen of vergelijkbaar significante gevolgen hebben, en de betrokkene rechten geeft op menselijke tussenkomst en op betwisting van de beslissing (zie right to explanation en General Data Protection Regulation). Juridische wetenschappers betwisten hoe sterk dit recht in de praktijk werkelijk is, en rechtsgebieden buiten de Europese Unie missen grotendeels een gelijkwaardig wettelijk recht, daarom mag een publiek orgaan “wij voldoen aan het toepasselijke gegevensbeschermingsrecht” niet gelijkstellen aan “wij kunnen deze beslissing uitleggen aan de persoon die ze raakt” – de twee beweringen zijn verwant maar niet hetzelfde, en alleen de tweede is wat behoorlijke procedure werkelijk vereist.

Behoorlijke procedure en natuurlijke rechtvaardigheid. In het bestuursrecht rusten due process – het beginsel, het meest ontwikkeld in het Amerikaanse grondwettelijk recht maar in vergelijkbare vorm weerklonken in veel rechtsstelsels, dat de staat eerlijke procedures moet volgen voordat hij iemand van een recht of aanspraak berooft – en natural justice – de administratiefrechtelijke traditie van het Gemenebest die een eerlijke hoorzitting en vrijheid van vooringenomenheid van de beslisser eist – beide op een aanname geschreven vóór er computers bestonden: dat een besluit een identificeerbare beslisser heeft die redenen kan geven, die vrij van een diskwalificerende vooringenomenheid kan worden getoond en die kan worden gevraagd te heroverwegen. Een algoritme belast alle drie de aannames tegelijk – redenen kunnen technisch onbeschikbaar zijn, de “vooringenomenheid” in kwestie is statistisch en niet persoonlijk, en heroverweging door hetzelfde model levert hetzelfde antwoord – waarom behoorlijke procedure voor algoritmische beslissingen expliciet moet worden ontworpen en niet kan worden geërfd van procedures gebouwd voor menselijke beslissers.

Risicogebaseerde regulering van AI. In plaats van alle AI uniform te reguleren, schaalt een opkomend regelgevingspatroon – het volledigst ontwikkeld in de Europese AI-verordening (Artificial Intelligence Act) – verplichtingen naar de inzet van de toepassing: een beperkte set toepassingen wordt rechtstreeks verboden, de zwaarste nalevingsverplichtingen gelden voor “hoogrisico”-toepassingen (waaronder expliciet vaststelling van geschiktheid in de publieke sector, risicobeoordeling bij rechtshandhaving en migratiebesluiten), transparantieverplichtingen voor toepassingen met lager risico en toepassingen met minimaal risico blijven grotendeels ongereguleerd (zie Artificial Intelligence Act). Wat het regelgevingspatroon in een rechtsgebied ook is, het onderliggende idee – dat bestuursverplichtingen moeten schalen met de inzet van de beslissing en niet met de verfijning van de technologie – is een nuttig ontwerpprincipe, ook zonder directe wettelijke verplichting om het specifieke EU-regime te volgen.

Beste praktijken

1. Classificeer elk systeem naar de inzet van de beslissing voordat u het model kiest, niet erna. Een systeem dat een zaak markeert voor menselijke toetsing brengt een andere verplichting met zich mee dan een dat een uitkering rechtstreeks weigert; besluit in welke laag een toepassing zit, met een kader zoals de risicocategorieën van de AI-verordening als referentiepunt, vóór u bouwt in plaats van nadat de inzet de lacune blootlegt.
2. Vertel mensen in gewone taal wanneer een algoritme betrokken is bij een beslissing over hen. Een generieke privacyverklaring verstopt in algemene voorwaarden voldoet hier niet aan; de melding moet zeggen wat het systeem doet, welke gegevens het gebruikt en wat er gebeurt als de persoon het niet eens is met de uitkomst.
3. Bouw een human-in-the-loopcontrole die een beoordelaar werkelijk kan uitoefenen, en meet of zij dat doen. Volg het overschrijvingspercentage, de gemiddelde tijd per zaak en of beoordelaars die het oneens zijn enige wrijving ondervinden die het eens zijn niet kent – als het overschrijvingspercentage bijna nul is, is de toetsing zeer waarschijnlijk decoratief.
4. Toets op ongelijke impact aan de hand van werkelijke uitkomsten, niet de bedoelingen van de ontwikkelaars. Meet vóór de inzet en daarna volgens een vaste cadans de uitkomsten van het model gedisaggregeerd naar beschermde en gevoelige kenmerken, ook via waarschijnlijke proxy’s zoals postcode of uitkeringsgeschiedenis, omdat een model dat een beschermde variabele nooit rechtstreeks gebruikt toch een scherp ongelijke uitkomst kan voortbrengen.
5. Geef elke getroffen persoon een route naar een mens die de macht heeft de beslissing van het algoritme om te keren, niet slechts uit te leggen. Een beroepskanaal dat de redenering van het model herhaalt zonder echte mogelijkheid tot omkering voldoet aan de letter van een recht op uitleg terwijl het zijn doel tenietdoet.
6. Geef de voorkeur aan een interpreteerbaar model boven een marginaal nauwkeuriger black-boxmodel voor juridisch ingrijpende beslissingen. Waar het nauwkeurigheidsverschil tussen een interpreteerbaar en een complex model klein is, is de winst aan interpreteerbaarheid doorgaans veel meer waard voor de burger, de beroepsfunctionaris en de auditor dan de marginale nauwkeurigheid voor de organisatie.
7. Documenteer het doel, de trainingsgegevens, bekende beperkingen en beoogd gebruik van elk systeem in een vast dossier en werk het bij wanneer een daarvan verandert. Een model dat voor één doel is ingezet en stilletjes voor een ander is hergebruikt – fraudescreening uitgebreid tot algemene geschiktheidstriage, bijvoorbeeld – heeft doorgaans zijn oorspronkelijke validatie en biastoetsing achtergelaten.
8. Houd trainings- en operationele gegevens voor een model met hoge inzet binnen een beheerde, doelgebonden pijplijn. Een gegevensverzameling die voor één administratief doel is verzameld hergebruiken om een model voor een niet-gerelateerd doel te trainen is evenzeer een falen in gegevensbeheer als in modellering (zie Onderwerp 5.4 — Data, interoperabiliteit en open data in de publieke sector).
9. Plaats algoritmische audit onder een functie die niet rapporteert aan het team dat het systeem bouwde of exploiteert. Een audit door de eigen ontwikkelaars van het systeem vindt andere problemen, en minder, dan een door een werkelijk onafhankelijke beoordelaar met de status om een ongunstige bevinding te publiceren (zie Onderwerp 3.4 — Verantwoording, transparantie en legitimiteit).
10. Draai een schaduwperiode voordat u een systeem voor echte beslissingen aanzet. Vergelijk de aanbevelingen van het model een omschreven periode met werkelijke menselijke beslissingen over dezelfde zaken voordat het begint te handelen, zodat elke systematische afwijking aan het licht komt voordat een burger erdoor wordt geraakt.
11. Reserveer volledige automatisering, zonder enige menselijke toetsing, alleen voor de minst ingrijpende en meest omkeerbare beslissingen. Hoe ernstiger en minder omkeerbaar een beslissing is – beëindiging van een uitkering, een fraudeverwijzing die een strafrechtelijk onderzoek in gang zet, een weigering van toegang – hoe sterker het argument om een mens werkelijk in de lus te houden, wat de gemeten nauwkeurigheid van het model ook is.
12. Train, hervalideer en hertoets op bias volgens een vast schema, niet alleen wanneer een probleem wordt gemeld. De nauwkeurigheid en eerlijkheid van een model kunnen stilletjes afdrijven naarmate de bevolking en de wereld waarop het is getraind veranderen, en een publiek orgaan dat pas na een klacht onderzoekt, heeft de afdrijving laten doorlopen zolang de klacht nodig had om aan de oppervlakte te komen.

Vragen om met uw team te bespreken

Waar in onze organisatie neemt een algoritme op dit moment een beslissing of informeert het die sterk, die de rechten, aanspraken of vrijheid van een persoon raakt, en zou elke getroffen persoon werkelijk kunnen ontdekken dat het gebeurde? Veel organisaties ontdekken, wanneer zij hun systemen werkelijk inventariseren, dat algoritmische scoring of triage zich in meer beslispunten heeft genesteld dan enig afzonderlijk team besefte, vaak oorspronkelijk ingevoerd als een instrument met lage inzet voor efficiëntie. Gebruik deze vraag om die inventaris eerlijk op te bouwen, inclusief systemen die bij een leverancier zijn ingekocht in plaats van zelf gebouwd, aangezien inkoop kan verhullen hoeveel een aangeschaft instrument werkelijk beslist. Bespreek of uw huidige meldingspraktijken een getroffen burger zonder specialistische kennis zouden laten ontdekken dat een model bij zijn zaak betrokken was.

Als een burger morgen formeel een van onze geautomatiseerde beslissingen betwistte, zouden wij hem dan een echte, specifieke reden kunnen geven, of alleen een beschrijving van het proces? Een procesbeschrijving – “het systeem betrok uw inkomen, huishoudgrootte en betalingsgeschiedenis” – is niet hetzelfde als een uitleg van waarom die invoer voor deze specifieke persoon tot deze specifieke uitkomst leidde. Gebruik deze vraag om één levend systeem te kiezen en als team de uitleg te proberen te schrijven die een echte burger zou ontvangen als hij in beroep ging. Als de oefening moeilijk is, is die moeilijkheid zelf de bevinding.

Weten wij of onze trainingsgegevens een historisch patroon van bias reproduceren, en hebben wij dat aan werkelijke uitkomsten getoetst in plaats van aan onze bedoelingen? Een beschermd kenmerk uit een gegevensverzameling uitsluiten is niet hetzelfde als de invloed ervan uitsluiten, omdat gecorreleerde proxy’s hetzelfde signaal onder een andere naam kunnen dragen. Gebruik deze vraag om te identificeren welke van uw systemen zijn getoetst op ongelijke impact aan de hand van werkelijke uitkomsten na inzet, gedisaggregeerd naar relevante kenmerken, in plaats van alleen op de aanwezigheid van een beschermde variabele in de invoergegevens. Bespreek wat nodig zou zijn om die uitkomstgebaseerde toets uit te voeren op uw systeem met de hoogste inzet als dat nog niet is gebeurd.

Is onze human-in-the-looptoetsing een echte controle, of een stempel dat wij niet nauwkeurig genoeg hebben gemeten om op te merken? Een menselijke beoordelaar onder tijdsdruk, zonder volledige context of met meer wrijving bij oneens zijn dan eens zijn, zal neigen tot goedkeuren van de aanbeveling van het algoritme, ongeacht de kwaliteit ervan. Gebruik deze vraag om uw werkelijke overschrijvingspercentage voor minstens één systeem te vinden en bespreek wat dat getal zegt over de vraag of toetsing functioneert als controle of als nalevingsformaliteit.

Wat gebeurt er procedureel werkelijk wanneer iemand in beroep wil gaan tegen een beslissing die ons algoritme nam of sterk informeerde – en ziet ooit een mens met echte macht om haar om te keren het beroep? Veel beroepsprocessen leiden een burger terug langs een beschrijving van de logica van het model zonder ooit een persoon te bereiken die de uitkomst op inhoudelijke gronden kan omkeren. Gebruik deze vraag om één beroep van begin tot eind te volgen voor een echt of realistisch geval en het exacte punt te identificeren, indien enig, waarop een mens met echte bevoegdheid om het antwoord te veranderen is betrokken.

Wie draagt het risico als een van onze modellen na inzet verslechtert of afdrijft, en hoe zouden wij het werkelijk weten voordat een burger of journalist het ons vertelde? De eerlijkheids- en nauwkeurigheidseigenschappen van een model liggen niet bij de lancering vast; ze kunnen verschuiven naarmate de bevolking, de economie of aangrenzend beleid verandert, vaak onzichtbaar voor het team dat het systeem bouwde. Gebruik deze vraag om te identificeren wie verantwoordelijk is voor monitoring na inzet, met welke cadans en wat specifiek een hertraining of pauze zou teweegbrengen. Als het eerlijke antwoord is “niemand let hier specifiek op”, behandel dat dan als de meest urgente bevinding die dit gesprek kan opleveren.

In de praktijk: een voorbeeld van publieke waarde

Een fictief nationaal sociaalverzekeringsagentschap bouwde een risicoscoremodel om te prioriteren welke aanvragen voor werkloosheidsuitkeringen haar fraudeonderzoeksteam het eerst moest beoordelen, na jaren van een achterstand waardoor echte fraude maandenlang onderzocht bleef terwijl eerlijke aanvragers wachtten op niet-gerelateerde verwerkingsvertragingen. Het model was getraind op vijf jaar afgesloten onderzoeksdossiers en leerde welke kenmerken van aanvragen historisch aan een bevestigde fraudebevinding voorafgingen, en presteerde goed in tests: aanvragen die het als hoog risico scoorde bleken met een veel hoger percentage frauduleus dan een willekeurige steekproef, en de leiding van het agentschap, die voor het eerst in jaren haar achterstand zag dalen, behandelde de uitrol als onbetwist succes.

Achttien maanden later merkte een intern ombudsmanachtig bureau iets op wat het eigen prestatiedashboard van het fraudeteam niet had getoond: aanvragers die in een klein aantal postcodegebieden woonden, onevenredig vaak met lagere inkomens en onevenredig vaak recente migranten, werden bijna drie keer zo vaak gemarkeerd voor onderzoek als anderszins vergelijkbare aanvragers elders, en een veel groter deel van hun gemarkeerde aanvragen werd afgesloten zonder dat fraude werd gevonden. Het patroon was te herleiden tot de trainingsgegevens: de historische onderzoeksdossiers weerspiegelden jaren waarin veldonderzoekers, werkend vanuit hun eigen informele vuistregels, handmatige steekcontroles hadden geconcentreerd in precies die gebieden, zodat het model had geleerd daar wonen als voorspellend voor fraude te behandelen, terwijl het alleen voorspellend was voor in het verleden vaker gecontroleerd zijn. Postcodegebied was nooit een invoer van het model geweest; dat hoefde ook niet, omdat velden over huishoudsamenstelling, werkgeverssector en betaalwijze dicht genoeg met het gebied correleerden om hetzelfde signaal als proxy te dragen.

Het onderzoek van het agentschap bevestigde dat het patroon reëel was en bevestigde ook een tweede, stiller probleem: de menselijke beoordelaars die een zaak voor volledig onderzoek moesten goedkeuren voordat het doorging, hadden de hoogst gescoorde aanbevelingen van het model in de overgrote meerderheid van de gevallen goedgekeurd, met een gemiddelde beoordelingstijd van minder dan twee minuten per zaak – lang niet genoeg om een statistische score zinvol in twijfel te trekken, wat betekende dat de human-in-the-loopcontrole waarnaar de leiding als waarborg had verwezen de ongelijkheid die zij moest vangen niet had gevangen. De reactie van het agentschap combineerde meerdere beste praktijken van dit onderwerp tegelijk: het trainde het model opnieuw met correctie voor het historische patroon van overmatige controle, verlengde de beoordelingstijd en gaf beoordelaars de bevoegdheid een gemarkeerde zaak zonder escalatie af te sluiten wanneer hun eigen oordeel afweek van de score, en bouwde een melding in gewone taal en een echte beroepsroute naar een genoemde zaakfunctionaris voor iedereen wiens aanvraag werd gemarkeerd. De onderzoeksopbrengst per beoordelaarsuur daalde enigszins, maar het percentage bevestigde fraude onder gemarkeerde aanvragen uit de eerder overmatig gemarkeerde gebieden steeg tot het niveau van de rest van het dossierbestand, wat de eigen audit van het agentschap als de werkelijke maatstaf van succes behandelde – niet het volume gemarkeerde aanvragen, maar of markering werkelijke fraude volgde in plaats van een historisch patroon dat het model had geleerd te reproduceren.

Vier sectorperspectieven

Lokale overheid

Lokale overheden zetten steeds vaker algoritmische instrumenten in voor de beslissingen met de meest directe en persoonlijke inzet voor inwoners – prioriteit bij huisvestingstoewijzing, risicoscoring in de jeugdzorg en triage van gemeentebelasting- of uitkeringsfraude – vaak zonder de interne datasciencecapaciteit om deze systemen zelf te bouwen, valideren of auditen, zodat velen leunen op door leveranciers geleverde modellen waarvan de autoriteit de trainingsgegevens en validatie niet volledig kan inspecteren. Dit schept een bijzondere aanbestedingsdiscipline: een lokale autoriteit die een algoritmisch systeem opdracht geeft, moet als contractuele voorwaarde dezelfde verklaarbaarheid, biastoetsing en toegang voor audit eisen als zij van een eigen bouw zou eisen, omdat de rechten van een inwoner op behoorlijke procedure niet kleiner worden doordat de autoriteit het systeem kocht in plaats van bouwde. De nabijheid van de lokale overheid tot inwoners betekent ook dat een algoritmische misser waarschijnlijker persoonlijk in de gemeenschap bekend wordt voordat hij een formele klacht wordt, wat pleit voor lichte, vroege lokale toetsing.

Nationale overheid

Nationale agentschappen exploiteren de grootschaligste systemen binnen de reikwijdte van dit onderwerp – belastingfraudedetectie, risicobeoordeling bij immigratie, nationale uitkeringsgeschiktheid – waar zelfs een klein foutpercentage zich vertaalt in een zeer groot absoluut aantal getroffen mensen, en waar het agentschap doorgaans de diepste technische en juridische capaciteit heeft om echte waarborgen te bouwen. Nationale overheden zijn doorgaans ook het niveau waarop risicogebaseerde AI-regulering, waar zij bestaat, wordt geschreven en gehandhaafd, wat nationale agentschappen de duidelijkste formele verplichtingen en de grootste blootstelling geeft wanneer een audit of rechter vaststelt dat een geautomatiseerd systeem op schaal discriminerende of niet-toetsbare uitkomsten heeft voortgebracht. De rechtsbeschermingsinzet is hier ook in een andere zin het hoogst: een immigratie- of rechtshandhavingsrisicoscore kan zowel vrijheid als aanspraak raken, wat pleit voor de meest conservatieve automatiseringshouding – de minste volledige automatisering en de meest echte menselijke toetsing – juist waar het technische argument voor automatisering vaak het sterkst is vanwege het aantal zaken.

Sociale sector en non-profit

Non-profitorganisaties en niet-gouvernementele organisaties (ngo’s) gebruiken steeds vaker algoritmische instrumenten om de verdeling van hulp te trieren, begunstigden op geschiktheid te screenen of dossiers te prioriteren in precies de domeinen die dit onderwerp behandelt, vaak onder echte middelenbeperkingen die het efficiëntieargument voor automatisering werkelijk dwingend maken. De verantwoordingsstructuur verschilt echter duidelijk van die van de overheid: de begunstigden van een non-profitorganisatie hebben zelden de wettelijke beroepsrechten die een burger tegen een overheidsagentschap heeft, en de belangrijkste verantwoordingsrelatie van de organisatie loopt vaak naar haar financiers en niet naar de mensen over wie het algoritme beslist, wat precies de verantwoordingskloof is die Onderwerp 3.8 — Management van de sociale sector en non-profitorganisaties voor de sector in het algemeen beschrijft. Een non-profitorganisatie die algoritmische triage invoert, moet de uitleg- en beroepsrechten die dit onderwerp beschrijft daarom als vrijwillige norm bouwen, niet omdat een toezichthouder het eist, maar omdat de mensen die de organisatie bedient geen andere route daartoe hebben.

Multilateraal en internationaal

Multilaterale organen en internationale humanitaire agentschappen passen algoritmische targeting- en risicoscoringinstrumenten toe over grenzen en rechtsstelsels heen, vaak in crisissituaties waar het snelheidsvoordeel van automatisering het scherpst is en de beschikbare gegevens het minst betrouwbaar zijn – onvolledige registratiegegevens, gegevens verzameld voor de ene crisis en hergebruikt voor een andere, en bevolkingsgroepen met beperkt vermogen om een scorebeslissing te betwisten die bepaalt of zij hulp ontvangen. Geen enkele nationale wet op behoorlijke procedure of recht op uitleg geldt uniform voor de operaties van een multilateraal orgaan, zodat de waarborgen die dit onderwerp beschrijft in de eigen operationele normen van de organisatie moeten worden gebouwd in plaats van te worden geërfd van een afdwingbaar extern juridisch kader, een echo van de vertegenwoordigings- en verantwoordingskloof die Onderwerp 3.4 voor multilaterale organen in het algemeen identificeert (zie Onderwerp 3.4 — Verantwoording, transparantie en legitimiteit). De inzet is hier ook ernstig, aangezien een algoritmische beslissing de toegang tot voedsel, onderdak of asielprocedure kan bepalen voor mensen met van alle groepen in dit onderwerp het minste praktische vermogen een verkeerde uitkomst aan te vechten.

Veelvoorkomende faalpatronen

Proxydiscriminatie. Een model sluit een beschermd kenmerk rechtstreeks uit maar leert een gelijkwaardig signaal van een gecorreleerde variabele – postcode, achternaam, werkgeverssector, uitkeringsgeschiedenis – en reproduceert hetzelfde discriminerende patroon dat de uitsluiting moest voorkomen. De kosten zijn een vals gevoel van veiligheid: de organisatie kan naar waarheid zeggen dat de beschermde variabele nooit is gebruikt, terwijl de uitkomst even ongelijk blijft als wanneer dat wel was gebeurd.

Automatiseringsbias bij menselijke toetsing. Een menselijke beoordelaar, formeel verplicht de aanbeveling van een algoritme te controleren, keurt die in de overgrote meerderheid van de gevallen goed omdat oneens zijn meer tijd, meer rechtvaardiging of meer persoonlijk risico kost dan het eens zijn. De kosten zijn dat een controle waarvan de organisatie gelooft dat die fouten vangt, in de praktijk fouten afstempelt, en dit wordt doorgaans pas zichtbaar wanneer iemand het overschrijvingspercentage rechtstreeks meet in plaats van te vertrouwen dat het proces bestaat.

Verklaarbaarheidstheater. Een organisatie geeft een uitleg voor een geautomatiseerde beslissing die specifiek en bevredigend klinkt maar achteraf wordt gegenereerd door een methode die de werkelijke redenering van het model benadert in plaats van onthult. De kosten komen aan het licht wanneer de uitleg onder echte toetsing wordt getest – een beroep, een audit, een juridische betwisting – en blijkt niet overeen te komen met waarom het systeem die specifieke uitkomst werkelijk voortbracht.

Historische bias gereproduceerd via terugkoppelingslussen. Een model getraind op de uitkomsten van eerdere beslissingen – welke buurten werden onderzocht, welke aanvragen werden goedgekeurd – leert en bestendigt vervolgens elk patroon van overmatige controle of ondermaatse dienstverlening dat die eerdere beslissingen vormde, en elke nieuwe ronde beslissingen die het produceert, wordt trainingsgegevens voor de volgende versie, wat het patroon verdiept in plaats van corrigeert. Dit is internationaal gedocumenteerd in meerdere publieke domeinen, waaronder risicogebaseerde politiezorg en uitkeringsfraudescreening, en het onderliggende mechanisme is over die gedocumenteerde gevallen consistent genoeg om het als algemeen risico te behandelen in elk systeem getraind op historische handhavings- of dossiergegevens, ongeacht rechtsgebied.

De verantwoordingskloof, of het “vele handen”-probleem. Wanneer een beslissing loopt via het model van een leverancier, de gegevens van een agentschap, de drempelinstelling van een beleidsteam en de nominale goedkeuring van een casemanager, kan de verantwoordelijkheid voor een verkeerde uitkomst werkelijk onduidelijk worden, zelfs voor de organisatie zelf, waarbij elke partij naar een andere kan wijzen als bron van de fout. De kosten zijn niet alleen dat de getroffen burger geen helder antwoord kan krijgen, maar dat de organisatie de werkelijke oorzaak niet betrouwbaar kan herstellen, omdat er geen enkele verantwoordelijke eigenaar bestaat voor de beslissing als geheel (zie Onderwerp 3.4 — Verantwoording, transparantie en legitimiteit).

Volwassenheidsmodel

Checklist

• Bouw een volledige inventaris van elk systeem dat een beslissing neemt of wezenlijk informeert die de rechten of aanspraken van een persoon raakt, inclusief door leveranciers geleverde instrumenten.
• Classificeer elk systeem in die inventaris naar de inzet van de beslissing die het informeert, met een omschreven risicolaag.
• Bevestig dat elke getroffen persoon een melding in gewone taal ontvangt dat een algoritme bij zijn zaak was betrokken.
• Stel de specifieke uitleg op zaakniveau op die een echte burger in beroep zou ontvangen en toets of zij hem werkelijk zou bevredigen.
• Toets elk systeem met hoge inzet op ongelijke impact aan de hand van werkelijke uitkomsten na inzet, gedisaggregeerd naar relevante kenmerken, niet alleen door te controleren op uitgesloten invoervariabelen.
• Meet het overschrijvingspercentage en de gemiddelde beoordelingstijd van elke human-in-the-loopcontrole en behandel een bijna nul overschrijvingspercentage als bevinding.
• Bevestig dat een genoemde mens, met echte bevoegdheid om de beslissing om te keren, elk beroep toetst.
• Plaats algoritmische audit onder een functie die onafhankelijk is van het team dat het systeem bouwde of exploiteert.
• Bevestig dat trainings- en operationele gegevens voor elk systeem binnen een beheerde, doelgebonden pijplijn blijven.
• Stel een vast hertrainings- en hervalidatieschema vast voor elk ingezet model, in plaats van te wachten tot een klacht een toetsing teweegbrengt.
• Identificeer welke van uw systemen nu geen waarborg tegen volledige automatisering hebben voor de ernstigste en minst omkeerbare beslissingen en corrigeer dat eerst.
• Doorloop de zes bovenstaande gespreksvragen met uw team en leg vast waar het eerlijke antwoord afwijkt van het officiële.

Belangrijkste bronnen

• OECD AI Principles (2019, bijgewerkt 2024) — de eerste intergouvernementele norm voor betrouwbare AI, die inclusieve groei, mensenrechten, transparantie, robuustheid en verantwoording dekt.
• Europese AI-verordening (Verordening (EU) 2024/1689) — het eerste omvattende risicogelaagde wettelijk kader voor AI, dat expliciet publiekesectorgebruik voor geschiktheid, rechtshandhaving en migratie behandelt.
• US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — een kader voor bestuur, gegevens, prestaties en monitoring van AI-verantwoording in de publieke sector.
• Het werk van Danielle Keats Citron over “technological due process”, dat betoogt dat geautomatiseerde systemen procedurele waarborgen vereisen die speciaal zijn gebouwd voor algoritmische en niet voor menselijke besluitvorming.
• Het voor een breed publiek bedoelde werk van Cathy O’Neil, Virginia Eubanks en Frank Pasquale over algoritmische bias, geautomatiseerde uitkeringsadministratie en ondoorzichtige scoresystemen, in dit hele onderwerp aangehaald bij trainingsdatabias en het black-boxprobleem.

Referenties

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp