Gervigreind og reiknirit í ákvarðanatöku hins opinbera

Hvers vegna þetta skiptir máli fyrir almannavirði

Opinberir aðilar hafa alltaf skammtað athygli: málastjóri getur ekki persónulega tekið viðtal við hvern umsækjanda, tollvörður getur ekki skoðað hvern gám, svikateymi getur ekki yfirfarið hverja kröfu. Gervigreind (AI) – hið víða svið þess að byggja kerfi sem vinna verkefni sem venjulega krefjast mannlegrar dómgreindar – og þrengri starfsvenja reiknirita- og sjálfvirkrar ákvarðanatöku (ADM) lofa að skammta þá athygli samkvæmar og í langtum stærri mæli, skora, flagga eða beint úrskurða mál sem mannlegt teymi gæti aldrei að fullu yfirfarið. Viðfangsefni 5.1 fjallar um stafrænu þjónustuafhendingarmynstrin sem þessi geta situr innan (sjá Viðfangsefni 5.1 — Stafræn stjórnsýsla og stafræn umbreyting); þetta viðfangsefni snýst um hvað gerist þegar líkan, frekar en nefndur embættismaður, er að ákveða sumt eða allt.

Loforðið er raunverulegt: vel byggt líkan getur gripið svikamynstur ósýnileg málastjóra, beitt hæfisreglum með fullkomnum samkvæmni yfir milljón kröfur og losað af skornum skammti sérfræðitíma fyrir málin sem raunverulega krefjast dómgreindar. Áhættan er jafn raunveruleg og erfiðari að sjá innan frá skipulagsheildinni sem byggði kerfið. Líkan þjálfað á sögulegum gögnum getur endurskapað og magnað einmitt þá mismunun sem opinber aðili er til að leiðrétta; flókið líkan getur verið svo ógegnsætt að hvorki borgarinn né embættismaðurinn sem treystir á það getur sagt hvers vegna það úrskurðaði það sem það gerði; og ákvörðun sem reiknirit upplýsir þungt getur samt, málsmeðferðarlega, skilið engan fær um að gefa borgaranum ástæðu eða heyra mál hans. Ekkert af þessu er tilgátulegt: eftirlitsaðilar, dómstólar og umboðsmannshliðstæðar stofnanir yfir mörg lögsagnarumdæmi hafa þegar fundið opinber áhættuskorunar- og svikagreiningarkerfi sem flögguðu óhóflega fólk eftir hverfi, innflytjendasögu eða fjölskyldubyggingu, í hverju tilviki því mynstrið sem gerði líkanið nákvæmt rakti líka vernduð eða viðkvæm einkenni.

Almannavirðishagsmunirnir eru því ekki skilvirkni á móti sanngirni sem málamiðlun til að vega einu sinni, heldur hönnunaragi sem verður að viðhalda stöðugt. Borgari sem er neitað um bætur af mannlegum embættismanni getur spurt þann embættismann hvers vegna, og getur áfrýjað til annars manns með stöðuna og valdið til að breyta svarinu – ábyrgðarskyldubúnaðinn sem Viðfangsefni 3.4 lýsir (sjá Viðfangsefni 3.4 — Ábyrgðarskylda, gagnsæi og lögmæti). Borgari sem er neitað um bætur af líkani þarf sama rétt til útskýringar og sömu leið til manns sem getur snúið því við, annars hefur opinber aðili hljóðlega útflutt réttláta málsmeðferðartryggingu sem hann afturkallaði aldrei formlega. Að fá þetta rétt er það sem leyfir opinberum aðila að ná raunverulegum ávinningi reiknirita ákvarðanatöku í samkvæmni og skala án þess að breyta „reikniritið ákvað“ í frasa sem endar ábyrgðarskyldu frekar en að hefja hana.

Lykilhugtök

Sjálfvirk ákvarðanataka (ADM) er notkun gagna, hugbúnaðar og reiknirita til að taka eða efnislega upplýsa ákvarðanir með mismunandi mikið mannlegt eftirlit, sem spannar litróf frá kerfi sem aðeins dregur fram upplýsingar fyrir mann til kerfis sem ákveður og aðhefst án nokkurs manns yfirleitt (sjá automated decision-making). Hvar kerfi situr á því litrófi – ákvörðunarstuðningur, ákvörðunaraukning eða fullkomin sjálfvirkni – ákvarðar hvaða ábyrgðarskyldu- og réttlátrar málsmeðferðarskyldur gilda, sem er ástæða þess að eftirlitsaðilar flokka kerfi í auknum mæli eftir stöðu þeirra á því frekar en eftir undirliggjandi tækni.

Maður í lykkjunni (human-in-the-loop) lýsir fyrirkomulagi þar sem einstaklingur yfirfer eða samþykkir úttak reiknirits áður en það tekur gildi, aðgreint frá manni á lykkjunni (human-on-the-loop – einstaklingur vaktar og getur gripið inn í) eða fullkomlega sjálfvirkri vinnslu án nokkurrar yfirferðar (sjá human-in-the-loop). Raunverulegt mann-í-lykkjunni eftirlit krefst þess að yfirferðaraðilinn hafi tímann, upplýsingarnar og stöðuna til að vera í raun ósammála kerfinu; yfirferðaraðili sem samþykkir nánast hverja reikniritstillögu því að vera ósammála tekur lengri tíma eða ber meiri persónulega áhættu en að vera sammála er ekki að beita eftirliti, jafnvel þótt ferlismyndin sýni mannlegt skref. Þetta mynstur, oft kallað sjálfvirknisskekkja (automation bias), er ein algengasta og minnst sýnilega bilun í viðfangsefni þessa kafla.

Skekkja í reikniritum (algorithmic bias) er kerfisbundin, endurtakanleg tilhneiging tölvukerfis til að framleiða ósanngjarnar niðurstöður – til dæmis að hygla einum hópi umfram annan á vegu sem hönnuðir kerfisins ætluðu hvorki né, oft, tóku eftir (sjá algorithmic bias). Í opinberri stjórnsýslu er ráðandi uppspretta þjálfunargagnaskekkja: líkan þjálfað á sögulegum framfylgdar-, útlána- eða málaskrám lærir mynstrin í þeim skrám, þar á meðal hvers konar sögulegt ofureftirlit, vanþjónusta eða mismununarstarfsvenja sem er bakað í hverjir voru rannsakaðir, samþykktir eða flaggaðir áður. Líkan getur endurskapað þessa niðurstöðu jafnvel þegar viðkvæmu einkenni – kynþætti, fötlun, innflytjendastöðu – er skýrt sleppt úr gögnunum, því fylgniháður staðgengill (póstnúmer, ættarnafn, vaktamynstur, bótasaga) ber sama merki undir öðru nafni; að fjarlægja nefndu breytuna án þess að prófa fyrir staðgenglum hennar er algeng leið sem opinber aðili trúir að hann hafi lagað skekkjuvandamál sem hann hefur alls ekki lagað.

Sanngirni í vélrænu námi (fairness in machine learning) vísar til fjölskyldu tæknilegra og málsmeðferðarlegra nálgana til að mæla og leiðrétta skekkju í reikniritum í sjálfvirkum ákvörðunum (sjá fairness (machine learning)). Raunverulega erfiður eiginleiki þessa sviðs, ekki leysanleg tæknileg neðanmálsgrein, er að nokkrar innsæislega sanngjarnar skilgreiningar á sanngirni – jöfn samþykktarhlutföll yfir hópa, jöfn villuhlutföll yfir hópa og nákvæmni kvörðuð jafnt innan hvers hóps – eru stærðfræðilega ósamrýmanlegar hvenær sem undirliggjandi hópar hafa ólík grunnhlutföll í gögnunum. Opinber aðili getur ekki fullnægt hverri skilgreiningu samtímis; hann getur aðeins valið, skýrt og með ástæðum sem hann er fús til að verja, hvaða skilgreiningu ákvörðunin sem fyrir liggur ætti að fínstilla fyrir, sem er stefnudómgreind klædd sem tæknileg.

Útskýranleiki og svartkassavandinn. Líkan er svartur kassi þegar innri vinnsla þess verður ekki skoðuð eða skilin eingöngu úr inntaki þess og úttaki – satt um mörg afkastamikil vélrænnar náms líkön, þar sem nákvæmni kemur oft einmitt frá flækjustiginu sem gerir þau erfið að túlka. Útskýranleg gervigreind, eða XAI, er sviðið aðferða til að gera röksemdafærslu líkans skoðanlega, frá því að velja eðlislægt túlkanleg líkangerðir fyrir afdrifaríkar ákvarðanir til að búa til útskýringar eftir á sem nálga, frekar en afhjúpa, hvað flókið líkan gerði í raun. Munurinn skiptir lagalega jafn miklu máli og tæknilega: áætluð útskýring sem hljómar sennilega en endurspeglar ekki raunverulega röksemdafærslu líkansins getur fullnægt gagnsæisgátlista um leið og hún bregst borgaranum sem reiðir sig á hana til að véfengja raunverulegan grundvöll ákvörðunar gegn honum.

Réttur til útskýringar er hin umdeilda lagalega meginregla að einstaklingur sem er undir verulegri sjálfvirkri ákvörðun eigi rétt á innihaldsríkri útskýringu á rökfræðinni sem um ræðir, nátengd almennu persónuverndarreglugerð Evrópusambandsins, sem takmarkar ákvarðanir byggðar eingöngu á sjálfvirkri vinnslu sem hafa lagaleg eða svipað veruleg áhrif og gefur hinum skráða rétt til að fá mannlega íhlutun og véfengja ákvörðunina (sjá right to explanation og General Data Protection Regulation). Lögfræðingar deila um hversu sterkur þessi réttur er í raun, og lögsagnarumdæmi utan Evrópusambandsins skortir að mestu sambærilegan lögbundinn rétt, sem er ástæða þess að opinber aðili ætti ekki að líta á „við uppfyllum viðeigandi persónuverndarlög“ sem jafngilt „við getum útskýrt þessa ákvörðun fyrir manneskjunni sem hún snertir“ – fullyrðingarnar tvær eru tengdar en ekki þær sömu, og aðeins sú síðari er það sem réttlát málsmeðferð krefst í raun.

Réttlát málsmeðferð og náttúrulegt réttlæti. Í stjórnsýslurétti hvíla bæði réttlát málsmeðferð (due process) – meginreglan, mest þróuð í stjórnskipunarlögum Bandaríkjanna en endurómuð í sambærilegri mynd yfir mörg réttarkerfi, að ríkið verði að fylgja sanngjörnum málsmeðferðum áður en það sviptir einstakling rétti eða réttindum – og náttúrulegt réttlæti (natural justice) – stjórnsýsluréttarhefð breska samveldisins sem krefst sanngjarnrar yfirheyrslu og frelsis frá hlutdrægni í ákvörðunaraðilanum – á forsendu skrifaðri áður en tölvur voru til: að ákvörðun hafi auðkennanlegan ákvörðunaraðila sem getur gefið ástæður, sem hægt er að sýna fram á að sé laus við vanhæfandi hlutdrægni og sem hægt er að biðja um að endurskoða. Reiknirit reynir á allar þrjár forsendurnar í einu – ástæður kunna að vera tæknilega óaðgengilegar, „hlutdrægnin“ sem um ræðir er tölfræðileg frekar en persónuleg og endurskoðun sama líkans framleiðir sama svar – sem er ástæða þess að réttlát málsmeðferð fyrir reikniritaðar ákvarðanir verður að vera verkfræðilega útfærð skýrt frekar en erfð frá ferlum byggðum fyrir mannlega ákvörðunaraðila.

Áhættubyggð reglusetning gervigreindar. Frekar en að setja reglur um alla gervigreind einsleitt, skiptir vaxandi reglusetningarmynstur – þróað mest til fulls í gervigreindarlögum Evrópusambandsins (Artificial Intelligence Act) – skyldum eftir hagsmunum notkunarinnar, bannar þröngt mengi notkunar alfarið, leggur þyngstu fylgniskyldurnar á „hááhættu“ notkun (sem skýrt felur í sér ákvörðun hæfis í opinberri þjónustu, áhættumat löggæslu og ákvarðanir um flutning fólks) og krefst gagnsæisupplýsinga fyrir lægri áhættu notkun, og skilur lágáhættunotkun að mestu óregluða (sjá Artificial Intelligence Act). Hvert sem reglusetningarmynstrið er í tilteknu lögsagnarumdæmi er undirliggjandi hugmyndin – að stjórnarháttaskyldur ættu að skalast eftir hagsmunum ákvörðunarinnar, ekki fágun tækninnar – gagnleg hönnunarregla jafnvel án beinnar lagaskyldu til að fylgja sértæku kerfi ESB.

Bestu starfsvenjur

1. Flokkaðu sérhvert kerfi eftir hagsmunum ákvörðunarinnar áður en líkanið er valið, ekki eftir. Kerfi sem flaggar mál til mannlegrar yfirferðar ber aðra skyldu en eitt sem neitar bótum alfarið; ákveddu í hvaða þrep notkunartilvik situr, með ramma eins og áhættuflokka gervigreindarlaga ESB sem viðmiðunarpunkt, áður en þú byggir frekar en eftir að gangsetning afhjúpar bilið.
2. Segðu fólki, á einföldu máli, þegar reiknirit tekur þátt í ákvörðun um það. Almenn friðhelgistilkynning grafin í skilmálum og skilyrðum fullnægir þessu ekki; tilkynningin ætti að segja hvað kerfið gerir, hvaða gögn það notar og hvað gerist ef einstaklingurinn er ósammála úttaki þess.
3. Byggðu mann-í-lykkjunni eftirlit sem yfirferðaraðili getur í raun beitt, og mældu hvort þeir gera það. Fylgstu með yfirhnekkingarhlutfalli, meðaltíma á hvert mál og hvort yfirferðaraðilar sem eru ósammála standa frammi fyrir einhverjum núningi sem að vera sammála gerir ekki – ef yfirhnekkingarhlutfallið er nálægt núlli er yfirferðin mjög líklega skraut.
4. Prófaðu fyrir ójöfn áhrif með raunverulegum niðurstöðum, ekki ásetningi þróunaraðila. Fyrir gangsetningu og á föstum endurteknum takti eftir það, mældu niðurstöður líkansins sundurgreindar eftir vernduðum og viðkvæmum einkennum, þar á meðal gegnum líklega staðgengla eins og póstnúmer eða bótasögu, því líkan sem notar aldrei verndaða breytu beint getur samt framleitt skarpt ójafna niðurstöðu.
5. Gefðu sérhverjum sem verður fyrir áhrifum leið til manns sem hefur vald til að snúa við ákvörðun reikniritsins, ekki aðeins útskýra hana. Áfrýjunarrás sem endurtekur röksemdafærslu líkansins án raunverulegs möguleika á afturköllun fullnægir bókstaf réttar til útskýringar um leið og hún sigrar tilgang hans.
6. Kjóstu túlkanlegt líkan fremur en lítillega nákvæmara svartkassalíkan fyrir lagalega afdrifaríkar ákvarðanir. Þar sem nákvæmnibilið milli túlkanlegs líkans og flókins er lítið er túlkanleikaávinningurinn yfirleitt langtum meira virði fyrir borgarann, áfrýjunarfulltrúann og endurskoðandann en jaðarnákvæmnin er fyrir skipulagsheildina.
7. Skjalfestu tilgang hvers kerfis, þjálfunargögn, þekkt takmörk og fyrirhugaða notkun í föstu skrá, og uppfærðu hana þegar eitthvað af því breytist. Líkan sett upp fyrir einn tilgang og hljóðlega endurnýtt fyrir annan – svikaskimun útvíkkuð í almenna hæfisflokkun, til dæmis – hefur yfirleitt skilið upprunalega staðfestingu sína og skekkjuprófun eftir.
8. Haltu þjálfunar- og rekstrargögnum fyrir hááhættulíkan innan stýrðrar, tilgangsbundinnar leiðslu. Að endurnýta gagnasafn safnað fyrir einn stjórnsýslutilgang til að þjálfa líkan fyrir óskyldan tilgang er gagnastjórnarbrestur jafnt og líkanabrestur (sjá Viðfangsefni 5.4 — Gögn hins opinbera, samvirkni og opin gögn).
9. Settu endurskoðun reiknirita undir starfsemi sem skilar ekki skýrslu til teymisins sem byggði eða rekur kerfið. Endurskoðun framkvæmd af eigin þróunaraðilum kerfisins finnur ólík vandamál, og færri, en ein framkvæmd af raunverulega óháðum yfirferðaraðila með stöðuna til að birta óhagstæða niðurstöðu (sjá Viðfangsefni 3.4 — Ábyrgðarskylda, gagnsæi og lögmæti).
10. Keyrðu skuggatímabil áður en þú kveikir á kerfi fyrir raunverulegar ákvarðanir. Berðu tillögur líkansins saman við raunverulegar mannlegar ákvarðanir um sömu mál í skilgreindan tíma áður en það fer að aðhafast, svo kerfisbundið misræmi komi fram áður en borgari verður fyrir áhrifum af því.
11. Áskildu fulla sjálfvirkni, án nokkurrar mannlegrar yfirferðar, fyrir aðeins minnst afdrifaríkar og afturkræfustu ákvarðanir. Því alvarlegri og óafturkræfari sem ákvörðun er – niðurfelling bóta, svikatilvísun sem kveikir sakamálarannsókn, neitun inngöngu – því sterkari rök fyrir að halda manni raunverulega í lykkjunni, hver sem mæld nákvæmni líkansins er.
12. Endurþjálfaðu, endurstaðfestu og endurprófaðu fyrir skekkju á föstum tímaáætlun, ekki aðeins þegar vandamál er tilkynnt. Nákvæmni og sanngirniseiginleikar líkans geta rekið hljóðlega eftir því sem þýðið og heimurinn sem það var þjálfað á breytast, og opinber aðili sem rannsakar aðeins eftir kvörtun hefur þegar leyft rekinu að ganga í hversu langan tíma sem kvörtunin tók að koma fram.

Spurningar til að ræða með teyminu

Hvar í skipulagsheild okkar tekur reiknirit nú eða upplýsir þungt ákvörðun sem hefur áhrif á réttindi, rétt til bóta eða frelsi einstaklings, og gæti sérhver sem verður fyrir áhrifum í raun komist að því að það gerðist? Margar skipulagsheildir uppgötva, þegar þær í raun birgðaskrá kerfi sín, að reikniritadrifin skorun eða flokkun hefur læðst inn á fleiri ákvörðunarpunkta en nokkurt eitt teymi gerði sér grein fyrir, oft kynnt upphaflega sem lágrar hagsmuna skilvirknitæki. Notaðu þessa spurningu til að byggja þá birgðaskrá heiðarlega, þar á meðal kerfi innkeypt frá söluaðila frekar en byggð innanhúss, þar sem innkaup geta hulið hversu mikið keypt tól er í raun að ákveða. Ræðið hvort núverandi tilkynningarstarfsvenjur ykkar myndu leyfa borgara sem verður fyrir áhrifum að uppgötva, án sérþekkingar, að líkan tók þátt í máli hans.

Ef borgari véfengdi formlega eina af sjálfvirkum ákvörðunum okkar á morgun, gætum við gefið honum raunverulega, sértæka ástæðu, eða aðeins lýsingu á ferlinu? Ferlislýsing – „kerfið tók tillit til tekna þinna, heimilisstærðar og greiðslusögu“ – er ekki það sama og útskýring á hvers vegna þessi inntök framleiddu þessa tilteknu niðurstöðu fyrir þessa tilteknu manneskju. Notaðu þessa spurningu til að velja eitt lifandi kerfi og reyna, sem teymi, að skrifa útskýringuna sem raunverulegur borgari fengi ef hann áfrýjaði. Ef æfingin er erfið er sá erfiðleiki sjálfur niðurstaðan.

Vitum við hvort þjálfunargögn okkar endurskapa sögulegt mynstur skekkju, og höfum við prófað það gegn raunverulegum niðurstöðum frekar en gegn ásetningi okkar? Að útiloka verndað einkenni úr gagnasafni er ekki það sama og að útiloka áhrif þess, því fylgniháðir staðgenglar geta borið sama merki undir öðru nafni. Notaðu þessa spurningu til að greina hver kerfa ykkar hafa verið prófuð fyrir ójöfn áhrif með raunverulegum niðurstöðum eftir gangsetningu, sundurgreindum eftir viðeigandi einkennum, frekar en prófuð aðeins fyrir nærveru verndaðrar breytu í inntaksgögnunum. Ræðið hvað það myndi taka að keyra það niðurstöðubyggða próf á hááhættukerfi ykkar ef það hefur ekki þegar verið gert.

Er mann-í-lykkjunni yfirferð okkar raunveruleg athugun, eða stimpill sem við höfum ekki mælt nógu vel til að taka eftir? Mannlegur yfirferðaraðili undir tímapressu, án fulls samhengis eða sem stendur frammi fyrir meiri núningi við að vera ósammála en sammála, mun hneigjast til að samþykkja tillögu reikniritsins óháð gæðum hennar. Notaðu þessa spurningu til að finna raunverulegt yfirhnekkingarhlutfall ykkar fyrir að minnsta kosti eitt kerfi, og ræðið hvað sú tala segir ykkur um hvort yfirferð virkar sem eftirlit eða sem fylgniformsatriði.

Hvað gerist, málsmeðferðarlega, í raun þegar einhver vill áfrýja ákvörðun sem reikniritið okkar tók eða upplýsti þungt – og sér maður með raunverulegt vald til að snúa henni við nokkurn tímann áfrýjunina? Mörg áfrýjunarferli beina borgara aftur gegnum lýsingu á rökfræði líkansins án þess nokkurn tímann að ná til einstaklings sem getur snúið niðurstöðunni við á efnisgrundvelli. Notaðu þessa spurningu til að rekja eina áfrýjun, frá upphafi til enda, fyrir raunverulegt eða raunhæft mál, og greina nákvæmlega punktinn, ef nokkur, þar sem maður með raunverulegt vald til að breyta svarinu tekur þátt.

Hver á áhættuna ef eitt líkana okkar rýrnar eða rekur eftir gangsetningu, og hvernig myndum við í raun vita áður en borgari eða blaðamaður sagði okkur það? Sanngirni og nákvæmni líkans eru ekki föst við gangsetningu; þau geta breyst eftir því sem þýðið, hagkerfið eða aðliggjandi stefna breytist, oft ósýnilega teyminu sem byggði kerfið. Notaðu þessa spurningu til að greina hver ber ábyrgð á vöktun eftir gangsetningu, á hvaða takti og hvað nákvæmlega myndi kveikja endurþjálfun eða hlé. Ef heiðarlega svarið er „enginn fylgist sérstaklega með þessu“, líttu á það sem brýnustu niðurstöðuna sem þessi umræða getur framleitt.

Í reynd: dæmi um almannavirði

Skáldað landsbundið félagslegt tryggingarstofnun byggði áhættuskorunarlíkan til að forgangsraða hvaða atvinnuleysisbótakröfur svikarannsóknarteymi hennar ætti að yfirfara fyrst, eftir ára biðröð sem þýddi að raunveruleg svik sátu órannsökuð mánuðum saman á meðan heiðarlegir umsækjendur biðu eftir óskyldum afgreiðslutöfum. Líkanið var þjálfað á fimm árum af lokuðum rannsóknarskrám, lærði hvaða kröfueinkenni höfðu áður farið á undan staðfestri svikaniðurstöðu, og það stóð sig vel í prófunum: kröfur sem það skoraði sem hááhættu voru staðfestar sviksamlegar á mun hærra hlutfalli en handahófsúrtak, og forysta stofnunarinnar, sem horfði á biðröð sína falla í fyrsta sinn í ár, leit á útfærsluna sem ótvíræðan árangur.

Átján mánuðum síðar tók innri umboðsmannshliðstæð skrifstofa eftir einhverju sem eigin árangursmælaborð svikateymisins hafði ekki dregið fram: umsækjendur sem bjuggu í fáum póstnúmerahverfum, óhóflega tekjulægri og óhóflega nýlegir innflytjendur, voru flaggaðir til rannsóknar á nær þrisvar sinnum hærra hlutfalli en annars sambærilegir umsækjendur annars staðar, og mun hærra hlutfall flaggaðra krafna þeirra var lokað án þess að nokkur svik fyndust. Mynstrið rakti sig til þjálfunargagnanna: sögulegu rannsóknarskrárnar endurspegluðu ár þar sem vettvangsrannsakendur, sem unnu af eigin óformlegum reglum, höfðu einbeitt handvirkum skyndiathugunum í einmitt þeim hverfum, svo líkanið hafði lært að líta á búsetu þar sem forspá um svik, þegar hún var í raun aðeins forspá um að hafa verið athuguð oftar áður. Póstnúmerahverfi hafði aldrei verið inntak í líkanið; það þurfti ekki að vera, því heimilissamsetning, atvinnugeiri vinnuveitanda og greiðslumátasvið fylgdu því nógu náið til að bera sama merki með staðgengli.

Rannsókn stofnunarinnar staðfesti að mynstrið var raunverulegt, og staðfesti líka annað, hljóðlátara vandamál: mannlegu yfirferðaraðilarnir sem áttu að samþykkja mál til fullrar rannsóknar áður en það hélt áfram höfðu samþykkt hæst skoruðu tillögur líkansins í yfirgnæfandi meirihluta tilvika, með yfirferðartíma að meðaltali undir tveimur mínútum á hvert mál – langt frá því að duga til að efast innihaldsríkt um tölfræðilega einkunn, sem þýddi að mann-í-lykkjunni eftirlitið sem forysta hafði bent á sem vörn hafði í raun ekki gripið misræmið sem það var til að grípa. Viðbrögð stofnunarinnar sameinuðu nokkrar bestu starfsvenjur þessa viðfangsefnis í einu: hún endurþjálfaði líkanið með leiðréttingu fyrir sögulega ofureftirlitsmynstrið, lengdi yfirferðartíma og gaf yfirferðaraðilum vald til að loka flaggaðri kröfu án stigmögnunar þegar eigin dómgreind þeirra var ósammála einkunninni, og byggði tilkynningu á einföldu máli og raunverulega áfrýjunarleið til nefnds málafulltrúa fyrir hvern sem krafa var flaggað. Rannsóknarafrakstur á hvern yfirferðartíma féll nokkuð, en hlutfall staðfestra svika meðal flaggaðra krafna frá áður ofurflaggaða hverfunum hækkaði til að passa við restina af málaskránni, sem eigin endurskoðun stofnunarinnar leit á sem raunverulega mælikvarðann á árangur – ekki magn flaggaðra krafna, heldur hvort flögg raktu raunveruleg svik frekar en sögulegt mynstur sem líkanið hafði lært að endurskapa.

Fjögur geirasjónarhorn

Sveitarfélög

Sveitarfélög beita í auknum mæli reikniritadrifnum tólum fyrir ákvarðanir með tafarlausustu og persónulegustu hagsmuni fyrir íbúa – forgangsröðun húsnæðisúthlutunar, áhættuskorun barnaverndar og flokkun á svikum í sveitarfélagsskatti eða bótum – oft án innanhúss gagnavísindagetu til að byggja, staðfesta eða endurskoða þessi kerfi sjálf, sem skilur mörg eftir að treysta á söluaðilabyggð líkön þar sem þjálfunargögn og staðfestingu yfirvaldið getur ekki að fullu skoðað. Þetta skapar sérstakan innkaupaaga: sveitarfélag sem pantar reikniritadrifin kerfi ætti að krefjast, sem samningsskilyrði, sama útskýranleika, skekkjuprófunar og endurskoðunaraðgangs og það myndi krefjast af innanhússbyggingu, því réttlátar málsmeðferðarréttindi íbúa minnka ekki af því að yfirvaldið keypti kerfið frekar en byggði það. Nálægð sveitarfélaga við íbúa þýðir líka að reikniritadrifin mistök eru líklegri til að verða persónulega þekkt í samfélaginu áður en þau verða formleg kvörtun, sem mælir með léttvægri, snemmbúinni staðbundinni yfirferð.

Ríkisvald

Landsstofnanir reka stærstu kerfin í umfangi þessa viðfangsefnis – skattsvikagreiningu, áhættumat innflytjenda, landsbundna bótahæfi – þar sem jafnvel lítið villuhlutfall þýðir mjög stóran algildan fjölda fólks sem verður fyrir áhrifum, og þar sem stofnunin hefur yfirleitt dýpstu tæknilegu og lagalegu getuna til að byggja raunverulegar varnir. Landsstjórnir eru líka yfirleitt stigið þar sem áhættubyggð reglusetning gervigreindar, þar sem hún er til, er skrifuð og framfylgt, sem gefur landsstofnunum skýrustu formlegu skyldurnar og mestu berskjöldunina þegar endurskoðun eða dómstóll finnur að sjálfvirkt kerfi hefur framleitt mismunandi eða óendurskoðanlegar niðurstöður í stórum stíl. Réttlátar málsmeðferðarhagsmunirnir eru hæstir hér í öðrum skilningi líka: innflytjenda- eða löggæsluáhættueinkunn getur haft áhrif á frelsi jafnt og réttindi, sem mælir með íhaldssamasta sjálfvirknistöðunni – minnstu fullri sjálfvirkni og mestri raunverulegri mannlegri yfirferð – einmitt þar sem tæknileg rök fyrir sjálfvirkni eru oft sterkust vegna málafjölda.

Félagageirinn og félagasamtök

Félagasamtök og frjáls félagasamtök (NGO) nota í auknum mæli reikniritadrifin tól til að flokka aðstoðardreifingu, skima skjólstæðinga fyrir hæfi eða forgangsraða málavinnu á nákvæmlega þeim sviðum sem þetta viðfangsefni nær yfir, oft undir raunverulegum auðlindaskorðum sem gera skilvirknirökin fyrir sjálfvirkni raunverulega sannfærandi. Ábyrgðarskyldubyggingin er þó áberandi ólík ríkisvaldi: skjólstæðingar félagasamtaka hafa sjaldan lögbundin áfrýjunarréttindi sem borgari hefur gegn ríkisstofnun, og helsta ábyrgðarskyldusamband skipulagsheildarinnar liggur oft til fjármögnunaraðila hennar frekar en til fólksins sem reikniritið ákveður um, sem er einmitt ábyrgðarskyldubilið sem Viðfangsefni 3.8 — Stjórnun félagageirans og félagasamtaka lýsir fyrir geirann almennt. Félagasamtök sem taka upp reikniritadrifin flokkun ættu því að byggja útskýringar- og áfrýjunarréttindin sem þetta viðfangsefni lýsir sem sjálfviljugan staðal, ekki því eftirlitsaðili krefst þess, heldur því fólkið sem skipulagsheildin þjónar hefur enga aðra leið til þeirra.

Fjölþjóðlegt og alþjóðlegt

Fjölþjóðlegar stofnanir og alþjóðlegar mannúðarstofnanir beita reikniritadrifnum miðunar- og áhættuskorunartólum yfir landamæri og réttarkerfi, oft í kreppuaðstæðum þar sem hraðaávinningur sjálfvirkni er bráðastur og tiltæk gögn eru síst áreiðanleg – ófullkomin skráningargögn, gögn safnað fyrir eina kreppu og endurnýtt fyrir aðra og þýði með takmarkaða getu til að véfengja skorunarákvörðun sem ákvarðar hvort þau fá aðstoð. Engin ein landsbundin réttlát-málsmeðferðarlög né réttur-til-útskýringar kerfi gilda einsleitt yfir starfsemi fjölþjóðlegrar stofnunar, svo varnirnar sem þetta viðfangsefni lýsir verða að vera byggðar inn í eigin rekstrarstaðla skipulagsheildarinnar frekar en erfðar frá framfylgjanlegum ytri lagaramma, sem endurómar fulltrúa- og ábyrgðarskyldubilið sem Viðfangsefni 3.4 greinir fyrir fjölþjóðlegar stofnanir almennt (sjá Viðfangsefni 3.4 — Ábyrgðarskylda, gagnsæi og lögmæti). Hagsmunirnir eru líka alvarlegir hér, þar sem reikniritadrifin ákvörðun getur ákvarðað aðgang að mat, skjóli eða hælisafgreiðslu fyrir fólk með minnstu hagnýtu getuna af nokkrum hópi í þessu viðfangsefni til að áfrýja röngri niðurstöðu.

Algeng mistök

Mismunun með staðgengli. Líkan útilokar verndað einkenni beint en lærir jafngilt merki af fylgniháðri breytu – póstnúmeri, ættarnafni, atvinnugeira, bótasögu – og endurskapar sama mismununarmynstur og útilokunin átti að koma í veg fyrir. Kostnaðurinn er fölsk öryggistilfinning: skipulagsheildin getur sagt með sanni að verndaða breytan hafi aldrei verið notuð, á meðan niðurstaðan er jafn ójöfn og hún hefði verið ef hún hefði verið það.

Sjálfvirknisskekkja í mannlegri yfirferð. Mannlegur yfirferðaraðili, formlega skyldugur til að athuga tillögu reiknirits, samþykkir hana í yfirgnæfandi meirihluta tilvika því að vera ósammála tekur meiri tíma, meiri rökstuðning eða meiri persónulega áhættu en að vera sammála. Kostnaðurinn er að eftirlit sem skipulagsheildin trúir að sé að grípa villur er, í reynd, að stimpla þær, og þetta verður yfirleitt sýnilegt aðeins þegar einhver mælir yfirhnekkingarhlutfallið beint frekar en að treysta á að ferlið sé til.

Útskýringarleikhús. Skipulagsheild veitir útskýringu á sjálfvirkri ákvörðun sem hljómar sértæk og fullnægjandi en er framleidd eftir á með aðferð sem nálgar, frekar en afhjúpar, raunverulega röksemdafærslu líkansins. Kostnaðurinn kemur fram þegar útskýringin er prófuð undir raunverulegri rýni – áfrýjun, endurskoðun, lagaleg áskorun – og reynist ekki svara til þess hvers vegna kerfið framleiddi þetta tiltekna úttak í raun.

Söguleg skekkja endurskapuð gegnum endurgjafarlykkjur. Líkan þjálfað á niðurstöðum fyrri ákvarðana – hvaða hverfi voru rannsökuð, hvaða umsóknir samþykktar – lærir og viðheldur síðan hvaða mynstri ofureftirlits eða vanþjónustu sem mótaði þær fyrri ákvarðanir, og hver ný lota ákvarðana sem það framleiðir verður þjálfunargögn næstu útgáfu, sem dýpkar mynstrið frekar en að leiðrétta það. Þetta hefur verið skjalfest yfir mörg opinber svið á alþjóðavísu, þar á meðal áhættubyggða löggæslu og velferðarsvikaskimun, og undirliggjandi mekanismi er samkvæmur nóg yfir þau skjalfestu tilvik til að meðhöndla sem almenna áhættu í hverju kerfi þjálfuðu á sögulegum framfylgdar- eða málagögnum, óháð lögsagnarumdæmi.

Ábyrgðarskyldubilið, eða „mörg hendur“ vandamálið. Þegar ákvörðun fer gegnum líkan söluaðila, gögn stofnunar, þröskuldsetningu stefnuteymis og nafnlega undirskrift málastjóra getur ábyrgð á röngu niðurstöðu endað raunverulega óljós jafnvel skipulagsheildinni sjálfri, með hverjum aðila fær um að benda á annan sem uppsprettu villunnar. Kostnaðurinn er ekki aðeins að borgarinn sem verður fyrir áhrifum getur ekki fengið skýrt svar, heldur að skipulagsheildin getur ekki áreiðanlega lagað raunverulega orsökina, því enginn einn ábyrgur eigandi er til fyrir ákvörðunina í heild (sjá Viðfangsefni 3.4 — Ábyrgðarskylda, gagnsæi og lögmæti).

Þroskalíkan

Gátlisti

• Byggðu fulla birgðaskrá yfir sérhvert kerfi sem tekur eða efnislega upplýsir ákvörðun sem hefur áhrif á réttindi eða rétt til bóta einstaklings, þar á meðal söluaðilatól.
• Flokkaðu hvert kerfi í þeirri birgðaskrá eftir hagsmunum ákvörðunarinnar sem það upplýsir, með skilgreindu áhættuþrepi.
• Staðfestu að sérhver sem verður fyrir áhrifum fái tilkynningu á einföldu máli um að reiknirit hafi tekið þátt í máli hans.
• Semdu sértæku, mál-stigs útskýringuna sem raunverulegur borgari fengi á áfrýjun, og prófaðu hvort hún myndi í raun fullnægja honum.
• Prófaðu hvert hááhættukerfi fyrir ójöfn áhrif með raunverulegum niðurstöðum eftir gangsetningu, sundurgreindum eftir viðeigandi einkennum, ekki aðeins með því að athuga útilokaðar inntaksbreytur.
• Mældu yfirhnekkingarhlutfall og meðalyfirferðartíma fyrir hvert mann-í-lykkjunni eftirlit, og líttu á nánast núll yfirhnekkingarhlutfall sem niðurstöðu.
• Staðfestu að nefndur maður, með raunverulegt vald til að snúa ákvörðuninni við, yfirfer hverja áfrýjun.
• Settu endurskoðun reiknirita undir starfsemi óháða teyminu sem byggði eða rekur kerfið.
• Staðfestu að þjálfunar- og rekstrargögn fyrir hvert kerfi haldist innan stýrðrar, tilgangsbundinnar leiðslu.
• Settu fasta endurþjálfunar- og endurstaðfestingaráætlun fyrir hvert sett upp líkan, frekar en að bíða eftir kvörtun til að kalla fram yfirferð.
• Greindu hver kerfa þinna hafa nú enga fulla sjálfvirknivörn fyrir alvarlegustu og óafturkræfustu ákvarðanir, og leiðréttu það fyrst.
• Keyrðu sex umræðuspurningarnar hér að ofan með teymi þínu og skráðu hvar heiðarlega svarið víkur frá því opinbera.

Helstu heimildir

• OECD AI Principles (2019, uppfærð 2024) — fyrsti milliríkjastaðallinn fyrir áreiðanlega gervigreind, sem nær yfir inngildandi vöxt, mannréttindi, gagnsæi, styrk og ábyrgðarskyldu.
• Gervigreindarlög Evrópusambandsins (European Union Artificial Intelligence Act, reglugerð (ESB) 2024/1689) — fyrsti yfirgripsmikli áhættuþrepaði lagaramminn fyrir gervigreind, sem tekur skýrt á hæfi í opinberri þjónustu, löggæslu og flutningi fólks.
• Government Accountability Office Bandaríkjanna, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — stjórnarhátta-, gagna-, frammistöðu- og vöktunarrammi fyrir ábyrgðarskyldu gervigreindar í opinbera geiranum.
• Fræðirit Danielle Keats Citron um „tæknilega réttláta málsmeðferð“ (technological due process), sem heldur því fram að sjálfvirk kerfi krefjist málsmeðferðarvarna smíðaðra sérstaklega fyrir reikniritadrifin, frekar en mannlega, ákvarðanatöku.
• Opinber fræðirit Cathy O'Neil, Virginia Eubanks og Frank Pasquale um skekkju í reikniritum, sjálfvirka velferðarstjórnsýslu og ógegnsæ skorunarkerfi, vitnað í í gegnum umfjöllun þessa viðfangsefnis um þjálfunargagnaskekkju og svartkassavandann.

Tilvísanir

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp