Tehisintellekt ja algoritmiline otsustamine avalikus sektoris

Miks see avaliku väärtuse jaoks oluline on

Avalikud organid on alati pidanud tähelepanu normeerima: juhtumikorraldaja ei saa isiklikult intervjueerida iga taotlejat, tolliametnik ei saa kontrollida iga konteinerit, pettuste meeskond ei saa üle vaadata iga nõuet. Tehisintellekt (TI) – lai valdkond, mille eesmärk on ehitada süsteeme, mis täidavad ülesandeid, mis tavaliselt nõuavad inimeste otsustusvõimet – ja algoritmilise ning automatiseeritud otsustamise (AOT) kitsam praktika lubavad seda tähelepanu normeerida järjepidevamalt ja palju suuremas mastaabis, hinnates, märgistades või otse otsustades juhtumeid, mida inimmeeskond ei saaks kunagi täielikult üle vaadata. Teema 5.1 katab digitaalse teenuse osutamise mustrid, mille sees see suutlikkus asub (vt Teema 5.1 — Digitaalne valitsemine ja digitaalne ümberkujundamine); see teema käsitleb seda, mis juhtub, kui mudel, mitte nimetatud ametnik, teeb osa otsustest või kõik.

Lubadus on tõeline: hästi ehitatud mudel suudab tabada pettusemustreid, mis on juhtumikorraldajale nähtamatud, rakendada kõlblikkusreegleid täiusliku järjepidevusega miljoni nõude üle ja vabastada napp eksperdiaeg juhtumiteks, mis tõesti otsustusvõimet nõuavad. Risk on sama tõeline ja seda on raskem näha organisatsiooni seest, mis süsteemi ehitas. Ajaloolistel andmetel treenitud mudel võib taastoota ja võimendada just seda diskrimineerimist, mida avalik organ on olemas parandamiseks; keerukas mudel võib olla nii läbipaistmatu, et ei kodanik ega sellele tuginev ametnik ei suuda öelda, miks see otsustas nii nagu ta otsustas; ja otsus, mida algoritm tugevalt teavitab, võib siiski protseduuriliselt jätta kedagi, kes ei suuda kodanikule põhjust anda ega tema juhtumit ära kuulata. Mitte miski sellest ei ole hüpoteetiline: regulaatorid, kohtud ja ombudsmani sarnased organid mitmes jurisdiktsioonis on juba leidnud avaliku sektori riskihindamis- ja pettuseavastamissüsteeme, mis märgistasid ebaproportsionaalselt inimesi naabruskonna, sisserändeajaloo või perekonnastruktuuri põhjal, igal juhul seetõttu, et muster, mis tegi mudeli täpseks, jälgis samuti kaitstud või tundlikku tunnust.

Avaliku väärtuse panus ei ole seega tõhusus versus õiglus kui kompromiss, mis tuleb korra tasakaalustada, vaid kavandamisdistsipliin, mida tuleb pidevalt hoida. Kodanik, kellelt inimametnik toetuse keeldus, saab temalt küsida miks ja saab edasi kaevata teisele inimesele, kellel on seisus ja võim vastust muuta – vastutusmehhanism, mida teema 3.4 kirjeldab (vt Teema 3.4 — Vastutus, läbipaistvus ja legitiimsus). Kodanik, kellelt mudel toetuse keeldus, vajab sama õigust selgitusele ja sama teed inimeseni, kes saab selle tühistada, vastasel juhul on avalik organ vaikselt eksportinud nõuetekohase menetluse garantii, mida ta ei ole kunagi ametlikult tagasi võtnud. Selle õigeks tegemine on see, mis laseb avalikul organil haarata algoritmilise otsustamise tõelisi võite järjepidevuses ja mastaabis, muutmata „algoritm otsustas" fraasiks, mis lõpetab vastutuse, mitte ei alusta seda.

Põhimõisted

Automatiseeritud otsustamine (AOT) on andmete, tarkvara ja algoritmide kasutamine otsuste tegemiseks või oluliseks teavitamiseks erineva inimjärelevalve astmega, ulatudes süsteemist, mis lihtsalt tõstab inimesele teavet esile, kuni süsteemini, mis otsustab ja tegutseb üldse ilma inimese osaluseta (vt automatiseeritud otsustamine). See, kuhu süsteem sellel spektril asub – otsustustugi, otsustuse täiendamine või täisautomatiseerimine –, määrab, millised vastutuse ja nõuetekohase menetluse kohustused kehtivad, mistõttu regulaatorid klassifitseerivad süsteeme üha enam nende asukoha järgi sellel, mitte aluseks oleva tehnoloogia järgi.

Inimene silmuses (human-in-the-loop) kirjeldab korraldust, kus isik vaatab algoritmi väljundi üle või kiidab selle heaks enne selle jõustumist, vastandina inimesele silmuse peal (human-on-the-loop) (isik jälgib ja saab sekkuda) või täielikult automatiseeritud töötlusele ilma ülevaatuseta üldse (vt inimene silmuses). Tõeline inimene-silmuses kontroll nõuab, et ülevaataval isikul on aega, teavet ja seisu süsteemiga tegelikult mitte nõustuda; ülevaataja, kes kiidab heaks peaaegu kõik algoritmi soovitused, sest mittenõustumine võtab kauem aega või kannab suuremat isiklikku riski kui nõustumine, ei teosta järelevalvet, kuigi protsessidiagramm näitab inimsammu. See muster, mida nimetatakse sageli automatiseerimiskallutatuseks, on üks selle teema aine kõige levinumaid ja vähim nähtavaid ebaõnnestumisi.

Algoritmiline kallutatus on arvutisüsteemi süstemaatiline, korduv kalduvus tekitada ebaõiglasi tulemusi – näiteks eelistada ühte rühma teisele viisil, mida süsteemi kavandajad ei kavatsenud ega sageli märganudki (vt algoritmiline kallutatus). Avalikus halduses on domineeriv allikas treeningandmete kallutatus: ajaloolistel jõustamis-, laenu- või juhtumikorralduse kirjetel treenitud mudel õpib nendes kirjetes olevaid mustreid, sealhulgas mis tahes ajaloolist ülepolitseerimist, alateenindust või diskrimineerivat praktikat, mis on sisse ehitatud sellesse, keda uuriti, kiideti heaks või märgistati minevikus. Mudel võib selle tulemuse taastoota isegi siis, kui tundlik tunnus – rass, puue, rändestaatus – on andmetest selgesõnaliselt välja jäetud, sest korreleeruv asendaja (postiindeks, perekonnanimi, vahetuse muster, toetuste ajalugu) kannab sama signaali teise nime all; nimetatud muutuja eemaldamine ilma selle asendajate testimiseta on levinud viis, kuidas avalik organ usub, et ta on parandanud kallutatuse probleemi, mida ta ei ole üldse parandanud.

Õiglus masinõppes viitab tehniliste ja protseduuriliste lähenemiste perekonnale algoritmilise kallutatuse mõõtmiseks ja parandamiseks automatiseeritud otsustes (vt õiglus (masinõpe)). Selle valdkonna tõeliselt raske omadus, mitte lahendatav tehniline joonealune märkus, on see, et mitu intuitiivselt mõistlikku õigluse määratlust – võrdsed heakskiitmismäärad rühmade vahel, võrdsed veamäärad rühmade vahel ja täpsus, mis on igas rühmas võrdselt kalibreeritud – on matemaatiliselt kokkusobimatud, kui aluseks olevatel rühmadel on andmetes erinevad baasmäärad. Avalik organ ei saa rahuldada kõiki määratlusi samal ajal; ta saab ainult valida, selgesõnaliselt ja põhjendustega, mida ta on valmis kaitsma, millist määratlust käesolev otsus optimeerima peaks, mis on poliitiline hinnang, riietatud tehniliseks.

Seletatavus ja musta kasti probleem. Mudel on must kast, kui selle sisemist tööd ei saa ainult sisendite ja väljundite põhjal kontrollida ega mõista – see kehtib paljude kõrge tulemuslikkusega masinõppe mudelite kohta, mille täpsus tuleb sageli täpselt keerukusest, mis teeb neid raskesti tõlgendatavaks. Seletatav tehisintellekt ehk XAI on meetodite valdkond mudeli arutluse kontrollitavaks tegemiseks, ulatudes olemuslikult tõlgendatavate mudelitüüpide valimisest tagajärgedega otsuste jaoks kuni tagantjärele selgituste genereerimiseni, mis lähendavad, mitte ei paljasta, mida keerukas mudel tegelikult tegi. Erinevus loeb õiguslikult sama palju kui tehniliselt: ligikaudne selgitus, mis kõlab usutavalt, kuid ei kajasta mudeli tegelikku arutlust, võib rahuldada läbipaistvuse kontrollnimekirja, ebaõnnestudes samas kodaniku ees, kes sellele tugineb, et vaidlustada otsuse tegelikku alust enda vastu.

Õigus selgitusele on vaidlustatud õiguspõhimõte, et isikul, kelle suhtes on tehtud oluline automatiseeritud otsus, on õigus tähenduslikule selgitusele kaasatud loogika kohta, kõige tihedamalt seotud Euroopa Liidu isikuandmete kaitse üldmäärusega, mis piirab otsuseid, mis põhinevad ainult automatiseeritud töötlusel ja millel on õiguslikud või sarnaselt olulised mõjud, ning annab subjektile õigused saada inimsekkumist ja otsust vaidlustada (vt õigus selgitusele ja isikuandmete kaitse üldmäärus). Õigusteadlased vaidlevad, kui tugev see õigus praktikas tegelikult on, ning Euroopa Liidust väljaspool asuvatel jurisdiktsioonidel puudub suuresti samaväärne seadusjärgne õigus, mistõttu ei tohiks avalik organ käsitleda „me vastame asjakohasele andmekaitseseadusele" samaväärsena „me suudame seda otsust isikule, keda see mõjutab, selgitada" – kaks väidet on seotud, kuid mitte samad, ja ainult teine on see, mida nõuetekohane menetlus tegelikult nõuab.

Nõuetekohane menetlus ja loomulik õiglus. Haldusõiguses toetuvad nõuetekohane menetlus – põhimõte, mis on kõige enam välja töötatud Ameerika Ühendriikide põhiseaduses, kuid kajastub võrreldavas vormis paljudes õigussüsteemides, et riik peab järgima õiglasi menetlusi enne isikult õiguse või õigustuse äravõtmist – ja loomulik õiglus – Rahvaste Ühenduse haldusõiguse traditsioon, mis nõuab õiglast ärakuulamist ja otsustaja eelarvamusest vabadust – mõlemad eeldusele, mis kirjutati enne arvutite olemasolu: et otsusel on tuvastatav otsustaja, kes saab põhjendusi anda, kelle kohta saab näidata, et ta on vaba kvalifitseerivast eelarvamusest, ja keda saab paluda uuesti kaaluda. Algoritm paneb kõik kolm eeldust korraga proovile – põhjendused võivad olla tehniliselt kättesaamatud, kõnealune „eelarvamus" on statistiline, mitte isiklik, ja sama mudeli poolt ümberkaalumine annab sama vastuse –, mistõttu tuleb algoritmiliste otsuste nõuetekohane menetlus selgesõnaliselt välja ehitada, mitte pärida inimotsustajate jaoks ehitatud menetlustest.

Riskipõhine TI reguleerimine. Selle asemel et reguleerida kogu TI-d ühtlaselt, jaotab tärkav regulatiivne muster – kõige täielikumalt välja töötatud Euroopa Liidu tehisintellekti määruses – kohustused rakenduse panuste järgi, keelates kitsa hulga kasutusi täielikult, kehtestades kõige raskemad vastavuskohustused „kõrge riskiga" kasutustele (mis hõlmavad selgesõnaliselt avaliku sektori kõlblikkuse määramist, õiguskaitse riskihindamist ja rändeotsuseid), nõudes läbipaistvuse avalikustamist madalama riski kasutuste jaoks ja jättes minimaalse riskiga kasutused suuresti reguleerimata (vt tehisintellekti määrus). Olenemata konkreetse jurisdiktsiooni regulatiivsest mustrist on aluseks olev idee – et juhtimiskohustused peaksid skaleeruma otsuse panuste, mitte tehnoloogia keerukuse järgi – kasulik kavandamispõhimõte ka ilma otsese õigusliku kohustuseta ELi konkreetset režiimi järgida.

Parimad tavad

1. Klassifitseerige iga süsteem otsuse panuste järgi enne mudeli valimist, mitte pärast. Süsteem, mis märgistab juhtumi inimülevaatuseks, kannab teistsugust kohustust kui see, mis toetuse otse keeldub; otsustage, millisesse astmesse kasutusjuhtum kuulub, kasutades viitepunktina raamistikku nagu ELi TI-määruse riskikategooriad, enne ehitamist, mitte pärast seda, kui kasutuselevõtt lünga paljastab.
2. Öelge inimestele lihtsas keeles, kui nende kohta tehtavas otsuses on algoritm kaasatud. Üldine privaatsusteade, mis on maetud tingimustesse, seda ei rahulda; teade peaks ütlema, mida süsteem teeb, milliseid andmeid see kasutab ja mis juhtub, kui isik selle väljundiga ei nõustu.
3. Ehitage inimene-silmuses kontroll, mida ülevaataja saab tegelikult teostada, ja mõõtke, kas ta seda teeb. Jälgige tühistamismäära, keskmist juhtumi kohta kulutatud aega ja seda, kas ülevaatajad, kes mudeliga ei nõustu, seisavad silmitsi hõõrdumisega, mida nõustumine ei tekita – kui tühistamismäär on nullilähedane, on ülevaatus väga tõenäoliselt dekoratiivne.
4. Testige ebaproportsionaalset mõju tegelike tulemustega, mitte arendajate kavatsustega. Enne kasutuselevõttu ja kindlal korduval sagedusel pärast seda mõõtke mudeli tulemusi, eristatuna kaitstud ja tundlike tunnuste lõikes, sealhulgas tõenäoliste asendajate, nagu postiindeks või toetuste ajalugu, kaudu, sest mudel, mis kunagi ei kasuta kaitstud muutujat otse, võib siiski anda järsult ebavõrdse tulemuse.
5. Andke igale mõjutatud isikule tee inimeseni, kellel on võim algoritmi otsus tühistada, mitte ainult seda selgitada. Edasikaebuse kanal, mis kordab mudeli arutlust ilma tõelise tühistamisvõimaluseta, rahuldab õiguse selgitusele kirjatähte, nurjates selle eesmärgi.
6. Eelistage tõlgendatavat mudelit marginaalselt täpsemale mustale kastile õiguslikult tagajärgedega otsuste jaoks. Kus täpsuse lõhe tõlgendatava ja keerukate mudelite vahel on väike, on tõlgendatavuse kasu tavaliselt palju väärt rohkem kodanikule, edasikaebuse ametnikule ja audiitorile, kui marginaalne täpsus on väärt organisatsioonile.
7. Dokumenteerige iga süsteemi eesmärk, treeningandmed, teadaolevad piirangud ja ettenähtud kasutus püsivas kirjes ning uuendage seda, kui mõni neist muutub. Mudel, mis on kasutusele võetud ühe eesmärgi jaoks ja vaikselt teisele ümber suunatud – näiteks pettuse sõelumine laiendatuna üldisele kõlblikkuse triaažile –, on tavaliselt jätnud oma algse valideerimise ja kallutatuse testimise selja taha.
8. Hoidke kõrge panusega mudeli treening- ja tööandmeid juhitud, otstarbega piiratud torujuhtmes. Ühe haldusotstarbe jaoks kogutud andmekogumi taaskasutamine mudeli treenimiseks mitteseotud otstarbeks on andmejuhtimise ebaõnnestumine sama palju kui modelleerimise oma (vt Teema 5.4 — Andmed, koostalitlusvõime ja avaandmed avalikus sektoris).
9. Asetage algoritmiline audit funktsiooni alla, mis ei allu meeskonnale, kes süsteemi ehitas või käitab. Süsteemi enda arendajate läbi viidud audit leiab erinevaid probleeme ja vähem neid kui tõeliselt sõltumatu ülevaataja oma, kellel on seisus avaldada ebasoodne leid (vt Teema 3.4 — Vastutus, läbipaistvus ja legitiimsus).
10. Viige läbi varjuperiood enne süsteemi sisselülitamist tegelike otsuste jaoks. Võrrelge mudeli soovitusi tegelike inimotsustega samade juhtumite kohta määratletud perioodi jooksul, enne kui see hakkab tegutsema, nii et mis tahes süstemaatiline lahknevus ilmneb enne, kui kodanikku see mõjutab.
11. Reserveerige täisautomatiseerimine, ilma igasuguse inimülevaatuseta, ainult kõige vähem tagajärgedega ja kõige pööratavamate otsuste jaoks. Mida tõsisem ja vähem pööratav otsus on – toetuse lõpetamine, pettuse suunamine, mis käivitab kriminaaluurimise, sissesõidu keeldumine –, seda tugevam on juhtum hoida inimene tõeliselt silmuses, olenemata mudeli mõõdetud täpsusest.
12. Treenige uuesti, valideerige uuesti ja testige kallutatust uuesti kindla ajakava järgi, mitte ainult siis, kui probleemist teatatakse. Mudeli täpsuse ja õigluse omadused võivad vaikselt triivida, kui elanikkond ja maailm, mille peal see treeniti, muutuvad, ning avalik organ, kes uurib alles pärast kaebust, on lasknud triivil joosta nii kaua, kui kaebusel pinnale tulemine võttis.

Küsimused arutamiseks oma meeskonnaga

Kus meie organisatsioonis teeb või tugevalt teavitab algoritm otsust, mis mõjutab isiku õigusi, õigustusi või vabadust, ja kas iga mõjutatud isik saaks tegelikult teada, et see juhtus? Paljud organisatsioonid avastavad, kui nad oma süsteemid tegelikult inventeerivad, et algoritmiline hindamine või triaaž on hiilinud rohkematesse otsustuspunktidesse, kui ükski üksik meeskond mõistis, sageli algselt tutvustatuna madala panusega tõhususvahendina. Kasutage seda küsimust, et ehitada see inventuur ausalt, sealhulgas tarnijalt hangitud, mitte sisemiselt ehitatud süsteemid, kuna hange võib varjata, kui palju ostetud tööriist tegelikult otsustab. Arutage, kas teie praegused teavitustavad laseksid mõjutatud kodanikul, ilma eriteadmisteta, avastada, et mudel oli tema juhtumis kaasatud.

Kui kodanik vaidlustaks homme ametlikult ühe meie automatiseeritud otsuse, kas me suudaksime talle anda tõelise, konkreetse põhjuse, või ainult protsessi kirjelduse? Protsessi kirjeldus – „süsteem kaalus teie sissetulekut, leibkonna suurust ja maksete ajalugu" – ei ole sama mis selgitus, miks need sisendid tootsid selle konkreetse tulemuse selle konkreetse isiku jaoks. Kasutage seda küsimust, et valida üks elav süsteem ja proovida meeskonnana kirjutada selgitus, mille tõeline kodanik edasikaebuse korral saaks. Kui harjutus on raske, on see raskus ise leid.

Kas me teame, kas meie treeningandmed taastoodavad ajaloolist kallutatuse mustrit, ja kas me oleme seda testinud tegelike tulemuste, mitte oma kavatsuste vastu? Kaitstud tunnuse andmekogumist välja jätmine ei ole sama mis selle mõju välja jätmine, sest korreleeruvad asendajad võivad kanda sama signaali teise nime all. Kasutage seda küsimust, et tuvastada, millised teie süsteemidest on testitud ebaproportsionaalse mõju osas, kasutades tegelikke kasutuselevõtujärgseid tulemusi, eristatuna asjakohaste tunnuste lõikes, mitte testitud ainult kaitstud muutuja olemasolu osas sisendandmetes. Arutage, mida oleks vaja selle tulemuspõhise testi läbiviimiseks teie kõige kõrgema panusega süsteemil, kui see pole juba tehtud.

Kas meie inimene-silmuses ülevaatus on tõeline kontroll või kummitempel, mida me ei ole piisavalt tähelepanelikult mõõtnud märkamaks? Inimülevaataja ajasurve all, ilma täieliku kontekstita või seistes silmitsi suurema hõõrdumisega mittenõustumise kui nõustumise puhul kaldub heaks kiitma algoritmi soovitust olenemata selle kvaliteedist. Kasutage seda küsimust, et leida oma tegelik tühistamismäär vähemalt ühe süsteemi jaoks, ja arutage, mida see arv ütleb selle kohta, kas ülevaatus toimib kontrollina või vastavusformaalsusena.

Mis tegelikult juhtub protseduuriliselt, kui keegi tahab edasi kaevata otsust, mille meie algoritm tegi või tugevalt teavitas – ja kas inimene, kellel on tõeline võim see tühistada, seda edasikaebust kunagi näeb? Paljud edasikaebuse protsessid suunavad kodaniku tagasi läbi mudeli loogika kirjelduse, jõudmata kunagi isikuni, kes saab tulemuse sisuliselt tühistada. Kasutage seda küsimust, et jälgida üht edasikaebust otsast lõpuni tõelise või realistliku juhtumi puhul ja tuvastada täpne punkt, kui üldse, kus inimene, kellel on tõeline volitus vastust muuta, on kaasatud.

Kes omab riski, kui üks meie mudelitest halveneb või triivib pärast kasutuselevõttu, ja kuidas me tegelikult teaksime enne, kui kodanik või ajakirjanik meile ütleks? Mudeli õigluse ja täpsuse omadused ei ole käivitamisel fikseeritud; need võivad nihkuda, kui elanikkond, majandus või kõrvalpoliitika muutub, sageli nähtamatult meeskonnale, kes süsteemi ehitas. Kasutage seda küsimust, et tuvastada, kes vastutab kasutuselevõtujärgse jälgimise eest, millise sagedusega ja mis täpselt käivitaks ümberõppe või peatamise. Kui aus vastus on „keegi ei jälgi seda spetsiaalselt", käsitlege seda kõige pakilisema leiuna, mida see arutelu saab tekitada.

Praktikas: avaliku väärtuse näide

Väljamõeldud riiklik sotsiaalkindlustusamet ehitas riskihindamismudeli, et prioriseerida, milliseid töötutoetuse nõudeid selle pettuseuurimismeeskond peaks esmalt üle vaatama, pärast aastaid mahajäämust, mis tähendas, et tõeline pettus jäi kuudeks uurimata, samal ajal kui ausad taotlejad ootasid mitteseotud töötlusviivituste tõttu. Mudelit treeniti viie aasta suletud uurimistoimikute peal, õppides, millised nõude tunnused olid ajalooliselt eelnenud kinnitatud pettuseleiule, ja see toimis testimisel hästi: nõuded, mille see hindas kõrge riskiga, kinnitati pettuslikuks palju kõrgema määraga kui juhuslik valim, ning ameti juhtkond, vaadates oma mahajäämuse esimest korda aastate jooksul langemas, käsitles kasutuselevõttu ühemõttelise edukäiguna.

Kaheksateist kuud hiljem märkas sisemine ombudsmani sarnane amet midagi, mida pettuse meeskonna enda tulemuste armatuurlaud ei olnud esile toonud: taotlejad, kes elasid väikeses arvus postipiirkondades, ebaproportsionaalselt madalama sissetulekuga ja ebaproportsionaalselt hiljutised sisserändajad, märgistati uurimiseks peaaegu kolm korda sagedamini kui muidu sarnased taotlejad mujal, ning palju suurem osa nende märgistatud nõuetest suleti ilma pettust leidmata. Muster ulatus tagasi treeningandmeteni: ajaloolised uurimistoimikud kajastasid aastaid, mil väliuurijad, töötades oma mitteametlike heuristikate põhjal, olid koondanud käsitsi kontrollid täpselt nendesse piirkondadesse, nii et mudel oli õppinud käsitlema seal elamist pettuse ennustajana, kui see oli tegelikult ennustaja ainult selle kohta, et minevikus kontrolliti seal sagedamini. Postipiirkond ei olnud kunagi mudeli sisend; see ei pidanudki olema, sest leibkonna koosseis, tööandja sektor ja makseviisi väljad korreleerusid sellega piisavalt tihedalt, et kanda sama signaali asendajana.

Ameti uurimine kinnitas, et muster oli tõeline, ja kinnitas ka teist, vaiksemat probleemi: inimülevaatajad, kes pidid juhtumi täielikuks uurimiseks heaks kiitma enne edasiliikumist, olid kiitnud heaks mudeli kõrgeima hindega soovitusi ülekaalukas enamuses juhtumitest, keskmiste ülevaatusaegadega alla kahe minuti juhtumi kohta – kaugelt mitte piisavalt, et statistilist skoori tähenduslikult kahtluse alla seada, mis tähendas, et inimene-silmuses kontroll, millele juhtkond oli kaitsemeetmena osutanud, ei olnud tegelikult tabanud erinevust, mida see pidi tabama. Ameti vastus ühendas korraga mitu selle teema parimat tava: see õpetas mudeli uuesti ajaloolise ülepolitseerimise mustri parandusega, pikendas ülevaatusaega ja andis ülevaatajatele volituse sulgeda märgistatud juhtum ilma eskaleerimiseta, kui nende enda otsustus skooriga ei nõustunud, ning ehitas lihtsas keeles teate ja tõelise edasikaebuse tee nimetatud juhtumiametnikule igaühe jaoks, kelle nõue märgistati. Uurimistulemus ülevaataja tunni kohta langes mõnevõrra, kuid kinnitatud pettuse määr märgistatud nõuete seas varem üle märgistatud piirkondadest tõusis vastama ülejäänud juhtumikoormusele, mida ameti enda audit käsitles tõelise edumõõdikuna – mitte märgistatud nõuete mahuna, vaid sellena, kas märgistamine jälgis tegelikku pettust, mitte ajaloolist mustrit, mille mudel oli õppinud taastootma.

Neli sektoriläätse

Kohalik omavalitsus

Kohalikud omavalitsused võtavad üha enam kasutusele algoritmilisi tööriistu otsuste jaoks, millel on elanike jaoks kõige vahetumad ja isiklikumad panused – eluaseme eraldamise prioriteet, lastekaitse riskihindamine ning kohaliku maksu või toetuse pettuse triaaž –, sageli ilma sisemise andmeteaduse suutlikkuseta nende süsteemide ehitamiseks, valideerimiseks või auditeerimiseks, jättes paljud toetuma tarnija pakutud mudelitele, mille treeningandmeid ja valideerimist omavalitsus ei saa täielikult kontrollida. See loob erilise hangete distsipliini: kohalik omavalitsus, kes tellib algoritmilise süsteemi, peaks nõudma lepingulise tingimusena sama seletatavust, kallutatuse testimist ja auditi ligipääsu, mida ta nõuaks sisemise ehituse puhul, sest elaniku nõuetekohase menetluse õigused ei vähene seetõttu, et omavalitsus süsteemi ostis, mitte ehitas. Kohaliku omavalitsuse lähedus elanikele tähendab ka seda, et algoritmiline möödalask muutub kogukonnas tõenäolisemalt isiklikult teatavaks enne, kui sellest saab ametlik kaebus, mis räägib kerge, varajase kohaliku ülevaatuse poolt.

Riigivalitsus

Riiklikud asutused käitavad selle teema ulatuse suurima mastaabiga süsteeme – maksupettuste avastamine, rändeohu hindamine, riiklik toetuste kõlblikkus –, kus isegi väike veamäär tähendab väga suurt absoluutarvu mõjutatud inimesi ning kus asutusel on tavaliselt sügavaim tehniline ja õiguslik suutlikkus tõeliste kaitsemeetmete ehitamiseks. Riigivalitsused on ka tavaliselt tasand, kus riskipõhine TI reguleerimine, kus see eksisteerib, kirjutatakse ja jõustatakse, andes riiklikele asutustele selgeimad ametlikud kohustused ja suurima eksponeerituse, kui audit või kohus leiab, et automatiseeritud süsteem on mastaabis tootnud diskrimineerivaid või ülevaatamatuid tulemusi. Nõuetekohase menetluse panused on siin kõrgeimad ka teises mõttes: rände- või õiguskaitse riskiskoor võib mõjutada vabadust sama palju kui õigustust, mis räägib kõige konservatiivsema automatiseerimise hoiaku poolt – kõige vähem täisautomatiseerimist ja kõige tõelisemat inimülevaatust – just seal, kus automatiseerimise tehniline juhtum on juhtumite mahu tõttu sageli kõige tugevam.

Sotsiaalsektor ja mittetulundussektor

Mittetulundusühingud ja valitsusvälised organisatsioonid (VVO-d) kasutavad üha enam algoritmilisi tööriistu abi jaotamise triaažiks, soodustatute kõlblikkuse sõelumiseks või juhtumikorralduse prioriseerimiseks täpselt valdkondades, mida see teema katab, sageli tõeliste ressursipiirangute all, mis teevad automatiseerimise tõhususjuhtumi tõeliselt veenvaks. Vastutusstruktuur on aga märgatavalt erinev valitsuse omast: mittetulundusühingu soodustatutel on harva seadusjärgsed edasikaebuse õigused, mis kodanikul riigiasutuse vastu on, ja organisatsiooni peamine vastutussuhe kulgeb sageli rahastajate, mitte inimeste poole, kelle kohta algoritm otsustab, mis on täpselt vastutuse lünk, mida teema 3.8 (vt Teema 3.8 — Sotsiaalsektori ja mittetulundussektori juhtimine) kirjeldab sektori kohta üldiselt. Algoritmilist triaaži kasutusele võttev mittetulundusühing peaks seetõttu ehitama selgituse ja edasikaebuse õigused, mida see teema kirjeldab, vabatahtliku standardina, mitte seetõttu, et regulaator seda nõuab, vaid seetõttu, et inimestel, keda organisatsioon teenindab, pole selleks muud teed.

Mitmepoolne ja rahvusvaheline

Mitmepoolsed organid ja rahvusvahelised humanitaarasutused rakendavad algoritmilisi sihtimis- ja riskihindamistööriistu üle piiride ja õigussüsteemide, sageli kriisiolukordades, kus automatiseerimise kiirusekasu on kõige teravam ja saadaolevad andmed kõige ebausaldusväärsemad – puudulikud registreerimisandmed, ühe kriisi jaoks kogutud ja teise jaoks taaskasutatud andmed ning elanikkonnad, kellel on piiratud võime vaidlustada hindamisotsust, mis määrab, kas nad saavad abi. Ükski riiklik nõuetekohase menetluse seadus ega õiguse selgitusele režiim ei kehti ühtlaselt kogu mitmepoolse organi tegevuses, nii et selle teema kirjeldatud kaitsemeetmed tuleb ehitada organisatsiooni enda tegevusstandarditesse, mitte pärida jõustatavast välisest õigusraamistikust, kajastades esindatuse ja vastutuse lünka, mille teema 3.4 mitmepoolsete organite kohta üldiselt tuvastab (vt Teema 3.4 — Vastutus, läbipaistvus ja legitiimsus). Panused on siin samuti tõsised, sest algoritmiline otsus võib määrata juurdepääsu toidule, peavarjule või varjupaigamenetlusele inimestele, kellel on kõigist selle teema rühmadest kõige vähem praktilist võimet valet tulemust edasi kaevata.

Levinud ebaõnnestumisviisid

Asendajapõhine diskrimineerimine. Mudel jätab kaitstud tunnuse otse välja, kuid õpib samaväärse signaali korreleeruvast muutujast – postiindeks, perekonnanimi, tööhõive sektor, toetuste ajalugu –, taastootes sama diskrimineeriva mustri, mida välistamine pidi ennetama. Kulu on vale turvatunne: organisatsioon saab tõepäraselt öelda, et kaitstud muutujat ei kasutatud kunagi, samal ajal kui tulemus jääb sama ebavõrdseks, nagu oleks seda kasutatud.

Automatiseerimiskallutatus inimülevaatuses. Inimülevaataja, kellelt ametlikult nõutakse algoritmi soovituse kontrollimist, kiidab selle heaks ülekaalukas enamuses juhtumitest, sest mittenõustumine võtab rohkem aega, rohkem põhjendust või rohkem isiklikku riski kui nõustumine. Kulu on see, et kontroll, mis organisatsiooni arvates tabab vigu, kummitemplistab neid praktikas, ja see muutub tavaliselt nähtavaks alles siis, kui keegi mõõdab tühistamismäära otse, mitte ei looda, et protsess on olemas.

Seletatavuse teater. Organisatsioon annab automatiseeritud otsuse kohta selgituse, mis kõlab konkreetselt ja rahuldavalt, kuid mis on genereeritud tagantjärele meetodiga, mis lähendab, mitte ei paljasta mudeli tegelikku arutlust. Kulu ilmneb, kui selgitust testitakse tõelise kontrolli all – edasikaebus, audit, õiguslik vaidlustus – ja see osutub mitte vastavaks sellele, miks süsteem selle konkreetse väljundi tegelikult tootis.

Ajalooline kallutatus taastoodetud tagasisideahelate kaudu. Mudel, mis on treenitud varasemate otsuste tulemuste peal – milliseid naabruskondi uuriti, milliseid taotlusi kiideti heaks –, õpib ja seejärel jätkab mis tahes liigse kontrolli või alateeninduse mustrit, mis neid varasemaid otsuseid kujundas, ja iga uus selle tekitatud otsuste ring muutub järgmise versiooni treeningandmeteks, süvendades mustrit, mitte seda parandades. See on dokumenteeritud mitmes avaliku sektori valdkonnas rahvusvaheliselt, sealhulgas riskipõhine politseitöö ja sotsiaalabi pettuse sõelumine, ning aluseks olev mehhanism on nende dokumenteeritud juhtumite lõikes piisavalt järjepidev, et käsitleda seda üldise riskina igas süsteemis, mis on treenitud ajaloolise jõustamis- või juhtumikorralduse andmete peal, olenemata jurisdiktsioonist.

Vastutuse lünk ehk „paljude käte" probleem. Kui otsus läbib tarnija mudelit, ameti andmeid, poliitikameeskonna lävendi seadmist ja juhtumikorraldaja nominaalset allkirja, võib vastutus vale tulemuse eest muutuda tõeliselt ebaselgeks isegi organisatsioonile endale, kusjuures iga pool saab osutada teisele kui vea allikale. Kulu ei ole ainult see, et mõjutatud kodanik ei saa selget vastust, vaid et organisatsioon ei suuda usaldusväärselt parandada tegelikku põhjust, kuna otsuse kui terviku jaoks puudub üksik vastutav omanik (vt Teema 3.4 — Vastutus, läbipaistvus ja legitiimsus).

Küpsusmudel

Kontrollnimekiri

• Ehitage täielik inventuur igast süsteemist, mis teeb või oluliselt teavitab otsust, mis mõjutab isiku õigusi või õigustusi, sealhulgas tarnija pakutud tööriistadest.
• Klassifitseerige iga selle inventuuri süsteem otsuse panuste järgi, mida see teavitab, kasutades määratletud riskiastet.
• Kinnitage, et iga mõjutatud isik saab lihtsas keeles teate, et tema juhtumis oli algoritm kaasatud.
• Koostage konkreetne, juhtumitasandi selgitus, mille tõeline kodanik edasikaebuse korral saaks, ja testige, kas see teda tegelikult rahuldaks.
• Testige iga kõrge panusega süsteemi ebaproportsionaalse mõju osas, kasutades tegelikke kasutuselevõtujärgseid tulemusi, eristatuna asjakohaste tunnuste lõikes, mitte ainult välja jäetud sisendmuutujate kontrollimisega.
• Mõõtke tühistamismäära ja keskmist ülevaatusaega iga inimene-silmuses kontrolli jaoks ning käsitlege nullilähedast tühistamismäära leiuna.
• Kinnitage, et nimetatud inimene, kellel on tõeline volitus otsus tühistada, vaatab üle iga edasikaebuse.
• Asetage algoritmiline audit funktsiooni alla, mis on sõltumatu meeskonnast, kes süsteemi ehitas või käitab.
• Kinnitage, et iga süsteemi treening- ja tööandmed jäävad juhitud, otstarbega piiratud torujuhtmesse.
• Seadke iga kasutusel oleva mudeli jaoks kindel ümberõppe ja uuesti valideerimise ajakava, selle asemel et oodata, et kaebus ülevaatuse käivitaks.
• Tuvastage, millistel teie süsteemidest ei ole praegu täisautomatiseerimise kaitsemeedet kõige tõsisemate ja kõige vähem pööratavate otsuste jaoks, ja parandage see esimesena.
• Käige oma meeskonnaga läbi kuus ülaltoodud arutelu küsimust ja märkige üles, kus aus vastus erineb ametlikust.

Põhiallikad

• OECD tehisintellekti põhimõtted (2019, uuendatud 2024) – esimene valitsustevaheline standard usaldusväärse TI jaoks, mis katab kaasava kasvu, inimõigused, läbipaistvuse, töökindluse ja vastutuse.
• Euroopa Liidu tehisintellekti määrus (Regulation (EU) 2024/1689) – esimene põhjalik riskiastmeline õigusraamistik TI jaoks, mis käsitleb selgesõnaliselt avaliku sektori kõlblikkuse, õiguskaitse ja rände kasutusi.
• US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) – juhtimise, andmete, tulemuslikkuse ja jälgimise raamistik TI vastutuse jaoks avalikus sektoris.
• Danielle Keats Citroni uurimus „tehnoloogilisest nõuetekohasest menetlusest", mis väidab, et automatiseeritud süsteemid nõuavad menetluslikke kaitsemeetmeid, mis on spetsiaalselt ehitatud algoritmilise, mitte inimotsustamise jaoks.
• Cathy O'Neili, Virginia Eubanksi ja Frank Pasquale'i avalikkusele suunatud uurimus algoritmilisest kallutatusest, automatiseeritud sotsiaalabi haldamisest ja läbipaistmatutest hindamissüsteemidest, mida tsiteeritakse kogu selle teema arutelus treeningandmete kallutatuse ja musta kasti probleemi üle.

Viited

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp