Tekoäly ja algoritminen päätöksenteko julkishallinnossa

Miksi tällä on merkitystä julkisen arvon kannalta

Julkiset elimet ovat aina säännöstelleet huomiota: sosiaalityöntekijä ei voi henkilökohtaisesti haastatella jokaista hakijaa, tullivirkailija ei voi tarkastaa jokaista konttia, petostiimi ei voi käydä läpi jokaista hakemusta. Tekoäly (AI) — laaja ala, joka rakentaa järjestelmiä, jotka suorittavat tehtäviä, jotka normaalisti vaativat inhimillistä harkintaa — ja suppeampi algoritmisen ja automatisoidun päätöksenteon (ADM) käytäntö lupaavat säännöstellä tuota huomiota johdonmukaisemmin ja paljon suuremmassa mittakaavassa, pisteyttäen, liputtaen tai suoraan ratkaisten tapauksia, joita ihmistiimi ei koskaan voisi täysin tarkastaa. Aihe 5.1 käsittelee digitaalisen palvelutoimituksen malleja, joiden sisällä tämä kyvykkyys sijaitsee (katso Aihe 5.1 — Digitaalinen hallinto ja digitaalinen muutos); tämä aihe käsittelee sitä, mitä tapahtuu, kun malli eikä nimetty virkamies tekee osan päätöksestä tai kaiken.

Lupaus on todellinen: hyvin rakennettu malli voi saada kiinni petoskuvioita, jotka ovat sosiaalityöntekijälle näkymättömiä, soveltaa kelpoisuussääntöjä täydellisellä johdonmukaisuudella miljoonan hakemuksen yli ja vapauttaa niukkaa asiantuntija-aikaa tapauksiin, jotka aidosti tarvitsevat harkintaa. Riski on yhtä todellinen ja vaikeampi nähdä järjestelmän rakentaneen organisaation sisältä. Historialliseen dataan koulutettu malli voi toistaa ja vahvistaa juuri sen syrjinnän, jonka korjaamiseksi julkinen elin on olemassa; monimutkainen malli voi olla niin läpinäkymätön, ettei kansalainen eikä siihen nojaava virkamies voi sanoa, miksi se päätti kuten päätti; ja päätös, jota algoritmi suuresti informoi, voi silti menettelyllisesti johtaa siihen, ettei kukaan pysty antamaan kansalaiselle syytä tai kuulemaan hänen asiaansa. Mikään tästä ei ole hypoteettista: sääntelijät, tuomioistuimet ja oikeusasiamiestä vastaavat elimet useilla lainkäyttöalueilla ovat jo havainneet julkisen sektorin riskipisteytys- ja petostentunnistusjärjestelmiä, jotka liputtivat suhteettomasti ihmisiä asuinalueen, maahanmuuttohistorian tai perherakenteen perusteella, kussakin tapauksessa koska kuvio, joka teki mallista tarkan, sattui myös seuraamaan suojattua tai arkaluonteista ominaisuutta.

Julkisen arvon panos ei siksi ole tehokkuus versus oikeudenmukaisuus kompromissina, joka tasapainotetaan kerran, vaan suunnittelukuri, jota ylläpidetään jatkuvasti. Ihmisvirkamiehen etuuden evännyt kansalainen voi kysyä tuolta virkamieheltä, miksi, ja voi valittaa toiselle ihmiselle, jolla on asema ja valta muuttaa vastaus — vastuullisuuskoneisto, jota Aihe 3.4 kuvaa (katso Aihe 3.4 — Vastuullisuus, avoimuus ja legitimiteetti). Mallin etuuden evännyt kansalainen tarvitsee saman oikeuden selitykseen ja saman reitin ihmiselle, joka voi kumota päätöksen, tai julkinen elin on hiljaa viennyt ulos oikeudenmukaisen menettelyn takuun, jota se ei koskaan muodollisesti kumonnut. Tämän saaminen oikein antaa julkisen elimen kaapata algoritmisen päätöksenteon aidot hyödyt johdonmukaisuudessa ja mittakaavassa muuttamatta ilmaisua ”algoritmi päätti” lauseeksi, joka päättää vastuullisuuden sen sijaan että aloittaisi sen.

Keskeiset käsitteet

Automatisoitu päätöksenteko (ADM) on datan, ohjelmiston ja algoritmien käyttöä päätösten tekemiseen tai olennaiseen informointiin vaihtelevalla inhimillisen valvonnan asteella, ulottuen jatkumolle järjestelmästä, joka vain nostaa tietoa esiin ihmiselle, järjestelmään, joka päättää ja toimii ilman ihmisen osallistumista lainkaan (katso automatisoitu päätöksenteko). Se, missä järjestelmä sijaitsee tuolla jatkumolla — päätöksentuki, päätöksenvahvistus vai täysi automaatio —, määrää, mitä vastuullisuus- ja oikeudenmukaisen menettelyn velvoitteita sovelletaan, minkä vuoksi sääntelijät luokittelevat järjestelmiä yhä enemmän sen mukaan, missä ne tuolla jatkumolla ovat, eikä taustalla olevan teknologian mukaan.

Ihminen silmukassa (human-in-the-loop) kuvaa järjestelyä, jossa henkilö tarkastaa tai hyväksyy algoritmin tuloksen ennen kuin se tulee voimaan, erotuksena ihmisestä silmukan päällä (human-on-the-loop; henkilö valvoo ja voi puuttua) tai täysin automatisoidusta käsittelystä ilman tarkastusta lainkaan (katso human-in-the-loop). Aito ihminen silmukassa -kontrolli edellyttää, että tarkastajalla on aikaa, tietoa ja asemaa olla todella eri mieltä järjestelmän kanssa; tarkastaja, joka hyväksyy lähes jokaisen algoritmisen suosituksen, koska erimielisyys vie pidempään tai kantaa enemmän henkilökohtaista riskiä kuin samanmielisyys, ei harjoita valvontaa, vaikka prosessikaavio näyttää inhimillisen vaiheen. Tämä malli, jota usein kutsutaan automaatiovinoumaksi (automation bias), on yksi tämän aiheen yleisimmistä ja vähiten näkyvistä epäonnistumisista.

Algoritminen vinouma on tietokoneistetun järjestelmän järjestelmällinen, toistuva taipumus tuottaa epäoikeudenmukaisia lopputuloksia — esimerkiksi suosia yhtä ryhmää toiseen nähden tavoilla, joita järjestelmän suunnittelijat eivät tarkoittaneet eivätkä usein huomanneet (katso algoritminen vinouma). Julkishallinnossa hallitseva lähde on koulutusdatan vinouma: historialliseen täytäntöönpano-, luotto- tai tapaustyötallenteisiin koulutettu malli oppii noiden tallenteiden kuviot, mukaan lukien historiallisen ylivalvonnan, alipalvelun tai syrjivän käytännön, joka on leivottu siihen, ketä tutkittiin, hyväksyttiin tai liputettiin aiemmin. Malli voi toistaa tämän lopputuloksen silloinkin, kun arkaluonteinen ominaisuus — rotu, vamma, maahanmuuttostatus — on eksplisiittisesti jätetty datasta pois, koska korreloiva sijaismuuttuja (postinumero, sukunimi, vuorokuvio, etuushistoria) kantaa saman signaalin toisella nimellä; nimetyn muuttujan poistaminen testaamatta sen sijaismuuttujia on yleinen tapa, jolla julkinen elin uskoo korjanneensa vinouma-ongelman, jota se ei ole lainkaan korjannut.

Oikeudenmukaisuus koneoppimisessa viittaa tekniseen ja menettelylliseen lähestymistapojen perheeseen algoritmisen vinouman mittaamiseksi ja korjaamiseksi automatisoiduissa päätöksissä (katso oikeudenmukaisuus (koneoppiminen)). Tämän alan aidosti vaikea piirre, ei ratkaistavissa oleva tekninen alaviite, on että useat intuitiivisesti kohtuulliset oikeudenmukaisuuden määritelmät — yhtäläiset hyväksymisasteet ryhmien yli, yhtäläiset virheasteet ryhmien yli ja kunkin ryhmän sisällä tasaisesti kalibroitu tarkkuus — ovat matemaattisesti yhteensopimattomia aina kun taustalla olevilla ryhmillä on eri perusasteet datassa. Julkinen elin ei voi täyttää jokaista määritelmää samanaikaisesti; se voi vain valita, eksplisiittisesti ja syin, jotka se on valmis puolustamaan, mitä määritelmää käsillä olevan päätöksen tulisi optimoida, mikä on politiikkaa koskeva harkinta, joka on puettu tekniseksi.

Selitettävyys ja mustan laatikon ongelma. Malli on musta laatikko, kun sen sisäistä toimintaa ei voida tarkastaa tai ymmärtää pelkästään sen syötteistä ja tuloksista — totta monista korkeasti suoriutuvista koneoppimismalleista, joiden tarkkuus tulee usein juuri monimutkaisuudesta, joka tekee niistä vaikeasti tulkittavia. Selitettävä tekoäly, eli XAI, on menetelmien ala, jolla tehdään mallin päättelystä tarkastettavaa, ulottuen seurauksellisiin päätöksiin tarkoitettujen luontaisesti tulkittavien mallityyppien valinnasta jälkikäteisten selitysten tuottamiseen, jotka approksimoivat sen sijaan että paljastaisivat, mitä monimutkainen malli todella teki. Ero on oikeudellisesti yhtä tärkeä kuin teknisesti: approksimoiva selitys, joka kuulostaa uskottavalta mutta ei heijasta mallin todellista päättelyä, voi täyttää avoimuustarkistuslistan samalla kun se pettää kansalaisen, joka nojaa siihen kiistääkseen päätöksen todellisen perusteen häntä vastaan.

Oikeus selitykseen on kiistanalainen oikeudellinen periaate, jonka mukaan merkittävän automatisoidun päätöksen kohteena olevalla henkilöllä on oikeus mielekkääseen selitykseen mukana olevasta logiikasta, läheisimmin yhdistettynä Euroopan unionin yleiseen tietosuoja-asetukseen, joka rajoittaa pelkästään automatisoituun käsittelyyn perustuvia päätöksiä, jotka tuottavat oikeudellisia tai vastaavan merkittäviä vaikutuksia, ja antaa kohteelle oikeudet saada inhimillinen väliintulo ja kiistää päätös (katso oikeus selitykseen ja yleinen tietosuoja-asetus). Oikeustieteilijät kiistelevät siitä, kuinka vahva tämä oikeus käytännössä on, ja Euroopan unionin ulkopuolisilta lainkäyttöalueilta puuttuu suurelta osin vastaava lakisääteinen oikeus, minkä vuoksi julkisen elimen ei pitäisi käsitellä ilmausta ”noudatamme asiaankuuluvaa tietosuojalakia” vastaavana kuin ”voimme selittää tämän päätöksen ihmiselle, johon se vaikuttaa” — nämä kaksi väitettä liittyvät toisiinsa mutta eivät ole sama asia, ja vain jälkimmäinen on se, mitä oikeudenmukainen menettely todella vaatii.

Oikeudenmukainen menettely ja luonnollinen oikeus. Hallinto-oikeudessa oikeudenmukainen menettely (due process) — periaate, kehittynein Yhdysvaltain perustuslakioikeudessa mutta vastaavassa muodossa toistettu monissa oikeusjärjestelmissä, että valtion on noudatettava reiluja menettelyjä ennen kuin se riistää henkilöltä oikeuden tai etuuden — ja luonnollinen oikeus (natural justice) — Kansainyhteisön hallinto-oikeuden perinne, joka vaatii oikeudenmukaisen kuulemisen ja päätöksentekijän vapautta puolueellisuudesta — lepäävät kumpikin oletuksella, joka kirjoitettiin ennen tietokoneiden olemassaoloa: että päätöksellä on tunnistettavissa oleva päätöksentekijä, joka voi antaa perustelut, jonka voidaan osoittaa olevan vapaa epäpätevöittävästä puolueellisuudesta ja jota voidaan pyytää harkitsemaan uudelleen. Algoritmi rasittaa kaikkia kolmea oletusta kerralla — perustelut voivat olla teknisesti saatavilla olemattomia, kyseinen ”puolueellisuus” on tilastollista eikä henkilökohtaista, ja saman mallin uudelleenharkinta tuottaa saman vastauksen — minkä vuoksi oikeudenmukainen menettely algoritmisille päätöksille on suunniteltava eksplisiittisesti eikä peritty ihmispäätöksentekijöille rakennetuista menettelyistä.

Riskiperusteinen tekoälyn sääntely. Sen sijaan että kaikkea tekoälyä sääntelisi yhtenäisesti, nouseva sääntelymalli — täydellisimmin kehitetty Euroopan unionin tekoälyasetuksessa — porrastaa velvoitteet sovelluksen panosten mukaan, kieltäen suppean joukon käyttötarkoituksia kokonaan, asettaen raskaimmat vaatimustenmukaisuusvelvoitteet ”korkean riskin” käytöille (jotka eksplisiittisesti sisältävät julkisen sektorin kelpoisuuden määrittelyn, lainvalvonnan riskinarvioinnin ja maahanmuuttopäätökset), vaatien avoimuuden ilmoituksia matalamman riskin käytöille ja jättäen minimiriskin käytöt suurelta osin sääntelemättä (katso tekoälyasetus). Mikä tahansa sääntelymalli tietyllä lainkäyttöalueella onkin, taustalla oleva ajatus — että hallintovelvoitteiden pitäisi skaalautua päätöksen panosten eikä teknologian kehittyneisyyden mukaan — on hyödyllinen suunnitteluperiaate ilman suoraa oikeudellista velvoitetta noudattaa EU:n erityistä järjestelmää.

Parhaat käytännöt

1. Luokittele jokainen järjestelmä päätöksen panosten mukaan ennen mallin valintaa, ei sen jälkeen. Järjestelmällä, joka liputtaa tapauksen inhimilliseen tarkastukseen, on eri velvoite kuin sellaisella, joka kieltää etuuden suoraan; päätä, mihin tasoon käyttötapaus kuuluu, käyttäen viitekehyksenä esimerkiksi EU:n tekoälyasetuksen riskiluokkia, ennen rakentamista eikä sen jälkeen, kun käyttöönotto paljastaa aukon.
2. Kerro ihmisille selkokielellä, kun algoritmi on mukana heitä koskevassa päätöksessä. Yleinen tietosuojaseloste, joka on haudattu käyttöehtoihin, ei täytä tätä; ilmoituksen tulisi kertoa, mitä järjestelmä tekee, mitä dataa se käyttää ja mitä tapahtuu, jos henkilö on eri mieltä sen tuloksesta.
3. Rakenna ihmisen silmukassa -kontrolli, jota tarkastaja voi todella harjoittaa, ja mittaa, harjoittaako hän. Seuraa ohitusastetta, keskimääräistä tapauskohtaista käytettyä aikaa ja sitä, kohtaavatko tarkastajat, jotka ovat eri mieltä mallin kanssa, kitkaa, jota samanmielisyys ei aiheuta — jos ohitusaste on lähes nolla, tarkastus on hyvin todennäköisesti koristeellinen.
4. Testaa erilaisvaikutus todellisilla lopputuloksilla, ei kehittäjien aikomuksilla. Ennen käyttöönottoa ja sen jälkeen kiinteällä toistuvalla rytmillä mittaa mallin lopputulokset eriteltyinä suojattujen ja arkaluonteisten ominaisuuksien mukaan, mukaan lukien todennäköiset sijaismuuttujat kuten postinumero tai etuushistoria, koska malli, joka ei koskaan käytä suojattua muuttujaa suoraan, voi silti tuottaa jyrkästi epätasa-arvoisen lopputuloksen.
5. Anna jokaiselle vaikutuksen kohteena olevalle henkilölle reitti ihmiselle, jolla on valta kumota algoritmin päätös, ei vain selittää sitä. Muutoksenhakukanava, joka toistaa mallin perustelut ilman aitoa mahdollisuutta kumoamiseen, täyttää oikeuden selitykseen kirjaimen samalla kun se kumoaa sen tarkoituksen.
6. Suosi tulkittavaa mallia hieman tarkemman mustan laatikon mallin sijaan oikeudellisesti seurauksellisissa päätöksissä. Missä tarkkuusero tulkittavan ja monimutkaisen mallin välillä on pieni, tulkittavuushyöty on yleensä kansalaiselle, muutoksenhakuvirkamiehelle ja tarkastajalle paljon arvokkaampi kuin marginaalinen tarkkuus on organisaatiolle.
7. Dokumentoi kunkin järjestelmän tarkoitus, koulutusdata, tunnetut rajoitukset ja aiottu käyttö pysyvään tallenteeseen ja päivitä se, kun jokin niistä muuttuu. Yhtä tarkoitusta varten käyttöön otettu ja hiljaa toiseen uudelleenkäytetty malli — esimerkiksi petosseulonta laajennettuna yleiseen kelpoisuuden luokitteluun — on yleensä jättänyt alkuperäisen validointinsa ja vinouman testauksensa taakseen.
8. Pidä korkean panoksen mallin koulutus- ja käyttödata hallitussa, käyttötarkoitukseen sidotussa putkessa. Yhtä hallinnollista tarkoitusta varten kerätyn aineiston uudelleenkäyttö mallin kouluttamiseen asiaan liittymättömään tarkoitukseen on tiedonhallinnan epäonnistuminen yhtä paljon kuin mallinnuksen (katso Aihe 5.4 — Julkisen sektorin data, yhteentoimivuus ja avoin data).
9. Aseta algoritminen auditointi toiminnon alle, joka ei raportoi järjestelmän rakentaneelle tai sitä ylläpitävälle tiimille. Järjestelmän omien kehittäjien tekemä auditointi löytää eri ongelmia, ja vähemmän, kuin aidosti riippumattoman tarkastajan tekemä, jolla on asema julkaista kielteinen löydös (katso Aihe 3.4 — Vastuullisuus, avoimuus ja legitimiteetti).
10. Aja varjojakso ennen kuin järjestelmä kytketään päälle todellisiin päätöksiin. Vertaa mallin suosituksia todellisiin ihmispäätöksiin samoissa tapauksissa määritellyn jakson ajan ennen kuin se alkaa toimia, jotta mikä tahansa järjestelmällinen poikkeama tulee esiin ennen kuin kansalaiseen vaikuttaa.
11. Varaa täysi automaatio, ilman inhimillistä tarkastusta lainkaan, vain vähiten seurauksellisille ja helpoimmin peruutettaville päätöksille. Mitä vakavampi ja vähemmän peruutettava päätös on — etuuden päättäminen, rikostutkinnan käynnistävä petosilmoitus, maahantulon epääminen —, sitä vahvempi on peruste pitää ihminen aidosti silmukassa, mikä tahansa mallin mitattu tarkkuus onkin.
12. Kouluta uudelleen, validoi uudelleen ja testaa vinouma uudelleen kiinteällä aikataululla, ei vain kun ongelmasta ilmoitetaan. Mallin tarkkuus- ja oikeudenmukaisuusominaisuudet voivat ajautua hiljaa väestön ja maailman, johon se koulutettiin, muuttuessa, ja julkinen elin, joka tutkii vasta valituksen jälkeen, on antanut ajautuman jatkua niin kauan kuin valituksen esiin tulo kesti.

Kysymyksiä keskusteltavaksi tiimissäsi

Missä organisaatiossamme algoritmi tekee tai suuresti informoi päätöstä, joka vaikuttaa henkilön oikeuksiin, etuuksiin tai vapauteen, ja voisiko jokainen vaikutuksen kohteena oleva henkilö todella saada tietää sen tapahtuneen? Monet organisaatiot huomaavat, kun ne todella inventoivat järjestelmänsä, että algoritminen pisteytys tai luokittelu on hiipinyt useampiin päätöskohtiin kuin yksikään tiimi tajusi, usein alun perin otettuna käyttöön vähäpanoksisena tehokkuustyökaluna. Käytä tätä kysymystä rakentaaksesi tuon inventaarion rehellisesti, mukaan lukien järjestelmät, jotka on hankittu toimittajalta eikä rakennettu itse, koska hankinta voi hämärtää, kuinka paljon ostettu työkalu todella päättää. Keskustelkaa siitä, antaisivatko nykyiset ilmoituskäytäntönne vaikutuksen kohteena olevan kansalaisen havaita, ilman erikoistietoa, että malli oli mukana hänen tapauksessaan.

Jos kansalainen kiistäisi muodollisesti yhden automatisoiduista päätöksistämme huomenna, voisimmeko antaa hänelle todellisen, täsmällisen syyn vai vain prosessin kuvauksen? Prosessin kuvaus — ”järjestelmä otti huomioon tulosi, kotitaloutesi koon ja maksuhistoriasi” — ei ole sama asia kuin selitys siitä, miksi nuo syötteet tuottivat tämän lopputuloksen tälle nimenomaiselle henkilölle. Käytä tätä kysymystä valitaksesi yhden elävän järjestelmän ja yrittääksesi tiiminä kirjoittaa selityksen, jonka todellinen kansalainen saisi, jos hän valittaisi. Jos harjoitus on vaikea, se vaikeus on itsessään löydös.

Tiedämmekö, toistaako koulutusdatamme historiallisen vinouman kuvion, ja olemmeko testanneet sen todellisia lopputuloksia vasten aikomustemme sijaan? Suojatun ominaisuuden jättäminen aineiston ulkopuolelle ei ole sama asia kuin sen vaikutuksen sulkeminen pois, koska korreloivat sijaismuuttujat voivat kantaa saman signaalin eri nimellä. Käytä tätä kysymystä tunnistaaksesi, mitkä järjestelmistänne on testattu erilaisvaikutuksen osalta todellisilla käyttöönoton jälkeisillä lopputuloksilla, eriteltyinä asiaankuuluvien ominaisuuksien mukaan, eikä testattu vain suojatun muuttujan esiintymisen osalta syötedatassa. Keskustelkaa siitä, mitä vaadittaisiin tuon lopputulospohjaisen testin ajamiseen korkeimman panoksen järjestelmällänne, jos sitä ei ole jo tehty.

Onko inhimillinen tarkastuksemme aito tarkistus vai leimasin, jota emme ole mitanneet tarpeeksi läheisesti huomataksemme? Ihmistarkastaja aikapaineessa, ilman täyttä kontekstia tai kohtaamalla enemmän kitkaa erimielisyydestä kuin samanmielisyydestä, kallistuu hyväksymään algoritmin suosituksen sen laadusta riippumatta. Käytä tätä kysymystä löytääksesi todellisen ohitusasteen vähintään yhdelle järjestelmälle ja keskustelkaa siitä, mitä tuo luku kertoo siitä, toimiiko tarkastus kontrollina vai vaatimustenmukaisuusmuodollisuutena.

Mitä menettelyllisesti todella tapahtuu, kun joku haluaa valittaa algoritmimme tekemästä tai suuresti informoimasta päätöksestä — ja näkeekö ihminen, jolla on todellinen valta kumota se, koskaan valitusta? Monet muutoksenhakuprosessit reitittävät kansalaisen takaisin mallin logiikan kuvauksen läpi koskaan tavoittamatta henkilöä, joka voi kumota lopputuloksen sisällöllisin perustein. Käytä tätä kysymystä jäljittääksesi yhden valituksen alusta loppuun todellisessa tai realistisessa tapauksessa ja tunnistaaksesi täsmällisen kohdan, jos sellaista on, jossa ihminen, jolla on aito valta muuttaa vastaus, on mukana.

Kuka omistaa riskin, jos yksi malleistamme heikkenee tai ajautuu käyttöönoton jälkeen, ja miten tietäisimme sen todella ennen kuin kansalainen tai toimittaja kertoi meille? Mallin oikeudenmukaisuus- ja tarkkuusominaisuudet eivät ole kiinteitä käynnistyshetkellä; ne voivat siirtyä väestön, talouden tai viereisen politiikan muuttuessa, usein näkymättömästi järjestelmän rakentaneelle tiimille. Käytä tätä kysymystä tunnistaaksesi, kuka vastaa käyttöönoton jälkeisestä seurannasta, millä rytmillä ja mikä täsmälleen käynnistäisi uudelleenkoulutuksen tai tauon. Jos rehellinen vastaus on ”kukaan ei erityisesti seuraa tätä”, käsittele se kiireellisimpänä löydöksenä, jonka tämä keskustelu voi tuottaa.

Käytännössä: esimerkki julkisesta arvosta

Kuvitteellinen kansallinen sosiaalivakuutusvirasto rakensi riskipisteytysmallin priorisoidakseen, mitkä työttömyysetuushakemukset sen petostutkintatiimin tulisi tarkastaa ensin, vuosien jonon jälkeen, joka tarkoitti, että aito petos jäi tutkimatta kuukausiksi samalla kun rehelliset hakijat odottivat asiaan liittymättömiä käsittelyviiveitä. Malli koulutettiin viiden vuoden suljettuihin tutkinta-asiakirjoihin, oppien, mitkä hakemuksen ominaisuudet olivat historiallisesti edeltäneet vahvistettua petoslöydöstä, ja se suoriutui hyvin testauksessa: sen korkean riskin pisteytetyt hakemukset vahvistettiin petollisiksi paljon korkeammalla asteella kuin satunnainen otos, ja viraston johto, katsoen jonon laskevan ensimmäistä kertaa vuosiin, käsitteli käyttöönottoa yksiselitteisenä menestyksenä.

Kahdeksantoista kuukauden kohdalla sisäinen oikeusasiamiestä vastaava toimisto huomasi jotain, mitä petostiimin oma suorituskykykojelauta ei ollut tuonut esiin: pienessä määrässä postinumeroalueita asuvat hakijat, suhteettoman usein pienituloisia ja suhteettoman usein vastikään muuttaneita, liputettiin tutkintaan lähes kolme kertaa niin usein kuin muuten samankaltaiset hakijat muualla, ja paljon suurempi osa heidän liputetuista hakemuksistaan suljettiin ilman petoslöydöstä lainkaan. Kuvio jäljittyi koulutusdataan: historialliset tutkinta-asiakirjat heijastivat vuosia, joina kenttätutkijat, työskennellen omien epävirallisten heuristiikkojensa mukaan, olivat keskittäneet manuaalisia pistotarkastuksia täsmälleen noihin alueisiin, joten malli oli oppinut käsittelemään siellä asumista petoksen ennustajana, kun se oli todellisuudessa vain ennustaja sille, että siellä oli tarkastettu aiemmin useammin. Postinumeroalue ei ollut koskaan mallin syöte; sen ei tarvinnut olla, koska kotitalouden koostumus, työnantajasektori ja maksutapakentät korreloivat sen kanssa tarpeeksi läheisesti kantaakseen saman signaalin sijaismuuttujina.

Viraston tutkinta vahvisti kuvion todelliseksi ja vahvisti myös toisen, hiljaisemman ongelman: ihmistarkastajat, joiden oli määrä hyväksyä tapaus täyteen tutkintaan ennen sen etenemistä, olivat hyväksyneet mallin korkeimmat pisteet valtaosassa tapauksista, tarkastusajan keskiarvon ollessa alle kaksi minuuttia tapausta kohti — ei läheskään tarpeeksi merkitsevästi kyseenalaistamaan tilastollista pistemäärää, mikä tarkoitti, ettei johdon turvatoimena esittämä ihminen silmukassa -kontrolli ollut todella saanut kiinni eroa, jonka saamiseksi kiinni se oli olemassa. Viraston vastaus yhdisti useita tämän aiheen parhaita käytäntöjä kerralla: se koulutti mallin uudelleen historiallinen ylivalvontakuvio korjattuna, pidensi tarkastusaikaa ja antoi tarkastajille valtuudet sulkea liputettu tapaus ilman eskalointia, kun heidän oma arvionsa oli eri mieltä pistemäärän kanssa, ja rakensi selkokielisen ilmoituksen ja aidon valitusreitin nimetylle tapausvirkailijalle kenelle tahansa, jonka hakemus liputettiin. Tutkintatuotto tarkastajan tuntia kohti laski jonkin verran, mutta vahvistettu petosaste aiemmin ylimerkityiltä alueilta liputetuissa hakemuksissa nousi vastaamaan muuta tapauskantaa, mitä viraston oma auditointi käsitteli todellisena menestyksen mittarina — ei liputettujen hakemusten määränä vaan sillä, seurasiko liputtaminen todellista petosta eikä historiallista kuviota, jonka malli oli oppinut toistamaan.

Neljä sektorinäkökulmaa

Paikallishallinto

Paikallisviranomaiset ottavat yhä enemmän käyttöön algoritmisia työkaluja päätöksiin, joilla on välittömimmät ja henkilökohtaisimmat panokset asukkaille — asuntojen jaon prioriteetti, lastensuojelun riskipisteytys sekä kunnallisveron tai etuuksien petosluokittelu —, usein kuitenkin ilman omaa datatieteen kapasiteettia näiden järjestelmien rakentamiseen, validointiin tai auditointiin, jättäen monet nojaamaan toimittajan toimittamiin malleihin, joiden koulutusdataa ja validointia viranomainen ei voi täysin tarkastaa. Tämä luo erityisen hankintakurin: algoritmista järjestelmää tilaavan paikallisviranomaisen tulisi vaatia sopimusehtona sama selitettävyys, vinouman testaus ja auditointipääsy, jota se vaatisi omasta rakennuksesta, koska asukkaan oikeudenmukaisen menettelyn oikeudet eivät pienene sen vuoksi, että viranomainen osti järjestelmän sen sijaan että olisi rakentanut sen. Paikallishallinnon läheisyys asukkaisiin tarkoittaa myös, että algoritminen virhe todennäköisemmin tulee henkilökohtaisesti tunnetuksi yhteisössä ennen kuin siitä tulee muodollinen valitus, mikä puoltaa kevyttä, varhaista paikallista tarkastelua.

Valtionhallinto

Kansalliset virastot käyttävät tämän aiheen laajuuden suurimman mittakaavan järjestelmiä — veropetosten tunnistus, maahanmuuton riskinarviointi, kansallinen etuuskelpoisuus — joissa jopa pieni virheaste kääntyy erittäin suureksi absoluuttiseksi vaikutuksen kohteena olevien ihmisten määräksi, ja joissa viraston tyypillisesti on syvin tekninen ja oikeudellinen kapasiteetti rakentaa aitoja suojatoimia. Kansalliset hallitukset ovat myös yleensä taso, jolla riskiperusteinen tekoälysääntely, missä se on olemassa, kirjoitetaan ja pannaan täytäntöön, antaen kansallisille virastoille selvimmät muodolliset velvoitteet ja suurimman altistuksen, kun auditointi tai tuomioistuin havaitsee automatisoidun järjestelmän tuottaneen syrjiviä tai tarkastamattomia lopputuloksia laajassa mittakaavassa. Oikeudenmukaisen menettelyn panokset ovat täällä korkeimmat toisessakin mielessä: maahanmuuton tai lainvalvonnan riskipistemäärä voi vaikuttaa vapauteen yhtä paljon kuin etuuteen, mikä puoltaa konservatiivisinta automaatioasennetta — vähiten täyttä automaatiota ja aidointa inhimillistä tarkastusta — juuri siellä, missä automaation tekninen peruste on usein vahvin tapausmäärän vuoksi.

Kolmas sektori ja voittoa tavoittelematon toiminta

Voittoa tavoittelemattomat organisaatiot ja kansalaisjärjestöt käyttävät yhä enemmän algoritmisia työkaluja avun jakelun luokitteluun, edunsaajien kelpoisuuden seulontaan tai tapaustyön priorisointiin juuri niillä aloilla, joita tämä aihe käsittelee, usein todellisten resurssirajoitteiden alla, jotka tekevät automaation tehokkuusperustelusta aidosti houkuttelevan. Vastuullisuusrakenne on kuitenkin selvästi erilainen kuin hallinnossa: voittoa tavoittelemattoman edunsaajilla on harvoin lakisääteisiä muutoksenhakuoikeuksia, joita kansalaisella on valtion virastoa vastaan, ja organisaation ensisijainen vastuullisuussuhde kulkee usein rahoittajille eikä ihmisille, joista algoritmi päättää, mikä on juuri se vastuullisuusaukko, jonka Aihe 3.8 — Kolmannen sektorin ja voittoa tavoittelemattoman toiminnan johtaminen kuvaa sektorille yleisesti. Algoritmista luokittelua käyttöön ottavan voittoa tavoittelemattoman organisaation tulisi siksi rakentaa tässä aiheessa kuvatut selitys- ja muutoksenhakuoikeudet vapaaehtoisena standardina, ei siksi että sääntelijä vaatii sitä, vaan koska ihmisillä, joita organisaatio palvelee, ei ole muuta reittiä sellaiseen.

Monenkeskinen ja kansainvälinen

Monenkeskiset elimet ja kansainväliset humanitaariset virastot soveltavat algoritmisia kohdennus- ja riskipisteytystyökaluja rajojen ja oikeusjärjestelmien yli, usein kriisiympäristöissä, joissa automaation nopeushyöty on akuutein ja saatavilla oleva data epäluotettavinta — puutteellinen rekisteröintidata, yhtä kriisiä varten kerätty data uudelleenkäytettynä toiselle ja väestöt, joilla on rajallinen kyky kiistää pisteytyspäätös, joka määrää, saavatko he apua. Mikään yksittäinen kansallinen oikeudenmukaisen menettelyn laki tai oikeus selitykseen -järjestelmä ei päde yhtenäisesti monenkeskisen elimen toiminnan yli, joten tässä aiheessa kuvatut suojatoimet on rakennettava organisaation omiin toimintastandardeihin eikä peritty täytäntöönpanokelpoisesta ulkoisesta oikeudellisesta kehyksestä, toistaen edustuksellisuuden ja vastuullisuuden aukkoa, jonka Aihe 3.4 tunnistaa monenkeskisille elimille yleensä (katso Aihe 3.4 — Vastuullisuus, avoimuus ja legitimiteetti). Panokset ovat myös vakavat täällä, koska algoritminen päätös voi määrätä pääsyn ruokaan, suojaan tai turvapaikkamenettelyyn ihmisille, joilla on kaikista tämän aiheen ryhmistä vähiten käytännön kykyä valittaa väärästä lopputuloksesta.

Yleisiä epäonnistumistapoja

Sijaismuuttujasyrjintä. Malli jättää suojatun ominaisuuden suoraan pois mutta oppii vastaavan signaalin korreloivasta muuttujasta — postinumero, sukunimi, työllisyyssektori, etuushistoria — toistaen saman syrjivän kuvion, jonka estämiseksi pois jättämisen oli tarkoitus. Kustannus on väärä turvallisuuden tunne: organisaatio voi totuudenmukaisesti sanoa, ettei suojattua muuttujaa koskaan käytetty, kun lopputulos pysyy yhtä epätasa-arvoisena kuin jos sitä olisi käytetty.

Automaatiovinouma inhimillisessä tarkastuksessa. Ihmistarkastaja, jonka on muodollisesti tarkistettava algoritmin suositus, hyväksyy sen valtaosassa tapauksista, koska erimielisyys vie enemmän aikaa, enemmän perustelua tai enemmän henkilökohtaista riskiä kuin samanmielisyys. Kustannus on, että kontrolli, jonka organisaatio uskoo saavan virheitä kiinni, itse asiassa leimaa ne, ja tämä tulee yleensä näkyviin vasta, kun joku mittaa ohitusasteen suoraan sen sijaan että luottaisi prosessin olemassaoloon.

Selitettävyysteatteri. Organisaatio antaa automatisoidulle päätökselle selityksen, joka kuulostaa täsmälliseltä ja tyydyttävältä mutta on tuotettu jälkikäteen menetelmällä, joka approksimoi sen sijaan että paljastaisi mallin todellisen päättelyn. Kustannus tulee esiin, kun selitystä testataan todellisessa tarkastelussa — muutoksenhaussa, auditoinnissa, oikeudellisessa haasteessa — ja se osoittautuu vastaamattomaksi sitä, miksi järjestelmä todella tuotti kyseisen tuloksen.

Historiallinen vinouma toistettuna takaisinkytkentäkehien kautta. Aiempien päätösten lopputuloksiin koulutettu malli — mitä alueita tutkittiin, mitkä hakemukset hyväksyttiin — oppii ja sitten ylläpitää minkä tahansa ylivalvonnan tai alipalvelun kuvion, joka muokkasi noita aiempia päätöksiä, ja jokaisesta sen tuottamasta uudesta päätöskierroksesta tulee koulutusdataa seuraavalle versiolle, syventäen kuviota sen korjaamisen sijaan. Tämä on dokumentoitu useilla julkisen sektorin aloilla kansainvälisesti, mukaan lukien riskiperusteinen poliisitoiminta ja hyvinvointipetosten seulonta, ja taustalla oleva mekanismi on tarpeeksi johdonmukainen noiden dokumentoitujen tapausten yli käsiteltäväksi yleisenä riskinä missä tahansa historialliseen täytäntöönpano- tai tapaustyödataan koulutetussa järjestelmässä, lainkäyttöalueesta riippumatta.

Vastuullisuusaukko eli ”monta kättä” -ongelma. Kun päätös kulkee toimittajan mallin, viraston datan, politiikkatiimin kynnysarvon asettamisen ja sosiaalityöntekijän nimellisen hyväksynnän kautta, vastuu väärästä lopputuloksesta voi jäädä aidosti epäselväksi jopa organisaatiolle itselleen, kun kukin osapuoli voi osoittaa toista virheen lähteenä. Kustannus ei ole vain se, ettei vaikutuksen kohteena oleva kansalainen saa selvää vastausta, vaan että organisaatio ei voi luotettavasti korjata todellista syytä, koska päätökselle kokonaisuutena ei ole yhtä vastuullista omistajaa (katso Aihe 3.4 — Vastuullisuus, avoimuus ja legitimiteetti).

Kypsyysmalli

Tarkistuslista

• Rakenna täydellinen inventaario jokaisesta järjestelmästä, joka tekee tai olennaisesti informoi päätöstä, joka vaikuttaa henkilön oikeuksiin tai etuuksiin, mukaan lukien toimittajan toimittamat työkalut.
• Luokittele jokainen tuon inventaarion järjestelmä sen informoiman päätöksen panosten mukaan määritellyllä riskitasolla.
• Varmista, että jokainen vaikutuksen kohteena oleva henkilö saa selkokielisen ilmoituksen siitä, että algoritmi oli mukana hänen tapauksessaan.
• Laadi täsmällinen, tapaustason selitys, jonka todellinen kansalainen saisi muutoksenhaussa, ja testaa, tyydyttäisikö se häntä todella.
• Testaa jokainen korkean panoksen järjestelmä erilaisvaikutuksen osalta käyttäen todellisia käyttöönoton jälkeisiä lopputuloksia, eriteltyinä asiaankuuluvien ominaisuuksien mukaan, ei vain tarkistamalla poissuljettuja syötemuuttujia.
• Mittaa ohitusaste ja keskimääräinen tarkastusaika jokaiselle ihminen silmukassa -kontrollille ja käsittele lähes nollan ohitusastetta löydöksenä.
• Varmista, että nimetty ihminen, jolla on aito valta kumota päätös, tarkastaa jokaisen muutoksenhaun.
• Aseta algoritminen auditointi järjestelmän rakentaneesta tai sitä ylläpitävästä tiimistä riippumattoman toiminnon alle.
• Varmista, että kunkin järjestelmän koulutus- ja käyttödata pysyy hallitussa, käyttötarkoitukseen sidotussa putkessa.
• Aseta kiinteä uudelleenkoulutus- ja uudelleenvalidointiaikataulu jokaiselle käytössä olevalle mallille sen sijaan että odotetaan valituksen käynnistävän tarkastelun.
• Tunnista, millä järjestelmillä ei tällä hetkellä ole täyden automaation turvatoimea vakavimmille ja vähiten peruutettaville päätöksille, ja korjaa se ensin.
• Käy kuusi yllä olevaa keskustelukysymystä läpi tiimisi kanssa ja kirjaa, missä rehellinen vastaus eroaa virallisesta.

Keskeiset lähteet

• OECD AI Principles (2019, päivitetty 2024) — ensimmäinen hallitustenvälinen standardi luotettavalle tekoälylle, kattaen osallistavan kasvun, ihmisoikeudet, avoimuuden, kestävyyden ja vastuullisuuden.
• Euroopan unionin tekoälyasetus (Regulation (EU) 2024/1689) — ensimmäinen kattava riskiportaistettu oikeudellinen kehys tekoälylle, joka käsittelee eksplisiittisesti julkisen sektorin kelpoisuuden, lainvalvonnan ja maahanmuuton käyttöjä.
• US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — hallinnon, datan, suorituskyvyn ja seurannan kehys tekoälyn vastuullisuudelle julkisella sektorilla.
• Danielle Keats Citronin tutkimus ”teknologisesta oikeudenmukaisesta menettelystä”, joka väittää automatisoitujen järjestelmien tarvitsevan menettelyllisiä suojatoimia, jotka on rakennettu nimenomaan algoritmiselle eikä inhimilliselle päätöksenteolle.
• Cathy O'Neilin, Virginia Eubanksin ja Frank Pasqualen yleisölle suunnattu tutkimus algoritmisesta vinoumasta, automatisoidusta hyvinvointihallinnosta ja läpinäkymättömistä pisteytysjärjestelmistä, siteerattuna koko tämän aiheen koulutusdatan vinouman ja mustan laatikon ongelman käsittelyssä.

Viitteet

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp