Deallusrwydd Artiffisial a Gwneud Penderfyniadau Algorithmig mewn Llywodraeth

Pam mae hyn yn bwysig i werth cyhoeddus

Mae cyrff cyhoeddus bob amser wedi dogni sylw: ni all gweithiwr achos gyfweld pob ymgeisydd yn bersonol, ni all swyddog tollau arolygu pob cynhwysydd, ni all tîm twyll adolygu pob hawliad. Mae deallusrwydd artiffisial (AI) — y maes eang o adeiladu systemau sy'n perfformio tasgau sydd fel arfer angen dyfarniad dynol — a'r arfer culach o wneud-penderfyniad algorithmig ac awtomataidd (ADM) yn addo dogni'r sylw hwnnw'n fwy cyson ac ar raddfa lawer mwy, gan sgorio, fflagio, neu benderfynu'n uniongyrchol achosion na fyddai tîm dynol byth yn gallu eu hadolygu'n llawn. Mae Pwnc 5.1 yn cwmpasu'r patrymau traddodi-gwasanaeth digidol y mae'r galluedd hwn yn eistedd o'u mewn (gweler Pwnc 5.1 — Llywodraeth Ddigidol a Thrawsnewid Digidol); mae'r pwnc hwn am beth sy'n digwydd unwaith y mae model, yn hytrach na swyddog wedi'i enwi, yn gwneud rhywfaint neu bob un o'r penderfynu.

Mae'r addewid yn wirioneddol: gall model wedi'i adeiladu'n dda ddal patrymau twyll anweledig i weithiwr achos, cymhwyso rheolau cymhwysedd â chysondeb perffaith ar draws miliwn o hawliadau, a rhyddhau amser arbenigol prin ar gyfer yr achosion sydd wirioneddol angen dyfarniad. Mae'r risg yr un mor wirioneddol ac yn anos ei weld o'r tu mewn i'r sefydliad a adeiladodd y system. Gall model wedi'i hyfforddi ar ddata hanesyddol ailadrodd a chwyddo'n union y gwahaniaethu y mae corff cyhoeddus yn bodoli i'w gywiro; gall model cymhleth fod mor dywyll fel na all na'r dinesydd na'r swyddog sy'n dibynnu arno ddweud pam y penderfynodd yr hyn a benderfynodd; a gall penderfyniad y mae algorithm yn ei hysbysu'n drwm barhau, yn weithdrefnol, i adael neb yn abl i roi rheswm i'r dinesydd na chlywed eu hachos. Nid yw'r un o'r rhain yn ddamcaniaethol: mae rheoleiddwyr, llysoedd, a chyrff cyfatebol-ombwdsmon ar draws sawl awdurdodaeth eisoes wedi canfod systemau sgorio-risg a chanfod-twyll sector-cyhoeddus a fflagiodd bobl yn anghymesur yn ôl cymdogaeth, hanes mewnfudo, neu strwythur teulu, ym mhob achos oherwydd bod y patrwm a wnaeth y model yn gywir hefyd yn digwydd olrhain nodwedd warchodedig neu sensitif.

Nid effeithlonrwydd yn erbyn tegwch fel cyfnewidiad i'w gydbwyso unwaith yw'r betiad gwerth cyhoeddus, felly, ond disgyblaeth dylunio i'w chynnal yn barhaus. Gall dinesydd a wrthodwyd budd-dal gan swyddog dynol ofyn i'r swyddog hwnnw pam, a gall apelio at ddyn arall â'r statws a'r pŵer i newid yr ateb — y peiriannwaith atebolrwydd y mae Pwnc 3.4 yn ei ddisgrifio (gweler Pwnc 3.4 — Atebolrwydd, Tryloywder, a Chyfreithlondeb). Mae angen ar ddinesydd a wrthodwyd budd-dal gan fodel yr un hawl i esboniad a'r un llwybr at ddyn a all ei ddiddymu, neu mae'r corff cyhoeddus wedi allforio'n dawel warant proses-briodol na wnaeth erioed ei thynnu'n ôl yn ffurfiol. Dyma sy'n gadael i gorff cyhoeddus gaffael enillion gwirioneddol gwneud-penderfyniad algorithmig mewn cysondeb a graddfa heb droi "penderfynodd yr algorithm" yn ymadrodd sy'n dod ag atebolrwydd i ben yn hytrach na'i ddechrau.

Cysyniadau craidd

Mae gwneud-penderfyniad awtomataidd (ADM) yn ddefnydd o ddata, meddalwedd, ac algorithmau i wneud neu hysbysu penderfyniadau'n sylweddol â graddau amrywiol o oruchwyliaeth ddynol, yn rhychwantu sbectrwm o system sy'n dim ond dwyn gwybodaeth i'r amlwg i ddyn i un sy'n penderfynu ac yn gweithredu heb unrhyw gynnwys dynol o gwbl (gweler automated decision-making). Mae ble mae system yn eistedd ar y sbectrwm hwnnw — cymorth penderfynu, ehangu penderfynu, neu awtomeiddiad llawn — yn pennu pa rwymedigaethau atebolrwydd a phroses-briodol sy'n gymwys, dyna pam mae rheoleiddwyr yn gynyddol yn dosbarthu systemau yn ôl safle arno yn hytrach nag yn ôl y dechnoleg sylfaenol.

Mae dynol-yn-y-ddolen yn disgrifio trefniant lle mae person yn adolygu neu'n cymeradwyo allbwn algorithm cyn iddo ddod i rym, yn wahanol i ddynol-ar-y-ddolen (mae person yn monitro ac yn gallu ymyrryd) neu brosesu wedi'i awtomeiddio'n llawn heb unrhyw adolygiad o gwbl (gweler human-in-the-loop). Mae rheolaeth dynol-yn-y-ddolen wirioneddol yn mynnu bod gan yr adolygydd yr amser, gwybodaeth, a statws i wirioneddol anghytuno â'r system; nid yw adolygydd sy'n cymeradwyo bron pob argymhelliad algorithmig oherwydd bod anghytuno'n cymryd mwy o amser neu'n cario mwy o risg bersonol na chytuno'n arfer goruchwyliaeth, hyd yn oed er bod y siart proses yn dangos cam dynol. Mae'r patrwm hwn, a elwir yn aml yn rhagfarn awtomeiddio, yn un o'r methiannau mwyaf cyffredin a lleiaf gweladwy ym mhwnc y pwnc hwn.

Mae rhagfarn algorithmig yn dueddiad systematig, ailadroddadwy system gyfrifiadurol i gynhyrchu canlyniadau annheg — er enghraifft, ffafrio un grŵp dros un arall mewn ffyrdd na fwriadodd dylunwyr y system, nac, yn aml, sylwi arnynt (gweler algorithmic bias). Mewn gweinyddiaeth gyhoeddus y ffynhonnell drechol yw rhagfarn data-hyfforddi: mae model wedi'i hyfforddi ar gofnodion gorfodi, benthyca, neu waith achos hanesyddol yn dysgu'r patrymau yn y cofnodion hynny, gan gynnwys unrhyw dros-blismona hanesyddol, tan-wasanaeth, neu arfer gwahaniaethol wedi'i bobi i mewn i bwy a ymchwiliwyd, a gymeradwywyd, neu a fflagiwyd yn y gorffennol. Gall model ailadrodd y canlyniad hwn hyd yn oed pan mae nodwedd sensitif — hil, anabledd, statws mudo — wedi'i heithrio'n benodol o'r data, oherwydd bod procsi cydberthynol (côd post, cyfenw, patrwm shifft, hanes budd-dal) yn cario'r un signal o dan enw arall; mae tynnu'r newidyn wedi'i enwi heb brofi am ei brocsïau'n ffordd gyffredin y mae corff cyhoeddus yn credu ei fod wedi trwsio problem ragfarn nad yw wedi'i thrwsio o gwbl.

Mae tegwch mewn dysgu peiriant yn cyfeirio at y teulu o ddulliau technegol a gweithdrefnol ar gyfer mesur a chywiro rhagfarn algorithmig mewn penderfyniadau awtomataidd (gweler fairness (machine learning)). Nodwedd wirioneddol anodd o'r maes hwn, nid troednodyn technegol datrysadwy, yw bod sawl diffiniad rhesymol yn reddfol o degwch — cyfraddau cymeradwyo cyfartal ar draws grwpiau, cyfraddau gwall cyfartal ar draws grwpiau, a chywirdeb wedi'i galibro'n gyfartal o fewn pob grŵp — yn fathemategol anghydnaws pryd bynnag y mae gan y grwpiau sylfaenol gyfraddau sylfaen gwahanol yn y data. Ni all corff cyhoeddus fodloni pob diffiniad ar yr un pryd; gall ddim ond dewis, yn benodol ac â rhesymau y mae'n barod i'w hamddiffyn, pa ddiffiniad y dylai'r penderfyniad dan sylw ei optimeiddio ar ei gyfer, sy'n ddyfarniad polisi wedi'i wisgo fel un technegol.

Esboniadwyedd a phroblem y blwch du. Mae model yn flwch du pan na ellir archwilio neu ddeall ei weithrediadau mewnol o'i fewnbynnau a'i allbynnau'n unig — yn wir am lawer o fodelau dysgu-peiriant perfformiad-uchel, y mae eu cywirdeb yn aml yn dod yn union o'r cymhlethdod sy'n eu gwneud yn anodd eu dehongli. Mae deallusrwydd artiffisial esboniadwy, neu XAI, yn faes dulliau ar gyfer gwneud rhesymeg model yn archwiliadwy, yn amrywio o ddewis mathau model gynhenid-ddehongladwy ar gyfer penderfyniadau canlyniadol i gynhyrchu eglurhadau ôl-ffeithiol sy'n brasamcanu, yn hytrach na datgelu, beth wnaeth model cymhleth mewn gwirionedd. Mae'r gwahaniaeth yn bwysig yn gyfreithiol yr un cymaint â thechnegol: gall eglurhad brasamcanol sy'n swnio'n gredadwy ond nad yw'n adlewyrchu rhesymeg wirioneddol y model fodloni rhestr wirio tryloywder tra'n methu'r dinesydd sy'n dibynnu arno i ddadlau'r sail wirioneddol dros benderfyniad yn ei erbyn.

Mae'r hawl i esboniad yn egwyddor gyfreithiol ddadleuol bod gan berson sy'n ddarostyngedig i benderfyniad awtomataidd sylweddol hawl i esboniad ystyrlon o'r rhesymeg dan sylw, wedi'i gysylltu agosaf â'r Rheoliad Cyffredinol yr Undeb Ewropeaidd ar Ddiogelu Data, sy'n cyfyngu penderfyniadau'n seiliedig yn gyfan gwbl ar brosesu awtomataidd sy'n cynhyrchu effeithiau cyfreithiol neu debyg-arwyddocaol ac yn rhoi i'r pwnc hawliau i gael ymyrraeth ddynol ac i wrthwynebu'r penderfyniad (gweler right to explanation a General Data Protection Regulation). Mae ysgolheigion cyfreithiol yn dadlau pa mor gryf yw'r hawl hon mewn gwirionedd mewn ymarfer, ac mae awdurdodaethau y tu allan i'r Undeb Ewropeaidd i raddau helaeth heb hawl statudol gyfatebol, dyna pam na ddylai corff cyhoeddus drin 'rydym yn cydymffurfio â'r gyfraith diogelu-data berthnasol' fel un cyfwerth â 'gallwn egluro'r penderfyniad hwn i'r person yr effeithir arno' — mae'r ddau honiad yn gysylltiedig ond nid yr un peth, a dim ond yr ail sy'n beth mae proses briodol mewn gwirionedd yn ei fynnu.

Proses briodol a chyfiawnder naturiol. Mewn cyfraith weinyddol, mae proses briodol — yr egwyddor, wedi'i datblygu fwyaf yng nghyfraith gyfansoddiadol yr Unol Daleithiau ond wedi'i hadleisio ar ffurf gymharol ar draws llawer o systemau cyfreithiol, bod yn rhaid i'r wladwriaeth ddilyn gweithdrefnau teg cyn amddifadu person o hawl neu hawliad — a chyfiawnder naturiol — traddodiad cyfraith-weinyddol y Gymanwlad sy'n mynnu gwrandawiad teg a rhyddid o ragfarn yn y penderfynwr — ill dau'n gorffwys ar dybiaeth a ysgrifennwyd cyn i gyfrifiaduron fodoli: bod gan benderfyniad benderfynwr adnabyddadwy a all roi rhesymau, y gellir dangos ei fod yn rhydd o ragfarn ddiarddel, ac y gellir gofyn iddo ailystyried. Mae algorithm yn straenio pob un o'r tair tybiaeth ar unwaith — efallai na fydd rhesymau ar gael yn dechnegol, mae'r 'ragfarn' dan sylw'n ystadegol yn hytrach na phersonol, ac mae ailystyriaeth gan yr un model yn cynhyrchu'r un ateb — dyna pam mae'n rhaid i broses briodol ar gyfer penderfyniadau algorithmig gael ei pheiriannu'n benodol yn hytrach na'i hetifeddu o weithdrefnau a adeiladwyd ar gyfer penderfynwyr dynol.

Rheoleiddio seiliedig-ar-risg AI. Yn hytrach na rheoleiddio pob AI yn unffurf, mae patrwm rheoleiddiol sy'n dod i'r amlwg — wedi'i ddatblygu fwyaf llawn yn Neddf Deallusrwydd Artiffisial yr Undeb Ewropeaidd — yn haenu rhwymedigaethau yn ôl betiad y cymhwysiad, gan wahardd set gul o ddefnyddiau'n gyfan gwbl, gosod y rhwymedigaethau cydymffurfio trymaf ar ddefnyddiau 'risg-uchel' (sy'n cynnwys yn benodol penderfynu cymhwysedd sector-cyhoeddus, asesu risg gorfodaeth-cyfraith, a phenderfyniadau mudo), mynnu datgeliadau tryloywder ar gyfer defnyddiau risg-is, a gadael defnyddiau risg-lleiafswm i raddau helaeth heb eu rheoleiddio (gweler Artificial Intelligence Act). Beth bynnag yw'r patrwm rheoleiddiol mewn awdurdodaeth benodol, mae'r syniad sylfaenol — y dylai rhwymedigaethau llywodraethiant raddio â betiad y penderfyniad, nid soffistigeiddrwydd y dechnoleg — yn egwyddor dylunio ddefnyddiol hyd yn oed heb rwymedigaeth gyfreithiol uniongyrchol i ddilyn cyfundrefn benodol yr UE.

Arferion gorau

1. Dosbarthwch bob system yn ôl betiad y penderfyniad cyn dewis y model, nid ar ei ôl. Mae gan system sy'n fflagio achos ar gyfer adolygiad dynol rwymedigaeth wahanol i un sy'n gwrthod budd-dal yn gyfan gwbl; penderfynwch pa haen y mae achos defnydd yn eistedd ynddi, gan ddefnyddio fframwaith fel categorïau risg Deddf AI yr UE fel pwynt cyfeirio, cyn adeiladu yn hytrach nag ar ôl i gyflwyniad ddatgelu'r bwlch.
2. Dywedwch wrth bobl, mewn iaith blaen, pan mae algorithm dan sylw mewn penderfyniad amdanynt. Nid yw hysbysiad preifatrwydd generig wedi'i gladdu mewn telerau ac amodau'n bodloni hyn; dylai'r hysbysiad ddweud beth mae'r system yn ei wneud, pa ddata mae'n ei ddefnyddio, a beth sy'n digwydd os yw'r person yn anghytuno â'i allbwn.
3. Adeiladwch reolaeth dynol-yn-y-ddolen y gall adolygydd ei wirioneddol arfer, a mesurwch a ydynt yn gwneud. Olrheiniwch y gyfradd ddiddymu, yr amser cyfartalog a dreulir fesul achos, ac a yw adolygwyr sy'n anghytuno â'r model yn wynebu unrhyw ffrithiant nad yw cytuno'n ei wynebu — os yw'r gyfradd ddiddymu'n agos i sero, mae'r adolygiad yn debygol iawn o fod yn addurniadol.
4. Profwch am effaith anghymesur gan ddefnyddio canlyniadau gwirioneddol, nid bwriadau'r datblygwyr. Cyn cyflwyniad ac ar amledd ailadroddol sefydlog wedyn, mesurwch ganlyniadau'r model wedi'u datgyfuno yn ôl nodweddion gwarchodedig a sensitif, gan gynnwys trwy brocsïau tebygol fel côd post neu hanes budd-dal, oherwydd gall model nad yw byth yn defnyddio newidyn gwarchodedig yn uniongyrchol ddal gynhyrchu canlyniad anghyfartal llym.
5. Rhowch i bob person yr effeithir arno lwybr at ddyn sydd â'r pŵer i ddiddymu penderfyniad yr algorithm, nid dim ond ei egluro. Mae sianel apêl sy'n ailddatgan rhesymeg y model heb bosibilrwydd gwirioneddol o wrthdroi'n bodloni llythyren hawl i esboniad tra'n trechu ei phwrpas.
6. Ffafriwch fodel dehongladwy dros fodel blwch-du ychydig yn fwy cywir ar gyfer penderfyniadau canlyniadol-gyfreithiol. Lle mae'r bwlch cywirdeb rhwng model dehongladwy ac un cymhleth yn fach, fel arfer mae'r ennill dehongladwyedd yn werth llawer mwy i'r dinesydd, y swyddog apêl, a'r archwilydd na'r cywirdeb ymylol i'r sefydliad.
7. Dogfennwch bwrpas pob system, data hyfforddi, cyfyngiadau hysbys, a defnydd bwriadedig mewn cofnod sefydlog, a'i ddiweddaru pan mae unrhyw un o'r rheini'n newid. Fel arfer mae model a gyflwynwyd ar gyfer un pwrpas ac wedi'i ailddefnyddio'n dawel ar gyfer un arall — sgrinio twyll wedi'i ymestyn i driâj cymhwysedd cyffredinol, er enghraifft — wedi gadael ei ddilysiad gwreiddiol a'i brofi rhagfarn ar ôl.
8. Cadwch ddata hyfforddi a gweithredol ar gyfer model betiad-uchel o fewn piblinell lywodraethedig, pwrpas-gyfyngedig. Mae ailddefnyddio set ddata a gasglwyd ar gyfer un pwrpas gweinyddol i hyfforddi model ar gyfer pwrpas anghysylltiedig yn fethiant llywodraethiant-data yr un cymaint â un modelu (gweler Pwnc 5.4 — Data'r Sector Cyhoeddus, Rhyngweithredu, a Data Agored).
9. Rhowch archwiliad algorithmig o dan swyddogaeth nad yw'n adrodd i'r tîm a adeiladodd neu sy'n gweithredu'r system. Mae archwiliad a gynhelir gan ddatblygwyr y system ei hun yn dod o hyd i broblemau gwahanol, a llai ohonynt, nag un a gynhelir gan adolygydd gwirioneddol annibynnol â'r statws i gyhoeddi canfyddiad negyddol (gweler Pwnc 3.4 — Atebolrwydd, Tryloywder, a Chyfreithlondeb).
10. Rhedwch gyfnod cysgod cyn troi system ymlaen ar gyfer penderfyniadau gwirioneddol. Cymharwch argymhellion y model yn erbyn penderfyniadau dynol gwirioneddol ar yr un achosion am gyfnod diffiniedig cyn iddo ddechrau gweithredu, fel bod unrhyw wyriad systematig yn dod i'r amlwg cyn i ddinesydd gael ei effeithio ganddo.
11. Neilltuwch awtomeiddiad llawn, heb unrhyw adolygiad dynol o gwbl, ar gyfer y penderfyniadau lleiaf canlyniadol a mwyaf adferadwy yn unig. Po fwyaf difrifol a lleiaf adferadwy yw penderfyniad — terfynu budd-dal, cyfeiriad twyll sy'n sbarduno ymchwiliad troseddol, gwrthod mynediad — cryfaf yw'r achos dros gadw dyn wirioneddol yn y ddolen, beth bynnag yw cywirdeb mesuredig y model.
12. Ail-hyfforddwch, ail-ddilyswch, ac ail-brofwch am ragfarn ar amserlen sefydlog, nid dim ond pan mae problem yn cael ei hadrodd. Gall priodweddau cywirdeb a thegwch model ddrifftio'n dawel wrth i'r boblogaeth a'r byd y'i hyfforddwyd arno newid, ac mae corff cyhoeddus sydd ond yn ymchwilio ar ôl cwyn eisoes wedi gadael y drifft i redeg am ba mor hir bynnag y cymerodd y gŵyn i ddod i'r amlwg.

Cwestiynau i'w trafod gyda'ch tîm

Ble yn ein sefydliad mae algorithm ar hyn o bryd yn gwneud neu'n hysbysu'n drwm benderfyniad sy'n effeithio ar hawliau, hawliadau, neu ryddid person, ac a allai pob person yr effeithir arno wirioneddol ddarganfod ei fod wedi digwydd? Mae llawer o sefydliadau'n darganfod, pan maent yn gwirioneddol restru eu systemau, bod sgorio neu driâj algorithmig wedi cripian i mewn i fwy o bwyntiau penderfynu nag y sylweddolodd unrhyw un tîm, aml wedi'i gyflwyno'n wreiddiol fel erfyn effeithlonrwydd betiad-isel. Defnyddiwch y cwestiwn hwn i adeiladu'r rhestr honno'n onest, gan gynnwys systemau wedi'u caffael gan werthwr yn hytrach na'u hadeiladu'n fewnol, gan y gall caffael guddio faint mae erfyn a brynwyd mewn gwirionedd yn ei benderfynu.

Pe bai dinesydd yn herio un o'n penderfyniadau awtomataidd yn ffurfiol yfory, a allem roi iddo reswm gwirioneddol, penodol, neu ddisgrifiad o'r broses yn unig? Nid yw disgrifiad proses — 'ystyriodd y system eich incwm, maint eich cartref, a'ch hanes talu' — yr un peth ag esboniad o pam gynhyrchodd y mewnbynnau hynny'r canlyniad penodol hwn i'r person penodol hwn. Defnyddiwch y cwestiwn hwn i ddewis un system fyw a cheisio, fel tîm, ysgrifennu'r eglurhad y byddai dinesydd gwirioneddol yn ei dderbyn pe baent yn apelio. Os yw'r ymarfer yn anodd, mae'r anhawster hwnnw ei hun yn ganfyddiad.

A ydym yn gwybod a yw ein data hyfforddi'n ailadrodd patrwm hanesyddol o ragfarn, ac a ydym wedi profi hynny yn erbyn canlyniadau gwirioneddol yn hytrach nag yn erbyn ein bwriadau? Nid yw eithrio nodwedd warchodedig o set ddata'r un peth ag eithrio ei dylanwad, oherwydd gall procsïau cydberthynol gario'r un signal o dan enw gwahanol. Defnyddiwch y cwestiwn hwn i nodi pa un o'ch systemau sydd wedi'u profi am effaith anghymesur gan ddefnyddio canlyniadau gwirioneddol ôl-gyflwyniad, wedi'u datgyfuno yn ôl nodweddion perthnasol, yn hytrach na'u profi dim ond am bresenoldeb newidyn gwarchodedig yn y data mewnbwn.

A yw ein hadolygiad dynol-yn-y-ddolen yn wiriad gwirioneddol, neu'n stamp rwber nad ydym wedi'i fesur yn ddigon agos i sylwi arno? Bydd adolygydd dynol o dan bwysau amser, heb gyd-destun llawn, neu'n wynebu mwy o ffrithiant am anghytuno na chytuno'n tueddu tuag at gymeradwyo argymhelliad yr algorithm ni waeth ei ansawdd. Defnyddiwch y cwestiwn hwn i ddod o hyd i'ch cyfradd ddiddymu wirioneddol ar gyfer o leiaf un system, a thrafodwch beth mae'r rhif hwnnw'n ei ddweud wrthych am a yw adolygiad yn gweithredu fel rheolaeth neu fel ffurfioldeb cydymffurfio.

Beth sy'n digwydd mewn gwirionedd, yn weithdrefnol, pan mae rhywun eisiau apelio penderfyniad a wnaeth ein halgorithm neu a hysbysodd yn drwm — ac a yw dyn â phŵer gwirioneddol i'w wrthdroi byth yn gweld yr apêl? Mae llawer o brosesau apêl yn llwybro dinesydd yn ôl trwy ddisgrifiad o resymeg y model heb byth gyrraedd person a all ddiddymu'r canlyniad ar ei deilyngdod. Defnyddiwch y cwestiwn hwn i olrhain un apêl, o'r dechrau i'r diwedd, ar gyfer achos gwirioneddol neu realistig, a nodi'r pwynt union, os o gwbl, lle mae dyn ag awdurdod gwirioneddol i newid yr ateb dan sylw.

Pwy sy'n berchen ar y risg os yw un o'n modelau'n dirywio neu'n drifftio ar ôl cyflwyniad, a sut fyddem mewn gwirionedd yn gwybod cyn i ddinesydd neu newyddiadurwr ddweud wrthym? Nid yw priodweddau tegwch a chywirdeb model yn sefydlog wrth lansio; gallant symud wrth i'r boblogaeth, yr economi, neu bolisi cyfagos newid, yn aml yn anweledig i'r tîm a adeiladodd y system. Defnyddiwch y cwestiwn hwn i nodi pwy sy'n atebol am fonitro ôl-gyflwyniad, ar ba amledd, a beth yn benodol fyddai'n sbarduno ail-hyfforddi neu saib.

Yn ymarferol: enghraifft gwerth cyhoeddus

Adeiladodd asiantaeth yswiriant-cymdeithasol genedlaethol ddychmygol fodel sgorio-risg i flaenoriaethu pa hawliadau budd-dal-diweithdra y dylai ei thîm ymchwilio-twyll eu hadolygu gyntaf, ar ôl blynyddoedd o ôl-groniad a olygai bod twyll gwirioneddol yn eistedd heb ei ymchwilio am fisoedd tra bo hawlwyr gonest yn aros ar oedi prosesu anghysylltiedig. Hyfforddwyd y model ar bum mlynedd o ffeiliau ymchwiliad caeedig, gan ddysgu pa nodweddion hawliad a ragflaenodd yn hanesyddol ganfyddiad twyll wedi'i gadarnhau, a pherfformiodd yn dda mewn profi: cadarnhawyd bod hawliadau y sgoriodd fel risg-uchel yn dwyllodrus ar gyfradd lawer uwch na sampl ar hap, a thrinodd arweinyddiaeth yr asiantaeth, gan wylio ei ôl-groniad yn syrthio am y tro cyntaf mewn blynyddoedd, y cyflwyniad fel llwyddiant diamwys.

Ddeunaw mis i mewn, sylwodd swyddfa gyfatebol-ombwdsmon fewnol ar rywbeth nad oedd dangosfwrdd perfformiad tîm twyll ei hun wedi'i ddwyn i'r amlwg: roedd hawlwyr yn byw mewn nifer fach o ddosbarthau post, yn anghymesur incwm-is ac yn anghymesur mudwyr diweddar, yn cael eu fflagio ar gyfer ymchwiliad ar gyfradd bron dair gwaith cyfradd hawlwyr tebyg fel arall mewn mannau eraill, ac roedd cyfran lawer uwch o'u hawliadau wedi'u fflagio'n cael eu cau heb ganfod unrhyw dwyll o gwbl. Olrheiniodd y patrwm yn ôl i'r data hyfforddi: adlewyrchodd y ffeiliau ymchwiliad hanesyddol flynyddoedd lle roedd ymchwilwyr maes, yn gweithio o'u heuristigau anffurfiol eu hunain, wedi crynhoi gwiriadau-smotyn â llaw yn union yn y dosbarthau hynny, felly roedd y model wedi dysgu trin byw yno fel un rhagfynegol o dwyll, pan oedd mewn gwirionedd ond yn rhagfynegol o gael ei wirio'n amlach yn y gorffennol. Ni fu dosbarth post erioed yn fewnbwn i'r model; nid oedd angen iddo fod, oherwydd roedd meysydd cyfansoddiad-aelwyd, sector-cyflogwr, a dull-talu'n cydberthynu'n ddigon agos ag ef i gario'r un signal trwy brocsi.

Cadarnhaodd ymchwiliad yr asiantaeth fod y patrwm yn wirioneddol, a chadarnhaodd hefyd broblem ail, dawelach: roedd yr adolygwyr dynol a oedd i fod i gymeradwyo achos ar gyfer ymchwiliad llawn cyn iddo fynd yn ei flaen wedi bod yn cymeradwyo argymhellion sgôr-uchaf y model yn y mwyafrif llethol o achosion, ag amseroedd adolygu'n gyfartalu llai na dau funud fesul achos — dim byn agos ddigon i wirioneddol ail-ddyfalu sgôr ystadegol, sy'n golygu nad oedd y rheolaeth dynol-yn-y-ddolen y pwyntiodd arweinyddiaeth ati fel mesur diogelu mewn gwirionedd wedi bod yn dal yr anghyfartaledd yr oedd yn bodoli i'w ddal. Cyfunodd ymateb yr asiantaeth sawl un o arferion gorau'r pwnc hwn ar unwaith: ail-hyfforddodd y model â'r patrwm tros-blismona hanesyddol wedi'i gywiro amdano, hwyodd amser adolygu a rhoi i adolygwyr awdurdod i gau achos wedi'i fflagio heb ddwysáu pan oedd eu dyfarniad eu hunain yn anghytuno â'r sgôr, ac adeiladodd hysbysiad iaith-blaen a llwybr apêl gwirioneddol at swyddog achos wedi'i enwi ar gyfer unrhyw un yr oedd ei hawliad wedi'i fflagio. Syrthiodd cynnyrch ymchwiliad fesul awr adolygydd rywfaint, ond cododd y gyfradd twyll-wedi'i-gadarnhau ymhlith hawliadau wedi'u fflagio o'r dosbarthau a fflagiwyd-yn-ormodol yn flaenorol i gyfateb â gweddill y llwyth achos, trinodd archwiliad yr asiantaeth ei hun fel y mesur gwirioneddol o lwyddiant — nid cyfaint hawliadau wedi'u fflagio, ond a oedd fflagio'n olrhain twyll gwirioneddol yn hytrach na phatrwm hanesyddol yr oedd y model wedi dysgu ei ailadrodd.

Pedwar lens sector

Llywodraeth leol

Mae awdurdodau lleol yn gynyddol yn cyflwyno offer algorithmig ar gyfer y penderfyniadau â'r betiad mwyaf uniongyrchol a phersonol i breswylwyr — blaenoriaeth dyraniad tai, sgorio risg lles-plant, a thriâj twyll treth-gyngor neu fudd-dal — yn aml tra'n brin o'r capasiti gwyddoniaeth-data mewnol i adeiladu, dilysu, neu archwilio'r systemau hyn eu hunain, gan adael llawer i ddibynnu ar fodelau wedi'u cyflenwi-gan-werthwr nad yw'r awdurdod yn gallu archwilio eu data hyfforddi a'u dilysiad yn llawn. Mae hyn yn creu disgyblaeth gaffael benodol: dylai awdurdod lleol sy'n comisiynu system algorithmig fynnu, fel amod contractiol, yr un esboniadwyedd, profi rhagfarn, a mynediad archwiliad y byddai'n ei fynnu o adeiladwaith mewnol, oherwydd nid yw hawliau proses-briodol preswylydd yn lleihau oherwydd i'r awdurdod brynu'r system yn hytrach na'i hadeiladu.

Llywodraeth genedlaethol

Mae asiantaethau cenedlaethol yn gweithredu'r systemau graddfa-fwyaf ym mhwnc y pwnc hwn — canfod twyll treth, asesu risg mewnfudo, cymhwysedd budd-dal cenedlaethol — lle mae hyd yn oed cyfradd gwall fach yn trosi'n rif absoliwt mawr iawn o bobl yr effeithir arnynt, a lle fel arfer mae gan yr asiantaeth y capasiti technegol a chyfreithiol dyfnaf i adeiladu mesurau diogelu gwirioneddol. Fel arfer llywodraeth genedlaethol hefyd yw'r lefel lle mae rheoleiddio AI seiliedig-ar-risg, lle mae'n bodoli, yn cael ei ysgrifennu a'i orfodi, gan roi i asiantaethau cenedlaethol y rhwymedigaethau ffurfiol cliriaf a'r amlygiad mwyaf pan mae archwiliad neu lys yn canfod bod system awtomataidd wedi cynhyrchu canlyniadau gwahaniaethol neu heb eu hadolygu ar raddfa.

Sector cymdeithasol a di-elw

Mae sefydliadau dielw a sefydliadau anllywodraethol (NGOau) yn gynyddol yn defnyddio offer algorithmig i driâjio dosbarthiad cymorth, sgrinio buddiolwyr am gymhwysedd, neu flaenoriaethu gwaith achos yn union y meysydd y mae'r pwnc hwn yn eu cwmpasu, yn aml o dan gyfyngiadau adnodd gwirioneddol sy'n gwneud yr achos effeithlonrwydd dros awtomeiddiad yn wirioneddol gymhellol. Fodd bynnag, mae'r strwythur atebolrwydd yn nodedig wahanol i lywodraeth: anaml y mae gan fuddiolwyr sefydliad dielw'r hawliau apêl statudol sydd gan ddinesydd yn erbyn asiantaeth wladwriaethol, ac yn aml mae perthynas atebolrwydd sylfaenol y sefydliad yn rhedeg i'w gyllidwyr yn hytrach na'r bobl y mae'r algorithm yn penderfynu amdanynt, sef yn union y bwlch atebolrwydd y mae Pwnc 3.8 — Rheoli'r Sector Cymdeithasol a Sefydliadau Dielw — yn ei ddisgrifio ar gyfer y sector yn gyffredinol.

Amlochrog a rhyngwladol

Mae cyrff amlochrog ac asiantaethau dyngarol rhyngwladol yn cymhwyso offer targedu a sgorio-risg algorithmig ar draws ffiniau a systemau cyfreithiol, yn aml mewn lleoliadau argyfwng lle mae budd cyflymder awtomeiddio fwyaf llym a'r data sydd ar gael leiaf dibynadwy — data cofrestru anghyflawn, data a gasglwyd ar gyfer un argyfwng a'i ailddefnyddio ar gyfer un arall, a phoblogaethau â gallu cyfyngedig i wrthwynebu penderfyniad sgorio sy'n pennu a ydynt yn derbyn cymorth. Nid oes unrhyw gyfraith proses-briodol genedlaethol sengl neu gyfundrefn hawl-i-esboniad yn gymwys yn unffurf ar draws gweithrediadau corff amlochrog, felly rhaid adeiladu'r mesurau diogelu y mae'r pwnc hwn yn eu disgrifio i mewn i safonau gweithredol y sefydliad ei hun yn hytrach na'u hetifeddu o fframwaith cyfreithiol allanol gorfodadwy.

Moddau methiant cyffredin

Gwahaniaethu procsi. Mae model yn eithrio nodwedd warchodedig yn uniongyrchol ond yn dysgu signal cyfatebol o newidyn cydberthynol — côd post, cyfenw, sector cyflogaeth, hanes budd-dal — gan ailadrodd yr union batrwm gwahaniaethol yr oedd yr eithriad i fod i'w atal. Mae'r gost yn ymdeimlad ffug o ddiogelwch: gall y sefydliad ddweud yn wir na ddefnyddiwyd y newidyn gwarchodedig erioed, tra bo'r canlyniad yn aros yr un mor anghyfartal â phe bai wedi bod.

Rhagfarn awtomeiddio mewn adolygiad dynol. Mae adolygydd dynol, wedi'i fynnu'n ffurfiol i wirio argymhelliad algorithm, yn ei gymeradwyo yn y mwyafrif llethol o achosion oherwydd bod anghytuno'n cymryd mwy o amser, mwy o gyfiawnhad, neu fwy o risg bersonol na chytuno. Mae'r gost yn golygu bod rheolaeth y mae'r sefydliad yn credu sy'n dal gwallau, mewn ymarfer, yn eu stampio â rwber, ac fel arfer dim ond unwaith mae rhywun yn mesur y gyfradd ddiddymu'n uniongyrchol y daw hyn yn weladwy.

Theatr esboniadwyedd. Mae sefydliad yn darparu eglurhad ar gyfer penderfyniad awtomataidd sy'n swnio'n benodol ac yn foddhaol ond a gynhyrchwyd ar ôl y ffaith gan ddull sy'n brasamcanu, yn hytrach na datgelu, rhesymeg wirioneddol y model. Mae'r gost yn ymddangos pan mae'r eglurhad yn cael ei brofi o dan graffu gwirioneddol — apêl, archwiliad, her gyfreithiol — ac yn troi allan i beidio â chyfateb â pham y cynhyrchodd y system yr allbwn penodol hwnnw mewn gwirionedd.

Rhagfarn hanesyddol wedi'i hailadrodd trwy ddolenni adborth. Mae model wedi'i hyfforddi ar ganlyniadau penderfyniadau'r gorffennol — pa gymdogaethau a ymchwiliwyd, pa geisiadau a gymeradwywyd — yn dysgu ac yna'n parhau pa batrwm bynnag o dros-graffu neu dan-wasanaeth a siapiodd y penderfyniadau hynny yn y gorffennol, ac mae pob rownd newydd o benderfyniadau y mae'n eu cynhyrchu'n dod yn ddata hyfforddi ar gyfer y fersiwn nesaf, gan ddyfnhau'r patrwm yn hytrach na'i gywiro.

Y bwlch atebolrwydd, neu broblem "llawer o ddwylo". Pan mae penderfyniad yn rhedeg trwy fodel gwerthwr, data asiantaeth, gosod trothwy tîm polisi, a llofnodi nominal gweithiwr achos, gall cyfrifoldeb am ganlyniad anghywir ddod yn wirioneddol aneglur hyd yn oed i'r sefydliad ei hun, â phob blaid yn gallu pwyntio at un arall fel ffynhonnell y gwall. Nid dim ond na all y dinesydd yr effeithir arno gael ateb clir yw'r gost, ond na all y sefydliad drwsio'r achos gwirioneddol yn ddibynadwy, oherwydd nid oes unrhyw berchennog atebol sengl yn bodoli ar gyfer y penderfyniad yn ei gyfanrwydd (gweler Pwnc 3.4 — Atebolrwydd, Tryloywder, a Chyfreithlondeb).

Model aeddfedrwydd

Rhestr wirio

• Adeiladu rhestr eiddo gyflawn o bob system sy'n gwneud neu'n hysbysu'n sylweddol benderfyniad sy'n effeithio ar hawliau neu hawliadau person, gan gynnwys offer wedi'u cyflenwi-gan-werthwr.
• Dosbarthu pob system yn y rhestr eiddo honno yn ôl betiad y penderfyniad y mae'n ei hysbysu, gan ddefnyddio haen risg ddiffiniedig.
• Cadarnhau bod pob person yr effeithir arno'n derbyn hysbysiad iaith-blaen bod algorithm dan sylw yn eu hachos.
• Drafftio'r eglurhad penodol, lefel-achos y byddai dinesydd gwirioneddol yn ei dderbyn ar apêl, a phrofi a fyddai'n eu bodloni mewn gwirionedd.
• Profi pob system betiad-uchel am effaith anghymesur gan ddefnyddio canlyniadau gwirioneddol ôl-gyflwyniad, wedi'u datgyfuno yn ôl nodweddion perthnasol, nid dim ond trwy wirio am newidynnau mewnbwn wedi'u heithrio.
• Mesur cyfradd ddiddymu ac amser adolygu cyfartalog ar gyfer pob rheolaeth dynol-yn-y-ddolen, a thrin cyfradd ddiddymu agos-i-sero fel canfyddiad.
• Cadarnhau bod dyn wedi'i enwi, ag awdurdod gwirioneddol i wrthdroi'r penderfyniad, yn adolygu pob apêl.
• Gosod archwiliad algorithmig o dan swyddogaeth annibynnol i'r tîm a adeiladodd neu sy'n gweithredu'r system.
• Cadarnhau bod data hyfforddi a gweithredol pob system yn aros o fewn piblinell lywodraethedig, pwrpas-gyfyngedig.
• Gosod amserlen ail-hyfforddi ac ail-ddilysu sefydlog ar gyfer pob model wedi'i gyflwyno, yn hytrach nag aros i gŵyn sbarduno adolygiad.
• Nodi pa rai o'ch systemau nad oes ganddynt fesur diogelu awtomeiddiad-llawn ar hyn o bryd ar gyfer y penderfyniadau mwyaf difrifol a lleiaf adferadwy, a chywiro hynny gyntaf.

Ffynonellau allweddol

• Egwyddorion AI OECD (2019, wedi'u diweddaru 2024) — y safon rynglywodraethol gyntaf ar gyfer AI dibynadwy, yn cwmpasu twf cynhwysol, hawliau dynol, tryloywder, cadernid, ac atebolrwydd.
• Deddf Deallusrwydd Artiffisial yr Undeb Ewropeaidd (Rheoliad (UE) 2024/1689) — y fframwaith cyfreithiol risg-haenog cynhwysfawr cyntaf ar gyfer AI, yn mynd i'r afael yn benodol â defnyddiau cymhwysedd sector-cyhoeddus, gorfodaeth-cyfraith, a mudo.
• Swyddfa Atebolrwydd Llywodraeth UDA, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — fframwaith llywodraethiant, data, perfformiad, a monitro ar gyfer atebolrwydd AI yn y sector cyhoeddus.
• Ysgolheictod Danielle Keats Citron ar 'broses briodol dechnolegol,' yn dadlau bod systemau awtomataidd angen mesurau diogelu gweithdrefnol wedi'u pwrpas-adeiladu ar gyfer gwneud-penderfyniad algorithmig, yn hytrach na dynol.
• Ysgolheictod cyhoeddus-wynebu Cathy O'Neil, Virginia Eubanks, a Frank Pasquale ar ragfarn algorithmig, gweinyddiaeth les awtomataidd, a systemau sgorio tywyll, wedi'u dyfynnu trwy gydol trafodaeth y pwnc hwn o ragfarn data-hyfforddi a phroblem y blwch du.

Cyfeiriadau

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp