AI na Uamuzi wa Kialgoriti katika Serikali

Kwa nini hili ni muhimu katika thamani ya umma

Vyombo vya umma siku zote vimegawa umakini: msimamizi wa kesi hawezi kumhoji kibinafsi kila mwombaji, afisa wa forodha hawezi kukagua kila kontena, timu ya ulaghai haiwezi kupitia kila dai. Akili bandia (AI) — uwanja mpana wa kujenga mifumo inayofanya kazi ambazo kwa kawaida zinahitaji hukumu ya binadamu — na mazoezi finyu zaidi ya uamuzi wa kialgoriti na wa kiotomatiki (ADM) yanaahidi kugawa umakini huo kwa uthabiti zaidi na kwa kiwango kikubwa zaidi, yakipa alama, kuashiria, au kuamua moja kwa moja kesi ambazo timu ya binadamu isingeweza kamwe kuzipitia kikamilifu. Mada 5.1 inashughulikia mifumo ya utoaji wa huduma ya kidijitali ambayo uwezo huu unakaa ndani yake (tazama Mada 5.1 — Serikali Mtandao na Mageuzi ya Kidijitali); mada hii inahusu kinachotokea mara mfano, badala ya afisa aliyetajwa, unapofanya baadhi au yote ya uamuzi.

Ahadi ni ya kweli: mfano uliojengwa vizuri unaweza kukamata mifumo ya ulaghai isiyoonekana kwa msimamizi wa kesi, kutumia kanuni za ustahiki kwa uthabiti kamili kuvuka madai milioni, na kuachilia muda adimu wa wataalamu kwa kesi zinazohitaji hukumu kweli. Hatari ni ya kweli vilevile na ngumu zaidi kuiona kutoka ndani ya shirika lililojenga mfumo. Mfano uliofunzwa kwa data za kihistoria unaweza kuzalisha na kukuza ubaguzi hasa ambao chombo cha umma kipo kuurekebisha; mfano tata unaweza kuwa wa kufichika kiasi kwamba mwananchi wala afisa anayeutegemea hawawezi kusema kwa nini uliamua ulichoamua; na uamuzi ambao algoriti inauarifu sana bado unaweza, kiutaratibu, kuacha hakuna anayeweza kumpa mwananchi sababu au kusikiliza kesi yake. Hakuna kati ya haya ni ya kidhahania: wadhibiti, mahakama, na vyombo vinavyolingana na wasimamizi wa malalamiko katika mamlaka nyingi vimepata mifumo ya umma ya kupima hatari na kugundua ulaghai iliyoashiria watu kwa kiasi kisicholingana kwa mtaa, historia ya uhamiaji, au muundo wa familia, katika kila kisa kwa sababu mfumo uliofanya mfano kuwa sahihi pia ulitokea kufuata sifa iliyolindwa au nyeti.

Hatari ya thamani ya umma kwa hivyo si ufanisi dhidi ya haki kama maridhiano ya kupimwa mara moja, bali nidhamu ya usanifu ya kudumishwa kwa kuendelea. Mwananchi aliyenyimwa faida na afisa wa binadamu anaweza kumwuliza afisa huyo kwa nini, na anaweza kukata rufaa kwa binadamu mwingine mwenye hadhi na nguvu ya kubadilisha jibu — mitambo ya uwajibikaji ambayo Mada 3.4 inaieleza (tazama Mada 3.4 — Uwajibikaji, Uwazi na Uhalali). Mwananchi aliyenyimwa faida na mfano anahitaji haki ileile ya maelezo na njia ileile ya kufikia binadamu anayeweza kuipindua, au chombo cha umma kimesafirisha kimya kimya hakikisho la mchakato wa haki ambalo hakijawahi kuliondoa rasmi. Kupata hili sawa ndiko kunakoruhusu chombo cha umma kukamata faida halisi za uamuzi wa kialgoriti katika uthabiti na kiwango bila kugeuza "algoriti iliamua" kuwa kauli inayomaliza uwajibikaji badala ya kuuanzisha.

Dhana kuu

Uamuzi wa kiotomatiki (ADM) ni matumizi ya data, programu, na algoriti kufanya au kufahamisha kwa kiasi kikubwa maamuzi kwa viwango tofauti vya usimamizi wa binadamu, ukienea kutoka mfumo unaoleta tu taarifa kwa binadamu hadi unaoamua na kutenda bila binadamu yeyote kuhusika kabisa (tazama automated decision-making). Mahali mfumo unapokaa kwenye wigo huo — msaada wa uamuzi, upanuzi wa uamuzi, au uendeshaji wa kiotomatiki kikamilifu — kunaamua ni wajibu gani wa uwajibikaji na mchakato wa haki unatumika, ndiyo sababu wadhibiti wanazidi kuainisha mifumo kwa nafasi yake juu yake badala ya kwa teknolojia ya msingi.

Binadamu-ndani-ya-mzunguko unaeleza mpangilio ambapo mtu hupitia au kuidhinisha pato la algoriti kabla halijaanza kutumika, tofauti na binadamu-juu-ya-mzunguko (mtu hufuatilia na anaweza kuingilia) au uchakataji wa kiotomatiki kikamilifu bila mapitio yoyote (tazama human-in-the-loop). Udhibiti wa kweli wa binadamu-ndani-ya-mzunguko unahitaji kwamba mhakiki ana muda, taarifa, na hadhi ya kutokubaliana na mfumo kweli; mhakiki anayeidhinisha karibu kila pendekezo la algoriti kwa sababu kutokubaliana kunachukua muda mrefu zaidi au kunabeba hatari ya kibinafsi zaidi kuliko kukubali hafanyi usimamizi, ingawa chati ya mchakato inaonyesha hatua ya binadamu. Mfumo huu, mara nyingi huitwa upendeleo wa kiotomatiki, ni mojawapo ya kushindwa kwa kawaida na kusikoonekana kwa urahisi zaidi katika somo la mada hii.

Upendeleo wa kialgoriti ni mwelekeo wa kimfumo, unaojirudia wa mfumo wa kompyuta kuzalisha matokeo yasiyo ya haki — kwa mfano, kupendelea kundi moja kuliko lingine kwa njia ambazo wabunifu wa mfumo hawakukusudia wala, mara nyingi, hawakugundua (tazama algorithmic bias). Katika utawala wa umma chanzo kikuu ni upendeleo wa data za mafunzo: mfano uliofunzwa kwa rekodi za kihistoria za utekelezaji, ukopeshaji, au kesi hujifunza mifumo katika rekodi hizo, ikijumuisha polisi kupita kiasi, huduma pungufu, au mazoezi ya kibaguzi yaliyojengwa ndani ya nani alichunguzwa, aliyeidhinishwa, au aliyeashiriwa hapo awali. Mfano unaweza kuzalisha matokeo haya hata pale sifa nyeti — rangi, ulemavu, hadhi ya uhamiaji — imetengwa waziwazi kutoka data, kwa sababu mbadala unaohusiana (msimbo wa posta, jina la ukoo, mfumo wa zamu, historia ya faida) hubeba ishara ileile kwa jina lingine; kuondoa kigeugeu kilichotajwa bila kujaribu mbadala wake ni njia ya kawaida ambayo chombo cha umma kinaamini kimerekebisha tatizo la upendeleo ambalo hakijarekebisha kabisa.

Haki katika ujifunzaji wa mashine inarejelea familia ya mbinu za kiufundi na za kiutaratibu za kupima na kurekebisha upendeleo wa kialgoriti katika maamuzi ya kiotomatiki (tazama fairness (machine learning)). Sifa ngumu ya uwanja huu, si maelezo ya chini yanayoweza kutatuliwa kiufundi, ni kwamba fasili kadhaa za haki zinazoonekana za busara — viwango sawa vya idhini kuvuka makundi, viwango sawa vya makosa kuvuka makundi, na usahihi uliowekwa sawa ndani ya kila kundi — haziendani kihisabati kila makundi ya msingi yanapokuwa na viwango vya msingi tofauti katika data. Chombo cha umma hakiwezi kutosheleza fasili zote kwa wakati mmoja; kinaweza tu kuchagua, waziwazi na kwa sababu ambazo kiko tayari kuzitetea, ni fasili ipi uamuzi uliopo unapaswa kuiboresha, ambalo ni hukumu ya sera iliyovaa kama ya kiufundi.

Uwezekano wa kueleza na tatizo la kisanduku cheusi. Mfano ni kisanduku cheusi wakati kazi zake za ndani haziwezi kukaguliwa au kueleweka kutoka pembejeo na pato lake pekee — kweli kwa mifano mingi ya ujifunzaji wa mashine yenye utendaji wa juu, ambayo usahihi wake mara nyingi unatokana hasa na utata unaoifanya kuwa ngumu kufasiri. Akili bandia inayoweza kuelezeka, au XAI, ni uwanja wa mbinu za kufanya hoja ya mfano iweze kukaguliwa, kuanzia kuchagua aina za mifano zinazoweza kufasiriwa kwa asili kwa maamuzi yenye matokeo makubwa hadi kuzalisha maelezo ya baada ya tukio yanayokaribia, badala ya kufichua, kile mfano tata ulichofanya kweli. Tofauti ni muhimu kisheria kama kiufundi: maelezo ya kukaribia yanayosikika ya kuaminika lakini hayaakisi hoja halisi ya mfano yanaweza kutosheleza orodha ya ukaguzi ya uwazi huku yakimwangusha mwananchi anayeyategemea kupinga msingi halisi wa uamuzi dhidi yake.

Haki ya maelezo ni kanuni ya kisheria inayobishaniwa kwamba mtu aliye chini ya uamuzi wa kiotomatiki wenye maana ana haki ya maelezo yenye maana ya mantiki inayohusika, inayohusishwa kwa karibu zaidi na Kanuni ya Jumla ya Ulinzi wa Data ya Umoja wa Ulaya, inayozuia maamuzi yanayotegemea uchakataji wa kiotomatiki pekee yanayozalisha athari za kisheria au muhimu vilevile na kumpa mhusika haki za kupata uingiliaji wa binadamu na kupinga uamuzi (tazama right to explanation na General Data Protection Regulation). Wasomi wa sheria wanabishana haki hii ina nguvu kiasi gani kivitendo, na mamlaka nje ya Umoja wa Ulaya kwa kiasi kikubwa hazina haki inayolingana ya kisheria, ndiyo sababu chombo cha umma hakipaswi kuchukulia "tunatii sheria husika ya ulinzi wa data" kama sawa na "tunaweza kumweleza uamuzi huu mtu unayemwathiri" — madai hayo mawili yanahusiana lakini si sawa, na la pili tu ndilo mchakato wa haki unadai kweli.

Mchakato wa haki na haki ya asili. Katika sheria ya utawala, mchakato wa haki — kanuni, iliyoendelezwa zaidi katika sheria ya kikatiba ya Marekani lakini inayorudiwa kwa umbo linalolingana kuvuka mifumo mingi ya kisheria, kwamba dola lazima lifuate taratibu za haki kabla ya kumnyima mtu haki au stahili — na haki ya asili — mila ya sheria ya utawala ya Jumuiya ya Madola inayohitaji kusikilizwa kwa haki na kutokuwepo kwa upendeleo kwa mwamuzi — zote zinategemea dhana iliyoandikwa kabla ya kompyuta kuwepo: kwamba uamuzi una mfanya uamuzi anayetambulika ambaye anaweza kutoa sababu, anayeweza kuonyeshwa kuwa huru kutoka upendeleo unaostahili kumzuia, na ambaye anaweza kuombwa kufikiria upya. Algoriti inabana dhana zote tatu kwa wakati mmoja — sababu zinaweza kutopatikana kiufundi, "upendeleo" husika ni wa kitakwimu badala ya wa kibinafsi, na kufikiria upya na mfano uleule kunazalisha jibu lilelile — ndiyo sababu mchakato wa haki kwa maamuzi ya kialgoriti lazima ubuniwe waziwazi badala ya kurithiwa kutoka taratibu zilizojengwa kwa watoa maamuzi wa binadamu.

Udhibiti unaotegemea hatari wa AI. Badala ya kudhibiti AI yote sawa, mfumo unaochipukia wa udhibiti — ulioendelezwa kikamilifu zaidi katika Sheria ya Akili Bandia ya Umoja wa Ulaya — hupanga wajibu kwa ngazi kulingana na hatari za matumizi, ukikataza seti finyu ya matumizi moja kwa moja, ukiweka wajibu mzito zaidi wa kufuata sheria kwa matumizi ya "hatari kubwa" (ambayo kwa uwazi yanajumuisha uamuzi wa ustahiki wa sekta ya umma, tathmini ya hatari ya utekelezaji wa sheria, na maamuzi ya uhamiaji), ukihitaji ufichuzi wa uwazi kwa matumizi ya hatari ya chini, na kuacha matumizi ya hatari ndogo kabisa kwa kiasi kikubwa bila kudhibitiwa (tazama Artificial Intelligence Act). Mfumo wa udhibiti katika mamlaka fulani ukiwa wowote, wazo la msingi — kwamba wajibu wa utawala unapaswa kupanda kulingana na hatari za uamuzi, si ustadi wa teknolojia — ni kanuni ya usanifu yenye manufaa hata bila wajibu wa moja kwa moja wa kisheria wa kufuata utaratibu mahususi wa Umoja wa Ulaya.

Mazoea bora

1. Ainisha kila mfumo kwa hatari za uamuzi kabla ya kuchagua mfano, si baada. Mfumo unaoashiria kesi kwa mapitio ya binadamu unabeba wajibu tofauti na ule unaokataa faida moja kwa moja; amua matumizi yanakaa ngazi gani, ukitumia fremu kama kategoria za hatari za Sheria ya AI ya Umoja wa Ulaya kama kigezo cha rejea, kabla ya kujenga badala ya baada ya utekelezaji kufichua pengo.
2. Waambie watu, kwa lugha rahisi, algoriti inapohusika katika uamuzi kuhusu wao. Notisi ya jumla ya faragha iliyozikwa katika masharti na hali haitimizi hili; notisi inapaswa kusema mfumo unafanya nini, unatumia data gani, na nini kinatokea mtu asipokubaliana na pato lake.
3. Jenga udhibiti wa binadamu-ndani-ya-mzunguko ambao mhakiki anaweza kuutumia kweli, na upime kama wanaufanya. Fuatilia kiwango cha kupindua, wastani wa muda unaotumika kwa kila kesi, na kama wahakiki wanaotokubaliana na mfano wanakabili msuguano wowote ambao kukubali hakuna — kama kiwango cha kupindua ni karibu sifuri, mapitio yanawezekana sana kuwa ya mapambo.
4. Jaribu athari isiyo sawa kwa kutumia matokeo halisi, si nia za wabunifu. Kabla ya utekelezaji na kwa mzunguko uliowekwa unaojirudia baadaye, pima matokeo ya mfano yaliyogawanywa kwa sifa zilizolindwa na nyeti, ikijumuisha kupitia mbadala unaowezekana kama msimbo wa posta au historia ya faida, kwa sababu mfano usiotumia kigeugeu kilicholindwa moja kwa moja bado unaweza kuzalisha matokeo yasiyo sawa kabisa.
5. Mpe kila mtu aliyeathirika njia ya kwenda kwa binadamu mwenye nguvu ya kubatilisha uamuzi wa algoriti, si kuueleza tu. Njia ya rufaa inayorudia hoja ya mfano bila uwezekano wa kweli wa kubatilisha inatimiza herufi ya haki ya maelezo huku ikishinda kusudi lake.
6. Pendelea mfano unaoweza kufasiriwa kuliko mfano wa kisanduku cheusi wenye usahihi mkubwa kidogo tu kwa maamuzi yenye matokeo ya kisheria. Pale pengo la usahihi kati ya mfano unaoweza kufasiriwa na tata ni dogo, faida ya kufasiriwa kwa kawaida inastahili zaidi kwa mwananchi, afisa wa rufaa, na mkaguzi kuliko usahihi mdogo unavyostahili kwa shirika.
7. Andika kusudi la kila mfumo, data za mafunzo, mapungufu yanayojulikana, na matumizi yaliyokusudiwa katika rekodi ya kudumu, na uisasishe yoyote kati ya hayo yanapobadilika. Mfano uliotumika kwa kusudi moja na kutumika upya kimya kimya kwa jingine — uchujaji wa ulaghai uliopanuliwa kuwa upangaji wa jumla wa ustahiki, kwa mfano — kwa kawaida umeacha nyuma uthibitisho wake wa awali na majaribio ya upendeleo.
8. Weka data za mafunzo na za kiutendaji kwa mfano wenye hatari kubwa ndani ya bomba linalotawaliwa, lenye kikomo cha kusudi. Kutumia tena seti ya data iliyokusanywa kwa kusudi moja la kiutawala kufunza mfano kwa kusudi lisilohusiana ni kushindwa kwa utawala wa data kama kwa uundaji wa mfano (tazama Mada 5.4 — Data za Sekta ya Umma, Ushirikiano wa Mifumo na Data Huria).
9. Weka ukaguzi wa kialgoriti chini ya kazi isiyoripoti kwa timu iliyojenga au kuendesha mfumo. Ukaguzi unaofanywa na wabunifu wa mfumo wenyewe unapata matatizo tofauti, na machache zaidi, kuliko ule unaofanywa na mhakiki huru kweli mwenye hadhi ya kuchapisha matokeo mabaya (tazama Mada 3.4 — Uwajibikaji, Uwazi na Uhalali).
10. Endesha kipindi cha kivuli kabla ya kuwasha mfumo kwa maamuzi halisi. Linganisha mapendekezo ya mfano na maamuzi halisi ya binadamu kwa kesi zilezile kwa kipindi kilichofafanuliwa kabla haijaanza kutenda, ili tofauti yoyote ya kimfumo ijitokeze kabla mwananchi hajaathiriwa nayo.
11. Hifadhi uendeshaji wa kiotomatiki kikamilifu, bila mapitio ya binadamu kabisa, kwa maamuzi yasiyo na matokeo makubwa zaidi na yanayoweza kurekebishwa zaidi tu. Kadiri uamuzi unavyokuwa mkali zaidi na usioweza kurekebishwa — kukomesha faida, rufaa ya ulaghai inayochochea uchunguzi wa jinai, kukataliwa kuingia — ndivyo hoja ya kuweka binadamu ndani ya mzunguko kweli inavyokuwa na nguvu zaidi, usahihi uliopimwa wa mfano ukiwa wowote.
12. Funza upya, thibitisha upya, na jaribu tena upendeleo kwa ratiba iliyowekwa, si tu tatizo linaporipotiwa. Sifa za usahihi na haki za mfano zinaweza kuteleza kimya kimya idadi ya watu na ulimwengu ilizofunzwa kwazo zinapobadilika, na chombo cha umma kinachochunguza baada ya malalamiko tu kimeruhusu mteleo uendelee kwa muda wowote lalamiko lilipochukua kujitokeza.

Maswali ya kujadili na timu yako

Ni wapi katika shirika letu algoriti inafanya au kufahamisha sana uamuzi unaoathiri haki, stahili, au uhuru wa mtu, na je, kila mtu aliyeathirika angeweza kujua kweli kwamba ilitokea? Mashirika mengi hugundua, yanapoorodhesha mifumo yao kweli, kwamba upimaji wa kialgoriti au upangaji wa kipaumbele umeingia katika pointi nyingi za maamuzi kuliko timu yoyote moja ilivyotambua, mara nyingi ulianzishwa awali kama zana ya ufanisi wa hatari ndogo. Tumia swali hili kujenga orodha hiyo kwa uaminifu, ikijumuisha mifumo iliyonunuliwa kutoka muuzaji badala ya kujengwa ndani, kwa kuwa ununuzi unaweza kuficha ni kiasi gani zana iliyonunuliwa inaamua kweli. Jadilini kama desturi zenu za sasa za notisi zingeruhusu mwananchi aliyeathirika kugundua, bila ujuzi maalumu, kwamba mfano ulihusika katika kesi yake.

Mwananchi akipinga rasmi mojawapo ya maamuzi yetu ya kiotomatiki kesho, je, tungeweza kumpa sababu halisi, mahususi, au maelezo ya mchakato tu? Maelezo ya mchakato — "mfumo ulizingatia mapato yako, ukubwa wa kaya, na historia ya malipo" — si sawa na maelezo ya kwa nini pembejeo hizo zilizalisha matokeo haya mahususi kwa mtu huyu mahususi. Tumia swali hili kuchagua mfumo mmoja hai na ujaribu, kama timu, kuandika maelezo ambayo mwananchi halisi angeyapokea akikata rufaa. Ikiwa zoezi ni gumu, ugumu huo ndio matokeo.

Je, tunajua kama data zetu za mafunzo zinazalisha mfumo wa kihistoria wa upendeleo, na tumejaribu hilo dhidi ya matokeo halisi badala ya nia zetu? Kutenga sifa iliyolindwa kutoka seti ya data si sawa na kutenga ushawishi wake, kwa sababu mbadala zinazohusiana zinaweza kubeba ishara ileile kwa jina tofauti. Tumia swali hili kutambua ni mifumo ipi yenu imejaribiwa kwa athari isiyo sawa kwa kutumia matokeo halisi ya baada ya utekelezaji, yaliyogawanywa kwa sifa husika, badala ya kujaribiwa tu kwa uwepo wa kigeugeu kilicholindwa katika data za pembejeo. Jadilini ingechukua nini kuendesha jaribio hilo linalotegemea matokeo kwa mfumo wenu wenye hatari kubwa zaidi kama bado haujafanywa.

Je, mapitio yetu ya binadamu-ndani-ya-mzunguko ni ukaguzi wa kweli, au muhuri tu ambao hatujaupima kwa makini vya kutosha kuugundua? Mhakiki wa binadamu chini ya shinikizo la muda, bila muktadha kamili, au anayekabili msuguano mkubwa zaidi kwa kutokubali kuliko kukubali huelekea kuidhinisha pendekezo la algoriti bila kujali ubora wake. Tumia swali hili kupata kiwango chenu halisi cha kupindua kwa angalau mfumo mmoja, na jadilini namba hiyo inawaambia nini kuhusu kama mapitio yanafanya kazi kama udhibiti au utaratibu wa kufuata sheria.

Nini kinatokea hasa, kiutaratibu, mtu anapotaka kukata rufaa uamuzi ambao algoriti yetu iliufanya au kuufahamisha sana — na je, binadamu mwenye nguvu halisi ya kubatilisha huwahi kuiona rufaa? Michakato mingi ya rufaa humpitisha mwananchi kurudi kupitia maelezo ya mantiki ya mfano bila kumfikia mtu anayeweza kubatilisha matokeo kwa stahili. Tumia swali hili kufuatilia rufaa moja, kuanzia mwanzo hadi mwisho, kwa kesi halisi au inayowezekana, na utambue hasa pointi, kama ipo, ambapo binadamu mwenye mamlaka halisi ya kubadilisha jibu anahusika.

Nani anamiliki hatari mmoja wa mifano yetu ukidhoofika au kuteleza baada ya utekelezaji, na tungejuaje kabla mwananchi au mwandishi wa habari hajatuambia? Sifa za haki na usahihi za mfano hazibaki kwenye kiwango cha uzinduzi; zinaweza kubadilika idadi ya watu, uchumi, au sera jirani inapobadilika, mara nyingi bila kuonekana na timu iliyojenga mfumo. Tumia swali hili kutambua nani anawajibika kwa ufuatiliaji wa baada ya utekelezaji, kwa mzunguko gani, na nini hasa kingechochea kufunza upya au kusimamisha. Ikiwa jibu la uaminifu ni "hakuna anayeangalia hili hasa," chukulia hilo kama matokeo ya dharura zaidi ambayo mjadala huu unaweza kuzalisha.

Kwa vitendo: mfano wa thamani ya umma

Wakala wa kubuni wa kitaifa wa bima ya kijamii ulijenga mfano wa kupima hatari wa kuweka kipaumbele madai ya faida ya ukosefu wa ajira ambayo timu yake ya uchunguzi wa ulaghai ilipaswa kuyapitia kwanza, baada ya miaka ya mrundikano iliyomaanisha ulaghai wa kweli ulikaa bila kuchunguzwa kwa miezi huku wadai waaminifu wakisubiri ucheleweshaji usiohusiana wa usindikaji. Mfano ulifunzwa kwa miaka mitano ya faili za uchunguzi zilizofungwa, ukijifunza ni sifa gani za dai zilizotangulia kihistoria matokeo ya ulaghai yaliyothibitishwa, na ulifanya vizuri katika majaribio: madai ambayo uliyapa alama ya hatari kubwa yalithibitishwa kuwa ya ulaghai kwa kiwango cha juu zaidi kuliko sampuli ya nasibu, na uongozi wa wakala, ukitazama mrundikano wake ukishuka kwa mara ya kwanza kwa miaka, ulichukulia utekelezaji kama mafanikio yasiyo na shaka.

Miezi kumi na minane ndani, ofisi ya ndani inayolingana na msimamizi wa malalamiko iliona kitu ambacho dashibodi ya utendaji ya timu ya ulaghai yenyewe haikuwa imekionyesha: wadai wanaoishi katika idadi ndogo ya wilaya za posta, waliokuwa na kipato cha chini kwa kiasi kisicholingana na wahamiaji wa hivi karibuni kwa kiasi kisicholingana, walikuwa wakiashiriwa kwa uchunguzi kwa karibu mara tatu ya kiwango cha wadai wanaofanana vinginevyo kwingine, na sehemu kubwa zaidi ya madai yao yaliyoashiriwa ilifungwa bila ulaghai kupatikana kabisa. Mfumo ulifuatiliwa hadi kwa data za mafunzo: faili za kihistoria za uchunguzi ziliakisi miaka ambapo wachunguzi wa uwandani, wakifanya kazi kutokana na hisia zao zisizo rasmi, walijikita ukaguzi wa mara kwa mara wa mkono katika wilaya hizohizo hasa, kwa hivyo mfano ulijifunza kuchukulia kuishi huko kama kielelezo cha ulaghai, wakati kwa kweli kilitabiri tu kuwa umekaguliwa mara nyingi zaidi hapo awali. Wilaya ya posta haikuwahi kuwa pembejeo ya mfano; haikuhitaji kuwa, kwa sababu muundo wa kaya, sekta ya mwajiri, na sehemu za njia ya malipo zilihusiana kwa karibu vya kutosha nayo kubeba ishara ileile kwa mbadala.

Uchunguzi wa wakala ulithibitisha mfumo huo ulikuwa wa kweli, na pia ulithibitisha tatizo la pili, la kimya zaidi: wahakiki wa binadamu waliopaswa kuidhinisha kesi kwa uchunguzi kamili kabla haijaendelea walikuwa wakiidhinisha mapendekezo ya alama za juu ya mfano katika wingi mkubwa wa kesi, na nyakati za mapitio zikiwa wastani chini ya dakika mbili kwa kila kesi — mbali na kutosha kuhoji kwa maana alama ya kitakwimu, jambo lililomaanisha udhibiti wa binadamu-ndani-ya-mzunguko ambao uongozi ulikuwa umeuelekeza kama kinga haukuwa kweli ukikamata tofauti ambayo ulikuwepo kukamata. Jibu la wakala liliunganisha mazoea bora kadhaa ya mada hii kwa wakati mmoja: lilifunza upya mfano na mfumo wa kihistoria wa polisi kupita kiasi umesahihishwa, likaongeza muda wa mapitio na kuwapa wahakiki mamlaka ya kufunga kesi iliyoashiriwa bila kupandisha ngazi hukumu yao wenyewe ilipotofautiana na alama, na likajenga notisi ya lugha rahisi na njia halisi ya rufaa kwa afisa wa kesi aliyetajwa kwa yeyote ambaye dai lake liliashiriwa. Mavuno ya uchunguzi kwa saa ya mhakiki yalishuka kwa kiasi fulani, lakini kiwango cha ulaghai kilichothibitishwa miongoni mwa madai yaliyoashiriwa kutoka wilaya zilizoashiriwa kupita kiasi hapo awali kilipanda kulingana na kesi nyingine zote, jambo ambalo ukaguzi wa wakala wenyewe ulichukulia kama kipimo halisi cha mafanikio — si kiasi cha madai yaliyoashiriwa, bali kama kuashiria kulifuata ulaghai halisi badala ya mfumo wa kihistoria ambao mfano ulijifunza kuuzalisha.

Mitazamo minne ya sekta

Serikali za mitaa

Mamlaka za mitaa zinazidi kutumia zana za kialgoriti kwa maamuzi yenye hatari za papo hapo na za kibinafsi zaidi kwa wakazi — kipaumbele cha ugawaji wa makazi, upimaji wa hatari ya ustawi wa mtoto, na uchujaji wa ulaghai wa kodi ya baraza au faida — mara nyingi huku zikikosa uwezo wa sayansi ya data wa ndani wa kujenga, kuthibitisha, au kukagua mifumo hii zenyewe, na kuziacha nyingi zikitegemea mifano iliyotolewa na muuzaji ambayo data za mafunzo na uthibitisho wake mamlaka haiwezi kuchunguza kikamilifu. Hili linaunda nidhamu mahususi ya ununuzi: mamlaka ya mtaa inayoagiza mfumo wa kialgoriti inapaswa kudai, kama sharti la mkataba, uwezekano ule ule wa kueleza, majaribio ya upendeleo, na ufikiaji wa ukaguzi ambao ingehitaji kwa ujenzi wa ndani, kwa sababu haki za mchakato wa haki za mkazi hazipungui kwa sababu mamlaka ilinunua mfumo badala ya kuujenga. Ukaribu wa serikali ya mtaa na wakazi pia unamaanisha kosa la kialgoriti lina uwezekano mkubwa wa kujulikana kibinafsi katika jamii kabla ya kuwa lalamiko rasmi, jambo linalohimiza mapitio ya mapema, mepesi ya mtaa.

Serikali ya kitaifa

Mawakala wa kitaifa huendesha mifumo mikubwa zaidi ya kiwango katika wigo wa mada hii — ugunduzi wa ulaghai wa kodi, tathmini ya hatari ya uhamiaji, ustahiki wa faida wa kitaifa — ambapo hata kiwango kidogo cha makosa kinatafsiriwa kuwa idadi kubwa sana ya watu walioathirika, na ambapo wakala kwa kawaida una uwezo wa kina zaidi wa kiufundi na wa kisheria wa kujenga kinga za kweli. Serikali za kitaifa pia kwa kawaida ndiyo ngazi ambapo udhibiti wa AI unaotegemea hatari, pale upo, unaandikwa na kutekelezwa, ukipa mawakala wa kitaifa wajibu rasmi wazi zaidi na mfiduo mkubwa zaidi ukaguzi au mahakama inapopata mfumo wa kiotomatiki umezalisha matokeo ya kibaguzi au yasiyoweza kupitiwa kwa kiwango kikubwa. Hatari za mchakato wa haki ni za juu zaidi hapa kwa njia nyingine pia: alama ya hatari ya uhamiaji au utekelezaji wa sheria inaweza kuathiri uhuru kama stahili, jambo linalohimiza msimamo wa uendeshaji wa kiotomatiki wa tahadhari zaidi — uendeshaji kamili mdogo zaidi na mapitio ya kweli ya binadamu zaidi — hasa mahali hoja ya kiufundi ya kuendesha kwa kiotomatiki mara nyingi ina nguvu zaidi kwa sababu ya kiasi cha kesi.

Sekta ya kijamii na mashirika yasiyo ya faida

Mashirika yasiyo ya faida na yasiyo ya kiserikali (NGO) yanazidi kutumia zana za kialgoriti kuweka kipaumbele ugawaji wa misaada, kuchuja wanufaika kwa ustahiki, au kupa kipaumbele kazi ya kesi katika nyanja hasa ambazo mada hii inazifunika, mara nyingi chini ya vikwazo halisi vya rasilimali vinavyofanya hoja ya ufanisi ya uendeshaji wa kiotomatiki kuwa ya kuvutia kweli. Muundo wa uwajibikaji ni tofauti sana na wa serikali, hata hivyo: wanufaika wa shirika lisilo la faida mara chache wana haki za kisheria za rufaa ambazo mwananchi ana dhidi ya wakala wa dola, na uhusiano mkuu wa uwajibikaji wa shirika mara nyingi huelekea kwa wafadhili wake badala ya watu ambao algoriti inawaamulia, ambalo ndilo pengo la uwajibikaji ambalo Mada 3.8 — Usimamizi wa Sekta ya Kijamii na Mashirika Yasiyo ya Faida — inaelezea kwa sekta kwa jumla. Shirika lisilo la faida linalopitisha upangaji wa kialgoriti kwa hivyo linapaswa kujenga haki za maelezo na rufaa ambazo mada hii inazielezea kama kiwango cha hiari, si kwa sababu mdhibiti anahitaji, bali kwa sababu watu ambao shirika linawahudumia hawana njia nyingine ya kuipata.

Ya pande nyingi na ya kimataifa

Vyombo vya pande nyingi na mashirika ya kimataifa ya kibinadamu hutumia zana za kialgoriti za kulenga na kupima hatari kuvuka mipaka na mifumo ya kisheria, mara nyingi katika mazingira ya mgogoro ambapo faida ya kasi ya uendeshaji wa kiotomatiki ni ya papo hapo zaidi na data zinazopatikana ni zisizoaminika zaidi — data zisizokamilika za usajili, data zilizokusanywa kwa mgogoro mmoja na kutumika upya kwa mwingine, na idadi za watu zenye uwezo mdogo wa kupinga uamuzi wa kupima unaoamua kama wanapokea misaada. Hakuna sheria moja ya kitaifa ya mchakato wa haki wala mfumo wa haki ya maelezo unaotumika kwa usawa kuvuka shughuli za chombo cha pande nyingi, kwa hivyo kinga ambazo mada hii inazielezea lazima zijengwe katika viwango vya uendeshaji vya shirika lenyewe badala ya kurithiwa kutoka fremu ya kisheria inayotekelezeka ya nje, ikirudia pengo la uwakilishi na uwajibikaji ambalo Mada 3.4 inalitambua kwa vyombo vya pande nyingi kwa jumla (tazama Mada 3.4 — Uwajibikaji, Uwazi na Uhalali). Hatari pia ni kali hapa, kwa kuwa uamuzi wa kialgoriti unaweza kuamua ufikiaji wa chakula, makazi, au uchakataji wa hifadhi kwa watu wenye uwezo mdogo zaidi wa kivitendo kuliko kundi lolote katika mada hii wa kukata rufaa matokeo mabaya.

Njia za kawaida za kushindwa

Ubaguzi wa mbadala. Mfano unatenga sifa iliyolindwa moja kwa moja lakini unajifunza ishara sawa kutoka kigeugeu kinachohusiana — msimbo wa posta, jina la ukoo, sekta ya ajira, historia ya faida — ukizalisha mfumo uleule wa kibaguzi ambao kutengwa kulikusudiwa kuuzuia. Gharama ni hisia ya uongo ya usalama: shirika linaweza kusema kwa kweli kigeugeu kilicholindwa hakikutumika kamwe, huku matokeo yakibaki yasiyo sawa kama kingekuwa kimetumika.

Upendeleo wa kiotomatiki katika mapitio ya binadamu. Mhakiki wa binadamu, anayehitajika rasmi kuangalia pendekezo la algoriti, anaiidhinisha katika wingi mkubwa wa kesi kwa sababu kutokubali kunachukua muda zaidi, uhalalisho zaidi, au hatari ya kibinafsi zaidi kuliko kukubali. Gharama ni kwamba udhibiti ambao shirika linaamini unakamata makosa, kwa vitendo, unayapiga muhuri, na hili kwa kawaida linaonekana tu mtu anapopima kiwango cha kupindua moja kwa moja badala ya kuamini kwamba mchakato upo.

Maigizo ya uwezekano wa kueleza. Shirika linatoa maelezo kwa uamuzi wa kiotomatiki yanayosikika mahususi na ya kuridhisha lakini yanazalishwa baada ya tukio kwa mbinu inayokaribia, badala ya kufichua, hoja halisi ya mfano. Gharama inajitokeza maelezo yanapojaribiwa chini ya uchunguzi wa kweli — rufaa, ukaguzi, changamoto ya kisheria — na kuthibitika hayalingani na kwa nini mfumo ulizalisha pato hilo mahususi kweli.

Upendeleo wa kihistoria unaozalishwa tena kupitia mizunguko ya maoni. Mfano uliofunzwa kwa matokeo ya maamuzi ya zamani — ni mitaa ipi ilichunguzwa, ni maombi yapi yaliidhinishwa — hujifunza na kisha kudumisha mfumo wowote wa uchunguzi kupita kiasi au huduma pungufu uliounda maamuzi hayo ya zamani, na kila duru mpya ya maamuzi inayozalisha inakuwa data za mafunzo kwa toleo linalofuata, ikiimarisha mfumo badala ya kuurekebisha. Hili limeandikwa kuvuka nyanja nyingi za sekta ya umma kimataifa, ikijumuisha polisi wa kutegemea hatari na uchujaji wa ulaghai wa ustawi, na utaratibu wa msingi ni thabiti vya kutosha kuvuka kesi hizo zilizoandikwa kuuchukulia kama hatari ya jumla katika mfumo wowote uliofunzwa kwa data za kihistoria za utekelezaji au kesi, bila kujali mamlaka.

Pengo la uwajibikaji, au tatizo la "mikono mingi." Uamuzi unapopita kupitia mfano wa muuzaji, data za wakala, uwekaji kizingiti wa timu ya sera, na saini ya jina tu ya msimamizi wa kesi, wajibu wa matokeo mabaya unaweza kuishia kutokuwa wazi kweli hata kwa shirika lenyewe, kila upande ukiweza kuelekeza kwa mwingine kama chanzo cha kosa. Gharama si tu kwamba mwananchi aliyeathirika hawezi kupata jibu wazi, bali kwamba shirika haliwezi kurekebisha chanzo halisi kwa kuaminika, kwa sababu hakuna mmiliki mmoja anayewajibika wa uamuzi kwa ujumla (tazama Mada 3.4 — Uwajibikaji, Uwazi na Uhalali).

Kielelezo cha ukomavu

Orodha ya ukaguzi

• Jenga orodha kamili ya kila mfumo unaofanya au unaofahamisha kwa kiasi kikubwa uamuzi unaoathiri haki au stahili za mtu, ikijumuisha zana zilizotolewa na wauzaji.
• Ainisha kila mfumo katika orodha hiyo kwa hatari za uamuzi unaofahamisha, ukitumia ngazi ya hatari iliyofafanuliwa.
• Thibitisha kila mtu aliyeathirika anapokea notisi ya lugha rahisi kwamba algoriti ilihusika katika kesi yake.
• Andika maelezo mahususi, ya ngazi ya kesi ambayo mwananchi halisi angeyapokea kwa rufaa, na ujaribu kama yangemridhisha kweli.
• Jaribu kila mfumo wenye hatari kubwa kwa athari isiyo sawa kwa kutumia matokeo halisi ya baada ya utekelezaji, yaliyogawanywa kwa sifa husika, si kwa kukagua vigeugeu vya pembejeo vilivyotengwa tu.
• Pima kiwango cha kupindua na wastani wa muda wa mapitio kwa kila udhibiti wa binadamu-ndani-ya-mzunguko, na uchukulie kiwango cha karibu-sifuri cha kupindua kama matokeo.
• Thibitisha binadamu aliyetajwa, mwenye mamlaka halisi ya kubatilisha uamuzi, anapitia kila rufaa.
• Weka ukaguzi wa kialgoriti chini ya kazi huru kutoka kwa timu iliyojenga au kuendesha mfumo.
• Thibitisha data za mafunzo na za kiutendaji kwa kila mfumo zinabaki ndani ya bomba linalotawaliwa, lenye kikomo cha kusudi.
• Weka ratiba iliyowekwa ya kufunza upya na kuthibitisha upya kwa kila mfano uliotekelezwa, badala ya kusubiri lalamiko kuchochea mapitio.
• Tambua ni mifumo ipi ya sasa haina kinga ya uendeshaji kamili wa kiotomatiki kwa maamuzi makali zaidi na yasiyoweza kurekebishwa, na urekebishe hilo kwanza.
• Endesha maswali sita ya majadiliano hapo juu na timu yako na urekodi pale jibu la uaminifu linapotofautiana na la rasmi.

Vyanzo muhimu

• OECD AI Principles (2019, zilizosasishwa 2024) — kiwango cha kwanza cha serikali nyingi cha AI inayoaminika, kinachofunika ukuaji jumuishi, haki za binadamu, uwazi, ustahimilivu, na uwajibikaji.
• European Union Artificial Intelligence Act (Regulation (EU) 2024/1689) — fremu ya kwanza kamili ya kisheria ya ngazi za hatari kwa AI, inayoshughulikia waziwazi matumizi ya ustahiki wa sekta ya umma, utekelezaji wa sheria, na uhamiaji.
• US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — fremu ya utawala, data, utendaji, na ufuatiliaji kwa uwajibikaji wa AI katika sekta ya umma.
• Usomi wa Danielle Keats Citron kuhusu "mchakato wa haki wa kiteknolojia," unaobishana kwamba mifumo ya kiotomatiki inahitaji kinga za kiutaratibu zilizojengwa mahususi kwa uamuzi wa kialgoriti, badala ya wa binadamu.
• Usomi unaowalenga umma wa Cathy O'Neil, Virginia Eubanks, na Frank Pasquale kuhusu upendeleo wa kialgoriti, utawala wa kiotomatiki wa ustawi, na mifumo ya kupima isiyo wazi, inayonukuliwa katika mada hii yote katika mjadala wa upendeleo wa data za mafunzo na tatizo la kisanduku cheusi.

Marejeo

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp