AI dan Pengambilan Keputusan Algoritmik di Pemerintahan

Mengapa ini penting dalam nilai publik

Badan publik selalu menjatah perhatian: petugas kasus tidak dapat mewawancarai setiap pemohon secara pribadi, petugas bea cukai tidak dapat memeriksa setiap kontainer, tim kecurangan tidak dapat meninjau setiap klaim. Kecerdasan buatan (AI) — bidang luas membangun sistem yang melakukan tugas yang biasanya memerlukan pertimbangan manusia — dan praktik yang lebih sempit pengambilan keputusan algoritmik dan otomatis (ADM) menjanjikan menjatah perhatian itu secara lebih konsisten dan pada skala jauh lebih besar, menilai, menandai, atau langsung memutuskan kasus yang tidak akan pernah dapat ditinjau penuh tim manusia. Topik 5.1 membahas pola penyampaian layanan digital tempat kapabilitas ini berada (lihat Topik 5.1 — Pemerintahan Digital dan Transformasi Digital); topik ini membahas apa yang terjadi begitu model, bukan pejabat bernama, melakukan sebagian atau seluruh pengambilan keputusan.

Janjinya nyata: model yang dibangun baik dapat menangkap pola kecurangan yang tak terlihat oleh petugas kasus, menerapkan aturan kelayakan dengan konsistensi sempurna di sejuta klaim, dan membebaskan waktu pakar langka untuk kasus yang sungguh membutuhkan pertimbangan. Risikonya sama nyatanya dan lebih sulit dilihat dari dalam organisasi yang membangun sistem. Model yang dilatih pada data historis dapat mereproduksi dan memperbesar persis diskriminasi yang ada badan publik untuk mengoreksinya; model yang kompleks dapat begitu buram sehingga baik warga maupun pejabat yang mengandalkannya tidak dapat mengatakan mengapa ia memutuskan apa yang diputuskannya; dan keputusan yang sangat diinformasikan algoritma tetap dapat, secara prosedural, meninggalkan tak seorang pun yang mampu memberi warga alasan atau mendengar kasusnya. Tak satu pun ini hipotetis: regulator, pengadilan, dan badan padanan ombudsman di berbagai yurisdiksi telah menemukan sistem penilaian risiko dan deteksi kecurangan sektor publik yang secara tidak proporsional menandai orang menurut lingkungan, riwayat imigrasi, atau struktur keluarga, dalam setiap kasus karena pola yang membuat model akurat kebetulan juga melacak karakteristik yang dilindungi atau sensitif.

Taruhan nilai publik karena itu bukan efisiensi versus keadilan sebagai pertukaran untuk diseimbangkan sekali, melainkan disiplin perancangan untuk dipertahankan terus-menerus. Warga yang ditolak tunjangannya oleh pejabat manusia dapat bertanya kepada pejabat itu mengapa, dan dapat banding kepada manusia lain dengan kedudukan dan kuasa untuk mengubah jawabannya — mesin akuntabilitas yang dijelaskan Topik 3.4 (lihat Topik 3.4 — Akuntabilitas, Transparansi, dan Legitimasi). Warga yang ditolak tunjangannya oleh model memerlukan hak yang sama atas penjelasan dan jalur yang sama menuju manusia yang dapat membatalkannya, atau badan publik telah diam-diam mengekspor jaminan proses hukum yang adil yang tidak pernah ditariknya secara formal. Menata ini dengan benar adalah yang memungkinkan badan publik menangkap keuntungan sejati pengambilan keputusan algoritmik dalam konsistensi dan skala tanpa mengubah "algoritma yang memutuskan" menjadi frasa yang mengakhiri akuntabilitas alih-alih memulainya.

Konsep inti

Pengambilan keputusan otomatis (ADM) adalah pemakaian data, perangkat lunak, dan algoritma untuk membuat atau secara material menginformasikan keputusan dengan derajat pengawasan manusia yang bervariasi, membentang dari sistem yang sekadar menyajikan informasi untuk manusia hingga yang memutuskan dan bertindak tanpa manusia terlibat sama sekali (lihat automated decision-making). Di mana sistem berada pada spektrum itu — dukungan keputusan, penambahan keputusan, atau otomasi penuh — menentukan kewajiban akuntabilitas dan proses hukum yang adil mana yang berlaku, itulah mengapa regulator semakin mengklasifikasikan sistem menurut posisinya di sana alih-alih menurut teknologi yang mendasarinya.

Manusia-dalam-lingkaran menggambarkan pengaturan di mana seseorang meninjau atau menyetujui keluaran algoritma sebelum berlaku, berbeda dari manusia-di-atas-lingkaran (seseorang memantau dan dapat mengintervensi) atau pemrosesan sepenuhnya otomatis tanpa tinjauan sama sekali (lihat human-in-the-loop). Kendali manusia-dalam-lingkaran sejati mensyaratkan peninjau memiliki waktu, informasi, dan kedudukan untuk benar-benar tidak setuju; peninjau yang menyetujui hampir setiap rekomendasi algoritma karena tidak setuju memakan waktu lebih lama atau membawa risiko pribadi lebih besar daripada setuju tidak menjalankan pengawasan, meski bagan proses menunjukkan langkah manusia. Pola ini, sering disebut bias otomasi, adalah salah satu kegagalan yang paling umum dan paling tidak terlihat dalam pokok bahasan topik ini.

Bias algoritmik adalah kecenderungan sistematis dan berulang dari sistem terkomputerisasi untuk menghasilkan hasil tidak adil — misalnya, mengistimewakan satu kelompok di atas yang lain dengan cara yang tidak dimaksudkan perancang sistem, dan sering tidak mereka sadari (lihat algorithmic bias). Dalam administrasi publik sumber dominannya adalah bias data pelatihan: model yang dilatih pada catatan penegakan, pinjaman, atau kasus historis mempelajari pola dalam catatan itu, termasuk pengawasan berlebihan, pelayanan kurang, atau praktik diskriminatif historis yang tertanam dalam siapa yang diselidiki, disetujui, atau ditandai di masa lalu. Model dapat mereproduksi hasil ini bahkan ketika karakteristik sensitif — ras, disabilitas, status migrasi — secara eksplisit dikecualikan dari data, karena proksi yang berkorelasi (kode pos, nama keluarga, pola giliran kerja, riwayat tunjangan) membawa sinyal yang sama dengan nama lain; menghapus variabel yang disebut tanpa menguji proksinya adalah cara umum badan publik meyakini telah memperbaiki masalah bias yang sama sekali belum diperbaikinya.

Keadilan dalam pembelajaran mesin merujuk pada keluarga pendekatan teknis dan prosedural untuk mengukur dan mengoreksi bias algoritmik dalam keputusan otomatis (lihat fairness (machine learning)). Ciri bidang ini yang sungguh sulit, bukan catatan kaki teknis yang dapat dipecahkan, adalah bahwa beberapa definisi keadilan yang masuk akal secara intuitif — tingkat persetujuan setara lintas kelompok, tingkat kesalahan setara lintas kelompok, dan akurasi yang dikalibrasi setara dalam tiap kelompok — secara matematis tidak kompatibel setiap kali kelompok yang mendasarinya memiliki laju dasar berbeda dalam data. Badan publik tidak dapat memuaskan semua definisi sekaligus; ia hanya dapat memilih, secara eksplisit dan dengan alasan yang bersedia dipertahankannya, definisi mana yang harus dioptimalkan keputusan yang dihadapi, yang merupakan penilaian kebijakan yang berpakaian teknis.

Keterjelasan dan masalah kotak hitam. Model adalah kotak hitam ketika cara kerja internalnya tidak dapat diperiksa atau dipahami dari masukan dan keluarannya saja — benar bagi banyak model pembelajaran mesin berkinerja tinggi, yang akurasinya sering justru datang dari kompleksitas yang membuatnya sulit ditafsirkan. Kecerdasan buatan yang dapat dijelaskan, atau XAI, adalah bidang metode untuk membuat penalaran model dapat diperiksa, berkisar dari memilih jenis model yang secara inheren dapat ditafsirkan untuk keputusan konsekuensial hingga menghasilkan penjelasan pascakejadian yang mendekati, alih-alih mengungkap, apa yang sebenarnya dilakukan model kompleks. Pembedaan itu penting secara hukum sama seperti teknis: penjelasan perkiraan yang terdengar masuk akal tetapi tidak mencerminkan penalaran sebenarnya model dapat memuaskan daftar periksa transparansi sambil gagal bagi warga yang mengandalkannya untuk menggugat dasar sebenarnya keputusan terhadap dirinya.

Hak atas penjelasan adalah prinsip hukum yang diperdebatkan bahwa orang yang tunduk pada keputusan otomatis yang signifikan berhak atas penjelasan bermakna tentang logika yang terlibat, yang paling erat dikaitkan dengan General Data Protection Regulation Uni Eropa, yang membatasi keputusan yang semata didasarkan pada pemrosesan otomatis yang menghasilkan efek hukum atau efek signifikan serupa dan memberi subjek hak memperoleh intervensi manusia dan menggugat keputusan (lihat right to explanation dan General Data Protection Regulation). Sarjana hukum memperdebatkan seberapa kuat hak ini sebenarnya dalam praktik, dan yurisdiksi di luar Uni Eropa sebagian besar tidak memiliki hak undang-undang setara, itulah mengapa badan publik tidak boleh memperlakukan "kami mematuhi hukum perlindungan data yang relevan" setara dengan "kami dapat menjelaskan keputusan ini kepada orang yang dipengaruhinya" — kedua klaim berkaitan tetapi tidak sama, dan hanya yang kedua yang sebenarnya dituntut proses hukum yang adil.

Proses hukum yang adil dan keadilan alamiah. Dalam hukum administrasi, proses hukum yang adil — prinsip, yang paling berkembang dalam hukum konstitusi Amerika Serikat tetapi bergema dalam bentuk sebanding di banyak sistem hukum, bahwa negara harus mengikuti prosedur yang adil sebelum merampas hak atau entitlemen seseorang — dan keadilan alamiah — tradisi hukum administrasi Persemakmuran yang mensyaratkan dengar pendapat yang adil dan kebebasan dari bias pada pengambil keputusan — keduanya bertumpu pada asumsi yang ditulis sebelum komputer ada: bahwa keputusan memiliki pengambil keputusan yang dapat diidentifikasi yang dapat memberi alasan, yang dapat ditunjukkan bebas dari bias yang mendiskualifikasi, dan yang dapat diminta mempertimbangkan kembali. Algoritma menegangkan ketiga asumsi sekaligus — alasan mungkin tidak tersedia secara teknis, "bias" yang dimaksud bersifat statistik bukan pribadi, dan pertimbangan ulang oleh model yang sama menghasilkan jawaban yang sama — itulah mengapa proses hukum yang adil untuk keputusan algoritmik harus direkayasa secara eksplisit alih-alih diwarisi dari prosedur yang dibangun untuk pengambil keputusan manusia.

Regulasi AI berbasis risiko. Alih-alih meregulasi semua AI secara seragam, pola regulasi yang sedang muncul — paling penuh dikembangkan dalam Artificial Intelligence Act Uni Eropa — menjenjangkan kewajiban menurut taruhan penerapan, melarang sekumpulan sempit pemakaian secara menyeluruh, mengenakan kewajiban kepatuhan terberat pada pemakaian "berisiko tinggi" (yang secara eksplisit mencakup penentuan kelayakan sektor publik, penilaian risiko penegakan hukum, dan keputusan migrasi), mensyaratkan pengungkapan transparansi untuk pemakaian berisiko lebih rendah, dan membiarkan pemakaian berisiko minimal sebagian besar tidak diatur (lihat Artificial Intelligence Act). Apa pun pola regulasi di yurisdiksi tertentu, gagasan yang mendasarinya — bahwa kewajiban tata kelola harus sebanding dengan taruhan keputusan, bukan kecanggihan teknologi — adalah prinsip perancangan yang berguna bahkan tanpa kewajiban hukum langsung untuk mengikuti rezim spesifik Uni Eropa.

Praktik terbaik

1. Klasifikasikan setiap sistem menurut taruhan keputusan sebelum memilih model, bukan sesudahnya. Sistem yang menandai kasus untuk ditinjau manusia membawa kewajiban berbeda dari yang menolak tunjangan secara langsung; putuskan jenjang mana yang ditempati suatu kasus pemakaian, memakai kerangka seperti kategori risiko EU AI Act sebagai titik acuan, sebelum membangun alih-alih setelah penerapan menyingkap celahnya.
2. Beri tahu orang, dalam bahasa sederhana, ketika algoritma terlibat dalam keputusan tentang mereka. Pemberitahuan privasi umum yang terkubur dalam syarat dan ketentuan tidak memenuhi ini; pemberitahuan harus menyatakan apa yang dilakukan sistem, data apa yang dipakainya, dan apa yang terjadi jika orang itu tidak setuju dengan keluarannya.
3. Bangun kendali manusia-dalam-lingkaran yang benar-benar dapat dijalankan peninjau, dan ukur apakah mereka menjalankannya. Lacak tingkat penimpaan, rata-rata waktu per kasus, dan apakah peninjau yang tidak setuju menghadapi gesekan yang tidak dihadapi oleh yang setuju — jika tingkat penimpaan mendekati nol, tinjauan itu sangat mungkin sekadar hiasan.
4. Uji dampak berbeda memakai hasil nyata, bukan niat pengembang. Sebelum penerapan dan pada irama berulang tetap sesudahnya, ukur hasil model yang dipilah menurut karakteristik terlindungi dan sensitif, termasuk melalui proksi yang mungkin seperti kode pos atau riwayat tunjangan, sebab model yang tidak pernah memakai variabel terlindungi secara langsung tetap dapat menghasilkan hasil yang sangat tidak setara.
5. Beri setiap orang terdampak jalur menuju manusia yang berkuasa membatalkan keputusan algoritma, bukan sekadar menjelaskannya. Saluran banding yang menyatakan ulang penalaran model tanpa kemungkinan pembalikan sejati memenuhi huruf hak atas penjelasan sambil mengalahkan tujuannya.
6. Pilih model yang dapat ditafsirkan daripada model kotak hitam yang sedikit lebih akurat untuk keputusan yang konsekuensial secara hukum. Di mana jurang akurasi antara model yang dapat ditafsirkan dan yang kompleks kecil, keuntungan keterafsiran biasanya jauh lebih bernilai bagi warga, petugas banding, dan auditor daripada nilai akurasi marginal bagi organisasi.
7. Dokumentasikan tujuan, data pelatihan, keterbatasan yang diketahui, dan pemakaian yang dimaksudkan setiap sistem dalam catatan tetap, dan perbarui ketika salah satunya berubah. Model yang diterapkan untuk satu tujuan dan diam-diam dialihkan untuk tujuan lain — penyaringan kecurangan diperluas ke triase kelayakan umum, misalnya — biasanya telah meninggalkan validasi dan pengujian bias aslinya.
8. Jaga data pelatihan dan operasional untuk model berisiko tinggi di dalam saluran yang ditata kelola dan terbatas tujuan. Memakai ulang kumpulan data yang dikumpulkan untuk satu tujuan administratif guna melatih model untuk tujuan yang tak berkaitan adalah kegagalan tata kelola data sama seperti kegagalan pemodelan (lihat Topik 5.4 — Data Sektor Publik, Interoperabilitas, dan Data Terbuka).
9. Tempatkan audit algoritmik di bawah fungsi yang tidak melapor kepada tim yang membangun atau mengoperasikan sistem. Audit yang dilakukan pengembang sistem sendiri menemukan masalah berbeda, dan lebih sedikit, daripada yang dilakukan peninjau yang sungguh independen dengan kedudukan untuk mempublikasikan temuan yang merugikan (lihat Topik 3.4 — Akuntabilitas, Transparansi, dan Legitimasi).
10. Jalankan periode bayangan sebelum menyalakan sistem untuk keputusan nyata. Bandingkan rekomendasi model dengan keputusan manusia sebenarnya pada kasus yang sama selama periode yang ditetapkan sebelum ia mulai bertindak, agar setiap divergensi sistematis muncul sebelum warga terdampak olehnya.
11. Sediakan otomasi penuh, tanpa tinjauan manusia sama sekali, hanya untuk keputusan paling tidak konsekuensial dan paling dapat dibalik. Makin parah dan makin tak dapat dibalik suatu keputusan — penghentian tunjangan, rujukan kecurangan yang memicu penyelidikan pidana, penolakan masuk — makin kuat argumen untuk mempertahankan manusia benar-benar dalam lingkaran, apa pun akurasi terukur model.
12. Latih ulang, validasi ulang, dan uji ulang bias pada jadwal tetap, bukan hanya ketika masalah dilaporkan. Sifat akurasi dan keadilan model dapat bergeser diam-diam seiring berubahnya populasi dan dunia tempat ia dilatih, dan badan publik yang hanya menyelidiki setelah keluhan telah membiarkan pergeseran berjalan selama apa pun waktu yang dibutuhkan keluhan itu untuk muncul.

Pertanyaan untuk didiskusikan dengan tim Anda

Di mana dalam organisasi kita algoritma saat ini membuat atau sangat menginformasikan keputusan yang memengaruhi hak, entitlemen, atau kebebasan seseorang, dan dapatkah setiap orang terdampak benar-benar mengetahui bahwa itu terjadi? Banyak organisasi menemukan, ketika benar-benar menginventarisasi sistem mereka, bahwa penilaian atau triase algoritmik telah merayap ke lebih banyak titik keputusan daripada yang disadari satu tim mana pun, sering diperkenalkan semula sebagai perangkat efisiensi berpertaruhan rendah. Gunakan pertanyaan ini untuk membangun inventaris itu dengan jujur, termasuk sistem yang diadakan dari vendor alih-alih dibangun sendiri, sebab pengadaan dapat mengaburkan seberapa banyak perangkat yang dibeli sebenarnya memutuskan. Diskusikan apakah praktik pemberitahuan Anda saat ini akan memungkinkan warga terdampak menemukan, tanpa pengetahuan spesialis, bahwa model terlibat dalam kasusnya.

Jika warga secara formal menggugat salah satu keputusan otomatis kita besok, dapatkah kita memberinya alasan yang nyata dan spesifik, atau hanya deskripsi proses? Deskripsi proses — "sistem mempertimbangkan pendapatan, ukuran rumah tangga, dan riwayat pembayaran Anda" — tidak sama dengan penjelasan mengapa masukan itu menghasilkan hasil khusus ini bagi orang khusus ini. Gunakan pertanyaan ini untuk memilih satu sistem hidup dan mencoba, sebagai tim, menulis penjelasan yang akan diterima warga nyata jika ia banding. Jika latihan itu sulit, kesulitan itu sendiri temuannya.

Apakah kita tahu apakah data pelatihan kita mereproduksi pola bias historis, dan sudahkah kita mengujinya terhadap hasil sebenarnya alih-alih terhadap niat kita? Mengecualikan karakteristik terlindungi dari kumpulan data tidak sama dengan mengecualikan pengaruhnya, sebab proksi yang berkorelasi dapat membawa sinyal yang sama dengan nama berbeda. Gunakan pertanyaan ini untuk mengidentifikasi sistem Anda mana yang telah diuji untuk dampak berbeda memakai hasil pascapenerapan nyata, dipilah menurut karakteristik yang relevan, alih-alih diuji hanya untuk keberadaan variabel terlindungi dalam data masukan. Diskusikan apa yang diperlukan untuk menjalankan uji berbasis hasil itu pada sistem berpertaruhan tertinggi Anda jika belum dilakukan.

Apakah tinjauan manusia-dalam-lingkaran kita pemeriksaan sejati, atau stempel karet yang belum kita ukur cukup dekat untuk disadari? Peninjau manusia di bawah tekanan waktu, tanpa konteks penuh, atau menghadapi lebih banyak gesekan untuk tidak setuju daripada setuju akan cenderung menyetujui rekomendasi algoritma terlepas dari mutunya. Gunakan pertanyaan ini untuk menemukan tingkat penimpaan aktual Anda untuk setidaknya satu sistem, dan diskusikan apa yang dikatakan angka itu tentang apakah tinjauan berfungsi sebagai kendali atau formalitas kepatuhan.

Apa yang sebenarnya terjadi, secara prosedural, ketika seseorang ingin banding atas keputusan yang dibuat atau sangat diinformasikan algoritma kita — dan apakah manusia dengan kuasa nyata membalikkannya pernah melihat banding itu? Banyak proses banding mengalirkan warga kembali melalui deskripsi logika model tanpa pernah mencapai orang yang dapat membatalkan hasil berdasarkan pokok perkara. Gunakan pertanyaan ini untuk menelusuri satu banding, dari ujung ke ujung, untuk kasus nyata atau realistis, dan identifikasi titik persis, jika ada, ketika manusia dengan wewenang sejati untuk mengubah jawaban terlibat.

Siapa yang memiliki risiko jika salah satu model kita merosot atau bergeser setelah penerapan, dan bagaimana kita sebenarnya akan tahu sebelum warga atau wartawan memberi tahu kita? Sifat keadilan dan akurasi model tidak tetap saat peluncuran; ia dapat bergeser seiring berubahnya populasi, ekonomi, atau kebijakan bertetangga, sering tidak terlihat oleh tim yang membangun sistem. Gunakan pertanyaan ini untuk mengidentifikasi siapa yang akuntabel atas pemantauan pascapenerapan, pada irama apa, dan apa secara spesifik yang akan memicu pelatihan ulang atau penjedaan. Jika jawaban jujurnya "tak seorang pun secara spesifik mengawasi ini", perlakukan itu sebagai temuan paling mendesak yang dapat dihasilkan diskusi ini.

Dalam praktik: contoh nilai publik

Badan asuransi sosial nasional fiktif membangun model penilaian risiko untuk memprioritaskan klaim tunjangan pengangguran mana yang harus ditinjau lebih dulu oleh tim penyelidik kecurangannya, setelah bertahun-tahun tunggakan yang berarti kecurangan sejati tidak diselidiki selama berbulan-bulan sementara pemohon jujur menunggu penundaan pemrosesan yang tidak berkaitan. Model dilatih pada lima tahun berkas penyelidikan yang ditutup, mempelajari karakteristik klaim mana yang secara historis mendahului temuan kecurangan terkonfirmasi, dan ia berkinerja baik dalam pengujian: klaim yang dinilainya berisiko tinggi terkonfirmasi curang pada tingkat jauh lebih tinggi daripada sampel acak, dan pimpinan badan, menyaksikan tunggakannya turun untuk pertama kali dalam bertahun-tahun, memperlakukan peluncuran itu sebagai keberhasilan tanpa keraguan.

Delapan belas bulan kemudian, kantor padanan ombudsman internal memperhatikan sesuatu yang tidak dimunculkan dasbor kinerja tim kecurangan sendiri: pemohon yang tinggal di sejumlah kecil distrik pos, secara tidak proporsional berpenghasilan lebih rendah dan secara tidak proporsional pendatang baru, ditandai untuk penyelidikan pada tingkat hampir tiga kali lipat dibanding pemohon serupa lain di tempat lain, dan bagian jauh lebih besar dari klaim mereka yang ditandai ditutup tanpa kecurangan ditemukan sama sekali. Pola itu terlacak kembali ke data pelatihan: berkas penyelidikan historis mencerminkan tahun-tahun ketika penyelidik lapangan, bekerja dari heuristik informal mereka sendiri, memusatkan pemeriksaan acak manual di persis distrik itu, sehingga model telah belajar memperlakukan tinggal di sana sebagai prediktif kecurangan, padahal sebenarnya hanya prediktif telah lebih sering diperiksa di masa lalu. Distrik pos tidak pernah menjadi masukan model; ia tidak perlu, sebab komposisi rumah tangga, sektor pemberi kerja, dan bidang metode pembayaran berkorelasi cukup erat dengannya untuk membawa sinyal yang sama lewat proksi.

Penyelidikan badan mengonfirmasi pola itu nyata, dan juga mengonfirmasi masalah kedua yang lebih senyap: peninjau manusia yang seharusnya menyetujui kasus untuk penyelidikan penuh sebelum berlanjut telah menyetujui rekomendasi skor teratas model dalam sebagian besar kasus yang sangat besar, dengan waktu tinjauan rata-rata di bawah dua menit per kasus — jauh dari cukup untuk secara bermakna meragukan skor statistik, yang berarti kendali manusia-dalam-lingkaran yang ditunjuk pimpinan sebagai pengaman sebenarnya tidak menangkap disparitas yang ada untuk ditangkapnya. Tanggapan badan menggabungkan beberapa praktik terbaik topik ini sekaligus: ia melatih ulang model dengan pola pengawasan berlebihan historis dikoreksi, memperpanjang waktu tinjauan dan memberi peninjau wewenang menutup kasus yang ditandai tanpa eskalasi ketika pertimbangan mereka sendiri tidak sejalan dengan skor, dan membangun pemberitahuan berbahasa sederhana serta jalur banding sejati kepada petugas kasus bernama bagi siapa pun yang klaimnya ditandai. Hasil penyelidikan per jam peninjau turun sedikit, tetapi tingkat kecurangan terkonfirmasi di antara klaim yang ditandai dari distrik yang sebelumnya ditandai berlebihan naik hingga cocok dengan sisa beban kasus, yang diperlakukan audit badan sendiri sebagai ukuran keberhasilan sejati — bukan volume klaim yang ditandai, melainkan apakah penandaan melacak kecurangan sebenarnya alih-alih pola historis yang telah dipelajari model untuk direproduksi.

Empat lensa sektoral

Pemerintah daerah

Otoritas daerah semakin menerapkan perangkat algoritmik untuk keputusan dengan taruhan paling langsung dan paling personal bagi penduduk — prioritas alokasi perumahan, penilaian risiko kesejahteraan anak, dan triase kecurangan pajak daerah atau tunjangan — sering sambil kekurangan kapasitas ilmu data internal untuk membangun, memvalidasi, atau mengaudit sistem ini sendiri, meninggalkan banyak yang bersandar pada model yang dipasok vendor yang data pelatihan dan validasinya tidak dapat sepenuhnya diperiksa otoritas. Ini menciptakan disiplin pengadaan khusus: otoritas daerah yang mengomisikan sistem algoritmik harus menuntut, sebagai syarat kontrak, keterjelasan, pengujian bias, dan akses audit yang sama seperti yang akan diwajibkannya pada pembangunan internal, sebab hak proses hukum yang adil penduduk tidak berkurang karena otoritas membeli sistem alih-alih membangunnya. Kedekatan pemerintah daerah dengan penduduk juga berarti salah tembak algoritmik lebih mungkin diketahui secara pribadi di komunitas sebelum menjadi keluhan formal, yang mendukung tinjauan lokal ringan dan dini.

Pemerintah nasional

Badan nasional mengoperasikan sistem skala terbesar dalam cakupan topik ini — deteksi kecurangan pajak, penilaian risiko imigrasi, kelayakan tunjangan nasional — di mana bahkan tingkat kesalahan kecil diterjemahkan menjadi jumlah absolut orang terdampak yang sangat besar, dan di mana badan biasanya memiliki kapasitas teknis dan hukum terdalam untuk membangun pengaman sejati. Pemerintah nasional juga biasanya tingkat tempat regulasi AI berbasis risiko, di mana ada, ditulis dan ditegakkan, memberi badan nasional kewajiban formal paling jelas dan paparan terbesar ketika audit atau pengadilan menemukan sistem otomatis telah menghasilkan hasil diskriminatif atau tak dapat ditinjau pada skala besar. Taruhan proses hukum yang adil tertinggi di sini juga dalam arti lain: skor risiko imigrasi atau penegakan hukum dapat memengaruhi kebebasan sama seperti entitlemen, yang mendukung sikap otomasi paling konservatif — otomasi penuh paling sedikit dan tinjauan manusia paling sejati — justru di tempat argumen teknis untuk otomasi sering paling kuat karena volume kasus.

Sektor sosial dan nirlaba

Organisasi nirlaba dan nonpemerintah (LSM) semakin memakai perangkat algoritmik untuk menyaring distribusi bantuan, menyaring penerima manfaat demi kelayakan, atau memprioritaskan pekerjaan kasus di persis ranah yang dicakup topik ini, sering di bawah kendala sumber daya nyata yang membuat argumen efisiensi otomasi sungguh menarik. Struktur akuntabilitasnya berbeda nyata dari pemerintah, namun: penerima manfaat organisasi nirlaba jarang memiliki hak banding undang-undang yang dimiliki warga terhadap badan negara, dan hubungan akuntabilitas utama organisasi sering mengalir kepada penyandang dana alih-alih kepada orang yang diputuskan algoritma, persis jurang akuntabilitas yang dijelaskan Topik 3.8 — Manajemen Sektor Sosial dan Nirlaba untuk sektor secara umum. Organisasi nirlaba yang mengadopsi triase algoritmik karena itu harus membangun hak penjelasan dan banding yang dijelaskan topik ini sebagai standar sukarela, bukan karena regulator mewajibkan, melainkan karena orang yang dilayani organisasi tidak punya jalur lain menuju satu.

Multilateral dan internasional

Badan multilateral dan badan kemanusiaan internasional menerapkan perangkat penargetan dan penilaian risiko algoritmik lintas batas dan sistem hukum, sering di latar krisis ketika keuntungan kecepatan otomasi paling akut dan data yang tersedia paling tidak andal — data pendaftaran tak lengkap, data yang dikumpulkan untuk satu krisis dan dipakai ulang untuk yang lain, dan populasi dengan kemampuan terbatas menggugat keputusan penilaian yang menentukan apakah mereka menerima bantuan. Tidak ada satu hukum proses hukum yang adil atau rezim hak atas penjelasan nasional yang berlaku seragam di seluruh operasi badan multilateral, sehingga pengaman yang dijelaskan topik ini harus dibangun ke dalam standar operasi organisasi sendiri alih-alih diwarisi dari kerangka hukum eksternal yang dapat ditegakkan, menggemakan jurang keterwakilan dan akuntabilitas yang diidentifikasi Topik 3.4 untuk badan multilateral secara umum (lihat Topik 3.4 — Akuntabilitas, Transparansi, dan Legitimasi). Taruhannya juga parah di sini, sebab keputusan algoritmik dapat menentukan akses pada makanan, tempat berlindung, atau pemrosesan suaka bagi orang dengan kemampuan praktis paling kecil di antara kelompok mana pun dalam topik ini untuk banding atas hasil yang keliru.

Ragam kegagalan yang umum

Diskriminasi proksi. Model mengecualikan karakteristik terlindungi secara langsung tetapi mempelajari sinyal setara dari variabel yang berkorelasi — kode pos, nama keluarga, sektor pekerjaan, riwayat tunjangan — mereproduksi pola diskriminatif yang sama yang hendak dicegah oleh pengecualian itu. Biayanya adalah rasa aman yang palsu: organisasi dapat dengan benar mengatakan variabel terlindungi tidak pernah dipakai, sementara hasilnya tetap sama tidak setaranya seolah ia dipakai.

Bias otomasi dalam tinjauan manusia. Peninjau manusia, secara formal diwajibkan memeriksa rekomendasi algoritma, menyetujuinya dalam sebagian besar kasus yang sangat besar karena tidak setuju memakan lebih banyak waktu, lebih banyak pembenaran, atau lebih banyak risiko pribadi daripada setuju. Biayanya adalah bahwa kendali yang diyakini organisasi menangkap kesalahan, dalam praktik, menstempel karet kesalahan itu, dan ini biasanya baru terlihat begitu seseorang mengukur tingkat penimpaan secara langsung alih-alih memercayai bahwa prosesnya ada.

Sandiwara keterjelasan. Organisasi memberi penjelasan untuk keputusan otomatis yang terdengar spesifik dan memuaskan tetapi dihasilkan sesudah kejadian oleh metode yang mendekati, alih-alih mengungkap, penalaran sebenarnya model. Biayanya muncul ketika penjelasan diuji di bawah penelaahan nyata — banding, audit, gugatan hukum — dan ternyata tidak sesuai dengan mengapa sistem sebenarnya menghasilkan keluaran khusus itu.

Bias historis yang direproduksi melalui lingkaran umpan balik. Model yang dilatih pada hasil keputusan masa lalu — lingkungan mana yang diselidiki, permohonan mana yang disetujui — mempelajari dan kemudian melanggengkan pola pengawasan berlebihan atau pelayanan kurang apa pun yang membentuk keputusan masa lalu itu, dan setiap putaran baru keputusan yang dihasilkannya menjadi data pelatihan bagi versi berikutnya, memperdalam pola alih-alih mengoreksinya. Ini telah didokumentasikan di berbagai ranah sektor publik secara internasional, termasuk pemolisian berbasis risiko dan penyaringan kecurangan kesejahteraan, dan mekanisme yang mendasarinya cukup konsisten di seluruh kasus terdokumentasi itu untuk diperlakukan sebagai risiko umum pada sistem apa pun yang dilatih pada data penegakan atau kasus historis, terlepas dari yurisdiksi.

Jurang akuntabilitas, atau masalah "banyak tangan". Ketika keputusan berjalan melalui model vendor, data badan, penetapan ambang tim kebijakan, dan pengesahan nominal petugas kasus, tanggung jawab atas hasil yang keliru dapat berakhir sungguh tidak jelas bahkan bagi organisasi itu sendiri, dengan setiap pihak dapat menunjuk yang lain sebagai sumber kesalahan. Biayanya bukan hanya bahwa warga terdampak tidak mendapat jawaban jelas, tetapi bahwa organisasi tidak dapat andal memperbaiki penyebab sebenarnya, sebab tidak ada satu pemilik akuntabel yang ada atas keputusan sebagai keseluruhan (lihat Topik 3.4 — Akuntabilitas, Transparansi, dan Legitimasi).

Model kematangan

Daftar periksa

• Bangun inventaris lengkap setiap sistem yang membuat atau secara material menginformasikan keputusan yang memengaruhi hak atau entitlemen seseorang, termasuk perangkat yang dipasok vendor.
• Klasifikasikan setiap sistem dalam inventaris itu menurut taruhan keputusan yang diinformasikannya, memakai jenjang risiko yang ditetapkan.
• Pastikan setiap orang terdampak menerima pemberitahuan berbahasa sederhana bahwa algoritma terlibat dalam kasusnya.
• Susun penjelasan spesifik tingkat kasus yang akan diterima warga nyata saat banding, dan uji apakah ia benar-benar akan memuaskannya.
• Uji setiap sistem berpertaruhan tinggi untuk dampak berbeda memakai hasil pascapenerapan nyata, dipilah menurut karakteristik yang relevan, bukan hanya dengan memeriksa variabel masukan yang dikecualikan.
• Ukur tingkat penimpaan dan rata-rata waktu tinjauan untuk setiap kendali manusia-dalam-lingkaran, dan perlakukan tingkat penimpaan mendekati nol sebagai temuan.
• Pastikan manusia bernama, dengan wewenang sejati untuk membalik keputusan, meninjau setiap banding.
• Tempatkan audit algoritmik di bawah fungsi yang independen dari tim yang membangun atau mengoperasikan sistem.
• Pastikan data pelatihan dan operasional untuk setiap sistem tetap di dalam saluran yang ditata kelola dan terbatas tujuan.
• Tetapkan jadwal pelatihan ulang dan validasi ulang tetap untuk setiap model yang diterapkan, alih-alih menunggu keluhan memicu tinjauan.
• Identifikasi sistem Anda mana yang saat ini tidak memiliki pengaman otomasi penuh untuk keputusan paling parah dan paling tak dapat dibalik, dan koreksi itu lebih dulu.
• Jalankan keenam pertanyaan diskusi di atas bersama tim Anda dan catat di mana jawaban jujur berbeda dari yang resmi.

Sumber utama

• OECD AI Principles (2019, diperbarui 2024) — standar antarpemerintah pertama untuk AI tepercaya, mencakup pertumbuhan inklusif, hak asasi manusia, transparansi, ketangguhan, dan akuntabilitas.
• Artificial Intelligence Act Uni Eropa (Regulation (EU) 2024/1689) — kerangka hukum berjenjang-risiko komprehensif pertama untuk AI, secara eksplisit menangani pemakaian kelayakan sektor publik, penegakan hukum, dan migrasi.
• US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — kerangka tata kelola, data, kinerja, dan pemantauan untuk akuntabilitas AI di sektor publik.
• Karya akademik Danielle Keats Citron tentang "proses hukum yang adil teknologis", yang berargumen bahwa sistem otomatis memerlukan pengaman prosedural yang dibangun khusus untuk pengambilan keputusan algoritmik, bukan manusia.
• Karya akademik publik Cathy O'Neil, Virginia Eubanks, dan Frank Pasquale tentang bias algoritmik, administrasi kesejahteraan otomatis, dan sistem penilaian yang buram, dikutip di seluruh pembahasan topik ini tentang bias data pelatihan dan masalah kotak hitam.

Referensi

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp