Kamuda Yapay Zekâ ve Algoritmik Karar Verme

Bu neden kamu değeri açısından önemlidir

Kamu kuruluşları her zaman dikkati karneye bağlamıştır: bir vaka görevlisi her başvuru sahibiyle kişisel olarak görüşemez, bir gümrük memuru her konteyneri denetleyemez, bir sahtecilik ekibi her talebi inceleyemez. Yapay zekâ (YZ) — normalde insan yargısı gerektiren görevleri yerine getiren sistemler kurmanın geniş alanı — ve algoritmik ve otomatik karar vermenin (OKV) daha dar pratiği, bu dikkati çok daha tutarlı ve çok daha büyük ölçekte karneye bağlamayı, bir insan ekibinin hiçbir zaman tam olarak gözden geçiremeyeceği vakaları puanlamayı, işaretlemeyi ya da doğrudan karara bağlamayı vaat eder. Konu 5.1, bu yeteneğin içinde durduğu dijital hizmet sunumu örüntülerini ele alır (bkz. Konu 5.1 — Dijital Devlet ve Dijital Dönüşüm); bu konu, adı belli bir yetkili yerine bir model kararın bir kısmını ya da tamamını verdiğinde ne olduğuyla ilgilidir.

Vaat gerçektir: iyi kurulmuş bir model bir vaka görevlisinin göremeyeceği sahtecilik örüntülerini yakalayabilir, uygunluk kurallarını bir milyon talep boyunca mükemmel tutarlılıkla uygulayabilir ve kıt uzman zamanını gerçekten yargıya ihtiyaç duyan vakalara serbest bırakabilir. Risk eşit derecede gerçektir ve sistemi inşa eden kuruluşun içinden görmesi daha zordur. Tarihsel veri üzerinde eğitilmiş bir model, bir kamu kuruluşunun düzeltmek için var olduğu ayrımcılığı yeniden üretebilir ve güçlendirebilir; karmaşık bir model, ne yurttaşın ne de ona güvenen yetkilinin neden bu kararı verdiğini söyleyemeyeceği kadar opak olabilir; ve bir algoritmanın ağır biçimde bilgilendirdiği bir karar, usul açısından, yurttaşa bir gerekçe verebilecek ya da davasını dinleyebilecek kimse bırakmayabilir. Bunların hiçbiri varsayımsal değildir: düzenleyiciler, mahkemeler ve ombudsman eşdeğeri organlar birden fazla yargı alanında mahalleye, göç geçmişine ya da aile yapısına göre orantısız biçimde insanları işaretleyen kamu sektörü risk puanlama ve sahtecilik tespit sistemleri bulmuştur; her durumda modeli doğru kılan örüntü aynı zamanda korunan ya da hassas bir özelliği izlediği için.

Kamu değeri riski bu nedenle bir kez dengelenecek bir verimlilik–adalet ödünleşimi değil, sürekli sürdürülecek bir tasarım disiplinidir. Bir insan yetkilinin bir yardımı reddettiği bir yurttaş o yetkiliye nedenini sorabilir ve cevabı değiştirmeye statüsü ve gücü olan başka bir insana itiraz edebilir — Konu 3.4'ün tarif ettiği hesap verebilirlik mekanizması (bkz. Konu 3.4 — Hesap Verebilirlik, Şeffaflık ve Meşruiyet). Bir modelin bir yardımı reddettiği bir yurttaşın aynı açıklama hakkına ve onu geçersiz kılabilecek bir insana aynı yola ihtiyacı vardır, yoksa kamu kuruluşu hiçbir zaman resmen geri çekmediği bir hukuki usul güvencesini sessizce ihraç etmiştir. Bunu doğru yapmak, bir kamu kuruluşunun "algoritma karar verdi"yi hesap verebilirliği başlatmak yerine bitiren bir söz öbeğine dönüştürmeden algoritmik karar vermenin tutarlılık ve ölçekteki gerçek kazançlarını elde etmesini sağlar.

Temel kavramlar

Otomatik karar verme (OKV), insan gözetimi değişen derecelerde, verinin, yazılımın ve algoritmaların kararları vermek ya da maddi olarak bilgilendirmek için kullanılmasıdır; bir insana yalnızca bilgi sunan bir sistemden, hiçbir insan olmadan karar verip hareket eden bir sisteme uzanan bir yelpazeyi kapsar (bkz. otomatik karar verme). Bir sistemin o yelpazede nerede durduğu — karar desteği, karar artırımı ya da tam otomasyon — hangi hesap verebilirlik ve hukuki usul yükümlülüklerinin geçerli olduğunu belirler; düzenleyicilerin giderek sistemleri altta yatan teknolojiye göre değil onun üzerindeki konumlarına göre sınıflandırmasının nedeni budur.

İnsan döngüde, bir kişinin bir algoritmanın çıktısını yürürlüğe girmeden önce gözden geçirdiği ya da onayladığı bir düzenlemeyi tarif eder; bir kişinin izleyip müdahale edebildiği insan-döngü-üstünde'den (human-on-the-loop) ya da hiç gözden geçirmesi olmayan tümüyle otomatik işlemeden ayrı olarak (bkz. insan döngüde). Gerçek bir insan-döngüde denetimi, gözden geçirenin sisteme gerçekten itiraz etmek için zamana, bilgiye ve statüye sahip olmasını gerektirir; itiraz etmek katılmaktan daha uzun sürdüğü ya da daha fazla kişisel risk taşıdığı için neredeyse her algoritmik öneriyi onaylayan bir gözden geçiren, süreç şeması bir insan adımı gösterse bile gözetim uygulamıyordur. Genellikle otomasyon yanlılığı denen bu örüntü, bu konunun konusunun en yaygın ve en az görünür başarısızlıklarından biridir.

Algoritmik yanlılık, bilgisayarlı bir sistemin adaletsiz sonuçlar üretme yönündeki sistematik, tekrarlanabilir eğilimidir — örneğin, bir grubu tasarımcıların amaçlamadığı ve çoğu zaman fark etmediği biçimlerde diğerine tercih etmek (bkz. algoritmik yanlılık). Kamu yönetiminde baskın kaynak eğitim verisi yanlılığıdır: tarihsel uygulama, kredilendirme ya da vaka kayıtları üzerinde eğitilmiş bir model, geçmişte kimin soruşturulduğuna, onaylandığına ya da işaretlendiğine yerleşmiş tarihsel aşırı polislik, yetersiz hizmet ya da ayrımcı pratik dahil bu kayıtlardaki örüntüleri öğrenir. Bir model, ırk, engellilik, göç durumu gibi hassas bir özellik veriden açıkça dışlansa bile bu sonucu yeniden üretebilir, çünkü ilişkili bir vekil (posta kodu, soyadı, vardiya örüntüsü, yardım geçmişi) aynı sinyali başka bir adla taşır; vekilleri sınamadan adlandırılmış değişkeni kaldırmak, bir kamu kuruluşunun hiç düzeltmediği bir yanlılık sorununu düzelttiğine inanmasının yaygın bir yoludur.

Makine öğrenmesinde adalet, otomatik kararlarda algoritmik yanlılığı ölçmeye ve düzeltmeye yönelik teknik ve usule ilişkin yaklaşımlar ailesini ifade eder (bkz. adalet (makine öğrenmesi)). Bu alanın çözülebilir bir teknik dipnot değil gerçekten zor bir özelliği, adaletin birkaç sezgisel olarak makul tanımının — gruplar arasında eşit onay oranları, gruplar arasında eşit hata oranları ve her grup içinde eşit kalibre edilmiş doğruluk — altta yatan gruplar veride farklı taban oranlarına sahip olduğunda matematiksel olarak uyumsuz olmasıdır. Bir kamu kuruluşu tüm tanımları aynı anda karşılayamaz; yalnızca eldeki kararın hangi tanım için optimize etmesi gerektiğini, savunmaya istekli olduğu gerekçelerle açıkça seçebilir; bu, teknik giyinmiş bir politika yargısıdır.

Açıklanabilirlik ve kara kutu sorunu. Bir model, iç işleyişi yalnızca girdilerinden ve çıktılarından incelenemediğinde ya da anlaşılamadığında bir kara kutudur — doğruluğu çoğu zaman tam olarak onları yorumlamayı zorlaştıran karmaşıklıktan gelen birçok yüksek performanslı makine öğrenmesi modeli için doğrudur. Açıklanabilir yapay zekâ ya da XAI, bir modelin akıl yürütmesini incelenebilir kılma yöntemleri alanıdır; sonuç doğurucu kararlar için doğası gereği yorumlanabilir model türlerini seçmekten, karmaşık bir modelin gerçekte ne yaptığını ortaya çıkarmak yerine yaklaşıklayan sonradan oluşturulmuş açıklamalar üretmeye kadar uzanır. Ayrım teknik olduğu kadar hukuki olarak da önemlidir: kulağa makul gelen ama modelin gerçek akıl yürütmesini yansıtmayan yaklaşık bir açıklama, aleyhindeki kararın gerçek dayanağına itiraz etmek için ona güvenen yurttaşı yüzüstü bırakırken bir şeffaflık kontrol listesini karşılayabilir.

Açıklama hakkı, önemli bir otomatik karara tabi olan bir kişinin ilgili mantığın anlamlı bir açıklamasına hakkı olduğu, tartışmalı hukuki ilkedir; en yakından, yasal veya benzer önemli etkiler doğuran yalnızca otomatik işlemeye dayanan kararları kısıtlayan ve özneye insan müdahalesi alma ve kararı itiraz etme hakları veren Avrupa Birliği Genel Veri Koruma Tüzüğü ile ilişkilendirilir (bkz. açıklama hakkı ve Genel Veri Koruma Tüzüğü). Hukuk bilimciler bu hakkın pratikte gerçekte ne kadar güçlü olduğunu tartışır ve Avrupa Birliği dışındaki yargı alanlarında büyük ölçüde eşdeğer bir yasal hak yoktur; bu nedenle bir kamu kuruluşu "ilgili veri koruma hukukuna uyuyoruz"u "bu kararı etkilediği kişiye açıklayabiliriz" ile eşdeğer ele almamalıdır — ikisi ilişkilidir ama aynı değildir ve hukuki usulün gerçekte gerektirdiği yalnızca ikincisidir.

Hukuki usul ve doğal adalet. İdare hukukunda hukuki usul — devletin bir kişiyi bir haktan ya da hak sahipliğinden mahrum etmeden önce adil usulleri izlemesi gerektiği ilkesi, Amerika Birleşik Devletleri anayasa hukukunda en gelişmiş, ama birçok hukuk sisteminde karşılaştırılabilir biçimde yankılanan — ve doğal adalet — adil bir duruşma ve karar vericide yanlılıktan arınmışlık gerektiren Commonwealth idare hukuku geleneği — ikisi de bilgisayarlardan önce yazılmış bir varsayıma dayanır: bir kararın gerekçe verebilen, diskalifiye edici bir yanlılıktan arınmış gösterilebilen ve yeniden düşünmesi istenebilen belirlenebilir bir karar vericisi vardır. Bir algoritma üç varsayımı da aynı anda zorlar — gerekçeler teknik olarak mevcut olmayabilir, söz konusu "yanlılık" kişisel değil istatistikseldir ve aynı model tarafından yeniden düşünme aynı yanıtı üretir — bu nedenle algoritmik kararlar için hukuki usulün insan karar vericiler için kurulmuş usullerden devralınmak yerine açıkça mühendislikle kurulması gerekir.

YZ'nin riske dayalı düzenlemesi. Tüm YZ'yi tekdüze düzenlemek yerine, en tam olarak Avrupa Birliği'nin Yapay Zekâ Yasası'nda geliştirilen ortaya çıkan bir düzenleyici örüntü, yükümlülükleri uygulamanın risklerine göre kademelendirir; dar bir kullanım kümesini tümüyle yasaklar, en ağır uyum yükümlülüklerini "yüksek riskli" kullanımlara (açıkça kamu sektörü uygunluk belirlemesi, kolluk risk değerlendirmesi ve göç kararlarını içerir) yükler, daha düşük riskli kullanımlar için şeffaflık açıklamaları gerektirir ve asgari riskli kullanımları büyük ölçüde düzenlenmemiş bırakır (bkz. Yapay Zekâ Yasası). Belirli bir yargı alanındaki düzenleyici örüntü ne olursa olsun, altta yatan fikir — yönetişim yükümlülüklerinin teknolojinin sofistikeliğine değil kararın risklerine göre ölçeklenmesi gerektiği — AB'nin belirli rejimini izleme yönünde doğrudan bir yasal yükümlülük olmasa bile yararlı bir tasarım ilkesidir.

İyi uygulamalar

1. Her sistemi, modeli seçmeden önce, sonra değil, kararın risklerine göre sınıflandırın. Bir vakayı insan incelemesi için işaretleyen bir sistem, bir yardımı tümüyle reddedenden farklı bir yükümlülük taşır; bir kullanım durumunun hangi kademede durduğuna, AB YZ Yasası'nın risk kategorileri gibi bir çerçeveyi başvuru noktası olarak kullanarak, dağıtım boşluğu ortaya çıkarmadan önce inşa etmeden önce karar verin.
2. İnsanlara, bir algoritma haklarında bir kararda yer aldığında bunu sade dille söyleyin. Şartlar ve koşullara gömülü genel bir gizlilik bildirimi bunu karşılamaz; bildirim sistemin ne yaptığını, hangi veriyi kullandığını ve kişi çıktıya katılmazsa ne olacağını söylemelidir.
3. Bir gözden geçirenin gerçekten kullanabileceği bir insan-döngüde denetimi kurun ve onların kullanıp kullanmadığını ölçün. Geçersiz kılma oranını, vaka başına ortalama harcanan zamanı ve modele katılmayan gözden geçirenlerin katılmanın yapmadığı herhangi bir sürtünmeyle karşılaşıp karşılaşmadığını izleyin — geçersiz kılma oranı sıfıra yakınsa, gözden geçirme büyük olasılıkla dekoratiftir.
4. Dezavantajlı etkiyi geliştiricilerin niyetlerini değil gerçek sonuçları kullanarak sınayın. Dağıtımdan önce ve sonrasında sabit bir yinelenen sıklıkta, modelin sonuçlarını korunan ve hassas özelliklere göre, posta kodu ya da yardım geçmişi gibi olası vekiller aracılığıyla da dahil ayrıştırarak ölçün, çünkü korunan bir değişkeni doğrudan hiç kullanmayan bir model yine de çarpıcı biçimde eşitsiz bir sonuç üretebilir.
5. Etkilenen her kişiye algoritmanın kararını yalnızca açıklayabilecek değil geçersiz kılabilecek güce sahip bir insana giden bir yol verin. Modelin gerekçesini gerçek bir tersine çevirme olasılığı olmadan yineleyen bir itiraz kanalı, bir açıklama hakkının harfini karşılarken amacını yener.
6. Hukuken sonuç doğurucu kararlar için marjinal olarak daha doğru bir kara kutu model yerine yorumlanabilir bir model tercih edin. Yorumlanabilir bir model ile karmaşık bir model arasındaki doğruluk farkı küçük olduğunda, yorumlanabilirlik kazancı yurttaş, itiraz görevlisi ve denetçi için genellikle marjinal doğruluğun kuruluş için değerinden çok daha fazla değer taşır.
7. Her sistemin amacını, eğitim verisini, bilinen sınırlamalarını ve amaçlanan kullanımını kalıcı bir kayıtta belgeleyin ve bunlardan herhangi biri değiştiğinde güncelleyin. Bir amaç için dağıtılıp sessizce başka bir amaca yeniden kullanılan bir model — örneğin sahtecilik taramasının genel uygunluk önceliklendirmesine genişletilmesi — genellikle özgün doğrulamasını ve yanlılık sınamasını geride bırakmıştır.
8. Yüksek riskli bir model için eğitim ve operasyonel veriyi yönetilen, amaçla sınırlı bir hat içinde tutun. Bir idari amaç için toplanan bir veri kümesini ilgisiz bir amaç için bir modeli eğitmek için yeniden kullanmak, bir modelleme sorunu kadar bir veri yönetişimi başarısızlığıdır (bkz. Konu 5.4 — Kamu Sektörü Verisi, Birlikte Çalışabilirlik ve Açık Veri).
9. Algoritmik denetimi sistemi inşa eden ya da işleten ekibe rapor vermeyen bir işlevin altına koyun. Sistemin kendi geliştiricilerince yapılan bir denetim, olumsuz bir bulguyu yayımlama statüsü olan gerçekten bağımsız bir gözden geçiricininkinden farklı ve daha az sorun bulur (bkz. Konu 3.4 — Hesap Verebilirlik, Şeffaflık ve Meşruiyet).
10. Bir sistemi gerçek kararlar için açmadan önce bir gölge dönem yürütün. Modelin önerilerini aynı vakalarda gerçek insan kararlarına karşı, harekete geçmeye başlamadan önce tanımlı bir dönem boyunca karşılaştırın; böylece bir yurttaş etkilenmeden önce sistematik ayrışma ortaya çıkar.
11. Hiç insan incelemesi olmayan tam otomasyonu yalnızca en az sonuç doğurucu ve en geri döndürülebilir kararlara saklayın. Bir karar ne kadar ağır ve daha az geri döndürülebilirse — bir yardımın sonlandırılması, bir ceza soruşturmasını tetikleyen bir sahtecilik sevki, bir giriş reddi — modelin ölçülen doğruluğu ne olursa olsun, bir insanı gerçekten döngüde tutmanın gerekçesi o kadar güçlüdür.
12. Yeniden eğitmeyi, yeniden doğrulamayı ve yanlılık için yeniden sınamayı yalnızca bir sorun bildirildiğinde değil sabit bir takvimde yapın. Bir modelin doğruluğu ve adalet özellikleri, üzerinde eğitildiği nüfus ve dünya değiştikçe sessizce sürüklenebilir ve yalnızca bir şikâyetten sonra araştıran bir kamu kuruluşu, şikâyetin ortaya çıkması ne kadar sürdüyse sürüklenmenin o kadar sürmesine izin vermiş olur.

Ekibinizle tartışılacak sorular

Kuruluşumuzun neresinde bir algoritma bir kişinin haklarını, hak sahipliklerini ya da özgürlüğünü etkileyen bir kararı veriyor veya ağır biçimde bilgilendiriyor ve etkilenen her kişi bunun gerçekleştiğini gerçekten öğrenebilir mi? Birçok kuruluş, sistemlerini gerçekten envanterlediğinde, algoritmik puanlamanın ya da önceliklendirmenin çoğu zaman aslında düşük riskli bir verimlilik aracı olarak getirilmiş olarak, herhangi bir tek ekibin fark ettiğinden daha fazla karar noktasına sızdığını keşfeder. Bu soruyu, satın alma bir satın alınan aracın gerçekte ne kadar karar verdiğini gizleyebileceğinden, bir satıcıdan satın alınan sistemler dahil, o envanteri dürüstçe oluşturmak için kullanın. Mevcut bildirim uygulamalarınızın etkilenen bir yurttaşın özel bilgi olmadan bir modelin vakasında yer aldığını keşfetmesine izin verip vermeyeceğini tartışın.

Bir yurttaş yarın otomatik kararlarımızdan birine resmen itiraz etseydi, ona gerçek, belirli bir gerekçe verebilir miydik, yoksa yalnızca sürecin bir tarifini mi? Bir süreç tarifi — "sistem gelirinizi, hane büyüklüğünüzü ve ödeme geçmişinizi değerlendirdi" — bu girdilerin bu belirli kişi için neden bu belirli sonucu ürettiğinin bir açıklaması ile aynı şey değildir. Bu soruyu, bir canlı sistemi seçmek ve ekip olarak gerçek bir yurttaşın itiraz etmesi hâlinde alacağı açıklamayı yazmaya çalışmak için kullanın. Alıştırma zorsa, bu zorluk başlı başına bulgudur.

Eğitim verimizin tarihsel bir yanlılık örüntüsünü yeniden üretip üretmediğini biliyor muyuz ve bunu niyetlerimize karşı değil gerçek sonuçlara karşı sınadık mı? Korunan bir özelliği bir veri kümesinden dışlamak, etkisini dışlamakla aynı değildir, çünkü ilişkili vekiller aynı sinyali farklı bir adla taşıyabilir. Bu soruyu, sistemlerinizden hangilerinin yalnızca girdi verisinde korunan bir değişkenin varlığı açısından değil, gerçek dağıtım sonrası sonuçlar kullanılarak, ilgili özelliklere göre ayrıştırılmış olarak dezavantajlı etki açısından sınandığını belirlemek için kullanın. Bu sonuç temelli sınamayı, henüz yapılmamışsa en yüksek riskli sisteminiz üzerinde yürütmenin neyi gerektireceğini tartışın.

İnsan-döngüde gözden geçirmemiz gerçek bir kontrol mü, yoksa fark edecek kadar yakından ölçmediğimiz bir lastik damga mı? Zaman baskısı altındaki, tam bağlamsız ya da katılmamak için katılmaktan daha fazla sürtünmeyle karşılaşan bir insan gözden geçiren, kalitesinden bağımsız olarak algoritmanın önerisini onaylama eğiliminde olacaktır. Bu soruyu, en az bir sistem için gerçek geçersiz kılma oranınızı bulmak ve bu sayının gözden geçirmenin bir kontrol olarak mı yoksa bir uyum biçimselliği olarak mı işlediği hakkında ne söylediğini tartışmak için kullanın.

Birisi algoritmamızın verdiği ya da ağır biçimde bilgilendirdiği bir karara itiraz etmek istediğinde usul olarak gerçekte ne oluyor — ve onu geçersiz kılmaya gerçek gücü olan bir insan itirazı hiç görüyor mu? Birçok itiraz süreci, bir yurttaşı sonucu esas üzerinden geçersiz kılabilecek bir kişiye hiç ulaşmadan modelin mantığının bir tarifine geri yönlendirir. Bu soruyu, gerçek ya da gerçekçi bir vaka için bir itirazı baştan sona izlemek ve varsa, cevabı değiştirmeye gerçek yetkisi olan bir insanın dahil olduğu tam noktayı belirlemek için kullanın.

Modellerimizden biri dağıtımdan sonra bozulursa ya da sürüklenirse riski kim üstleniyor ve bir yurttaş ya da bir gazeteci bize söylemeden önce bunu nasıl bilirdik? Bir modelin adalet ve doğruluk özellikleri başlatmada sabit değildir; nüfus, ekonomi ya da bitişik politika değiştikçe, çoğu zaman sistemi inşa eden ekibe görünmez biçimde kayabilir. Bu soruyu, dağıtım sonrası izlemeden kimin hesap verebilir olduğunu, hangi sıklıkta olduğunu ve bir yeniden eğitimi ya da duraklamayı özellikle neyin tetikleyeceğini belirlemek için kullanın. Dürüst yanıt "kimse özellikle bunu izlemiyor" ise, bunu bu tartışmanın üretebileceği en acil bulgu olarak ele alın.

Uygulamada: bir kamu değeri örneği

Kurgusal bir ulusal sosyal sigorta kurumu, gerçek sahteciliğin aylarca soruşturulmadan beklediği, dürüst talep sahiplerinin ise ilgisiz işlem gecikmelerini beklediği yıllarca süren bir birikmiş iş sonrasında, sahtecilik soruşturma ekibinin hangi işsizlik yardımı taleplerini önce gözden geçireceğini önceliklendirmek için bir risk puanlama modeli kurdu. Model, hangi talep özelliklerinin tarihsel olarak doğrulanmış bir sahtecilik bulgusundan önce geldiğini öğrenerek beş yıllık kapatılmış soruşturma dosyaları üzerinde eğitildi ve testte iyi performans gösterdi: yüksek riskli olarak puanladığı talepler rastgele bir örneklemden çok daha yüksek oranda sahte doğrulandı ve kurumun liderliği, birikmiş işinin yıllardır ilk kez düştüğünü izleyerek, uygulamaya geçişi tartışmasız bir başarı olarak ele aldı.

On sekiz ay sonra, dahili bir ombudsman eşdeğeri ofis, sahtecilik ekibinin kendi performans panosunun ortaya çıkarmadığı bir şeyi fark etti: orantısız biçimde daha düşük gelirli ve orantısız biçimde yeni göçmen olan az sayıda posta bölgesinde yaşayan talep sahipleri, başka yerdeki benzer talep sahiplerinin oranının neredeyse üç katıyla soruşturma için işaretleniyordu ve işaretlenen taleplerinin çok daha yüksek bir payı hiç sahtecilik bulunmadan kapatılıyordu. Örüntü eğitim verisine kadar izlendi: tarihsel soruşturma dosyaları, saha müfettişlerinin kendi gayriresmî sezgilerine göre çalışarak elle yapılan yerinde kontrolleri tam olarak bu bölgelerde yoğunlaştırdığı yılları yansıtıyordu; böylece model orada yaşamayı sahtecilik için öngörücü olarak ele almayı öğrenmişti, oysa bu yalnızca geçmişte daha sık kontrol edilmiş olmanın öngörücüsüydü. Posta bölgesi hiçbir zaman modelin girdisi olmamıştı; olmasına gerek yoktu, çünkü hane bileşimi, işveren sektörü ve ödeme yöntemi alanları aynı sinyali vekil olarak taşıyacak kadar yakından ilişkiliydi.

Kurumun soruşturması örüntünün gerçek olduğunu doğruladı ve ikinci, daha sessiz bir sorunu da doğruladı: tam soruşturmaya ilerlemeden önce bir vakayı onaylaması gereken insan gözden geçirenler, modelin en yüksek puanlı önerilerini ezici çoğunlukla onaylıyordu ve gözden geçirme süreleri vaka başına ortalama iki dakikanın altındaydı — istatistiksel bir puanı anlamlı biçimde sorgulamak için yetmeyecek kadar; bu da liderliğin bir güvence olarak işaret ettiği insan-döngüde denetiminin var olma nedeni olan eşitsizliği aslında yakalamadığı anlamına geliyordu. Kurumun yanıtı bu konunun iyi uygulamalarının birkaçını bir arada birleştirdi: modeli tarihsel aşırı polislik örüntüsü düzeltilmiş olarak yeniden eğitti, gözden geçirme süresini uzattı ve gözden geçirenlere kendi yargıları puana katılmadığında işaretlenmiş bir vakayı tırmandırmadan kapatma yetkisi verdi ve talebi işaretlenen herkes için sade dilli bir bildirim ve adı belli bir vaka görevlisine giden gerçek bir itiraz yolu kurdu. Gözden geçiren saati başına soruşturma verimi biraz düştü, ama önceden aşırı işaretlenen bölgelerden işaretlenen taleplerdeki doğrulanmış sahtecilik oranı geri kalan vaka yüküyle eşleşecek kadar yükseldi; kurumun kendi denetimi bunu gerçek başarı ölçüsü olarak ele aldı — işaretlenen taleplerin hacmi değil, işaretlemenin modelin yeniden üretmeyi öğrendiği tarihsel bir örüntüyü değil gerçek sahtecilik izleyip izlemediği.

Dört sektör bakışı

Yerel yönetim

Yerel yönetimler giderek sakinler için en anlık ve kişisel riskleri olan kararlar için — konut tahsis önceliği, çocuk refahı risk puanlaması ve belediye vergisi ya da yardım sahtekârlığı önceliklendirmesi — algoritmik araçlar kullanır; çoğu zaman bu sistemleri kendileri kurmak, doğrulamak ya da denetlemek için kurum içi veri bilimi kapasitesinden yoksun olarak ve birçoğunu eğitim verisini ve doğrulamasını idarenin tam inceleyemeyeceği satıcı tarafından sağlanan modellere dayanır bırakarak. Bu belirli bir satın alma disiplini yaratır: algoritmik bir sistemi görevlendiren bir yerel yönetim, sözleşmesel bir koşul olarak, kurum içi bir inşadan isteyeceği aynı açıklanabilirliği, yanlılık sınamasını ve denetim erişimini talep etmelidir, çünkü bir sakinin hukuki usul hakları idare sistemi inşa etmek yerine satın aldığı için azalmaz. Yerel yönetimin sakinlere yakınlığı aynı zamanda bir algoritmik hatanın resmî bir şikâyete dönüşmeden önce toplulukta kişisel olarak bilinme olasılığının daha yüksek olduğu anlamına gelir; bu hafif, erken yerel gözden geçirmeyi savunur.

Merkezi yönetim

Ulusal kurumlar bu konunun kapsamındaki en büyük ölçekli sistemleri — vergi sahteciliği tespiti, göç risk değerlendirmesi, ulusal yardım uygunluğu — işletir; burada küçük bir hata oranı bile çok büyük bir mutlak etkilenen insan sayısına dönüşür ve kurum tipik olarak gerçek güvenceler kurmak için en derin teknik ve hukuki kapasiteye sahiptir. Ulusal yönetimler ayrıca, varsa, riske dayalı YZ düzenlemesinin yazıldığı ve uygulandığı kademedir; bu, ulusal kurumlara en net resmî yükümlülükleri ve bir denetim ya da mahkeme otomatik bir sistemin ölçekte ayrımcı ya da gözden geçirilemez sonuçlar ürettiğini bulduğunda en büyük maruziyeti verir. Hukuki usul riskleri burada başka bir anlamda da en yüksektir: bir göç ya da kolluk risk puanı yalnızca hak sahipliğini değil özgürlüğü de etkileyebilir; bu, vaka hacmi nedeniyle otomasyon için teknik gerekçenin çoğu zaman en güçlü olduğu yerde tam olarak en muhafazakâr otomasyon duruşunu — en az tam otomasyon ve en çok gerçek insan incelemesi — savunur.

Sosyal sektör ve kâr amacı gütmeyen kuruluşlar

Kâr amacı gütmeyen kuruluşlar ve hükümet dışı kuruluşlar (STK) yardım dağıtımını önceliklendirmek, yararlanıcıları uygunluk için taramak ya da vaka çalışmasını önceliklendirmek için tam olarak bu konunun kapsadığı alanlarda giderek algoritmik araçlar kullanır; çoğu zaman otomasyon için verimlilik gerekçesini gerçekten ikna edici kılan gerçek kaynak kısıtları altında. Hesap verebilirlik yapısı hükümetinkinden belirgin biçimde farklıdır, ancak: bir kâr amacı gütmeyen kuruluşun yararlanıcıları nadiren bir yurttaşın bir devlet kurumuna karşı sahip olduğu yasal itiraz haklarına sahiptir ve kuruluşun birincil hesap verebilirlik ilişkisi çoğu zaman algoritmanın hakkında karar verdiği insanlara değil fon sağlayıcılarına işler; bu, Konu 3.8 — Sosyal Sektör ve Kâr Amacı Gütmeyen Kuruluşların Yönetimi'nin sektör için genel olarak tarif ettiği hesap verebilirlik boşluğunun tam olarak kendisidir. Algoritmik önceliklendirme benimseyen bir kâr amacı gütmeyen kuruluş bu nedenle bu konunun tarif ettiği açıklama ve itiraz haklarını bir düzenleyici gerektirdiği için değil, kuruluşun hizmet ettiği insanların bir başkasına giden başka yolu olmadığı için gönüllü bir standart olarak kurmalıdır.

Çok taraflı ve uluslararası

Çok taraflı kuruluşlar ve uluslararası insani yardım kurumları algoritmik hedefleme ve risk puanlama araçlarını sınırlar ve hukuk sistemleri boyunca uygular; çoğu zaman otomasyonun hız yararının en akut ve mevcut verinin en az güvenilir olduğu kriz ortamlarında — eksik kayıt verisi, bir kriz için toplanıp başka bir kriz için yeniden kullanılan veri ve yardım alıp almayacaklarını belirleyen bir puanlama kararına itiraz etme yeteneği sınırlı nüfuslar. Hiçbir tek ulusal hukuki usul yasası ya da açıklama hakkı rejimi bir çok taraflı kuruluşun operasyonları boyunca tekdüze uygulanmaz; bu nedenle bu konunun tarif ettiği güvencelerin uygulanabilir harici bir yasal çerçeveden devralınmak yerine kuruluşun kendi işletme standartlarına inşa edilmesi gerekir; Konu 3.4'ün çok taraflı kuruluşlar için genel olarak belirlediği temsil ve hesap verebilirlik boşluğunu yansıtır (bkz. Konu 3.4 — Hesap Verebilirlik, Şeffaflık ve Meşruiyet). Riskler burada ayrıca ağırdır, çünkü algoritmik bir karar, bu konudaki herhangi bir gruptan yanlış bir sonuca itiraz etme en az pratik yeteneği olan insanlar için gıdaya, barınağa ya da sığınma işlemine erişimi belirleyebilir.

Sık görülen başarısızlık biçimleri

Vekil ayrımcılığı. Bir model korunan bir özelliği doğrudan dışlar ama ilişkili bir değişkenden — posta kodu, soyadı, istihdam sektörü, yardım geçmişi — eşdeğer bir sinyal öğrenir ve dışlamanın önlemek için amaçlandığı aynı ayrımcı örüntüyü yeniden üretir. Maliyet, yanlış bir güvenlik hissidir: kuruluş korunan değişkenin hiç kullanılmadığını doğru biçimde söyleyebilir, ama sonuç sanki kullanılmış olduğu kadar eşitsiz kalır.

İnsan incelemesinde otomasyon yanlılığı. Bir algoritmanın önerisini kontrol etmesi resmen gerekli olan bir insan gözden geçiren, katılmamak katılmaktan daha fazla zaman, daha fazla gerekçelendirme ya da daha fazla kişisel risk aldığı için çoğunlukla onu onaylar. Maliyet, kuruluşun hataları yakaladığına inandığı bir kontrolün pratikte onları lastik damgalıyor olmasıdır ve bu genellikle yalnızca birisi sürecin var olduğuna güvenmek yerine geçersiz kılma oranını doğrudan ölçtüğünde görünür olur.

Açıklanabilirlik tiyatrosu. Bir kuruluş otomatik bir karar için belirli ve tatmin edici gelen ama modelin gerçek akıl yürütmesini ortaya çıkarmak yerine yaklaşıklayan bir yöntemle olaydan sonra üretilen bir açıklama sağlar. Maliyet, açıklama gerçek incelemeyle — bir itiraz, bir denetim, bir yasal itiraz — sınandığında ve sistemin o belirli çıktıyı gerçekte neden ürettiğiyle örtüşmediği ortaya çıktığında görünür olur.

Geri bildirim döngüleri yoluyla yeniden üretilen tarihsel yanlılık. Geçmiş kararların sonuçları üzerinde eğitilmiş bir model — hangi mahallelerin soruşturulduğu, hangi başvuruların onaylandığı — bu geçmiş kararları şekillendiren aşırı inceleme ya da yetersiz hizmet örüntüsünü öğrenir ve sonra sürdürür; ürettiği her yeni karar turu bir sonraki sürüm için eğitim verisi olur ve örüntüyü düzeltmek yerine derinleştirir. Bu, risk temelli polislik ve yardım sahtekârlığı taraması dahil uluslararası olarak birden çok kamu sektörü alanında belgelenmiştir ve altta yatan mekanizma, yargı alanından bağımsız olarak tarihsel uygulama ya da vaka çalışması verisi üzerinde eğitilmiş herhangi bir sistemde genel bir risk olarak ele alınacak kadar bu belgelenmiş vakalar boyunca tutarlıdır.

Hesap verebilirlik boşluğu ya da "birçok el" sorunu. Bir karar bir satıcının modelinden, bir kurumun verisinden, bir politika ekibinin eşik belirlemesinden ve bir vaka görevlisinin nominal imzasından geçtiğinde, yanlış bir sonucun sorumluluğu kuruluşun kendisi için bile gerçekten belirsiz kalabilir; her taraf hatanın kaynağı olarak bir diğerini gösterebilir. Maliyet yalnızca etkilenen yurttaşın net bir yanıt alamaması değil, kuruluşun gerçek nedeni güvenilir biçimde düzeltememesidir, çünkü bir bütün olarak karar için adı belli tek bir hesap verebilir sahip yoktur (bkz. Konu 3.4 — Hesap Verebilirlik, Şeffaflık ve Meşruiyet).

Olgunluk modeli

Kontrol listesi

• Satıcı tarafından sağlanan araçlar dahil, bir kişinin haklarını veya hak sahipliklerini etkileyen bir kararı veren ya da maddi olarak bilgilendiren her sistemin eksiksiz bir envanterini oluşturun.
• Bu envanterdeki her sistemi, bilgilendirdiği kararın risklerine göre tanımlı bir risk kademesi kullanarak sınıflandırın.
• Etkilenen her kişinin, vakasında bir algoritmanın yer aldığına dair sade dilli bir bildirim aldığını doğrulayın.
• Gerçek bir yurttaşın itirazda alacağı belirli, vaka düzeyinde açıklamayı taslak hâline getirin ve onu gerçekten tatmin edip etmeyeceğini sınayın.
• Her yüksek riskli sistemi yalnızca dışlanan girdi değişkenlerini kontrol ederek değil, ilgili özelliklere göre ayrıştırılmış gerçek dağıtım sonrası sonuçları kullanarak dezavantajlı etki açısından sınayın.
• Her insan-döngüde denetimi için geçersiz kılma oranını ve ortalama gözden geçirme süresini ölçün ve sıfıra yakın bir geçersiz kılma oranını bir bulgu olarak ele alın.
• Kararı tersine çevirme gerçek yetkisi olan adı belli bir insanın her itirazı gözden geçirdiğini doğrulayın.
• Algoritmik denetimi sistemi inşa eden ya da işleten ekipten bağımsız bir işlevin altına yerleştirin.
• Her sistem için eğitim ve operasyonel verinin yönetilen, amaçla sınırlı bir hat içinde kaldığını doğrulayın.
• Her dağıtılmış model için bir şikâyetin gözden geçirmeyi tetiklemesini beklemek yerine sabit bir yeniden eğitim ve yeniden doğrulama takvimi belirleyin.
• Sistemlerinizden hangilerinin şu anda en ağır ve en az geri döndürülebilir kararlar için tam otomasyon güvencesi olmadığını belirleyin ve önce bunu düzeltin.
• Yukarıdaki altı tartışma sorusunu ekibinizle yürütün ve dürüst yanıtın resmî olandan nerede ayrıldığını kaydedin.

Temel kaynaklar

• OECD AI Principles (2019, 2024'te güncellendi) — kapsayıcı büyüme, insan hakları, şeffaflık, sağlamlık ve hesap verebilirliği kapsayan güvenilir YZ için ilk hükümetlerarası standart.
• European Union Artificial Intelligence Act (Regulation (EU) 2024/1689) — kamu sektörü uygunluğunu, kolluk ve göç kullanımlarını açıkça ele alan ilk kapsamlı riske kademeli yasal YZ çerçevesi.
• US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — kamu sektöründe YZ hesap verebilirliği için bir yönetişim, veri, performans ve izleme çerçevesi.
• Danielle Keats Citron'ın "teknolojik hukuki usul" üzerine bilimsel çalışması; otomatik sistemlerin insan karar vermesi için değil algoritmik karar verme için özel olarak inşa edilmiş usule ilişkin güvencelere ihtiyaç duyduğunu savunur.
• Cathy O'Neil, Virginia Eubanks ve Frank Pasquale'nin algoritmik yanlılık, otomatik refah yönetimi ve opak puanlama sistemleri üzerine halka yönelik bilimsel çalışması; bu konunun eğitim verisi yanlılığı ve kara kutu sorunu tartışması boyunca anılır.

Kaynakça

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp