ปัญญาประดิษฐ์และการตัดสินใจด้วยอัลกอริทึมในภาครัฐ

ทำไมสิ่งนี้จึงสำคัญต่อคุณค่าสาธารณะ

หน่วยงานสาธารณะจัดสรรความสนใจมาตลอด ผู้ดูแลกรณีสัมภาษณ์ผู้สมัครทุกคนด้วยตนเองไม่ได้ เจ้าหน้าที่ศุลกากรตรวจตู้คอนเทนเนอร์ทุกตู้ไม่ได้ ทีมตรวจสอบการฉ้อโกงทบทวนทุกการเรียกร้องไม่ได้ ปัญญาประดิษฐ์ (AI) สาขากว้างของการสร้างระบบที่ทำงานซึ่งปกติต้องการวิจารณญาณของมนุษย์ และแนวปฏิบัติที่แคบกว่าของการตัดสินใจด้วยอัลกอริทึมและอัตโนมัติ (ADM) สัญญาว่าจะจัดสรรความสนใจนั้นอย่างสม่ำเสมอกว่าและในขนาดที่ใหญ่กว่ามาก ให้คะแนน ทำเครื่องหมาย หรือตัดสินโดยตรงกรณีที่ทีมมนุษย์ทบทวนเต็มที่ไม่ได้ หัวข้อ 5.1 ครอบคลุมรูปแบบการส่งมอบบริการดิจิทัลที่ความสามารถนี้อยู่ภายใน (ดู หัวข้อ 5.1 — รัฐบาลดิจิทัลและการเปลี่ยนผ่านสู่ดิจิทัล) หัวข้อนี้เกี่ยวกับสิ่งที่เกิดขึ้นเมื่อแบบจำลอง แทนเจ้าหน้าที่ที่ระบุชื่อ กำลังตัดสินบางส่วนหรือทั้งหมด

คำสัญญานั้นเป็นของจริง แบบจำลองที่สร้างดีจับรูปแบบการฉ้อโกงที่ผู้ดูแลกรณีมองไม่เห็น ใช้กฎคุณสมบัติด้วยความสม่ำเสมอสมบูรณ์ข้ามล้านการเรียกร้อง และปลดปล่อยเวลาผู้เชี่ยวชาญที่หายากสำหรับกรณีที่ต้องการวิจารณญาณจริง ความเสี่ยงเป็นของจริงเท่ากันและมองเห็นยากกว่าจากภายในองค์กรที่สร้างระบบ แบบจำลองที่ฝึกบนข้อมูลในอดีตทำซ้ำและขยายการเลือกปฏิบัติที่หน่วยงานสาธารณะมีอยู่เพื่อแก้ไขได้ แบบจำลองที่ซับซ้อนอาจทึบแสงจนทั้งพลเมืองและเจ้าหน้าที่ที่พึ่งพามันบอกไม่ได้ว่าทำไมมันตัดสินอย่างที่ทำ และการตัดสินที่อัลกอริทึมแจ้งอย่างหนักยังอาจ ตามขั้นตอน ทิ้งให้ไม่มีใครให้เหตุผลแก่พลเมืองหรือรับฟังกรณีของพวกเขา ไม่มีสิ่งใดในนี้เป็นสมมติฐาน ผู้กำกับดูแล ศาล และหน่วยงานเทียบเท่าผู้ตรวจการแผ่นดินข้ามหลายเขตอำนาจพบแล้วว่าระบบให้คะแนนความเสี่ยงและตรวจจับการฉ้อโกงของภาครัฐทำเครื่องหมายผู้คนตามละแวก ประวัติการย้ายถิ่น หรือโครงสร้างครอบครัวอย่างไม่สมส่วน ในแต่ละกรณีเพราะรูปแบบที่ทำให้แบบจำลองแม่นยำบังเอิญติดตามลักษณะที่ได้รับการคุ้มครองหรืออ่อนไหวด้วย

เดิมพันคุณค่าสาธารณะจึงไม่ใช่ประสิทธิภาพเทียบกับความเป็นธรรมเป็นการแลกเปลี่ยนที่สมดุลครั้งเดียว แต่เป็นวินัยการออกแบบที่ต้องค้ำจุนต่อเนื่อง พลเมืองที่ถูกปฏิเสธสิทธิประโยชน์โดยเจ้าหน้าที่มนุษย์ถามเจ้าหน้าที่นั้นว่าทำไมได้ และอุทธรณ์ต่อมนุษย์อีกคนที่มีฐานะและอำนาจเปลี่ยนคำตอบได้ กลไกความรับผิดชอบที่หัวข้อ 3.4 อธิบาย (ดู หัวข้อ 3.4 — ความรับผิดชอบ ความโปร่งใส และความชอบธรรม) พลเมืองที่ถูกปฏิเสธสิทธิประโยชน์โดยแบบจำลองต้องการสิทธิในการได้รับคำอธิบายเดียวกันและเส้นทางเดียวกันไปยังมนุษย์ที่พลิกคำตัดสินได้ มิฉะนั้นหน่วยงานสาธารณะได้ส่งออกหลักประกันกระบวนการอันควรอย่างเงียบ ๆ ที่มันไม่เคยถอนอย่างเป็นทางการ การทำเรื่องนี้ให้ถูกต้องคือสิ่งที่ให้หน่วยงานสาธารณะจับประโยชน์จริงของการตัดสินใจด้วยอัลกอริทึมในความสม่ำเสมอและขนาด โดยไม่เปลี่ยน "อัลกอริทึมตัดสิน" เป็นวลีที่ยุติความรับผิดชอบแทนที่จะเริ่มต้น

แนวคิดหลัก

การตัดสินใจอัตโนมัติ (automated decision-making: ADM) คือการใช้ข้อมูล ซอฟต์แวร์ และอัลกอริทึมเพื่อตัดสินหรือแจ้งการตัดสินใจอย่างมีนัยด้วยระดับการกำกับของมนุษย์ที่ต่างกัน ครอบคลุมสเปกตรัมจากระบบที่เพียงแสดงข้อมูลให้มนุษย์ไปจนถึงระบบที่ตัดสินและลงมือโดยไม่มีมนุษย์เกี่ยวข้องเลย (ดูการตัดสินใจอัตโนมัติ) ที่ที่ระบบอยู่บนสเปกตรัมนั้น การสนับสนุนการตัดสินใจ การเสริมการตัดสินใจ หรือระบบอัตโนมัติเต็มรูปแบบ กำหนดว่าภาระผูกพันด้านความรับผิดชอบและกระบวนการอันควรใดใช้ ซึ่งเป็นเหตุผลที่ผู้กำกับดูแลจำแนกระบบมากขึ้นตามตำแหน่งบนมันแทนเทคโนโลยีพื้นฐาน

มนุษย์อยู่ในวงจร (human-in-the-loop) อธิบายข้อตกลงที่บุคคลทบทวนหรืออนุมัติผลลัพธ์ของอัลกอริทึมก่อนมีผล ต่างจากมนุษย์อยู่บนวงจร (human-on-the-loop; บุคคลเฝ้าติดตามและแทรกแซงได้) หรือการประมวลผลอัตโนมัติเต็มรูปแบบโดยไม่มีการทบทวนเลย (ดูมนุษย์อยู่ในวงจร) การควบคุมมนุษย์อยู่ในวงจรที่แท้จริงต้องการให้ผู้ทบทวนมีเวลา ข้อมูล และฐานะที่จะไม่เห็นด้วยกับระบบจริง ผู้ทบทวนที่อนุมัติเกือบทุกข้อเสนอแนะของอัลกอริทึมเพราะการไม่เห็นด้วยใช้เวลานานกว่าหรือมีความเสี่ยงส่วนตัวมากกว่าการเห็นด้วยไม่ได้ใช้การกำกับ แม้แผนผังกระบวนการแสดงขั้นตอนของมนุษย์ รูปแบบนี้ มักเรียกอคติจากระบบอัตโนมัติ (automation bias) เป็นหนึ่งในความล้มเหลวที่พบบ่อยที่สุดและมองเห็นน้อยที่สุดในหัวข้อนี้

อคติของอัลกอริทึม (algorithmic bias) คือแนวโน้มที่เป็นระบบและทำซ้ำได้ของระบบคอมพิวเตอร์ที่จะผลิตผลลัพธ์ที่ไม่เป็นธรรม เช่น เอื้อกลุ่มหนึ่งเหนืออีกกลุ่มในแบบที่ผู้ออกแบบระบบไม่ตั้งใจและมักไม่สังเกต (ดูอคติของอัลกอริทึม) ในการบริหารรัฐกิจ แหล่งหลักคืออคติของข้อมูลฝึก แบบจำลองที่ฝึกบนบันทึกการบังคับใช้ การให้กู้ หรือกรณีในอดีตเรียนรู้รูปแบบในบันทึกเหล่านั้น รวมการตรวจตราเกิน การให้บริการน้อย หรือแนวปฏิบัติเลือกปฏิบัติในอดีตที่ฝังอยู่ในว่าใครถูกสอบสวน อนุมัติ หรือทำเครื่องหมายในอดีต แบบจำลองทำซ้ำผลนี้ได้แม้ลักษณะอ่อนไหว เชื้อชาติ ความพิการ สถานะการย้ายถิ่น ถูกยกเว้นอย่างชัดแจ้งจากข้อมูล เพราะตัวแทนที่สัมพันธ์กัน (รหัสไปรษณีย์ นามสกุล รูปแบบกะ ประวัติสิทธิประโยชน์) แบกสัญญาณเดียวกันภายใต้ชื่ออื่น การถอดตัวแปรที่ระบุชื่อโดยไม่ทดสอบตัวแทนของมันเป็นวิธีทั่วไปที่หน่วยงานสาธารณะเชื่อว่าได้แก้ปัญหาอคติที่ยังไม่ได้แก้เลย

ความเป็นธรรมในการเรียนรู้ของเครื่อง (fairness in machine learning) หมายถึงตระกูลของแนวทางเทคนิคและขั้นตอนสำหรับการวัดและแก้ไขอคติของอัลกอริทึมในการตัดสินใจอัตโนมัติ (ดูความเป็นธรรม (การเรียนรู้ของเครื่อง)) ลักษณะที่ยากจริงของสาขานี้ ไม่ใช่เชิงอรรถทางเทคนิคที่แก้ได้ คือนิยามความเป็นธรรมที่สมเหตุสมผลโดยสัญชาตญาณหลายข้อ อัตราอนุมัติเท่ากันข้ามกลุ่ม อัตราข้อผิดพลาดเท่ากันข้ามกลุ่ม และความแม่นยำที่สอบเทียบเท่ากันภายในแต่ละกลุ่ม เข้ากันไม่ได้ทางคณิตศาสตร์เมื่อกลุ่มพื้นฐานมีอัตราฐานต่างกันในข้อมูล หน่วยงานสาธารณะสนองทุกนิยามพร้อมกันไม่ได้ ทำได้เพียงเลือก อย่างชัดแจ้งและด้วยเหตุผลที่เต็มใจปกป้อง ว่านิยามใดที่การตัดสินใจตรงหน้าควรเพิ่มประสิทธิภาพให้ ซึ่งเป็นวิจารณญาณเชิงนโยบายที่แต่งตัวเป็นเทคนิค

ความอธิบายได้และปัญหากล่องดำ แบบจำลองเป็นกล่องดำเมื่อการทำงานภายในของมันตรวจสอบหรือเข้าใจจากปัจจัยนำเข้าและผลลัพธ์ลำพังไม่ได้ จริงสำหรับแบบจำลองการเรียนรู้ของเครื่องที่ผลปฏิบัติงานสูงจำนวนมาก ซึ่งความแม่นยำมักมาจากความซับซ้อนที่ทำให้ตีความยากพอดี ปัญญาประดิษฐ์ที่อธิบายได้ หรือ XAI คือสาขาของวิธีที่ทำให้การให้เหตุผลของแบบจำลองตรวจสอบได้ ตั้งแต่การเลือกประเภทแบบจำลองที่ตีความได้ในตัวสำหรับการตัดสินใจที่มีผลสืบเนื่องไปจนถึงการสร้างคำอธิบายภายหลังที่ประมาณ แทนที่จะเผย สิ่งที่แบบจำลองซับซ้อนทำจริง ความแตกต่างสำคัญทางกฎหมายเท่ากับทางเทคนิค คำอธิบายโดยประมาณที่ฟังดูสมเหตุสมผลแต่ไม่สะท้อนการให้เหตุผลจริงของแบบจำลองอาจสนองรายการตรวจสอบความโปร่งใสขณะล้มเหลวต่อพลเมืองที่พึ่งมันเพื่อโต้แย้งฐานจริงของการตัดสินใจต่อพวกเขา

สิทธิในการได้รับคำอธิบาย (right to explanation) คือหลักการทางกฎหมายที่ถูกโต้แย้งว่าบุคคลที่อยู่ภายใต้การตัดสินใจอัตโนมัติที่มีนัยมีสิทธิได้รับคำอธิบายที่มีความหมายของตรรกะที่เกี่ยวข้อง เกี่ยวข้องใกล้ชิดที่สุดกับกฎระเบียบคุ้มครองข้อมูลทั่วไปของสหภาพยุโรป ซึ่งจำกัดการตัดสินใจที่อิงการประมวลผลอัตโนมัติเพียงอย่างเดียวที่ก่อผลทางกฎหมายหรือมีนัยคล้ายกัน และให้เจ้าของข้อมูลสิทธิขอการแทรกแซงของมนุษย์และโต้แย้งการตัดสินใจ (ดูสิทธิในการได้รับคำอธิบาย และกฎระเบียบคุ้มครองข้อมูลทั่วไป) นักวิชาการกฎหมายโต้แย้งว่าสิทธินี้แข็งแรงเพียงใดในทางปฏิบัติ และเขตอำนาจนอกสหภาพยุโรปส่วนใหญ่ขาดสิทธิตามกฎหมายเทียบเท่า ซึ่งเป็นเหตุผลที่หน่วยงานสาธารณะไม่ควรถือ "เราปฏิบัติตามกฎหมายคุ้มครองข้อมูลที่เกี่ยวข้อง" เท่ากับ "เราอธิบายการตัดสินใจนี้ให้บุคคลที่ได้รับผลกระทบได้" ทั้งสองข้ออ้างเกี่ยวข้องกันแต่ไม่เหมือนกัน และมีเพียงข้อที่สองที่กระบวนการอันควรต้องการจริง

กระบวนการอันควรและความยุติธรรมตามธรรมชาติ ในกฎหมายปกครอง กระบวนการอันควร (due process) หลักการ พัฒนามากที่สุดในกฎหมายรัฐธรรมนูญสหรัฐแต่สะท้อนในรูปแบบเทียบเท่าข้ามหลายระบบกฎหมาย ว่ารัฐต้องปฏิบัติตามขั้นตอนที่เป็นธรรมก่อนริบสิทธิหรือสิทธิประโยชน์ของบุคคล และความยุติธรรมตามธรรมชาติ (natural justice) ประเพณีกฎหมายปกครองของเครือจักรภพที่ต้องการการรับฟังที่เป็นธรรมและความปราศจากอคติในผู้ตัดสินใจ ทั้งสองตั้งอยู่บนสมมติฐานที่เขียนก่อนมีคอมพิวเตอร์ ว่าการตัดสินใจมีผู้ตัดสินใจที่ระบุได้ซึ่งให้เหตุผลได้ แสดงได้ว่าปราศจากอคติที่ขัดคุณสมบัติ และขอให้พิจารณาใหม่ได้ อัลกอริทึมกดดันทั้งสามสมมติฐานพร้อมกัน เหตุผลอาจไม่มีทางเทคนิค "อคติ" ที่เป็นปัญหาเป็นสถิติ ไม่ใช่ส่วนบุคคล และการพิจารณาใหม่โดยแบบจำลองเดียวกันผลิตคำตอบเดียวกัน ซึ่งเป็นเหตุผลที่กระบวนการอันควรสำหรับการตัดสินใจด้วยอัลกอริทึมต้องถูกวิศวกรรมอย่างชัดแจ้งแทนที่จะสืบทอดจากขั้นตอนที่สร้างสำหรับผู้ตัดสินใจที่เป็นมนุษย์

การกำกับดูแล AI บนฐานความเสี่ยง แทนที่จะกำกับ AI ทั้งหมดอย่างเท่ากัน รูปแบบการกำกับดูแลที่เพิ่งเกิด พัฒนาเต็มที่ที่สุดในพระราชบัญญัติปัญญาประดิษฐ์ของสหภาพยุโรป จัดระดับภาระผูกพันตามเดิมพันของการประยุกต์ ห้ามการใช้ชุดแคบอย่างสิ้นเชิง กำหนดภาระผูกพันการปฏิบัติตามที่หนักที่สุดกับการใช้ "ความเสี่ยงสูง" (ซึ่งรวมอย่างชัดแจ้งการตัดสินคุณสมบัติของภาครัฐ การประเมินความเสี่ยงของการบังคับใช้กฎหมาย และการตัดสินใจเรื่องการย้ายถิ่น) ต้องการการเปิดเผยความโปร่งใสสำหรับการใช้ความเสี่ยงต่ำกว่า และปล่อยการใช้ความเสี่ยงน้อยที่สุดส่วนใหญ่ไม่ถูกกำกับ (ดูพระราชบัญญัติปัญญาประดิษฐ์) ไม่ว่ารูปแบบการกำกับดูแลในเขตอำนาจหนึ่ง ๆ ความคิดพื้นฐาน ว่าภาระผูกพันด้านธรรมาภิบาลควรปรับตามเดิมพันของการตัดสินใจ ไม่ใช่ความซับซ้อนของเทคโนโลยี เป็นหลักการออกแบบที่มีประโยชน์แม้ไม่มีภาระผูกพันทางกฎหมายโดยตรงที่จะทำตามระบอบเฉพาะของสหภาพยุโรป

แนวปฏิบัติที่ดี

1. จำแนกทุกระบบตามเดิมพันของการตัดสินใจก่อนเลือกแบบจำลอง ไม่ใช่หลัง ระบบที่ทำเครื่องหมายกรณีเพื่อให้มนุษย์ทบทวนแบกภาระผูกพันต่างจากระบบที่ปฏิเสธสิทธิประโยชน์โดยสิ้นเชิง ตัดสินใจว่ากรณีการใช้งานอยู่ในระดับใด โดยใช้กรอบ เช่น ประเภทความเสี่ยงของ EU AI Act เป็นจุดอ้างอิง ก่อนสร้าง แทนที่จะหลังการปรับใช้เผยช่องว่าง
2. บอกผู้คนด้วยภาษาธรรมดาเมื่ออัลกอริทึมเกี่ยวข้องกับการตัดสินใจเกี่ยวกับพวกเขา ประกาศความเป็นส่วนตัวทั่วไปที่ฝังในข้อกำหนดและเงื่อนไขไม่สนองข้อนี้ ประกาศควรบอกว่าระบบทำอะไร ใช้ข้อมูลอะไร และเกิดอะไรขึ้นหากบุคคลไม่เห็นด้วยกับผลลัพธ์
3. สร้างการควบคุมมนุษย์อยู่ในวงจรที่ผู้ทบทวนใช้ได้จริง และวัดว่าพวกเขาทำหรือไม่ ติดตามอัตราการแทนที่ เวลาเฉลี่ยที่ใช้ต่อกรณี และว่าผู้ทบทวนที่ไม่เห็นด้วยกับแบบจำลองเผชิญความฝืดที่การเห็นด้วยไม่มีหรือไม่ หากอัตราการแทนที่เกือบเป็นศูนย์ การทบทวนน่าจะเป็นเพียงของประดับ
4. ทดสอบผลกระทบที่ไม่เท่ากันโดยใช้ผลลัพธ์จริง ไม่ใช่เจตนาของนักพัฒนา ก่อนการปรับใช้และตามจังหวะซ้ำคงที่หลังจากนั้น วัดผลลัพธ์ของแบบจำลองที่แยกตามลักษณะที่ได้รับการคุ้มครองและอ่อนไหว รวมผ่านตัวแทนที่น่าจะเป็น เช่น รหัสไปรษณีย์หรือประวัติสิทธิประโยชน์ เพราะแบบจำลองที่ไม่เคยใช้ตัวแปรที่ได้รับการคุ้มครองโดยตรงยังอาจผลิตผลลัพธ์ที่ไม่เท่ากันอย่างรุนแรง
5. ให้ทุกบุคคลที่ได้รับผลกระทบมีเส้นทางไปยังมนุษย์ที่มีอำนาจพลิกการตัดสินใจของอัลกอริทึม ไม่ใช่เพียงอธิบาย ช่องทางอุทธรณ์ที่กล่าวซ้ำการให้เหตุผลของแบบจำลองโดยไม่มีความเป็นไปได้ที่แท้จริงของการกลับคำตัดสินสนองตัวอักษรของสิทธิในการได้รับคำอธิบายขณะเอาชนะจุดประสงค์ของมัน
6. ชอบแบบจำลองที่ตีความได้มากกว่าแบบจำลองกล่องดำที่แม่นยำกว่าเล็กน้อยสำหรับการตัดสินใจที่มีผลสืบเนื่องทางกฎหมาย ที่ซึ่งช่องว่างความแม่นยำระหว่างแบบจำลองที่ตีความได้และซับซ้อนเล็ก ประโยชน์ของการตีความได้มักมีค่ามากกว่าต่อพลเมือง เจ้าหน้าที่อุทธรณ์ และผู้ตรวจสอบมากกว่าที่ความแม่นยำเล็กน้อยมีค่าต่อองค์กร
7. บันทึกวัตถุประสงค์ ข้อมูลฝึก ข้อจำกัดที่ทราบ และการใช้ที่ตั้งใจของแต่ละระบบในบันทึกถาวร และปรับปรุงเมื่อสิ่งใดเปลี่ยน แบบจำลองที่ปรับใช้เพื่อวัตถุประสงค์หนึ่งและเปลี่ยนจุดประสงค์อย่างเงียบ ๆ เช่น การคัดกรองการฉ้อโกงขยายสู่การคัดแยกคุณสมบัติทั่วไป มักทิ้งการตรวจสอบและการทดสอบอคติเดิมไว้ข้างหลัง
8. รักษาข้อมูลฝึกและข้อมูลปฏิบัติการสำหรับแบบจำลองเดิมพันสูงภายในท่อลำเลียงที่ได้รับการกำกับและจำกัดวัตถุประสงค์ การใช้ชุดข้อมูลที่เก็บเพื่อวัตถุประสงค์การบริหารหนึ่งซ้ำเพื่อฝึกแบบจำลองสำหรับวัตถุประสงค์ที่ไม่เกี่ยวข้องเป็นความล้มเหลวด้านธรรมาภิบาลข้อมูลเท่ากับการสร้างแบบจำลอง (ดู หัวข้อ 5.4 — ข้อมูล การทำงานร่วมกันได้ และข้อมูลเปิดในภาครัฐ)
9. วางการตรวจสอบอัลกอริทึมภายใต้หน้าที่ที่ไม่รายงานต่อทีมที่สร้างหรือดำเนินระบบ การตรวจสอบโดยนักพัฒนาของระบบเองพบปัญหาต่างกันและน้อยกว่าที่พบโดยผู้ทบทวนอิสระจริงที่มีฐานะเผยแพร่ข้อค้นพบเชิงลบ (ดู หัวข้อ 3.4 — ความรับผิดชอบ ความโปร่งใส และความชอบธรรม)
10. ดำเนินช่วงเงาก่อนเปิดระบบสำหรับการตัดสินใจจริง เปรียบเทียบข้อเสนอแนะของแบบจำลองกับการตัดสินใจของมนุษย์จริงในกรณีเดียวกันเป็นระยะเวลาที่กำหนดก่อนมันเริ่มลงมือ เพื่อให้ความแตกต่างอย่างเป็นระบบปรากฏก่อนพลเมืองได้รับผลกระทบ
11. สงวนระบบอัตโนมัติเต็มรูปแบบโดยไม่มีการทบทวนของมนุษย์เลยสำหรับการตัดสินใจที่มีผลสืบเนื่องน้อยที่สุดและย้อนกลับได้มากที่สุดเท่านั้น การตัดสินใจยิ่งรุนแรงและย้อนกลับได้น้อย การยุติสิทธิประโยชน์ การส่งต่อฉ้อโกงที่กระตุ้นการสอบสวนทางอาญา การปฏิเสธการเข้าประเทศ กรณีเพื่อรักษามนุษย์ไว้ในวงจรจริงยิ่งแข็งแรง ไม่ว่าความแม่นยำที่วัดได้ของแบบจำลอง
12. ฝึกใหม่ ตรวจสอบความถูกต้องใหม่ และทดสอบอคติใหม่ตามกำหนดคงที่ ไม่ใช่เฉพาะเมื่อมีการรายงานปัญหา ความแม่นยำและคุณสมบัติด้านความเป็นธรรมของแบบจำลองเลื่อนไหลอย่างเงียบ ๆ เมื่อประชากรและโลกที่มันถูกฝึกเปลี่ยน และหน่วยงานสาธารณะที่สอบสวนเฉพาะหลังข้อร้องเรียนปล่อยให้การเลื่อนไหลดำเนินไปนานเท่าที่ข้อร้องเรียนใช้เวลาปรากฏ

คำถามที่ควรหารือกับทีมของท่าน

อัลกอริทึมตัดสินหรือแจ้งการตัดสินใจอย่างหนักที่ส่งผลต่อสิทธิ สิทธิประโยชน์ หรือเสรีภาพของบุคคลที่ใดในองค์กรของเราปัจจุบัน และทุกคนที่ได้รับผลกระทบสามารถค้นพบจริงหรือไม่ว่ามันเกิดขึ้น? หลายองค์กรค้นพบ เมื่อสำรวจระบบของตนจริง ว่าการให้คะแนนหรือคัดแยกด้วยอัลกอริทึมแทรกเข้าสู่จุดตัดสินใจมากกว่าทีมใดทีมหนึ่งตระหนัก มักถูกนำเข้ามาเดิมเป็นเครื่องมือประสิทธิภาพเดิมพันต่ำ ใช้คำถามนี้เพื่อสร้างบัญชีรายการนั้นอย่างซื่อตรง รวมระบบที่จัดซื้อจากผู้ขายแทนที่จะสร้างภายใน เพราะการจัดซื้อจัดจ้างอาจบดบังว่าเครื่องมือที่ซื้อตัดสินจริงเท่าใด หารือว่าแนวปฏิบัติการแจ้งปัจจุบันของท่านจะให้พลเมืองที่ได้รับผลกระทบค้นพบ โดยไม่ต้องมีความรู้เฉพาะทาง ว่าแบบจำลองเกี่ยวข้องกับกรณีของพวกเขาหรือไม่

หากพลเมืองโต้แย้งอย่างเป็นทางการการตัดสินใจอัตโนมัติข้อหนึ่งของเราพรุ่งนี้ เราให้เหตุผลที่แท้จริงและเฉพาะเจาะจงได้หรือเพียงคำอธิบายของกระบวนการ? คำอธิบายกระบวนการ "ระบบพิจารณารายได้ ขนาดครัวเรือน และประวัติการชำระเงินของท่าน" ไม่เหมือนคำอธิบายว่าทำไมปัจจัยนำเข้าเหล่านั้นผลิตผลลัพธ์นี้สำหรับบุคคลนี้ ใช้คำถามนี้เพื่อเลือกระบบที่มีชีวิตหนึ่งระบบและลองเป็นทีมเขียนคำอธิบายที่พลเมืองจริงจะได้รับหากอุทธรณ์ หากแบบฝึกหัดยาก ความยากนั้นเองคือข้อค้นพบ

เรารู้หรือไม่ว่าข้อมูลฝึกของเราทำซ้ำรูปแบบอคติในอดีต และเราทดสอบเทียบกับผลลัพธ์จริงแทนเจตนาของเราหรือยัง? การยกเว้นลักษณะที่ได้รับการคุ้มครองจากชุดข้อมูลไม่เหมือนการยกเว้นอิทธิพลของมัน เพราะตัวแทนที่สัมพันธ์กันแบกสัญญาณเดียวกันภายใต้ชื่ออื่น ใช้คำถามนี้เพื่อระบุว่าระบบใดของท่านถูกทดสอบผลกระทบที่ไม่เท่ากันโดยใช้ผลลัพธ์จริงหลังการปรับใช้ที่แยกตามลักษณะที่เกี่ยวข้อง แทนที่จะทดสอบเฉพาะการมีตัวแปรที่ได้รับการคุ้มครองในข้อมูลนำเข้า หารือว่าต้องใช้อะไรเพื่อดำเนินการทดสอบบนฐานผลลัพธ์นั้นกับระบบเดิมพันสูงสุดของท่านหากยังไม่ได้ทำ

การทบทวนมนุษย์อยู่ในวงจรของเราเป็นการตรวจสอบจริงหรือตราประทับยางที่เรายังวัดไม่ใกล้ชิดพอจะสังเกต? ผู้ทบทวนที่เป็นมนุษย์ภายใต้แรงกดดันด้านเวลา ไม่มีบริบทเต็ม หรือเผชิญความฝืดสำหรับการไม่เห็นด้วยมากกว่าการเห็นด้วยมีแนวโน้มอนุมัติข้อเสนอแนะของอัลกอริทึมไม่ว่าคุณภาพ ใช้คำถามนี้เพื่อหาอัตราการแทนที่จริงของท่านสำหรับอย่างน้อยหนึ่งระบบ และหารือว่าตัวเลขนั้นบอกอะไรเกี่ยวกับว่าการทบทวนทำงานเป็นการควบคุมหรือพิธีการปฏิบัติตามข้อกำหนด

เกิดอะไรขึ้นจริง ตามขั้นตอน เมื่อมีคนต้องการอุทธรณ์การตัดสินใจที่อัลกอริทึมของเราทำหรือแจ้งอย่างหนัก และมนุษย์ที่มีอำนาจกลับคำตัดสินจริงเคยเห็นการอุทธรณ์หรือไม่? กระบวนการอุทธรณ์จำนวนมากส่งพลเมืองกลับผ่านคำอธิบายตรรกะของแบบจำลองโดยไม่เคยถึงบุคคลที่พลิกผลลัพธ์ตามเนื้อหาได้ ใช้คำถามนี้เพื่อสืบหนึ่งการอุทธรณ์ตั้งแต่ต้นจนจบ สำหรับกรณีจริงหรือที่สมจริง และระบุจุดที่แน่นอน หากมี ที่มนุษย์ที่มีอำนาจจริงเปลี่ยนคำตอบเข้ามาเกี่ยวข้อง

ใครเป็นเจ้าของความเสี่ยงหากแบบจำลองข้อใดข้อหนึ่งของเราเสื่อมหรือเลื่อนไหลหลังการปรับใช้ และเราจะรู้จริงได้อย่างไรก่อนพลเมืองหรือนักข่าวบอกเรา? คุณสมบัติด้านความเป็นธรรมและความแม่นยำของแบบจำลองไม่คงที่เมื่อเปิดตัว มันเลื่อนได้เมื่อประชากร เศรษฐกิจ หรือนโยบายที่อยู่ติดเปลี่ยน มักมองไม่เห็นสำหรับทีมที่สร้างระบบ ใช้คำถามนี้เพื่อระบุว่าใครรับผิดชอบการติดตามหลังปรับใช้ ตามจังหวะใด และอะไรโดยเฉพาะจะกระตุ้นการฝึกใหม่หรือการหยุด หากคำตอบที่ซื่อตรงคือ "ไม่มีใครเฝ้าดูสิ่งนี้โดยเฉพาะ" ถือเป็นข้อค้นพบเร่งด่วนที่สุดที่การหารือนี้ผลิตได้

ในทางปฏิบัติ: ตัวอย่างคุณค่าสาธารณะ

หน่วยงานประกันสังคมแห่งชาติสมมติสร้างแบบจำลองให้คะแนนความเสี่ยงเพื่อจัดลำดับความสำคัญว่าการเรียกร้องสิทธิประโยชน์ว่างงานรายใดที่ทีมสอบสวนการฉ้อโกงควรทบทวนก่อน หลังหลายปีของงานค้างที่หมายความว่าการฉ้อโกงจริงนอนอยู่ไม่ถูกสอบสวนหลายเดือนขณะที่ผู้เรียกร้องสุจริตรอความล่าช้าในการประมวลผลที่ไม่เกี่ยวข้อง แบบจำลองถูกฝึกบนแฟ้มสอบสวนที่ปิดแล้วห้าปี เรียนรู้ว่าลักษณะการเรียกร้องใดเคยนำหน้าข้อค้นพบการฉ้อโกงที่ยืนยัน และมันทำงานดีในการทดสอบ การเรียกร้องที่มันให้คะแนนเสี่ยงสูงถูกยืนยันว่าฉ้อโกงในอัตราสูงกว่าตัวอย่างสุ่มมาก และผู้นำของหน่วยงาน ที่เฝ้าดูงานค้างลดเป็นครั้งแรกในหลายปี ถือการนำออกใช้เป็นความสำเร็จที่ไม่คลุมเครือ

สิบแปดเดือนผ่านไป สำนักงานเทียบเท่าผู้ตรวจการแผ่นดินภายในสังเกตสิ่งที่แดชบอร์ดผลปฏิบัติงานของทีมสอบสวนการฉ้อโกงเองไม่แสดง ผู้เรียกร้องที่อาศัยอยู่ในเขตไปรษณีย์จำนวนน้อย รายได้ต่ำกว่าและผู้ย้ายถิ่นใหม่อย่างไม่สมส่วน ถูกทำเครื่องหมายเพื่อสอบสวนในอัตราเกือบสามเท่าของผู้เรียกร้องคล้ายกันอื่นที่อื่น และสัดส่วนที่สูงกว่ามากของการเรียกร้องที่ถูกทำเครื่องหมายของพวกเขาถูกปิดโดยไม่พบการฉ้อโกงเลย รูปแบบสืบกลับไปที่ข้อมูลฝึก แฟ้มสอบสวนในอดีตสะท้อนหลายปีที่ผู้ตรวจสอบภาคสนาม ทำงานจากฮิวริสติกไม่เป็นทางการของตนเอง รวมการตรวจสุ่มด้วยมือในเขตเหล่านั้นพอดี ดังนั้นแบบจำลองเรียนรู้ที่จะถือการอาศัยอยู่ที่นั่นเป็นตัวทำนายการฉ้อโกง เมื่อมันเป็นเพียงตัวทำนายการถูกตรวจบ่อยกว่าในอดีต เขตไปรษณีย์ไม่เคยเป็นปัจจัยนำเข้าของแบบจำลอง ไม่จำเป็นต้องเป็น เพราะองค์ประกอบครัวเรือน ภาคส่วนนายจ้าง และช่องวิธีการชำระเงินสัมพันธ์ใกล้พอที่จะแบกสัญญาณเดียวกันโดยตัวแทน

การสอบสวนของหน่วยงานยืนยันว่ารูปแบบเป็นจริง และยืนยันปัญหาที่สองที่เงียบกว่าด้วย ผู้ทบทวนที่เป็นมนุษย์ที่ควรอนุมัติกรณีเพื่อการสอบสวนเต็มรูปแบบก่อนดำเนินต่อได้อนุมัติข้อเสนอแนะคะแนนสูงสุดของแบบจำลองในกรณีส่วนใหญ่ท่วมท้น ด้วยเวลาทบทวนเฉลี่ยต่ำกว่าสองนาทีต่อกรณี ไกลจากพอที่จะสงสัยคะแนนสถิติอย่างมีนัย ซึ่งหมายความว่าการควบคุมมนุษย์อยู่ในวงจรที่ผู้นำชี้เป็นการป้องกันไม่ได้จับความเหลื่อมล้ำที่มันมีอยู่เพื่อจับจริง การตอบสนองของหน่วยงานรวมหลายแนวปฏิบัติที่ดีของหัวข้อนี้พร้อมกัน มันฝึกแบบจำลองใหม่โดยแก้รูปแบบการตรวจตราเกินในอดีต ขยายเวลาทบทวนและให้ผู้ทบทวนมีอำนาจปิดกรณีที่ถูกทำเครื่องหมายโดยไม่ยกระดับเมื่อวิจารณญาณของพวกเขาเองไม่เห็นด้วยกับคะแนน และสร้างประกาศด้วยภาษาธรรมดาและเส้นทางอุทธรณ์จริงไปยังเจ้าหน้าที่กรณีที่ระบุชื่อสำหรับผู้ที่การเรียกร้องถูกทำเครื่องหมาย ผลผลิตการสอบสวนต่อชั่วโมงผู้ทบทวนลดลงเล็กน้อย แต่อัตราการฉ้อโกงที่ยืนยันในหมู่การเรียกร้องที่ถูกทำเครื่องหมายจากเขตที่ถูกทำเครื่องหมายเกินก่อนหน้าเพิ่มขึ้นให้ตรงกับปริมาณงานส่วนที่เหลือ ซึ่งการตรวจสอบของหน่วยงานเองถือเป็นการวัดความสำเร็จจริง ไม่ใช่ปริมาณการเรียกร้องที่ถูกทำเครื่องหมาย แต่ว่าการทำเครื่องหมายติดตามการฉ้อโกงจริงหรือรูปแบบในอดีตที่แบบจำลองเรียนรู้ที่จะทำซ้ำ

มุมมองสี่ภาคส่วน

รัฐบาลท้องถิ่น

หน่วยงานท้องถิ่นปรับใช้เครื่องมืออัลกอริทึมมากขึ้นสำหรับการตัดสินใจที่มีเดิมพันทันทีและส่วนตัวที่สุดต่อผู้อยู่อาศัย ลำดับความสำคัญการจัดสรรที่อยู่อาศัย การให้คะแนนความเสี่ยงสวัสดิการเด็ก และการคัดแยกการฉ้อโกงภาษีท้องถิ่นหรือสิทธิประโยชน์ มักขาดขีดความสามารถด้านวิทยาการข้อมูลภายในที่จะสร้าง ตรวจสอบความถูกต้อง หรือตรวจสอบระบบเหล่านี้เอง ทิ้งหลายแห่งให้พึ่งแบบจำลองที่ผู้ขายจัดหาซึ่งข้อมูลฝึกและการตรวจสอบความถูกต้องที่หน่วยงานตรวจสอบเต็มที่ไม่ได้ สิ่งนี้สร้างวินัยการจัดซื้อจัดจ้างเฉพาะ หน่วยงานท้องถิ่นที่มอบหมายระบบอัลกอริทึมควรเรียกร้อง เป็นเงื่อนไขตามสัญญา ความอธิบายได้ การทดสอบอคติ และการเข้าถึงการตรวจสอบเดียวกับที่จะต้องการจากการสร้างภายใน เพราะสิทธิกระบวนการอันควรของผู้อยู่อาศัยไม่ลดลงเพราะหน่วยงานซื้อระบบแทนที่จะสร้าง ความใกล้ชิดของรัฐบาลท้องถิ่นกับผู้อยู่อาศัยยังหมายความว่าอัลกอริทึมที่พลาดมีแนวโน้มเป็นที่รู้จักส่วนตัวในชุมชนก่อนกลายเป็นข้อร้องเรียนอย่างเป็นทางการ ซึ่งสนับสนุนการทบทวนท้องถิ่นแบบเบาและแต่เนิ่น ๆ

รัฐบาลระดับชาติ

หน่วยงานระดับชาติดำเนินระบบขนาดใหญ่ที่สุดในขอบเขตของหัวข้อนี้ การตรวจจับการฉ้อโกงภาษี การประเมินความเสี่ยงการย้ายถิ่น คุณสมบัติสิทธิประโยชน์แห่งชาติ ที่อัตราข้อผิดพลาดเล็กน้อยแปลเป็นจำนวนสัมบูรณ์ใหญ่มากของผู้ได้รับผลกระทบ และที่หน่วยงานโดยทั่วไปมีขีดความสามารถทางเทคนิคและกฎหมายลึกที่สุดที่จะสร้างมาตรการป้องกันจริง รัฐบาลระดับชาติยังมักเป็นระดับที่การกำกับ AI บนฐานความเสี่ยง ที่ซึ่งมีอยู่ ถูกเขียนและบังคับใช้ ให้หน่วยงานระดับชาติมีภาระผูกพันอย่างเป็นทางการชัดที่สุดและการเปิดเผยมากที่สุดเมื่อการตรวจสอบหรือศาลพบว่าระบบอัตโนมัติผลิตผลลัพธ์เลือกปฏิบัติหรือทบทวนไม่ได้ในขนาดใหญ่ เดิมพันกระบวนการอันควรสูงที่สุดที่นี่ในอีกแง่ด้วย คะแนนความเสี่ยงด้านการย้ายถิ่นหรือการบังคับใช้กฎหมายส่งผลต่อเสรีภาพได้เท่ากับสิทธิประโยชน์ ซึ่งสนับสนุนท่าทีระบบอัตโนมัติที่อนุรักษ์นิยมที่สุด ระบบอัตโนมัติเต็มรูปแบบน้อยที่สุดและการทบทวนของมนุษย์จริงมากที่สุด พอดีที่กรณีทางเทคนิคสำหรับระบบอัตโนมัติมักแข็งแรงที่สุดเพราะปริมาณกรณี

ภาคสังคมและองค์กรไม่แสวงหากำไร

องค์กรไม่แสวงหากำไรและองค์กรพัฒนาเอกชน (NGO) ใช้เครื่องมืออัลกอริทึมมากขึ้นเพื่อคัดแยกการแจกจ่ายความช่วยเหลือ คัดกรองผู้รับประโยชน์เพื่อตรวจคุณสมบัติ หรือจัดลำดับความสำคัญของงานกรณีในโดเมนที่หัวข้อนี้ครอบคลุมพอดี มักภายใต้ข้อจำกัดด้านทรัพยากรจริงที่ทำให้กรณีประสิทธิภาพสำหรับระบบอัตโนมัติน่าสนใจอย่างแท้จริง โครงสร้างความรับผิดชอบต่างจากรัฐบาลอย่างเห็นได้ชัด อย่างไรก็ตาม ผู้รับประโยชน์ขององค์กรไม่แสวงหากำไรแทบไม่มีสิทธิอุทธรณ์ตามกฎหมายที่พลเมืองมีต่อหน่วยงานรัฐ และความสัมพันธ์ด้านความรับผิดชอบหลักขององค์กรมักวิ่งไปหาผู้ให้ทุนแทนผู้ที่อัลกอริทึมตัดสินเกี่ยวกับ ซึ่งพอดีคือช่องว่างความรับผิดชอบที่ หัวข้อ 3.8 — การบริหารภาคสังคมและองค์กรไม่แสวงหากำไร อธิบายสำหรับภาคส่วนโดยทั่วไป องค์กรไม่แสวงหากำไรที่รับการคัดแยกด้วยอัลกอริทึมจึงควรสร้างสิทธิในการได้รับคำอธิบายและการอุทธรณ์ที่หัวข้อนี้อธิบายเป็นมาตรฐานโดยสมัครใจ ไม่ใช่เพราะผู้กำกับดูแลกำหนด แต่เพราะผู้ที่องค์กรรับใช้ไม่มีเส้นทางอื่นไปสู่สิ่งนั้น

ระดับพหุภาคีและระหว่างประเทศ

องค์กรพหุภาคีและหน่วยงานมนุษยธรรมระหว่างประเทศใช้เครื่องมือกำหนดเป้าหมายและให้คะแนนความเสี่ยงด้วยอัลกอริทึมข้ามพรมแดนและระบบกฎหมาย มักในสถานการณ์วิกฤตที่ประโยชน์ด้านความเร็วของระบบอัตโนมัติเฉียบพลันที่สุดและข้อมูลที่มีเชื่อถือได้น้อยที่สุด ข้อมูลการลงทะเบียนที่ไม่สมบูรณ์ ข้อมูลที่เก็บสำหรับวิกฤตหนึ่งและใช้ซ้ำสำหรับอีกวิกฤต และประชากรที่มีความสามารถจำกัดที่จะโต้แย้งการตัดสินให้คะแนนที่กำหนดว่าพวกเขาได้รับความช่วยเหลือหรือไม่ ไม่มีกฎหมายกระบวนการอันควรระดับชาติเดี่ยวหรือระบอบสิทธิในการได้รับคำอธิบายใช้อย่างสม่ำเสมอข้ามการดำเนินงานขององค์กรพหุภาคี ดังนั้นมาตรการป้องกันที่หัวข้อนี้อธิบายต้องถูกสร้างเข้าในมาตรฐานการดำเนินงานขององค์กรเองแทนที่จะสืบทอดจากกรอบกฎหมายภายนอกที่บังคับใช้ได้ สะท้อนช่องว่างด้านการเป็นตัวแทนและความรับผิดชอบที่ หัวข้อ 3.4 ระบุสำหรับองค์กรพหุภาคีโดยทั่วไป (ดู หัวข้อ 3.4 — ความรับผิดชอบ ความโปร่งใส และความชอบธรรม) เดิมพันรุนแรงที่นี่ด้วย เพราะการตัดสินใจด้วยอัลกอริทึมอาจกำหนดการเข้าถึงอาหาร ที่พักพิง หรือกระบวนการขอลี้ภัยสำหรับผู้คนที่มีความสามารถเชิงปฏิบัติน้อยที่สุดของกลุ่มใดในหัวข้อนี้ที่จะอุทธรณ์ผลลัพธ์ที่ผิด

รูปแบบความล้มเหลวที่พบบ่อย

การเลือกปฏิบัติผ่านตัวแทน แบบจำลองยกเว้นลักษณะที่ได้รับการคุ้มครองโดยตรงแต่เรียนรู้สัญญาณเทียบเท่าจากตัวแปรที่สัมพันธ์กัน รหัสไปรษณีย์ นามสกุล ภาคส่วนการจ้างงาน ประวัติสิทธิประโยชน์ ทำซ้ำรูปแบบเลือกปฏิบัติเดียวกันที่การยกเว้นมีไว้ป้องกัน ต้นทุนคือความรู้สึกปลอดภัยที่ผิด องค์กรกล่าวได้อย่างจริงว่าตัวแปรที่ได้รับการคุ้มครองไม่เคยถูกใช้ ขณะที่ผลลัพธ์ยังไม่เท่ากันเท่ากับที่มันถูกใช้

อคติจากระบบอัตโนมัติในการทบทวนของมนุษย์ ผู้ทบทวนที่เป็นมนุษย์ ที่ต้องตรวจสอบข้อเสนอแนะของอัลกอริทึมอย่างเป็นทางการ อนุมัติมันในกรณีส่วนใหญ่ท่วมท้นเพราะการไม่เห็นด้วยใช้เวลามากกว่า ต้องให้เหตุผลมากกว่า หรือมีความเสี่ยงส่วนตัวมากกว่าการเห็นด้วย ต้นทุนคือการควบคุมที่องค์กรเชื่อว่าจับข้อผิดพลาดในทางปฏิบัติกำลังประทับตรายางให้พวกมัน และโดยทั่วไปมองเห็นได้เฉพาะเมื่อมีใครวัดอัตราการแทนที่โดยตรงแทนที่จะเชื่อว่ากระบวนการมีอยู่

ละครความอธิบายได้ องค์กรให้คำอธิบายสำหรับการตัดสินใจอัตโนมัติที่ฟังดูเฉพาะเจาะจงและน่าพอใจแต่สร้างภายหลังโดยวิธีที่ประมาณ แทนที่จะเผย การให้เหตุผลจริงของแบบจำลอง ต้นทุนปรากฏเมื่อคำอธิบายถูกทดสอบภายใต้การตรวจสอบจริง การอุทธรณ์ การตรวจสอบ การท้าทายทางกฎหมาย และพิสูจน์ว่าไม่ตรงกับเหตุผลที่ระบบผลิตผลลัพธ์เฉพาะนั้นจริง

อคติในอดีตที่ถูกทำซ้ำผ่านวงข้อมูลป้อนกลับ แบบจำลองที่ฝึกบนผลลัพธ์ของการตัดสินใจในอดีต ละแวกใดถูกสอบสวน ใบสมัครใดถูกอนุมัติ เรียนรู้และดำรงรูปแบบการตรวจตราเกินหรือการให้บริการน้อยที่หล่อหลอมการตัดสินใจในอดีตเหล่านั้น และแต่ละรอบใหม่ของการตัดสินใจที่มันผลิตกลายเป็นข้อมูลฝึกสำหรับรุ่นถัดไป ทำให้รูปแบบลึกขึ้นแทนที่จะแก้ไข สิ่งนี้ถูกบันทึกข้ามหลายโดเมนภาครัฐระหว่างประเทศ รวมการตำรวจบนฐานความเสี่ยงและการคัดกรองการฉ้อโกงสวัสดิการ และกลไกพื้นฐานสม่ำเสมอข้ามกรณีที่บันทึกเหล่านั้นพอจะถือเป็นความเสี่ยงทั่วไปในระบบใดก็ตามที่ฝึกบนข้อมูลการบังคับใช้หรือกรณีในอดีต ไม่ว่าเขตอำนาจ

ช่องว่างความรับผิดชอบ หรือปัญหา "หลายมือ" เมื่อการตัดสินใจผ่านแบบจำลองของผู้ขาย ข้อมูลของหน่วยงาน การกำหนดเกณฑ์ของทีมนโยบาย และการลงนามในนามของผู้ดูแลกรณี ความรับผิดชอบต่อผลลัพธ์ที่ผิดอาจไม่ชัดจริงแม้แก่องค์กรเอง โดยแต่ละฝ่ายชี้ไปที่อีกฝ่ายเป็นแหล่งของข้อผิดพลาดได้ ต้นทุนไม่ใช่เพียงว่าพลเมืองที่ได้รับผลกระทบไม่ได้คำตอบที่ชัดเจน แต่ว่าองค์กรแก้สาเหตุจริงอย่างเชื่อถือได้ไม่ได้ เพราะไม่มีเจ้าของที่รับผิดชอบรายเดียวสำหรับการตัดสินใจโดยรวม (ดู หัวข้อ 3.4 — ความรับผิดชอบ ความโปร่งใส และความชอบธรรม)

แบบจำลองวุฒิภาวะ

รายการตรวจสอบ

• สร้างบัญชีรายการสมบูรณ์ของทุกระบบที่ตัดสินหรือแจ้งการตัดสินใจอย่างมีนัยที่ส่งผลต่อสิทธิหรือสิทธิประโยชน์ของบุคคล รวมเครื่องมือที่ผู้ขายจัดหา
• จำแนกแต่ละระบบในบัญชีนั้นตามเดิมพันของการตัดสินใจที่มันแจ้ง โดยใช้ระดับความเสี่ยงที่กำหนด
• ยืนยันว่าทุกบุคคลที่ได้รับผลกระทบได้รับประกาศด้วยภาษาธรรมดาว่าอัลกอริทึมเกี่ยวข้องกับกรณีของพวกเขา
• ร่างคำอธิบายเฉพาะระดับกรณีที่พลเมืองจริงจะได้รับเมื่ออุทธรณ์ และทดสอบว่ามันจะสนองพวกเขาจริงหรือไม่
• ทดสอบแต่ละระบบเดิมพันสูงเรื่องผลกระทบที่ไม่เท่ากันโดยใช้ผลลัพธ์จริงหลังการปรับใช้ที่แยกตามลักษณะที่เกี่ยวข้อง ไม่ใช่เฉพาะโดยตรวจตัวแปรนำเข้าที่ถูกยกเว้น
• วัดอัตราการแทนที่และเวลาทบทวนเฉลี่ยสำหรับทุกการควบคุมมนุษย์อยู่ในวงจร และถืออัตราการแทนที่เกือบศูนย์เป็นข้อค้นพบ
• ยืนยันว่ามนุษย์ที่ระบุชื่อ ซึ่งมีอำนาจจริงที่จะกลับคำตัดสิน ทบทวนทุกการอุทธรณ์
• วางการตรวจสอบอัลกอริทึมภายใต้หน้าที่ที่เป็นอิสระจากทีมที่สร้างหรือดำเนินระบบ
• ยืนยันว่าข้อมูลฝึกและข้อมูลปฏิบัติการของแต่ละระบบอยู่ภายในท่อลำเลียงที่ได้รับการกำกับและจำกัดวัตถุประสงค์
• กำหนดตารางการฝึกใหม่และตรวจสอบความถูกต้องใหม่คงที่สำหรับทุกแบบจำลองที่ปรับใช้ แทนที่จะรอข้อร้องเรียนกระตุ้นการทบทวน
• ระบุว่าระบบใดของท่านปัจจุบันไม่มีมาตรการป้องกันระบบอัตโนมัติเต็มรูปแบบสำหรับการตัดสินใจที่รุนแรงที่สุดและย้อนกลับได้น้อยที่สุด และแก้ไขอย่างแรกก่อน
• ดำเนินหกคำถามอภิปรายข้างต้นกับทีมของท่านและบันทึกว่าคำตอบที่ซื่อตรงต่างจากคำตอบอย่างเป็นทางการตรงไหน

แหล่งข้อมูลสำคัญ

• OECD AI Principles (2019, updated 2024) — มาตรฐานระหว่างรัฐบาลแรกสำหรับ AI ที่น่าไว้วางใจ ครอบคลุมการเติบโตแบบครอบคลุมทุกคน สิทธิมนุษยชน ความโปร่งใส ความทนทาน และความรับผิดชอบ
• European Union Artificial Intelligence Act (Regulation (EU) 2024/1689) — กรอบกฎหมายแบบจัดระดับตามความเสี่ยงที่ครอบคลุมแรกสำหรับ AI กล่าวถึงอย่างชัดแจ้งการใช้ด้านคุณสมบัติของภาครัฐ การบังคับใช้กฎหมาย และการย้ายถิ่น
• US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — กรอบธรรมาภิบาล ข้อมูล ผลปฏิบัติงาน และการติดตามสำหรับความรับผิดชอบของ AI ในภาครัฐ
• งานวิชาการของ Danielle Keats Citron เรื่อง "technological due process" โต้แย้งว่าระบบอัตโนมัติต้องการมาตรการป้องกันเชิงกระบวนการที่สร้างมาเพื่อการตัดสินใจด้วยอัลกอริทึม ไม่ใช่โดยมนุษย์
• งานวิชาการสำหรับสาธารณะของ Cathy O'Neil, Virginia Eubanks และ Frank Pasquale เรื่องอคติของอัลกอริทึม การบริหารสวัสดิการอัตโนมัติ และระบบให้คะแนนที่ทึบแสง อ้างตลอดการอภิปรายของหัวข้อนี้เรื่องอคติของข้อมูลฝึกและปัญหากล่องดำ

เอกสารอ้างอิง

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp