Trí tuệ nhân tạo và ra quyết định theo thuật toán trong chính phủ

Vì sao điều này quan trọng đối với giá trị công

Các cơ quan công luôn phải phân bổ sự chú ý có hạn: một nhân viên phụ trách hồ sơ không thể đích thân phỏng vấn mọi người nộp đơn, một viên chức hải quan không thể kiểm tra mọi container, một nhóm chống gian lận không thể xem xét mọi yêu cầu. Trí tuệ nhân tạo (AI) — lĩnh vực rộng về xây dựng các hệ thống thực hiện những nhiệm vụ thường đòi hỏi phán đoán của con người — và thực hành hẹp hơn về ra quyết định theo thuật toán và tự động (ADM) hứa hẹn phân bổ sự chú ý đó nhất quán hơn và ở quy mô lớn hơn nhiều, chấm điểm, đánh dấu hay trực tiếp quyết định những hồ sơ mà một nhóm người không bao giờ có thể xem xét đầy đủ. Chủ đề 5.1 bao quát các khuôn mẫu cung cấp dịch vụ số mà năng lực này nằm bên trong (xem Chủ đề 5.1 — Chính phủ số và chuyển đổi số); chủ đề này nói về điều xảy ra một khi một mô hình, thay vì một viên chức được nêu tên, đang quyết định một phần hay toàn bộ.

Lời hứa là thật: một mô hình xây tốt có thể bắt các khuôn mẫu gian lận vô hình với một nhân viên phụ trách hồ sơ, áp dụng quy tắc đủ điều kiện với sự nhất quán hoàn hảo qua một triệu yêu cầu, và giải phóng thời gian chuyên gia khan hiếm cho những hồ sơ thực sự cần phán đoán. Rủi ro cũng thật ngang và khó thấy hơn từ bên trong tổ chức đã xây hệ thống. Một mô hình được huấn luyện trên dữ liệu lịch sử có thể tái tạo và khuếch đại chính sự phân biệt đối xử mà một cơ quan công tồn tại để sửa; một mô hình phức tạp có thể mờ đục đến mức cả công dân lẫn viên chức dựa vào nó đều không nói được vì sao nó quyết định như vậy; và một quyết định mà thuật toán cung cấp thông tin nặng vẫn có thể, về thủ tục, để không ai có thể cho công dân một lý do hay nghe hồ sơ của họ. Không điều nào trong đó là giả thuyết: các cơ quan quản lý, tòa án và các cơ quan tương đương thanh tra viên ở nhiều khu vực pháp lý đã tìm thấy các hệ thống chấm điểm rủi ro và phát hiện gian lận của khu vực công đánh dấu không cân xứng mọi người theo khu phố, lịch sử nhập cư hay cấu trúc gia đình, trong mỗi trường hợp vì khuôn mẫu làm mô hình chính xác tình cờ cũng theo dõi một đặc điểm được bảo vệ hay nhạy cảm.

Cái giá giá trị công do đó không phải hiệu quả đối lập công bằng như một sự đánh đổi cần cân bằng một lần, mà là một kỷ luật thiết kế phải được duy trì liên tục. Một công dân bị một viên chức con người từ chối một khoản trợ cấp có thể hỏi viên chức đó vì sao, và có thể kháng cáo lên một con người khác có tư cách và quyền thay đổi câu trả lời — bộ máy trách nhiệm giải trình mà Chủ đề 3.4 mô tả (xem Chủ đề 3.4 — Trách nhiệm giải trình, minh bạch và tính chính danh). Một công dân bị một mô hình từ chối một khoản trợ cấp cần cùng quyền được giải thích và cùng đường đến một con người có thể đảo ngược nó, nếu không cơ quan công đã lặng lẽ xuất khẩu một bảo đảm tố tụng đúng thủ tục mà nó chưa bao giờ chính thức rút lại. Làm đúng điều này là điều cho phép một cơ quan công nắm bắt những lợi ích thực của ra quyết định theo thuật toán về tính nhất quán và quy mô mà không biến "thuật toán đã quyết định" thành một cụm từ kết thúc trách nhiệm giải trình thay vì khởi đầu nó.

Khái niệm cốt lõi

Ra quyết định tự động (ADM) là việc dùng dữ liệu, phần mềm và thuật toán để đưa ra hoặc cung cấp thông tin trọng yếu cho các quyết định với các mức giám sát khác nhau của con người, trải trên một phổ từ một hệ thống chỉ hiển thị thông tin cho một con người đến một hệ thống quyết định và hành động mà không có con người nào tham gia (xem ra quyết định tự động). Vị trí của một hệ thống trên phổ đó — hỗ trợ quyết định, tăng cường quyết định hay tự động hóa hoàn toàn — quyết định nghĩa vụ trách nhiệm giải trình và tố tụng đúng thủ tục nào áp dụng, đó là lý do các cơ quan quản lý ngày càng phân loại hệ thống theo vị trí trên nó hơn là theo công nghệ nền tảng.

Con người trong vòng lặp mô tả một sắp xếp trong đó một người xem xét hoặc phê duyệt đầu ra của một thuật toán trước khi nó có hiệu lực, khác với con người trên vòng lặp (một người giám sát và có thể can thiệp) hay xử lý hoàn toàn tự động không có xem xét nào (xem con người trong vòng lặp). Một kiểm soát con người-trong-vòng-lặp thực sự đòi hỏi người xem xét có thời gian, thông tin và tư cách để thực sự bất đồng với hệ thống; một người xem xét phê duyệt gần như mọi khuyến nghị của thuật toán vì bất đồng tốn thời gian hơn hoặc mang nhiều rủi ro cá nhân hơn đồng ý không đang thực hiện giám sát, dù biểu đồ quy trình cho thấy một bước con người. Khuôn mẫu này, thường gọi là thiên lệch tự động hóa, là một trong những thất bại phổ biến nhất và ít nhìn thấy nhất trong đề tài của chủ đề này.

Thiên lệch thuật toán là xu hướng có hệ thống, lặp lại của một hệ thống máy tính tạo ra kết quả không công bằng — chẳng hạn, ưu ái một nhóm hơn nhóm khác theo cách các nhà thiết kế hệ thống không có ý định và thường không nhận ra (xem thiên lệch thuật toán). Trong hành chính công nguồn chi phối là thiên lệch dữ liệu huấn luyện: một mô hình được huấn luyện trên hồ sơ thực thi, cho vay hay xử lý hồ sơ lịch sử học các khuôn mẫu trong những hồ sơ đó, gồm bất kỳ sự giám sát quá mức, phục vụ thiếu hay thực hành phân biệt đối xử lịch sử nào được nhúng vào việc ai đã bị điều tra, phê duyệt hay đánh dấu trong quá khứ. Một mô hình có thể tái tạo kết quả này ngay cả khi một đặc điểm nhạy cảm — chủng tộc, khuyết tật, tình trạng di cư — bị loại tường minh khỏi dữ liệu, vì một đại diện tương quan (mã bưu chính, họ, lịch làm việc, lịch sử trợ cấp) mang cùng tín hiệu dưới một tên khác; loại bỏ biến được nêu tên mà không kiểm tra các đại diện của nó là cách phổ biến một cơ quan công tin rằng mình đã sửa một vấn đề thiên lệch mà nó chưa sửa chút nào.

Công bằng trong học máy chỉ họ các cách tiếp cận kỹ thuật và thủ tục để đo lường và sửa thiên lệch thuật toán trong các quyết định tự động (xem công bằng (học máy)). Một đặc điểm thực sự khó của lĩnh vực này, không phải một chú thích kỹ thuật giải quyết được, là nhiều định nghĩa công bằng hợp lý theo trực giác — tỷ lệ phê duyệt bằng nhau giữa các nhóm, tỷ lệ lỗi bằng nhau giữa các nhóm, và độ chính xác hiệu chỉnh bằng nhau trong từng nhóm — không tương thích về mặt toán học bất cứ khi nào các nhóm nền tảng có tỷ lệ cơ sở khác nhau trong dữ liệu. Một cơ quan công không thể thỏa mãn mọi định nghĩa cùng lúc; nó chỉ có thể chọn, tường minh và với những lý do nó sẵn lòng bảo vệ, định nghĩa nào quyết định đang bàn nên được tối ưu hóa, đó là một phán đoán chính sách khoác áo kỹ thuật.

Khả năng giải thích và vấn đề hộp đen. Một mô hình là một hộp đen khi hoạt động bên trong của nó không thể được kiểm tra hay hiểu chỉ từ đầu vào và đầu ra — đúng với nhiều mô hình học máy hiệu suất cao, mà độ chính xác của chúng thường đến chính từ sự phức tạp khiến chúng khó diễn giải. Trí tuệ nhân tạo có thể giải thích, hay XAI, là lĩnh vực các phương pháp làm cho lập luận của một mô hình có thể kiểm tra, trải từ chọn các loại mô hình vốn có thể diễn giải cho các quyết định có hệ quả đến tạo các giải thích hậu nghiệm xấp xỉ, thay vì tiết lộ, điều một mô hình phức tạp thực sự đã làm. Sự phân biệt quan trọng về pháp lý cũng như kỹ thuật: một giải thích xấp xỉ nghe hợp lý nhưng không phản ánh lập luận thực của mô hình có thể thỏa mãn một danh mục kiểm tra minh bạch trong khi thất bại với công dân dựa vào nó để thách thức cơ sở thực của một quyết định chống lại họ.

Quyền được giải thích là nguyên tắc pháp lý gây tranh cãi rằng một người chịu một quyết định tự động đáng kể được hưởng một lời giải thích có ý nghĩa về logic liên quan, gắn chặt nhất với Quy định Bảo vệ Dữ liệu Chung của Liên minh Châu Âu, vốn hạn chế các quyết định chỉ dựa trên xử lý tự động tạo ra tác động pháp lý hay đáng kể tương tự và trao cho đối tượng các quyền được can thiệp của con người và tranh cãi quyết định (xem quyền được giải thích và Quy định Bảo vệ Dữ liệu Chung). Các học giả pháp lý tranh luận quyền này thực sự mạnh đến đâu trong thực tế, và các khu vực pháp lý ngoài Liên minh Châu Âu phần lớn thiếu một quyền theo luật định tương đương, đó là lý do một cơ quan công không nên coi "chúng tôi tuân thủ luật bảo vệ dữ liệu liên quan" là tương đương "chúng tôi có thể giải thích quyết định này cho người nó ảnh hưởng" — hai tuyên bố có liên quan nhưng không giống nhau, và chỉ tuyên bố sau là điều tố tụng đúng thủ tục thực sự đòi hỏi.

Tố tụng đúng thủ tục và công lý tự nhiên. Trong luật hành chính, tố tụng đúng thủ tục — nguyên tắc, phát triển nhất trong luật hiến pháp Hoa Kỳ nhưng được vọng lại ở dạng tương đương qua nhiều hệ thống pháp lý, rằng nhà nước phải theo các thủ tục công bằng trước khi tước một quyền hay quyền lợi của một người — và công lý tự nhiên — truyền thống luật hành chính Khối Thịnh vượng chung đòi hỏi một phiên điều trần công bằng và không thiên vị ở người ra quyết định — đều dựa trên một giả định viết trước khi có máy tính: rằng một quyết định có một người ra quyết định có thể xác định, có thể đưa ra lý do, có thể được chứng minh không có thiên vị loại trừ, và có thể được yêu cầu xem xét lại. Một thuật toán làm căng cả ba giả định cùng lúc — lý do có thể không có về mặt kỹ thuật, "thiên vị" đang bàn mang tính thống kê chứ không cá nhân, và việc xem xét lại bởi cùng mô hình tạo ra cùng câu trả lời — đó là lý do tố tụng đúng thủ tục cho các quyết định thuật toán phải được kỹ nghệ hóa tường minh thay vì thừa hưởng từ các thủ tục xây cho người ra quyết định là con người.

Điều tiết AI dựa trên rủi ro. Thay vì điều tiết mọi AI đồng nhất, một khuôn mẫu điều tiết mới nổi — phát triển đầy đủ nhất trong Đạo luật Trí tuệ Nhân tạo của Liên minh Châu Âu — xếp tầng nghĩa vụ theo mức rủi ro của ứng dụng, cấm hẳn một tập hẹp các cách sử dụng, áp đặt các nghĩa vụ tuân thủ nặng nhất lên các cách sử dụng "rủi ro cao" (gồm tường minh xác định đủ điều kiện của khu vực công, đánh giá rủi ro thực thi pháp luật và quyết định di cư), yêu cầu công bố minh bạch cho các cách sử dụng rủi ro thấp hơn, và để các cách sử dụng rủi ro tối thiểu phần lớn không bị điều tiết (xem Đạo luật Trí tuệ Nhân tạo). Dù khuôn mẫu điều tiết ở một khu vực pháp lý nhất định ra sao, ý tưởng nền tảng — rằng các nghĩa vụ quản trị nên tăng theo mức rủi ro của quyết định, không phải sự tinh vi của công nghệ — là một nguyên tắc thiết kế hữu ích ngay cả khi không có nghĩa vụ pháp lý trực tiếp phải theo chế độ cụ thể của EU.

Thực hành tốt nhất

1. Phân loại mọi hệ thống theo mức rủi ro của quyết định trước khi chọn mô hình, không phải sau. Một hệ thống đánh dấu một hồ sơ để con người xem xét mang nghĩa vụ khác với một hệ thống từ chối hẳn một khoản trợ cấp; hãy quyết định một ca sử dụng nằm ở tầng nào, dùng một khung như các hạng rủi ro của Đạo luật AI của EU làm điểm tham chiếu, trước khi xây thay vì sau khi triển khai làm lộ khoảng trống.
2. Nói với mọi người, bằng ngôn ngữ giản dị, khi một thuật toán tham gia vào một quyết định về họ. Một thông báo quyền riêng tư chung chôn trong các điều khoản và điều kiện không thỏa mãn điều này; thông báo nên nói hệ thống làm gì, dùng dữ liệu nào, và điều gì xảy ra nếu người đó bất đồng với đầu ra của nó.
3. Xây một kiểm soát con người-trong-vòng-lặp mà một người xem xét có thể thực sự thực hiện, và đo liệu họ có làm không. Theo dõi tỷ lệ ghi đè, thời gian trung bình dành cho mỗi hồ sơ, và liệu những người xem xét bất đồng với mô hình có đối mặt ma sát nào mà đồng ý không có — nếu tỷ lệ ghi đè gần bằng không, việc xem xét rất có khả năng là trang trí.
4. Kiểm tra tác động không cân xứng bằng kết quả thực, không phải ý định của người phát triển. Trước khi triển khai và theo chu kỳ cố định lặp lại sau đó, hãy đo kết quả của mô hình phân tách theo đặc điểm được bảo vệ và nhạy cảm, gồm qua các đại diện có khả năng như mã bưu chính hay lịch sử trợ cấp, vì một mô hình chưa bao giờ dùng trực tiếp một biến được bảo vệ vẫn có thể tạo ra một kết quả bất bình đẳng rõ rệt.
5. Cho mọi người bị ảnh hưởng một đường đến một con người có quyền đảo ngược quyết định của thuật toán, không chỉ giải thích nó. Một kênh kháng cáo nhắc lại lập luận của mô hình mà không có khả năng đảo ngược thực sự thỏa mãn chữ nghĩa của quyền được giải thích trong khi đánh bại mục đích của nó.
6. Ưu tiên một mô hình có thể diễn giải hơn một mô hình hộp đen chính xác hơn chút ít cho các quyết định có hệ quả pháp lý. Nơi khoảng cách chính xác giữa một mô hình có thể diễn giải và một mô hình phức tạp nhỏ, lợi ích diễn giải thường đáng giá hơn nhiều với công dân, viên chức kháng cáo và kiểm toán viên so với độ chính xác biên đáng giá với tổ chức.
7. Ghi lại mục đích, dữ liệu huấn luyện, các hạn chế đã biết và cách dùng dự định của từng hệ thống trong một hồ sơ thường trực, và cập nhật khi bất kỳ điều nào thay đổi. Một mô hình triển khai cho một mục đích và lặng lẽ được dùng lại cho mục đích khác — chẳng hạn sàng lọc gian lận mở rộng sang phân loại đủ điều kiện chung — thường đã để lại phía sau việc xác nhận ban đầu và kiểm tra thiên lệch của nó.
8. Giữ dữ liệu huấn luyện và vận hành cho một mô hình rủi ro cao trong một đường ống được quản trị, giới hạn mục đích. Dùng lại một bộ dữ liệu thu thập cho một mục đích hành chính để huấn luyện một mô hình cho mục đích không liên quan là một thất bại quản trị dữ liệu cũng nhiều như một thất bại mô hình hóa (xem Chủ đề 5.4 — Dữ liệu, khả năng liên thông và dữ liệu mở của khu vực công).
9. Đặt kiểm toán thuật toán dưới một chức năng không báo cáo cho nhóm đã xây hoặc vận hành hệ thống. Một cuộc kiểm toán do chính các nhà phát triển của hệ thống thực hiện tìm ra các vấn đề khác, và ít hơn, so với một cuộc do một người xem xét thực sự độc lập có tư cách công bố một phát hiện bất lợi (xem Chủ đề 3.4 — Trách nhiệm giải trình, minh bạch và tính chính danh).
10. Chạy một giai đoạn bóng trước khi bật một hệ thống cho các quyết định thực. So sánh khuyến nghị của mô hình với các quyết định thực của con người trên cùng hồ sơ trong một giai đoạn xác định trước khi nó bắt đầu hành động, để bất kỳ sự phân kỳ có hệ thống nào hiện ra trước khi một công dân bị ảnh hưởng.
11. Dành tự động hóa hoàn toàn, không có xem xét của con người nào, chỉ cho các quyết định ít hệ quả nhất và dễ đảo ngược nhất. Quyết định càng nghiêm trọng và càng khó đảo ngược — chấm dứt một khoản trợ cấp, một lần chuyển tuyến gian lận kích hoạt một cuộc điều tra hình sự, từ chối nhập cảnh — thì luận cứ để giữ một con người thực sự trong vòng lặp càng mạnh, bất kể độ chính xác đo được của mô hình.
12. Huấn luyện lại, xác nhận lại và kiểm tra lại thiên lệch theo lịch cố định, không chỉ khi một vấn đề được báo cáo. Độ chính xác và các thuộc tính công bằng của một mô hình có thể trôi lặng lẽ khi dân số và thế giới mà nó được huấn luyện thay đổi, và một cơ quan công chỉ điều tra sau một khiếu nại đã để sự trôi dạt chạy bao lâu khiếu nại mất để nổi lên.

Câu hỏi thảo luận với đội ngũ của bạn

Ở đâu trong tổ chức của chúng ta một thuật toán hiện đưa ra hoặc cung cấp thông tin nặng cho một quyết định ảnh hưởng đến quyền, quyền lợi hay tự do của một người, và mọi người bị ảnh hưởng có thể thực sự tìm ra rằng điều đó đã xảy ra không? Nhiều tổ chức phát hiện, khi thực sự kiểm kê hệ thống của mình, rằng việc chấm điểm hay phân loại theo thuật toán đã len vào nhiều điểm quyết định hơn bất kỳ nhóm đơn lẻ nào nhận ra, thường ban đầu được đưa vào như một công cụ hiệu quả rủi ro thấp. Hãy dùng câu hỏi này để xây bản kiểm kê đó một cách trung thực, gồm các hệ thống mua từ nhà cung cấp thay vì xây nội bộ, vì mua sắm có thể che khuất một công cụ mua thực sự đang quyết định bao nhiêu. Hãy thảo luận liệu thực hành thông báo hiện tại của bạn có cho phép một công dân bị ảnh hưởng khám phá, không cần kiến thức chuyên môn, rằng một mô hình đã tham gia vào hồ sơ của họ không.

Nếu một công dân chính thức thách thức một trong các quyết định tự động của chúng ta ngày mai, chúng ta có thể đưa ra một lý do thực sự, cụ thể, hay chỉ một mô tả về quy trình? Một mô tả quy trình — "hệ thống đã xem xét thu nhập, quy mô hộ gia đình và lịch sử thanh toán của bạn" — không giống với một lời giải thích vì sao những đầu vào đó tạo ra kết quả cụ thể này cho người cụ thể này. Hãy dùng câu hỏi này để chọn một hệ thống sống và thử, như một nhóm, viết lời giải thích mà một công dân thực sẽ nhận nếu họ kháng cáo. Nếu bài tập khó, chính sự khó đó là phát hiện.

Chúng ta có biết dữ liệu huấn luyện của mình có tái tạo một khuôn mẫu thiên lệch lịch sử không, và chúng ta đã kiểm nghiệm điều đó đối chiếu với kết quả thực thay vì ý định của mình chưa? Loại một đặc điểm được bảo vệ khỏi bộ dữ liệu không giống với loại ảnh hưởng của nó, vì các đại diện tương quan có thể mang cùng tín hiệu dưới tên khác. Hãy dùng câu hỏi này để xác định hệ thống nào của bạn đã được kiểm tra về tác động không cân xứng dùng kết quả thực sau triển khai, phân tách theo các đặc điểm liên quan, thay vì chỉ kiểm tra sự hiện diện của một biến được bảo vệ trong dữ liệu đầu vào. Hãy thảo luận cần gì để chạy phép kiểm tra dựa trên kết quả đó trên hệ thống rủi ro cao nhất của bạn nếu nó chưa được thực hiện.

Việc xem xét con người-trong-vòng-lặp của chúng ta là một sự kiểm tra thực sự, hay một con dấu cao su mà chúng ta chưa đo đủ kỹ để nhận ra? Một người xem xét dưới áp lực thời gian, không có đầy đủ bối cảnh, hay đối mặt với nhiều ma sát hơn khi bất đồng so với đồng ý sẽ có xu hướng phê duyệt khuyến nghị của thuật toán bất kể chất lượng của nó. Hãy dùng câu hỏi này để tìm tỷ lệ ghi đè thực tế của bạn cho ít nhất một hệ thống, và thảo luận con số đó nói gì về việc xem xét có đang hoạt động như một kiểm soát hay một thủ tục tuân thủ.

Điều gì thực sự xảy ra, về thủ tục, khi ai đó muốn kháng cáo một quyết định mà thuật toán của chúng ta đưa ra hoặc cung cấp thông tin nặng — và có con người nào có quyền thực sự đảo ngược nó từng thấy kháng cáo không? Nhiều quy trình kháng cáo chuyển một công dân trở lại qua một mô tả logic của mô hình mà không bao giờ đến một người có thể đảo ngược kết quả theo ưu điểm. Hãy dùng câu hỏi này để lần theo một kháng cáo, từ đầu đến cuối, cho một trường hợp thực hay thực tế, và xác định điểm chính xác, nếu có, nơi một con người có thẩm quyền thực sự thay đổi câu trả lời tham gia.

Ai sở hữu rủi ro nếu một trong các mô hình của chúng ta suy giảm hoặc trôi dạt sau triển khai, và chúng ta sẽ thực sự biết bằng cách nào trước khi một công dân hay một nhà báo nói cho chúng ta? Các thuộc tính công bằng và chính xác của một mô hình không cố định lúc ra mắt; chúng có thể dịch chuyển khi dân số, nền kinh tế hoặc chính sách liền kề thay đổi, thường vô hình với nhóm đã xây hệ thống. Hãy dùng câu hỏi này để xác định ai chịu trách nhiệm giám sát sau triển khai, theo nhịp nào, và điều gì cụ thể sẽ kích hoạt một lần huấn luyện lại hay tạm dừng. Nếu câu trả lời trung thực là "không ai cụ thể đang theo dõi điều này", hãy coi đó là phát hiện cấp bách nhất mà cuộc thảo luận này có thể tạo ra.

Trong thực tiễn: một ví dụ về giá trị công

Một cơ quan bảo hiểm xã hội quốc gia hư cấu xây một mô hình chấm điểm rủi ro để ưu tiên các yêu cầu trợ cấp thất nghiệp nào nhóm điều tra gian lận của họ nên xem xét trước, sau nhiều năm tồn đọng khiến gian lận thực sự nằm không được điều tra hàng tháng trong khi những người yêu cầu trung thực chờ đợi vì các chậm trễ xử lý không liên quan. Mô hình được huấn luyện trên năm năm hồ sơ điều tra đã đóng, học đặc điểm yêu cầu nào trước đây đi trước một kết luận gian lận được xác nhận, và nó hoạt động tốt khi kiểm nghiệm: các yêu cầu nó chấm là rủi ro cao được xác nhận gian lận ở tỷ lệ cao hơn nhiều so với một mẫu ngẫu nhiên, và ban lãnh đạo của cơ quan, chứng kiến đống tồn đọng giảm lần đầu trong nhiều năm, coi lần triển khai là một thành công không mơ hồ.

Mười tám tháng sau, một văn phòng tương đương thanh tra viên nội bộ nhận thấy một điều mà bảng điều khiển hiệu suất của chính nhóm gian lận chưa làm lộ: những người yêu cầu sống ở một số ít quận bưu chính, không cân xứng là thu nhập thấp hơn và không cân xứng là người di cư gần đây, đang bị đánh dấu để điều tra ở tỷ lệ gần gấp ba các người yêu cầu tương tự khác ở nơi khác, và một tỷ lệ cao hơn nhiều các yêu cầu bị đánh dấu của họ được đóng mà không tìm thấy gian lận nào. Khuôn mẫu lần ngược về dữ liệu huấn luyện: các hồ sơ điều tra lịch sử phản ánh nhiều năm trong đó các điều tra viên hiện trường, làm việc từ các kinh nghiệm pháp không chính thức của chính họ, đã tập trung các kiểm tra thủ công vào đúng những quận đó, nên mô hình đã học coi việc sống ở đó là dự báo gian lận, khi nó thực ra chỉ dự báo việc đã bị kiểm tra nhiều hơn trong quá khứ. Quận bưu chính chưa bao giờ là đầu vào của mô hình; nó không cần phải thế, vì thành phần hộ gia đình, ngành nghề của người sử dụng lao động và các trường phương thức thanh toán tương quan đủ chặt với nó để mang cùng tín hiệu qua đại diện.

Cuộc điều tra của cơ quan xác nhận khuôn mẫu là thật, và cũng xác nhận một vấn đề thứ hai, lặng lẽ hơn: những người xem xét là con người được cho là phê duyệt một hồ sơ để điều tra đầy đủ trước khi nó tiến hành đã phê duyệt các khuyến nghị điểm cao nhất của mô hình ở đại đa số trường hợp, với thời gian xem xét trung bình dưới hai phút mỗi hồ sơ — xa mức đủ để thực sự nghi ngờ một điểm thống kê, nghĩa là kiểm soát con người-trong-vòng-lặp mà ban lãnh đạo chỉ ra như một biện pháp bảo vệ đã không thực sự bắt được sự chênh lệch mà nó tồn tại để bắt. Phản ứng của cơ quan kết hợp nhiều thực hành tốt nhất của chủ đề này cùng lúc: nó huấn luyện lại mô hình với khuôn mẫu giám sát quá mức lịch sử đã được hiệu chỉnh, kéo dài thời gian xem xét và trao cho người xem xét quyền đóng một hồ sơ bị đánh dấu mà không cần leo thang khi phán đoán riêng của họ bất đồng với điểm số, và xây một thông báo bằng ngôn ngữ giản dị cùng một đường kháng cáo thực sự đến một cán bộ hồ sơ được nêu tên cho bất kỳ ai có yêu cầu bị đánh dấu. Năng suất điều tra trên mỗi giờ người xem xét giảm đôi chút, nhưng tỷ lệ gian lận được xác nhận trong số các yêu cầu bị đánh dấu từ các quận trước đây bị đánh dấu quá mức tăng lên khớp với phần còn lại của danh mục, điều mà cuộc kiểm toán của chính cơ quan coi là thước đo thành công thực sự — không phải khối lượng yêu cầu bị đánh dấu, mà là liệu việc đánh dấu có theo dõi gian lận thực hay một khuôn mẫu lịch sử mà mô hình đã học tái tạo.

Bốn góc nhìn theo khu vực

Chính quyền địa phương

Chính quyền địa phương ngày càng triển khai các công cụ thuật toán cho các quyết định có hệ quả trước mắt và cá nhân nhất đối với cư dân — ưu tiên phân bổ nhà ở, chấm điểm rủi ro bảo vệ trẻ em, và sàng lọc gian lận thuế hội đồng hay trợ cấp — thường trong khi thiếu năng lực khoa học dữ liệu nội bộ để xây, xác nhận hay kiểm toán các hệ thống này, để nhiều nơi dựa vào các mô hình do nhà cung cấp cung cấp mà dữ liệu huấn luyện và xác nhận chính quyền không thể kiểm tra đầy đủ. Điều này tạo ra một kỷ luật mua sắm đặc thù: một chính quyền địa phương đặt hàng một hệ thống thuật toán nên đòi hỏi, như một điều kiện hợp đồng, cùng khả năng giải thích, kiểm tra thiên lệch và quyền tiếp cận kiểm toán mà nó sẽ yêu cầu với một bản xây nội bộ, vì quyền tố tụng đúng thủ tục của một cư dân không giảm đi vì chính quyền mua hệ thống thay vì xây nó. Sự gần gũi của chính quyền địa phương với cư dân cũng có nghĩa một sự trục trặc thuật toán nhiều khả năng được biết đến cá nhân trong cộng đồng trước khi nó thành khiếu nại chính thức, điều lập luận cho sự xem xét địa phương nhẹ nhàng, sớm.

Chính phủ quốc gia

Các cơ quan quốc gia vận hành các hệ thống quy mô lớn nhất trong phạm vi của chủ đề này — phát hiện gian lận thuế, đánh giá rủi ro nhập cư, đủ điều kiện trợ cấp quốc gia — nơi ngay cả một tỷ lệ lỗi nhỏ cũng chuyển thành một số tuyệt đối rất lớn người bị ảnh hưởng, và nơi cơ quan thường có năng lực kỹ thuật và pháp lý sâu nhất để xây các biện pháp bảo vệ thực sự. Chính phủ quốc gia cũng thường là cấp mà điều tiết AI dựa trên rủi ro, nơi nó tồn tại, được viết và thực thi, cho các cơ quan quốc gia các nghĩa vụ chính thức rõ ràng nhất và mức phơi bày lớn nhất khi một cuộc kiểm toán hay tòa án thấy một hệ thống tự động đã tạo ra kết quả phân biệt đối xử hoặc không thể xem xét ở quy mô lớn. Cái giá tố tụng đúng thủ tục cao nhất ở đây theo một nghĩa khác nữa: một điểm rủi ro nhập cư hay thực thi pháp luật có thể ảnh hưởng đến tự do cũng như quyền lợi, điều lập luận cho tư thế tự động hóa thận trọng nhất — ít tự động hóa hoàn toàn nhất và xem xét thực sự của con người nhiều nhất — chính xác nơi luận cứ kỹ thuật cho tự động hóa thường mạnh nhất vì khối lượng hồ sơ.

Khu vực xã hội và phi lợi nhuận

Các tổ chức phi lợi nhuận và phi chính phủ (NGO) ngày càng dùng các công cụ thuật toán để phân loại việc phân phối viện trợ, sàng lọc người thụ hưởng về đủ điều kiện, hay ưu tiên công việc hồ sơ trong đúng các lĩnh vực mà chủ đề này bao quát, thường dưới các ràng buộc nguồn lực thực sự khiến luận cứ hiệu quả cho tự động hóa thực sự thuyết phục. Cấu trúc trách nhiệm giải trình khác rõ rệt với chính phủ, tuy nhiên: những người thụ hưởng của một tổ chức phi lợi nhuận hiếm khi có các quyền kháng cáo theo luật định mà một công dân có đối với một cơ quan nhà nước, và mối quan hệ trách nhiệm giải trình chính của tổ chức thường chạy tới nhà tài trợ hơn là những người mà thuật toán quyết định về họ, đúng là khoảng trống trách nhiệm giải trình mà Chủ đề 3.8 — Quản lý khu vực xã hội và tổ chức phi lợi nhuận mô tả cho khu vực nói chung. Một tổ chức phi lợi nhuận áp dụng phân loại thuật toán do đó nên xây các quyền được giải thích và kháng cáo mà chủ đề này mô tả như một chuẩn tự nguyện, không phải vì một cơ quan quản lý yêu cầu, mà vì những người tổ chức phục vụ không có đường nào khác đến một quyền như vậy.

Đa phương và quốc tế

Các tổ chức đa phương và cơ quan nhân đạo quốc tế áp dụng các công cụ nhắm mục tiêu và chấm điểm rủi ro thuật toán qua các biên giới và hệ thống pháp lý, thường trong các bối cảnh khủng hoảng nơi lợi ích tốc độ của tự động hóa cấp bách nhất và dữ liệu sẵn có ít đáng tin nhất — dữ liệu đăng ký không đầy đủ, dữ liệu thu thập cho một cuộc khủng hoảng và dùng lại cho cuộc khác, và các dân số có khả năng hạn chế để tranh cãi một quyết định chấm điểm xác định họ có nhận viện trợ hay không. Không luật tố tụng đúng thủ tục quốc gia đơn lẻ hay chế độ quyền được giải thích nào áp dụng đồng đều qua các hoạt động của một tổ chức đa phương, nên các biện pháp bảo vệ mà chủ đề này mô tả phải được xây vào các chuẩn vận hành riêng của tổ chức thay vì thừa hưởng từ một khung pháp lý bên ngoài có thể thực thi, vọng lại khoảng trống đại diện và trách nhiệm giải trình mà Chủ đề 3.4 xác định cho các tổ chức đa phương nói chung (xem Chủ đề 3.4 — Trách nhiệm giải trình, minh bạch và tính chính danh). Cái giá cũng nghiêm trọng ở đây, vì một quyết định thuật toán có thể quyết định việc tiếp cận thực phẩm, nơi trú ẩn hay xử lý tị nạn cho những người có khả năng thực tế kháng cáo một kết quả sai ít nhất trong mọi nhóm của chủ đề này.

Các kiểu thất bại thường gặp

Phân biệt đối xử qua đại diện. Một mô hình loại trực tiếp một đặc điểm được bảo vệ nhưng học một tín hiệu tương đương từ một biến tương quan — mã bưu chính, họ, ngành nghề, lịch sử trợ cấp — tái tạo cùng khuôn mẫu phân biệt đối xử mà việc loại trừ nhằm ngăn. Cái giá là một cảm giác an toàn giả: tổ chức có thể nói đúng sự thật rằng biến được bảo vệ chưa bao giờ được dùng, trong khi kết quả vẫn bất bình đẳng như thể nó đã được dùng.

Thiên lệch tự động hóa trong xem xét của con người. Một người xem xét là con người, được yêu cầu chính thức kiểm tra khuyến nghị của một thuật toán, phê duyệt nó ở đại đa số trường hợp vì bất đồng tốn thời gian hơn, biện minh nhiều hơn hay rủi ro cá nhân nhiều hơn đồng ý. Cái giá là một kiểm soát mà tổ chức tin là đang bắt lỗi thực tế đang đóng dấu cho chúng, và điều này thường chỉ hiện ra một khi ai đó đo trực tiếp tỷ lệ ghi đè thay vì tin rằng quy trình tồn tại.

Sân khấu giải thích. Một tổ chức cung cấp một lời giải thích cho một quyết định tự động nghe cụ thể và thỏa mãn nhưng được tạo sau sự việc bằng một phương pháp xấp xỉ, thay vì tiết lộ, lập luận thực của mô hình. Cái giá hiện ra khi lời giải thích được kiểm nghiệm dưới sự soi xét thực sự — một kháng cáo, một cuộc kiểm toán, một thách thức pháp lý — và hóa ra không tương ứng với lý do hệ thống thực sự tạo ra đầu ra cụ thể đó.

Thiên lệch lịch sử được tái tạo qua các vòng phản hồi. Một mô hình được huấn luyện trên kết quả của các quyết định trong quá khứ — khu phố nào đã bị điều tra, đơn nào được phê duyệt — học và sau đó duy trì bất kỳ khuôn mẫu giám sát quá mức hay phục vụ thiếu nào đã định hình các quyết định trong quá khứ đó, và mỗi vòng quyết định mới mà nó tạo ra trở thành dữ liệu huấn luyện cho phiên bản tiếp theo, làm sâu khuôn mẫu thay vì sửa nó. Điều này đã được ghi nhận qua nhiều lĩnh vực khu vực công trên thế giới, gồm trị an dựa trên rủi ro và sàng lọc gian lận phúc lợi, và cơ chế nền tảng đủ nhất quán qua các trường hợp được ghi nhận đó để coi là một rủi ro chung trong bất kỳ hệ thống nào huấn luyện trên dữ liệu thực thi hay hồ sơ lịch sử, bất kể khu vực pháp lý.

Khoảng trống trách nhiệm giải trình, hay vấn đề "nhiều bàn tay". Khi một quyết định chạy qua mô hình của một nhà cung cấp, dữ liệu của một cơ quan, việc đặt ngưỡng của một nhóm chính sách, và chữ ký danh nghĩa của một nhân viên hồ sơ, trách nhiệm về một kết quả sai có thể trở nên thực sự không rõ ngay cả với chính tổ chức, mỗi bên có thể chỉ sang bên khác là nguồn lỗi. Cái giá không chỉ là công dân bị ảnh hưởng không nhận được câu trả lời rõ ràng, mà tổ chức không thể sửa đáng tin nguyên nhân thực, vì không chủ sở hữu chịu trách nhiệm đơn lẻ nào tồn tại cho quyết định như một tổng thể (xem Chủ đề 3.4 — Trách nhiệm giải trình, minh bạch và tính chính danh).

Mô hình trưởng thành

Danh mục kiểm tra

• Xây một bản kiểm kê đầy đủ mọi hệ thống đưa ra hoặc cung cấp thông tin trọng yếu cho một quyết định ảnh hưởng đến quyền hoặc quyền lợi của một người, gồm các công cụ do nhà cung cấp cung cấp.
• Phân loại từng hệ thống trong bản kiểm kê đó theo mức rủi ro của quyết định mà nó cung cấp thông tin, dùng một tầng rủi ro xác định.
• Xác nhận mọi người bị ảnh hưởng nhận một thông báo bằng ngôn ngữ giản dị rằng một thuật toán đã tham gia vào hồ sơ của họ.
• Soạn lời giải thích cụ thể, cấp hồ sơ mà một công dân thực sẽ nhận khi kháng cáo, và kiểm tra liệu nó có thực sự làm họ hài lòng không.
• Kiểm tra từng hệ thống rủi ro cao về tác động không cân xứng dùng kết quả thực sau triển khai, phân tách theo các đặc điểm liên quan, không chỉ bằng cách kiểm tra các biến đầu vào bị loại.
• Đo tỷ lệ ghi đè và thời gian xem xét trung bình cho mọi kiểm soát con người-trong-vòng-lặp, và coi tỷ lệ ghi đè gần bằng không là một phát hiện.
• Xác nhận một con người được nêu tên, có thẩm quyền thực sự đảo ngược quyết định, xem xét mọi kháng cáo.
• Đặt kiểm toán thuật toán dưới một chức năng độc lập với nhóm đã xây hoặc vận hành hệ thống.
• Xác nhận dữ liệu huấn luyện và vận hành cho từng hệ thống ở lại trong một đường ống được quản trị, giới hạn mục đích.
• Đặt lịch huấn luyện lại và xác nhận lại cố định cho mọi mô hình đã triển khai, thay vì chờ một khiếu nại kích hoạt xem xét.
• Xác định hệ thống nào của bạn hiện không có biện pháp bảo vệ tự động hóa hoàn toàn cho các quyết định nghiêm trọng nhất và khó đảo ngược nhất, và sửa điều đó trước.
• Chạy sáu câu hỏi thảo luận ở trên với nhóm của bạn và ghi lại nơi câu trả lời trung thực khác với câu trả lời chính thức.

Nguồn chính

• Các Nguyên tắc AI của OECD (2019, cập nhật 2024) — tiêu chuẩn liên chính phủ đầu tiên về AI đáng tin, bao quát tăng trưởng hòa nhập, nhân quyền, minh bạch, độ vững chắc và trách nhiệm giải trình.
• Đạo luật Trí tuệ Nhân tạo của Liên minh Châu Âu (Quy định (EU) 2024/1689) — khung pháp lý xếp tầng theo rủi ro toàn diện đầu tiên cho AI, giải quyết tường minh các cách sử dụng về đủ điều kiện của khu vực công, thực thi pháp luật và di cư.
• Văn phòng Trách nhiệm Giải trình của Chính phủ Hoa Kỳ, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — một khung quản trị, dữ liệu, hiệu suất và giám sát cho trách nhiệm giải trình AI trong khu vực công.
• Học thuật của Danielle Keats Citron về "tố tụng đúng thủ tục công nghệ", lập luận rằng các hệ thống tự động đòi hỏi các biện pháp bảo vệ thủ tục được xây riêng cho ra quyết định thuật toán, thay vì của con người.
• Học thuật hướng công chúng của Cathy O'Neil, Virginia Eubanks và Frank Pasquale về thiên lệch thuật toán, quản lý phúc lợi tự động và các hệ thống chấm điểm mờ đục, được trích dẫn xuyên suốt cuộc thảo luận của chủ đề này về thiên lệch dữ liệu huấn luyện và vấn đề hộp đen.

Tài liệu tham khảo

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp