政府中的人工智慧與演算法決策

這為何對公共價值重要

公共機構一直都在配給自己的關注力:一位個案工作者無法親自面談每一位申請人,一位海關官員無法檢查每一個集裝箱,一支反欺詐團隊無法審查每一份申請。人工智慧(AI)——構建通常需要人類判斷力才能完成任務的系統這一廣泛領域——以及演算法與自動化決策(ADM)這一更狹窄的實踐,承諾以遠大得多的規模、更一貫地配給這份關注力,為一個人類團隊永遠無法完全審查的案件打分、標記,或直接做出決定。主題5.1涵蓋了這項能力所處的數字服務交付模式(見主題5.1——數字政府與數字化轉型);本主題講的是,一旦一個模型、而非一位具名官員,承擔了部分或全部的決策工作時會發生什麼。

這份承諾是真實的:一個構建良好的模型,能夠捕捉到一位個案工作者看不見的欺詐模式,能夠在一百萬份申請中完全一貫地應用資格規則,並能騰出稀缺的專家時間,用於那些真正需要判斷力的案件。而風險同樣是真實的,卻更難從構建這套系統的組織內部看清。一個在歷史資料上訓練出來的模型,可能會複製並放大恰恰是一個公共機構存在的意義所要糾正的那種歧視;一個複雜的模型可能不透明到連公民、也連依賴它的官員都無法說清楚它為什麼做出了那樣的決定;而一項演算法大量參與其中的決策,在程式上仍然可能讓沒有任何人能夠給公民一個理由、或聽取他們的申訴。這一切都不是假設性的:多個轄區的監管者、法院與同等於監察專員的機構,都已經發現公共部門的風險評分與欺詐檢測系統,不成比例地根據街區、移民歷史,或家庭結構標記了人們,而在每一個案例中,原因都是那個讓模型精確的模式,恰好也追蹤著一項受保護的或敏感的特徵。

因此,這裡的公共價值利害關係,不是一次性權衡效率與公平的取捨,而是一門需要持續維繫的設計紀律。一位被一位人類官員拒絕一項福利的公民,可以詢問那位官員為什麼,並能向另一位擁有地位與權力去改變這個答案的人申訴——這正是主題3.4所描述的問責機制(見主題3.4——問責制、透明度與合法性)。一位被一個模型拒絕一項福利的公民,需要同樣這種獲得解釋的權利,以及同樣這條通向一位能夠推翻它的人的路徑,否則這個公共機構已經悄悄地輸出了一項它從未正式撤銷的正當程式保障。把這件事做對,正是讓一個公共機構能夠捕捉到演算法決策在一貫性與規模上真正的收益、同時不把"演算法決定了"變成一句終結問責、而非開啟問責的話的關鍵。

核心概念

自動化決策(ADM)是使用資料、軟體與演算法,以不同程度的人類監督做出或實質性地為決策提供依據,涵蓋一個譜系,從一個僅僅為人類呈現資訊的系統,到一個完全沒有人類參與、自行決定並採取行動的系統(見自動化決策)。一個系統在這個譜系上所處的位置——決策支援、決策增強,還是完全自動化——決定了適用哪些問責與正當程式義務,這正是為什麼監管者越來越多地按系統在這個譜系上的位置、而非按底層技術來分類系統。

"人在迴路"描述的是一種安排,一個人在一項演算法輸出生效之前對其進行審查或批准,這與"人在迴路之上"(一個人監測並能夠介入)或完全自動化處理、根本沒有任何審查,是不同的(見人在迴路)。一項真正的人在迴路控制,要求審查者擁有實際不同意這套系統的時間、資訊與地位;一位近乎批准每一項演算法建議的審查者——因為不同意比同意需要花費更多時間或帶來更多個人風險——並沒有真正行使監督,即便流程圖上顯示著一個人的步驟。這種模式,常被稱為自動化偏見,是本主題主題中最常見、也最不易被察覺的失敗之一。

演算法偏見是一個計算機化系統產出不公平結果的系統性的、可重複的傾向——例如,以系統設計者既未打算、也常常沒有注意到的方式,偏袒某一個群體、而非另一個群體(見演算法偏見)。在公共行政中,主要來源是訓練資料偏見:一個在歷史執法、放貸或個案記錄上訓練出來的模型,會學到這些記錄中的模式,包括任何嵌入在過去誰被調查、誰被批准,或誰被標記之中的歷史性過度執法、服務不足,或歧視性做法。即便一項敏感特徵——種族、殘障、移民身份——被明確從資料中排除,一個模型也可能複製這個結果,因為一個相關聯的代理變數(郵編、姓氏、班次模式、福利歷史)以另一個名字攜帶著同樣的訊號;不經檢驗其代理變數便移除這個具名變數,是一個公共機構相信自己修正了一個偏見問題、實際上卻根本沒有修正它的常見方式。

機器學習中的公平性指的是用於衡量並糾正自動化決策中演算法偏見的一整套技術與程式方法(見公平性(機器學習))。這個領域的一個真正棘手的特徵,而非一個可以解決的技術性細節是,幾種直覺上合理的公平定義——各群體之間批准率相等、各群體之間錯誤率相等,以及每個群體內部校準的準確性相等——只要底層各群體在資料中的基礎比率不同,在數學上就是不相容的。一個公共機構無法同時滿足每一種定義;它只能明確地、帶著自己願意為之辯護的理由來選擇,當前這項決策應該針對哪一種定義進行最佳化,而這是一項披著技術外衣的政策判斷。

可解釋性與黑箱問題。 當一個模型的內部運作無法僅從其輸入與輸出中被檢查或理解時,它就是一個黑箱——這對許多表現優異的機器學習模型來說是真實的,它們的準確性,往往恰恰來自那種讓它們難以解讀的複雜性。可解釋人工智慧,即XAI,是讓一個模型的推理變得可被檢查的一系列方法所構成的領域,範圍從為具有重大後果的決策選擇本質上可解釋的模型型別,到產出近似於、而非真正揭示一個複雜模型實際做了什麼的事後解釋。這一區分在法律上與在技術上同樣重要:一份聽起來合理、卻並不反映模型實際推理的近似解釋,可以滿足一份透明度核對清單,卻辜負了那位依賴它來對針對自己的決策的真實依據提出質疑的公民。

解釋權是一項有爭議的法律原則,即受到一項重大自動化決策影響的人,有權獲得對其中所涉邏輯的一份有意義的解釋,這與歐盟的《通用資料保護條例》關聯最為緊密,該條例限制了僅依據自動化處理、產出法律或類似重大影響的決策,並賦予當事人獲得人工干預與對該決策提出異議的權利(見解釋權與通用資料保護條例)。法律學者對這項權利在實踐中究竟有多強存在爭議,而歐盟之外的轄區大多缺乏一項同等的法定權利,這正是為什麼一個公共機構不應該把"我們遵守了相關的資料保護法",等同於"我們能向受影響的人解釋這項決策"——這兩項主張是相關的,卻並不相同,而只有第二項,才是正當程式真正所要求的。

正當程式與自然正義。 在行政法中,正當程式——這項原則在美國憲法中發展得最為完整,但在許多法律體系中都以可比的形式得到呼應,主張國家在剝奪一個人的權利或權利之前必須遵循公平的程式——以及自然正義——英聯邦行政法傳統,要求一次公平的聽證,並要求決策者免於偏見——都建立在一個電腦出現之前就已寫就的假設之上:一項決策擁有一位可以識別的決策者,他能夠給出理由、能夠被證明不帶有失格性的偏見,並能夠被要求重新考慮。一個演算法同時使這三項假設都變得緊張——理由可能在技術上不可得,所討論的"偏見"是統計性的、而非個人性的,而同一個模型的重新考慮會產出同樣的答案——這正是為什麼演算法決策的正當程式,必須被明確地工程化出來,而不能從為人類決策者建立的程式中繼承而來。

基於風險的人工智慧監管。 一種正在興起的監管模式——在歐盟的《人工智慧法案》中發展得最為完整——沒有統一地監管所有人工智慧,而是按應用的利害關係對義務分級,直接禁止一小部分用途,對"高風險"用途(明確包括公共部門資格認定、執法風險評估與移民決策)施加最重的合規義務,要求對較低風險的用途進行透明度披露,並讓最低風險的用途基本不受監管(見《人工智慧法案》)。無論一個具體轄區的監管模式如何,其底層理念——治理義務應隨決策的利害關係而分級、而非隨技術的複雜程度而分級——即便沒有直接的法律義務去遵循歐盟的具體制度,也是一項有用的設計原則。

最佳實踐

1. 在選定模型之前、而非之後,依據決策的利害關係對每一套系統加以分類。 一套把一個案例標記出來供人工審查的系統,與一套直接拒絕一項福利的系統,承擔著不同的義務;在構建之前、而非在部署暴露出這個缺口之後,使用諸如歐盟《人工智慧法案》風險類別之類的框架作為參考點,決定一個用例屬於哪個層級。
2. 用平實的語言告訴人們,一項演算法參與了一項關於他們的決策。 一份埋在條款與條件中的籠統隱私宣告不滿足這一點;這份通知應該說明這套系統做什麼、使用什麼資料,以及如果這個人不同意它的輸出會發生什麼。
3. 建立一套審查者真正能夠行使的人在迴路控制,並衡量他們是否真的這樣做。 追蹤推翻率、每個案例平均花費的時間,以及不同意模型的審查者是否面臨著同意時不會面臨的任何阻力——如果推翻率接近於零,這次審查很可能只是裝飾性的。
4. 使用真實結果、而非開發者的意圖來檢驗差異性影響。 在部署之前、以及此後按固定週期,按受保護與敏感特徵——包括透過諸如郵編或福利歷史等可能的代理變數——分解衡量這套模型的結果,因為一個從未直接使用受保護變數的模型,依然可能產出一個明顯不平等的結果。
5. 給予每一位受影響的人一條通向一位擁有權力推翻演算法決策、而不僅僅是解釋它的人的途徑。 一條只是重申模型推理、卻沒有真正被推翻可能性的申訴渠道,滿足瞭解釋權的字面要求,卻挫敗了它的目的。
6. 在具有法律後果的決策上,優先選擇一個可解釋的模型,而非一個略微更精確的黑箱模型。 當一個可解釋模型與一個複雜模型之間的準確性差距很小時,對公民、申訴官員與審計人員而言,可解釋性的收益,通常遠超過這份邊際準確性對這個組織的價值。
7. 在一份常設記錄中,記錄每一套系統的目的、訓練資料、已知侷限與預期用途,並在這些發生變化時加以更新。 一個為一個目的部署、卻被悄悄挪作他用的模型——例如,把欺詐篩查擴充套件到一般資格分診——通常已經把它最初的驗證與偏見檢測拋在了腦後。
8. 把一個高風險模型的訓練與運營資料,保留在一條受治理的、目的受限的管道之內。 把為一個行政目的收集的資料集,重新用於為一個不相關的目的訓練一個模型,與其說是一個建模失敗,不如說是一個資料治理失敗(見主題5.4——公共部門資料、互操作性與開放資料)。
9. 把演算法審計置於一個不向構建或運營這套系統的團隊彙報的職能之下。 一次由系統自己的開發者進行的審計,與一次由一位擁有權力釋出不利發現的、真正獨立的審查者進行的審計,發現的問題不同、也更少(見主題3.4——問責制、透明度與合法性)。
10. 在把一套系統切換為真實決策之前,先執行一段影子期。 在它開始行動之前的一段明確規定的時期內,把這個模型的建議與同樣案例上的實際人類決策相比較,使任何系統性的分歧在一位公民受到影響之前就浮現出來。
11. 只為利害關係最小、最具可逆性的決策保留完全自動化、根本沒有任何人工審查。 一項決策越嚴重、越不可逆——終止一項福利、一次觸發刑事調查的欺詐轉介、一次拒絕入境——保留一位真正在迴路中的人的理由就越充分,無論這個模型被衡量出來的準確性如何。
12. 按固定的日程重新訓練、重新驗證並重新檢測偏見,而不僅僅在一個問題被報告之後才這樣做。 隨著這套模型據以訓練的人口與世界發生變化,它的準確性與公平性特徵可能會悄悄漂移,一個只在一次投訴之後才展開調查的公共機構,已經任由這種漂移持續了不管這次投訴花了多久才浮出水面的那麼長時間。

與團隊討論的問題

在我們的組織裡,一項演算法目前在哪些地方做出、或大量地為一項影響一個人權利、權益或自由的決策提供依據,受影響的每一個人是否真的能夠發現這件事? 許多組織在真正盤點自己的系統時才發現,演算法評分或分診已經滲透進比任何單一團隊所意識到的更多決策節點之中,常常最初是作為一件低風險的效率工具被引入的。用這個問題誠實地建立起這份清單,包括從供應商採購、而非內部構建的系統,因為採購可能會掩蓋一件被購買的工具實際上在決定多少事情。討論一下,你目前的通知實踐,是否能讓一位受影響的公民無需專業知識就能發現,一個模型參與了他們的案件。

如果一位公民明天正式質疑我們的一項自動化決策,我們能給他們一個真實的、具體的理由,還是隻能給他們一份對流程的描述? 一份流程描述——"這套系統考慮了你的收入、家庭規模與付款歷史"——與解釋為什麼這些輸入對這個具體的人產出了這個具體的結果,是不同的。用這個問題挑選一套正在執行的系統,作為一個團隊嘗試寫出一位真實公民在申訴時會收到的那份解釋。如果這項練習很困難,這份困難本身就是一項發現。

我們是否知道自己的訓練資料是否複製了一種歷史性的偏見模式,我們是否用真實結果、而非我們的意圖檢驗過這一點? 把一項受保護的特徵從一個資料集中排除,與排除它的影響並不相同,因為相關聯的代理變數能夠以一個不同的名字攜帶同樣的訊號。用這個問題識別出,你的哪些系統曾經用真實的、部署後的結果、按相關特徵分解來檢測過差異性影響,而非僅僅檢測輸入資料中是否存在一項受保護變數。討論一下,如果尚未做過,要在你利害關係最高的系統上執行這項基於結果的檢驗需要什麼。

我們的人在迴路審查,是一項真正的核查,還是一枚我們沒有仔細衡量、因而沒有注意到的橡皮圖章? 一位處於時間壓力之下、缺乏完整背景資訊,或面對著比同意更多阻力去不同意的人類審查者,傾向於批准演算法的建議,而無論其質量如何。用這個問題找出你至少一套系統真實的推翻率,討論一下這個數字告訴你,這次審查究竟是作為一項控制在發揮作用、還是作為一項合規形式。

當有人想對我們的演算法所做出、或大量參與的一項決策提出申訴時,程式上實際會發生什麼——一位擁有真正權力推翻它的人,是否真的會看到這份申訴? 許多申訴流程,只是把一位公民引導回一份對模型邏輯的描述,卻從未真正抵達一位能夠就是非曲直推翻這個結果的人。用這個問題為一個真實或現實的案例,從頭到尾追溯一次申訴,識別出——如果有的話——一位擁有真正權力改變答案的人參與其中的確切節點。

如果我們的某一個模型在部署之後出現退化或漂移,誰承擔這項風險,我們實際上會如何在一位公民或一位記者告訴我們之前就知道這一點? 一個模型的公平性與準確性特徵在上線時並非一成不變;它們可能隨著人口、經濟,或相關政策的變化而改變,常常對構建這套系統的團隊來說是不可見的。用這個問題識別出誰對部署後的監測負責、按什麼節奏,以及具體什麼會觸發一次重新訓練或一次暫停。如果誠實的答案是"沒有人具體在關注這件事",就把這當作這場討論所能產出的最緊迫的發現來對待。

實踐中的公共價值案例

一個虛構的國家社會保險機構,建立了一個風險評分模型,用來確定它的欺詐調查團隊應該優先審查哪些失業救濟申請,此前多年的積壓案件,意味著真正的欺詐幾個月都得不到調查,而誠實的申請人卻在等待一些不相關的處理延誤。這個模型在五年的已結案調查檔案上訓練,學習哪些申請特徵,在歷史上曾經先於一項被確認的欺詐發現,它在測試中表現良好:它評為高風險的申請,被確認為欺詐的比率,遠高於一份隨機樣本,而該機構的領導層,眼看著積壓案件多年來第一次下降,把這次推出當作一次毫不含糊的成功來對待。

十八個月之後,一個內部的、相當於監察專員的辦公室注意到了一件該欺詐團隊自己的績效儀表盤從未揭示出來的事情:居住在少數幾個郵政轄區、這些轄區不成比例地是低收入居民與新近移民聚集地的申請人,被標記接受調查的比率,幾乎是其他地方相似申請人的三倍,而他們被標記的申請中,以完全沒有發現欺詐告終的比例也高得多。這個模式可以追溯到訓練資料:歷史調查檔案反映的是若干年,當時的現場調查員依據自己非正式的啟發法,恰恰把人工抽查集中在了這些轄區,於是這個模型學會了把"住在那裡"當作對欺詐的一種預測,而實際上,它所預測的只是過去被檢查得更頻繁而已。郵政轄區從來不是這個模型的一項輸入;它不需要是,因為家庭構成、僱主行業與付款方式欄位,與它足夠密切地相關,足以透過代理攜帶同樣的訊號。

該機構的調查證實了這一模式是真實的,也證實了第二個、更不易察覺的問題:本應在一個案件進入完整調查之前先加以批准的人類審查者,在絕大多數案例中都批准了這個模型評分最高的建議,每個案例的平均審查時間不到兩分鐘——遠不足以對一個統計評分進行有意義的重新判斷,這意味著領導層曾指出作為一項保障措施的人在迴路控制,實際上從未真正捕捉到它存在的意義所要捕捉的那種差異。該機構的應對措施同時結合了本主題的好幾項最佳實踐:它對模型進行了重新訓練,修正了歷史性的過度執法模式,延長了審查時間,並賦予審查者在自己的判斷與評分不一致時、無需升級就能結案的權力,併為任何一位申請被標記的人建立了一份平實語言的通知,以及一條通向一位具名個案官員的真正申訴途徑。每審查小時的調查產出略有下降,但在此前被過度標記的轄區,被標記申請中被確認欺詐的比率,上升到了與其餘申請案件相匹配的水平,該機構自己的審計把這一點當作真正的成功衡量標準——不是被標記申請的數量,而是標記是否追蹤了真正的欺詐、而非這個模型學會複製的一種歷史模式。

四種部門視角

地方政府

地方政府越來越多地為對居民具有最直接、最個人化利害關係的決策——住房分配優先順序、兒童福利風險評分,以及市政稅或福利欺詐分診——部署演算法工具,常常同時缺乏自己構建、驗證或審計這些系統的內部資料科學能力,讓許多地方政府依賴供應商提供的模型,而其訓練資料與驗證,這個政府機構無法完全檢查。這產生了一項特定的採購紀律:一個委託一套演算法系統的地方政府,應該作為一項合同條件,要求獲得它對一套內部構建的系統會要求的同樣的可解釋性、偏見檢測與審計准入權,因為一位居民的正當程式權利,不會因為這個政府機構購買了這套系統、而非自行構建它而減弱。地方政府與居民的近距離也意味著,一次演算法失誤,更有可能在變成一項正式投訴之前就在社群中被個人所知曉,這為輕量化、早期的地方審查提供了理由。

國家政府

國家機構運營著本主題範圍內規模最大的系統——稅務欺詐偵測、移民風險評估、國家福利資格認定——在這裡,即便一個很小的錯誤率,也會轉化為一個非常龐大的受影響人數絕對值,而這個機構通常也擁有建立真正保障措施的最深厚的技術與法律能力。國家政府通常也是基於風險的人工智慧監管(在存在的地方)被制定與執行的層級,這給了國家機構最明確的正式義務,也在一次審計或一場法院裁決發現一套自動化系統在規模上產出了歧視性或無法審查的結果時,讓它承擔最大的風險暴露。正當程式的利害關係在這裡以另一種意義也是最高的:一項移民或執法風險評分,能夠影響自由、而不僅僅是權益,這為最保守的自動化姿態提供了理由——最少的完全自動化、最真實的人工審查——恰恰是在因為案件量之大、自動化的技術論證常常最強有力的地方。

社會部門與非營利組織

非營利組織與非政府組織(NGO)越來越多地使用演算法工具來分診援助分配、篩查受益人的資格,或在恰恰是本主題所涵蓋的領域中排定個案優先順序,常常處於真實的資源約束之下,這使得自動化的效率論證真正具有說服力。然而,這裡的問責結構與政府大相徑庭:一個非營利組織的受益人,很少擁有一位公民對抗一個國家機構所擁有的那種法定申訴權,而這個組織的主要問責關係,常常通向它的資助方、而非演算法所決定的物件,這恰恰是主題3.8——社會部門與非營利組織管理——為整個部門所描述的那種問責缺口。因此,一個採用演算法分診的非營利組織,應該把本主題所描述的解釋與申訴權,當作一項自願標準來構建,不是因為一位監管者要求它,而是因為這個組織所服務的人沒有其他獲得它的途徑。

多邊與國際

多邊機構與國際人道主義機構,跨越國界與法律體系應用演算法定位與風險評分工具,常常是在自動化的速度收益最為迫切、可獲得的資料最不可靠的危機情境中——不完整的登記資料、為一場危機收集、卻被重新用於另一場危機的資料,以及對爭議一項決定他們是否獲得援助的評分決策能力有限的人群。沒有任何單一一部國家正當程式法或解釋權制度,能夠統一地適用於一個多邊機構的所有運營,因此本主題所描述的保障措施,必須被內建到這個組織自己的運營標準之中,而非從一套可強制執行的外部法律框架中繼承而來,這呼應了主題3.4為多邊機構普遍識別出的那種代表性與問責缺口(見主題3.4——問責制、透明度與合法性)。這裡的利害關係也是嚴峻的,因為一項演算法決策能夠決定獲得食物、庇護,或庇護申請處理的機會,而這些人當中,幾乎沒有任何一個群體擁有對一個錯誤結果提出申訴的實際能力。

常見失敗模式

代理性歧視。 一個模型直接排除了一項受保護的特徵,卻從一個相關聯的變數——郵編、姓氏、就業行業、福利歷史——學到了一個等價的訊號,複製了這項排除本應防止的同一種歧視性模式。這項代價是一種虛假的安全感:這個組織可以真實地說,這項受保護變數從未被使用過,而結果依然與它曾被使用時一樣不平等。

人工審查中的自動化偏見。 一位正式被要求核查一項演算法建議的人類審查者,在絕大多數案例中都批准了它,因為不同意比同意需要花費更多時間、更多辯護理由,或更多個人風險。這項代價是,這個組織相信正在捕捉錯誤的一項控制措施,在實踐中卻是在為它們蓋橡皮圖章,而這通常只有在有人直接衡量推翻率、而非信任這個流程存在這件事本身之後才會變得可見。

可解釋性表演。 一個組織為一項自動化決策提供了一份聽起來具體、令人滿意的解釋,但它是由一種近似於、而非揭示模型實際推理的方法在事後生成的。這項代價在這份解釋接受真正的審視——一次申訴、一次審計、一次法律質疑——時浮現,結果發現它並不對應於這套系統實際產出那個具體結果的原因。

透過反饋迴圈複製的歷史偏見。 一個在過去決策的結果上訓練的模型——哪些街區曾被調查、哪些申請曾被批准——學習並延續了塑造了那些過去決策的、任何過度審查或服務不足的模式,而它產出的每一輪新決策,都變成了下一個版本的訓練資料,加深了這個模式、而非糾正它。這已經在國際範圍內的多個公共部門領域中被記錄下來,包括基於風險的警務與福利欺詐篩查,而這種底層機制在這些有據可查的案例中足夠一致,可以被當作任何在歷史執法或個案資料上訓練的系統的一般性風險來對待,無論轄區如何。

問責缺口,或"多手"問題。 當一項決策經過一個供應商的模型、一個機構的資料、一個政策團隊的門檻設定,以及一位個案工作者的名義籤核時,對一個錯誤結果的責任,可能真正變得連組織自身都無法說清楚,每一方都能夠指向另一方作為錯誤的來源。這項代價不僅僅是受影響的公民無法得到一個明確的答案,還有這個組織無法可靠地修復真正的原因,因為對整體這項決策,並不存在一位單一負責任的負責人(見主題3.4——問責制、透明度與合法性)。

成熟度模型

檢查清單

• 建立一份完整的清單,列出每一套做出或實質性地為一項影響一個人權利或權益的決策提供依據的系統,包括供應商提供的工具。
• 依據一套明確設定的風險層級,按其所影響決策的利害關係,對這份清單中的每一套系統加以分類。
• 確認每一位受影響的人,都收到一份平實語言的通知,說明一項演算法參與了他們的案件。
• 起草一位真實公民在申訴時會收到的具體的、個案層面的解釋,並檢驗它是否真的能讓他們滿意。
• 使用真實的、部署後的結果,按相關特徵分解,檢測每一套高風險系統的差異性影響,而不僅僅是核查排除在外的輸入變數。
• 衡量每一項人在迴路控制的推翻率與平均審查時間,並把一個接近於零的推翻率當作一項發現。
• 確認一位擁有真正權力推翻這項決策的具名人員,審查每一次申訴。
• 把演算法審計置於一個獨立於構建或運營這套系統的團隊的職能之下。
• 確認每一套系統的訓練與運營資料,保留在一條受治理的、目的受限的管道之內。
• 為每一套已部署的模型設定一個固定的重新訓練與重新驗證日程,而不是等待一次投訴來觸發審查。
• 識別出你的哪些系統目前對最嚴重、最不可逆的決策沒有完全自動化保障措施,並首先加以糾正。
• 與你的團隊一起執行上述六個討論問題,並記錄誠實的答案與官方答案不同之處。

關鍵資料來源

• 經合組織人工智慧原則(2019年,2024年更新)——第一份關於值得信賴的人工智慧的政府間標準,涵蓋包容性增長、人權、透明度、穩健性與問責制。
• 歐盟《人工智慧法案》(法規(EU)2024/1689)——第一份全面的、按風險分級的人工智慧法律框架,明確處理公共部門資格認定、執法與移民用途。
• 美國政府問責局,《人工智慧:面向聯邦機構與其他實體的問責框架》(GAO-21-519SP,2021年)——公共部門人工智慧問責的治理、資料、績效與監測框架。
• 丹尼爾·基茨·西特隆關於"技術性正當程式"的學術研究,主張自動化系統需要專門為演算法、而非人類決策構建的程式保障。
• 凱茜·奧尼爾、弗吉尼亞·尤班克斯與弗蘭克·帕斯誇萊面向公眾的學術研究,關於演算法偏見、自動化福利行政與不透明評分系統,貫穿本主題對訓練資料偏見與黑箱問題的討論。

參考文獻

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp