トピック5.2 — 行政におけるAIとアルゴリズム的意思決定

公共価値にとってなぜ重要か

公共機関は常に注意を配給してきた。ケースワーカーはすべての申請者に個人的に面接することはできず、税関職員はすべてのコンテナを検査することはできず、不正行為対策チームはすべての申請を見直すことはできない。人工知能(AI)――通常は人間の判断を必要とする仕事を実行するシステムを構築する広範な分野――と、より狭いアルゴリズムによる自動化された意思決定(ADM)の実践は、その注意を、より一貫して、はるかに大きな規模で配給することを約束し、人間のチームが決して完全には見直せない事案を採点し、フラグを立て、あるいは直接決定する。トピック5.1は、この能力が位置するデジタルサービス提供のパターンを扱った(トピック5.1「デジタル政府とデジタル変革」を参照)。このトピックは、名指しされた公職者ではなくモデルが決定の一部あるいはすべてを行うようになったとき何が起きるかを扱う。

その約束は現実である。よく構築されたモデルは、ケースワーカーには見えない不正のパターンを捕捉し、百万件の申請にわたって完璧な一貫性で資格要件を適用し、真に判断を必要とする事案のために希少な専門知識の時間を解放できる。そのリスクも同じくらい現実であり、そのシステムを構築した組織の内部からは見えにくい。過去のデータで訓練されたモデルは、公共機関がまさに是正するために存在するその差別を再生産し増幅しうる。複雑なモデルは、市民もそれに依拠する公職者も、なぜそれがそう決定したのかを言えないほど不透明でありうる。そして、アルゴリズムが大きく情報を与える決定は、手続き上、なお、市民に理由を与える、あるいはその主張を聞く者を誰も残さないことがありうる。これはいずれも仮説ではない。複数の法域にわたる規制当局、裁判所、そしてオンブズマン相当の機関は、すでに、近隣、移民歴、あるいは家族構成によって不釣り合いに人々にフラグを立てていた公共部門のリスクスコアリングと不正検知システムを発見している。いずれの場合も、そのモデルを正確にしたパターンが、たまたま保護される、あるいは機微な特性も追跡していたからである。

したがって公共価値にとっての利害は、一度均衡させるべき効率性対公平性のトレードオフではなく、継続的に維持されるべき設計上の規律である。人間の公職者によって給付を拒否された市民は、その公職者になぜかを問うことができ、その答えを変える立場と権限を持つ別の人間に異議を申し立てることができる――これはトピック3.4が記述する説明責任の仕組みである(トピック3.4「説明責任、透明性、正当性」を参照)。モデルによって給付を拒否された市民は、説明への同じ権利と、それを覆せる人間への同じ経路を必要とする。さもなければ、公共機関は、一度も正式に撤回していない適正手続きの保証を静かに輸出してしまっている。これを正しく行うことこそが、公共機関が、一貫性と規模におけるアルゴリズム的意思決定の真の利得を、「アルゴリズムが決定した」という言葉を、説明責任を始めるのではなく終わらせる言葉に変えることなく捉えられるようにするものである。

中核概念

自動化された意思決定(ADM)とは、様々な水準の人間の監督のもと、データ、ソフトウェア、アルゴリズムを用いて決定を下す、あるいはそれに実質的に情報を与えることであり、人間のために情報を表示するだけのシステムから、人間がまったく関与せずに決定し行動するシステムまでの連続体にまたがる(自動化された意思決定を参照)。あるシステムがその連続体のどこに位置するか――意思決定支援、意思決定の拡張、あるいは完全自動化――が、どの説明責任と適正手続きの義務が適用されるかを決める。これが、規制当局が根底にある技術ではなくその位置によってシステムを分類することがますます増えている理由である。

ヒューマン・イン・ザ・ループとは、アルゴリズムの出力が効力を持つ前に人間がそれを見直すか承認する取り決めを記述し、ヒューマン・オン・ザ・ループ(人間が監視し介入できる)や、まったく見直しなしの完全に自動化された処理とは区別される(ヒューマン・イン・ザ・ループを参照)。真のヒューマン・イン・ザ・ループの統制は、見直す者がシステムに実際に異議を唱えるだけの時間、情報、立場を持つことを要求する。異議を唱えることが同意することよりも時間がかかる、あるいはより多くの個人的リスクを伴うために、ほぼすべてのアルゴリズムの推奨を承認する見直し担当者は、プロセスの図が人間の段階を示していても、監督を行使していない。このパターンはしばしば自動化バイアスと呼ばれ、このトピックの主題の中で最も一般的で最も見えにくい失敗の一つである。

アルゴリズムバイアスとは、コンピュータ化されたシステムが不公正な結果を生み出す体系的で再現可能な傾向である――たとえば、システムの設計者が意図しておらず、しばしば気づいてもいない方法で、ある集団を別の集団より優遇することである(アルゴリズムバイアスを参照)。行政において支配的な源泉は訓練データのバイアスである。過去の執行、貸付、あるいは事案処理の記録で訓練されたモデルは、それらの記録の中のパターンを学習する。過去に誰が調査され、承認され、あるいはフラグを立てられたかに組み込まれた、過去の過剰な取り締まり、サービス不足、あるいは差別的な慣行を含めてである。モデルは、人種、障害、移民の地位といった機微な特性がデータから明示的に除外されていても、この結果を再生産しうる。なぜなら、相関する代理変数(郵便番号、姓、シフトのパターン、給付の履歴)が、別の名前で同じシグナルを運ぶからである。その代理変数を検証することなく名指しされた変数を削除することは、公共機関が、実際にはまったく修正していないバイアスの問題を修正したと信じてしまう、よくある方法である。

機械学習における公平性とは、自動化された意思決定におけるアルゴリズムバイアスを測定し是正するための、技術的・手続き的アプローチの系統を指す(公平性(機械学習)を参照)。この分野の真に困難な特徴は、解決可能な技術的な脚注ではなく、集団間での承認率の均等、集団間での誤り率の均等、そして各集団内での均等に較正された精度といった、直感的に合理的に見える公平性のいくつかの定義が、根底にある集団がデータの中で異なる基準率を持つときには常に数学的に両立しないということである。公共機関はすべての定義を同時に満たすことはできない。それができるのは、手元の決定がどの定義を最適化すべきかを、明示的に、そして弁護する意志のある理由とともに選ぶことだけであり、これは技術的な判断を装った政策判断である。

説明可能性とブラックボックスの問題。 あるモデルは、その内部の働きが、その入力と出力だけからは検査も理解もできないとき、ブラックボックスである――これは、その正確さがしばしばまさにそれを解釈しにくくしている複雑さから来る、多くの高性能な機械学習モデルに当てはまる。説明可能な人工知能、あるいはXAIは、重大な決定のために本質的に解釈可能なモデルの種類を選ぶことから、複雑なモデルが実際に何を行ったかを明らかにするのではなく近似する事後の説明を生成することまで、モデルの推論を検査可能にするための手法の分野である。この区別は技術的であると同時に法的にも重要である。もっともらしく聞こえるがモデルの実際の推論を反映していない近似的な説明は、透明性のチェックリストを満たしながら、自分に対する決定の本当の根拠に異議を唱えるためにそれに依拠する市民を裏切りうる。

説明を受ける権利とは、重大な自動化された決定の対象となる人物が、関与するロジックについての意味のある説明を受ける権利を持つという、争いのある法的原則であり、最も密接に関連するのは欧州連合の一般データ保護規則である。これは、法的あるいは同様に重大な効果を生み出す、完全に自動化された処理だけに基づく決定を制限し、対象者に人間の介入を得る権利とその決定に異議を唱える権利を与える(説明を受ける権利および一般データ保護規則を参照)。法学者は、この権利が実務上実際にどれだけ強いかについて議論しており、欧州連合の外の法域は概して同等の法定の権利を欠いている。これが、公共機関が「私たちは関連するデータ保護法を遵守している」を「私たちはこの決定をそれが影響する人物に説明できる」と同等のものとして扱うべきではない理由である。この二つの主張は関連しているが同じではなく、適正手続きが実際に要求するのは後者だけである。

適正手続きと自然的正義。 行政法において、米国憲法において最も発展させられたが、多くの法制度において比較可能な形で反響する、国家がある人物からの権利や資格を奪う前に公正な手続きに従わなければならないという原則である適正手続きと、決定者における公正な審問と偏見からの自由を要求する、コモンウェルスの行政法の伝統である自然的正義は、どちらもコンピュータが存在する前に書かれた前提に依拠している。すなわち、ある決定には特定可能な決定者がおり、その者が理由を示すことができ、資格を失わせるバイアスがないことを示すことができ、再考を求められることができるという前提である。アルゴリズムはこの三つの前提すべてを同時に緊張させる――理由が技術的に利用できないことがあり、問題になっている「バイアス」は個人的なものではなく統計的なものであり、同じモデルによる再考は同じ答えを生み出す――これが、アルゴリズム的決定のための適正手続きが、人間の決定者のために構築された手続きから継承されるのではなく、明示的に工学的に設計されなければならない理由である。

AIのリスクベース規制。 すべてのAIを一律に規制するのではなく、新興の規制パターン――欧州連合のAI法において最も完全に発展させられている――は、その応用の利害によって義務を階層化し、狭い一連の用途を完全に禁止し、「高リスク」の用途(公共部門の資格判定、法執行のリスク評価、移民決定を明示的に含む)に最も重いコンプライアンス義務を課し、より低リスクの用途に透明性の開示を要求し、最小リスクの用途はほぼ規制しないままにする(AI法を参照)。ある法域における規制パターンが何であれ、根底にある考え方――ガバナンス義務は技術の洗練度ではなく決定の利害に応じて規模拡大すべきであるという考え――は、EUの特定の制度に従う直接の法的義務がなくても、有用な設計原則である。

ベストプラクティス

モデルを選ぶ前に、すべてのシステムを決定の利害によって分類せよ、後ではなく。 ある事案を人間の見直しのためにフラグ立てするシステムは、給付を完全に拒否するシステムとは異なる義務を負う。展開後に発見されたギャップにではなく、構築前に、EU AI法のリスクカテゴリーのような枠組みを参照点として用いて、あるユース・ケースがどの階層に位置するかを決めよ。
アルゴリズムが自分についての決定に関与するとき、人々に平易な言葉でそれを伝えよ。 利用規約に埋もれた一般的なプライバシー通知はこれを満たさない。その通知は、システムが何をするか、どのデータを用いるか、そしてその人がその出力に同意しない場合に何が起きるかを述べるべきである。
見直し担当者が実際に行使できるヒューマン・イン・ザ・ループの統制を構築し、彼らがそうしているかを測定せよ。 上書きの率、事案あたりの平均見直し時間、そしてモデルに異議を唱える見直し担当者が同意することにはない摩擦に直面するかを追跡せよ。上書き率がほぼゼロであれば、その見直しは装飾である可能性が非常に高い。
開発者の意図ではなく、実際の成果を用いて不均衡な影響を検証せよ。 展開前、そしてその後は定められた繰り返しの頻度で、郵便番号や給付の履歴といったもっともらしい代理変数を通じたものを含め、保護される、あるいは機微な特性によって分解されたモデルの成果を測定せよ。保護される変数を一度も直接用いないモデルでも、著しく不平等な結果を生み出しうる。
影響を受けるすべての人物に、アルゴリズムの決定を単に説明するのではなく覆す権限を持つ人間への経路を与えよ。 真の覆る可能性なしにモデルの推論を繰り返すだけの異議申し立てのチャンネルは、説明を受ける権利の文言を満たしながらその目的を損なう。
法的に重大な決定については、わずかにより正確なブラックボックスモデルよりも解釈可能なモデルを優先せよ。 解釈可能なモデルと複雑なモデルの間の精度のギャップが小さい場合、解釈可能性の利得は通常、精度のわずかな増加が組織にとって持つ価値よりも、市民、異議申し立て担当者、監査人にとってはるかに価値がある。
各システムの目的、訓練データ、既知の限界、意図された用途を常設の記録に文書化し、それらのいずれかが変わったときに更新せよ。 ある目的のために展開され、静かに別の目的に転用されたモデル――たとえば不正行為のスクリーニングが一般的な資格トリアージに拡張されるなど――は、通常、その元の検証とバイアス検査を置き去りにしている。
利害の高いモデルの訓練データと運用データを、統治され目的が限定されたパイプラインの内部に保て。 ある行政目的のために収集されたデータセットを無関係な目的のためのモデル訓練に再利用することは、モデリングの失敗と同じくらいデータガバナンスの失敗である(トピック5.4「公共部門のデータ、相互運用性、オープンデータ」を参照)。
アルゴリズム監査を、システムを構築または運用するチームに報告しない機能の下に置け。 システム自身の開発者によって実施される監査は、不利な発見を公表する立場を持つ真に独立した見直し担当者によって実施される監査とは異なる問題を、より少なく見つける(トピック3.4「説明責任、透明性、正当性」を参照)。
実際の決定にシステムを切り替える前にシャドー期間を実施せよ。 それが行動を始める前の定められた期間、同じ事案についてモデルの推奨を実際の人間の決定と比較し、いかなる体系的な乖離も市民がそれに影響される前に表面化するようにせよ。
まったく人間の見直しのない完全な自動化は、最も帰結が軽く最も可逆的な決定のためだけに取っておけ。 ある決定がより深刻で可逆性が低いほど――給付の終了、刑事捜査を発動させる不正行為の照会、入国の拒否――モデルの測定された正確さがどうであれ、人間を真にループの中に保つ論拠は強くなる。
問題が報告されたときだけでなく、定められたスケジュールで再訓練、再検証、バイアスの再検証を行え。 モデルの正確さと公平性の特性は、それが訓練された人口や世界が変化するにつれて静かに漂流しうる。苦情の後にのみ調査する公共機関は、苦情が表面化するまでにかかった時間だけその漂流を進行させてしまっている。

チームで話し合うべき問い

私たちの組織のどこで、アルゴリズムが現在、ある人物の権利、資格、あるいは自由に影響を与える決定を行っている、あるいは大きく情報を与えており、影響を受けるすべての人物が実際にそれが起きたことを発見できるだろうか? 多くの組織は、実際に自分たちのシステムを棚卸しするとき、アルゴリズムによる採点やトリアージが、しばしば当初は低利害の効率性の道具として導入され、いかなる単一のチームが気づいていたよりも多くの決定のポイントに忍び込んでいることを発見する。この問いを使って、自社で構築されたのではなくベンダーから調達されたシステムを含め、その棚卸しを正直に構築せよ。なぜなら、調達は、購入された道具が実際にどれだけ決定しているかを覆い隠すことがあるからである。あなたの現行の通知の実践が、影響を受ける市民に、専門知識なしに、あるモデルが自分の事案に関与していたことを発見させるかを議論せよ。

もし明日市民が私たちの自動化された決定の一つに正式に異議を唱えたら、私たちは彼らに真の具体的な理由を与えられるか、それともプロセスの説明だけか? 「システムはあなたの所得、世帯規模、支払い履歴を考慮した」というプロセスの説明は、なぜそれらの入力がこの特定の人物にとってこの特定の結果を生み出したのかについての説明とは同じではない。この問いを使って、一つの稼働中のシステムを選び、もし実際の市民が異議を申し立てたら受け取るであろう説明をチームとして書こうとせよ。その演習が困難であれば、その困難さそれ自体が発見である。

私たちの訓練データが過去のバイアスのパターンを再生産しているかどうかを私たちは知っているか、そしてそれを自分たちの意図ではなく実際の成果に照らして検証したことがあるか? あるデータセットから保護される特性を除外することは、その影響を除外することとは同じではない。なぜなら、相関する代理変数が、異なる名前のもとで同じシグナルを運びうるからである。この問いを使って、あなたのシステムのうちどれが、入力データの中の保護される変数の存在についてだけでなく、関連する特性によって分解された実際の展開後の成果を用いた、不均衡な影響の検証を受けてきたかを特定せよ。もしすでに行われていないなら、あなたの最も利害の高いシステムでその成果に基づく検証を実施するには何が必要かを議論せよ。

私たちのヒューマン・イン・ザ・ループの見直しは真のチェックなのか、それとも私たちが気づくほど注意深く測定してこなかったゴム印なのか? 時間の圧力のもとにあり、完全な文脈を持たず、あるいは同意することよりも異議を唱えることでより多くの摩擦に直面する人間の見直し担当者は、その質にかかわらず、アルゴリズムの推奨を承認する傾向にある。この問いを使って、少なくとも一つのシステムについてあなたの実際の上書き率を見つけ、その数値が、見直しが統制として機能しているのか、それともコンプライアンス上の形式として機能しているのかについて何を教えてくれるかを議論せよ。

私たちのアルゴリズムが下した、あるいは大きく情報を与えた決定に誰かが異議を申し立てたいとき、手続き上実際に何が起きるのか――そして、それを覆す真の権限を持つ人間は異議申し立てを実際に見るのか? 多くの異議申し立てのプロセスは、その結果を実質的に覆せる人物に決して届くことなく、市民をモデルのロジックの説明に戻してしまう。この問いを使って、実際の、あるいは現実的な事案について、一つの異議申し立てを最初から最後までたどり、もしあれば、答えを変える真の権限を持つ人間が関与する正確な地点を特定せよ。

私たちのモデルの一つが展開後に劣化あるいは漂流した場合、誰がそのリスクを所有しており、市民やジャーナリストが私たちに告げる前に、私たちは実際にどうそれを知るだろうか? モデルの公平性と精度の特性は立ち上げ時に固定されているわけではない。それらは、人口、経済、あるいは隣接する政策が変化するにつれて、しばしばシステムを構築したチームには見えない形で変化しうる。この問いを使って、展開後の監視に誰が説明責任を負っているか、どのような頻度で、そして具体的に何が再訓練や一時停止を発動させるかを特定せよ。もし正直な答えが「誰も具体的にはこれを監視していない」であれば、それをこの議論が生み出せる最も緊急の発見として扱え。

実践において:公共価値の事例

ある架空の国の社会保険機関は、何年もの滞留によって、真の不正行為が何か月も調査されないまま放置される一方、正直な申請者が無関係な処理の遅延を待たされるという状況を経て、その不正行為調査チームがどの失業給付の申請を最初に見直すべきかを優先順位づけするためのリスクスコアリングモデルを構築した。このモデルは、五年分の終結した調査ファイルで訓練され、どの申請の特性が歴史的に確認された不正行為の発見に先行していたかを学習し、検証ではうまく機能した。それが高リスクとスコアしたクレームは、ランダムな標本よりもはるかに高い率で不正行為が確認され、何年もぶりに滞留が減少するのを見ていた機関の指導部は、この展開を明白な成功として扱った。

十八か月後、内部のオンブズマン相当の部署は、不正行為チーム自身の実績ダッシュボードが表面化していなかった何かに気づいた。少数の郵便区に住む申請者――不釣り合いに低所得で不釣り合いに最近の移民が多い――が、他の場所の同様の申請者のほぼ三倍の率で調査のためにフラグを立てられており、彼らのフラグを立てられた申請のはるかに高い割合が、まったく不正行為が見つからないまま終結していた。そのパターンは訓練データにさかのぼることができた。過去の調査ファイルは、現場の調査官が自分自身の非公式なヒューリスティクスに基づいて、まさにそれらの地区に手作業の抜き打ち検査を集中させていた年月を反映しており、そのためモデルは、そこに住むことが実際には過去にはより頻繁に検査されていたことを予測するにすぎなかったにもかかわらず、それを不正行為を予測すると扱うことを学習していた。郵便区はモデルへの入力であったことは一度もなかった。それは必要なかった。なぜなら、世帯構成、雇用者の部門、支払い方法の項目が、代理を通じて同じシグナルを運ぶのに十分密接にそれと相関していたからである。

この機関の調査は、そのパターンが実在することを確認し、より静かな第二の問題も確認した。すなわち、完全な調査に進む前にある事案を承認するはずだった人間の見直し担当者は、圧倒的多数の事案において、モデルの最高スコアの推奨を承認しており、見直し時間は事案あたり平均二分未満だった――これは統計的なスコアを意味のある形で再検討するには到底足りない時間であり、指導部が保護策として指摘していたヒューマン・イン・ザ・ループの統制が、実際にはそれが捕捉するために存在していた不均衡を捕捉していなかったことを意味していた。この機関の対応は、このトピックのベストプラクティスのいくつかを一度に組み合わせたものだった。それは、歴史的な過剰な取り締まりのパターンを補正してモデルを再訓練し、見直し時間を延ばし、見直し担当者に、自分自身の判断がスコアと異なる場合にエスカレーションなしにフラグを立てられた事案を終結させる権限を与え、フラグを立てられた誰にとってもわかりやすい通知と、名指しされた担当官への真の異議申し立て経路を構築した。見直し担当者一時間あたりの調査収量はいくらか下落したが、以前過剰にフラグを立てられていた地区からのフラグを立てられた申請における確認された不正行為率は、残りの案件負荷と一致するまで上昇した。機関自身の監査はこれを真の成功の指標として扱った――フラグを立てられた申請の量ではなく、フラグを立てることが、モデルが再生産することを学習した歴史的なパターンではなく実際の不正行為を追跡していたかどうかである。

四つのセクター別視点

地方自治体

地方自治体は、住宅配分の優先順位、児童福祉のリスクスコアリング、議会税や給付の不正行為のトリアージといった、住民にとって最も即座で個人的な利害を持つ決定のためにアルゴリズムの道具をますます展開しているが、しばしば、これらのシステムを自ら構築、検証、監査する社内のデータサイエンスの能力を欠いており、多くはベンダーが供給するモデルに頼ることになり、その訓練データと検証を自治体は完全には検査できない。これは特有の調達の規律を生み出す。アルゴリズムシステムを委託する地方自治体は、契約上の条件として、自前で構築する場合に求めるであろうのと同じ説明可能性、バイアス検証、監査アクセスを要求すべきである。なぜなら、住民の適正手続きの権利は、自治体がそのシステムを構築するのではなく購入したという理由で減じられることはないからである。地方自治体の住民への近さはまた、アルゴリズムの誤動作が、正式な苦情になる前にコミュニティで個人的に知られるようになる可能性が高いことも意味し、これは軽量で早期の地元の見直しを支持する論拠になる。

国の政府

国の機関は、このトピックの範囲の中で最大規模のシステムを運用している――税務不正検知、移民リスク評価、国の給付資格である――そこでは小さな誤り率でさえ非常に大きな絶対数の影響を受ける人々に翻訳され、機関は通常、真の保護策を構築するための最も深い技術的・法的な能力を持つ。国の政府はまた通常、リスクベースのAI規制が、存在する場合には、書かれ執行される水準であり、国の機関に最も明確な正式な義務と、監査や裁判所が自動化されたシステムが規模的に差別的あるいは見直し不可能な結果を生み出していたと発見したときの最大の露出を与える。適正手続きの利害はここでは別の意味でも最も高い。移民や法執行のリスクスコアは、資格だけでなく自由にも影響しうる。これは、自動化の技術的な論拠がしばしば事案数のために最も強いまさにその場所で、最も保守的な自動化の姿勢――最も少ない完全自動化と最も真の人間の見直し――を支持する論拠となる。

社会セクターと非営利団体

非営利団体や非政府組織(NGO)は、このトピックが扱うまさにその領域において、援助の配分をトリアージし、受益者の資格を審査し、あるいは事案処理を優先順位づけするためにアルゴリズムの道具をますます用いており、しばしば、自動化の効率性の論拠を真に説得力のあるものにする現実の資源制約のもとでそうしている。しかし説明責任の構造は政府とは著しく異なる。非営利団体の受益者は、市民が国家機関に対して持つような法定の異議申し立ての権利をめったに持たず、組織の主要な説明責任の関係は、しばしば、アルゴリズムがそれについて決定する人々にではなく、資金提供者に向かう――これはまさに、トピック3.8「社会セクターと非営利団体のマネジメント」がこのセクター全般について記述する説明責任のギャップである。したがって、アルゴリズムのトリアージを採用する非営利団体は、規制当局がそれを要求するからではなく、組織が奉仕する人々が他に経路を持たないからこそ、このトピックが記述する説明と異議申し立ての権利を自発的な基準として構築すべきである。

多国間・国際機関

多国間機関と国際人道機関は、国境や法制度を越えてアルゴリズムによるターゲティングとリスクスコアリングの道具を適用しており、頻繁に、自動化の速さの便益が最も鋭い一方で利用可能なデータが最も信頼できない危機的な状況においてである――不完全な登録データ、ある危機のために収集され別の危機のために再利用されたデータ、そして援助を受けるかどうかを決めるスコアリングの決定に異議を唱える能力が限られた人口である。単一の国の適正手続き法や説明を受ける権利の制度は、多国間機関の運営全体に一律には適用されない。そのため、このトピックが記述する保護策は、強制可能な外部の法的枠組みから継承されるのではなく、組織自身の運用基準に組み込まれなければならず、これはトピック3.4が多国間機関全般について特定する代表性と説明責任のギャップを反映している(トピック3.4「説明責任、透明性、正当性」を参照)。利害もまたここでは深刻である。アルゴリズムによる決定は、このトピックの中のいかなる集団よりも誤った結果に異議を唱える実務上の能力が最も低い人々にとって、食料、避難所、あるいは庇護処理へのアクセスを決めうるからである。

よくある失敗パターン

代理差別。 あるモデルが保護される特性を直接除外するが、相関する変数――郵便番号、姓、雇用部門、給付履歴――から同等のシグナルを学習し、その除外が防ぐはずだった同じ差別的パターンを再生産する。その代償は誤った安心感である。組織は保護される変数が一度も用いられなかったと正直に言うことができる一方で、その結果はそれが用いられていたのとまったく同じくらい不平等なままである。
人間の見直しにおける自動化バイアス。 アルゴリズムの推奨を確認することを正式に求められた人間の見直し担当者が、異議を唱えることが同意することよりも多くの時間、多くの正当化、あるいは多くの個人的リスクを伴うために、圧倒的多数の事案でそれを承認する。その代償は、組織が誤りを捕捉していると信じている統制が、実務上はそれらにゴム印を押しているだけだということであり、これは通常、誰かがそのプロセスが存在することを信頼するのではなく、上書き率を直接測定して初めて可視化される。
説明可能性という演劇。 ある組織が、自動化された決定について、具体的で満足のいくものに聞こえるが、モデルの実際の推論を明らかにするのではなく近似する手法によって事後に生成された説明を提供する。その代償は、その説明が実際の精査――異議申し立て、監査、法的な争い――のもとで検証され、システムが実際にその特定の出力を生み出した理由に対応していないことが判明したときに表面化する。
フィードバック・ループを通じて再生産される歴史的バイアス。 過去の決定の結果――どの近隣が調査されたか、どの申請が承認されたか――で訓練されたモデルは、それらの過去の決定を形づくった過剰な精査あるいはサービス不足のパターンを学習し、その後それを永続させ、そのモデルが生み出すそれぞれの新しい決定のラウンドが次のバージョンの訓練データになり、そのパターンを是正するのではなく深める。これは、リスクベースの警察活動や福祉不正のスクリーニングを含む、複数の公共部門の分野にわたって国際的に文書化されており、根底にあるメカニズムは、これらの文書化された事例全体にわたって十分に一貫しているため、法域にかかわらず、過去の執行や事案処理のデータで訓練されたいかなるシステムにおいても一般的なリスクとして扱う価値がある。
説明責任のギャップ、あるいは「多くの手」の問題。 ある決定が、ベンダーのモデル、機関のデータ、政策チームの閾値設定、そしてケースワーカーの名目上の承認を通過するとき、誤った結果への責任は、組織自身にとってさえ、真に不明確なままになりうる。各当事者がその誤りの原因として別の当事者を指し示すことができるからである。その代償は、影響を受ける市民が明確な答えを得られないことだけでなく、組織が実際の原因を信頼性をもって修正できないことでもある。なぜなら、決定全体について単一の説明責任を負う所有者が存在しないからである(トピック3.4「説明責任、透明性、正当性」を参照)。

成熟度モデル

サブディメンション	開始	発展	標準化	管理	統合運用
システムが決定の利害によって分類され棚卸しされている	棚卸しは存在せず、システムはチームごとに採用され中央には記録されていない	主要なシステムについてのみ非公式なリストが存在する	すべてのシステムが、展開前に定義されたリスクあるいは利害の階層によって分類される	分類が定められた頻度で見直され、正確さについて監査される	分類が組織全体の資源配分とリスク選好に情報を与え、監督機関と積極的に共有される
影響を受ける人々が真の説明を得られる	システムが関与していることについて通知が行われない	一般的な通知は存在するが事案固有の推論を与えない	定義された説明の基準が存在し、重大な決定について一貫して適用される	説明の質が実際の市民の理解と苦情のパターンに照らして検証される	説明の実践が同業組織とベンチマークされ、苦情の前に改善される
バイアスが意図ではなく実際の成果に照らして検証されている	保護される変数を入力から除外すること以外のバイアス検証が行われない	バイアス検証は、立ち上げ前に一度、利用可能な代理変数を用いて行われる	成果に基づく不均衡な影響の検証が、すべての利害の高いシステムについて定められたスケジュールで実施される	検証の結果が定められた是正措置を発動させ、指導部に報告される	バイアスの監視が継続的であり、独立した監査人と共有され、積極的にモデルの再設計を形づくる
人間の見直しが装飾ではなく真である	人間の承認の段階は紙の上にのみ存在する	見直し担当者はほぼすべての推奨を承認し、上書き率は追跡されていない	上書き率、見直し時間、覆す見直し担当者の権限が追跡され報告される	低い上書き率がモデルだけでなくプロセスそのものの見直しを発動させる	人間の見直しの能力と権限が、常設の保護策として積極的に守られ資源配分される
異議申し立てが覆す真の権限を持つ人間に到達する	自動化された決定についての定義された異議申し立て経路が存在しない	異議申し立て経路は存在するが、その事案を再考するのではなくモデルのロジックを繰り返すだけである	その決定を覆す権限を持つ名指しされた公職者がすべての異議申し立てを見直す	異議申し立ての結果が追跡され、モデルとプロセスの設計にフィードバックされる	異議申し立てのパターンが、正式な苦情の量がそれを強いる前に、積極的なシステムの再設計に情報を与える

チェックリスト

ベンダーが供給する道具を含め、ある人物の権利や資格に影響を与える決定を行う、あるいはそれに実質的に情報を与えるすべてのシステムの完全な棚卸しを構築する。
その棚卸しの中の各システムを、定義されたリスク階層を用いて、それが情報を与える決定の利害によって分類する。
影響を受けるすべての人物が、アルゴリズムが自分の事案に関与していたことについて平易な言葉の通知を受け取ることを確認する。
実際の市民が異議申し立て時に受け取るであろう、具体的で事案レベルの説明を起草し、それが実際に彼らを満足させるかを検証する。
除外された入力変数を確認するだけでなく、関連する特性によって分解された実際の展開後の成果を用いて、各利害の高いシステムを不均衡な影響について検証する。
すべてのヒューマン・イン・ザ・ループの統制について上書き率と平均見直し時間を測定し、ほぼゼロの上書き率を発見として扱う。
その決定を覆す真の権限を持つ名指しされた人間がすべての異議申し立てを見直すことを確認する。
アルゴリズム監査を、システムを構築または運用するチームから独立した機能の下に置く。
各システムの訓練データと運用データが、統治され目的が限定されたパイプラインの内部にとどまることを確認する。
苦情が見直しを発動させるのを待つのではなく、展開されたすべてのモデルについて定められた再訓練と再検証のスケジュールを設定する。
あなたのシステムのうちどれが、最も深刻で最も可逆性の低い決定について完全な自動化の保護策を現在持っていないかを特定し、それを最初に是正する。
上記六つの討議設問をあなたのチームとともに実施し、正直な答えが公式の答えと異なる箇所を記録する。

主要情報源

OECD AI Principles(2019年、2024年更新) — 包摂的な成長、人権、透明性、堅牢性、説明責任をカバーする、信頼できるAIのための最初の政府間基準。
European Union Artificial Intelligence Act(Regulation (EU) 2024/1689) — 公共部門の資格判定、法執行、移民の用途を明示的に扱う、AIのための最初の包括的なリスク階層化された法的枠組み。
US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021年) — 公共セクターにおけるAIの説明責任のための、ガバナンス、データ、実績、監視の枠組み。
「技術的適正手続き」についてのダニエル・キーツ・シトロンの研究は、自動化されたシステムが、人間ではなくアルゴリズムの意思決定のために目的をもって構築された手続き上の保護策を必要とすると論じている。
キャシー・オニール、バージニア・ユーバンクス、フランク・パスクアーレによる、アルゴリズムバイアス、自動化された福祉行政、不透明なスコアリングシステムについての一般向けの研究は、このトピックの訓練データのバイアスとブラックボックスの問題についての議論全体を通じて引用されている。

参考文献

Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp