政府中的人工智能与算法决策

这为何对公共价值重要

公共机构一直都在配给自己的关注力:一位个案工作者无法亲自面谈每一位申请人,一位海关官员无法检查每一个集装箱,一支反欺诈团队无法审查每一份申请。人工智能(AI)——构建通常需要人类判断力才能完成任务的系统这一广泛领域——以及算法与自动化决策(ADM)这一更狭窄的实践,承诺以远大得多的规模、更一贯地配给这份关注力,为一个人类团队永远无法完全审查的案件打分、标记,或直接做出决定。主题5.1涵盖了这项能力所处的数字服务交付模式(见主题5.1——数字政府与数字化转型);本主题讲的是,一旦一个模型、而非一位具名官员,承担了部分或全部的决策工作时会发生什么。

这份承诺是真实的:一个构建良好的模型,能够捕捉到一位个案工作者看不见的欺诈模式,能够在一百万份申请中完全一贯地应用资格规则,并能腾出稀缺的专家时间,用于那些真正需要判断力的案件。而风险同样是真实的,却更难从构建这套系统的组织内部看清。一个在历史数据上训练出来的模型,可能会复制并放大恰恰是一个公共机构存在的意义所要纠正的那种歧视;一个复杂的模型可能不透明到连公民、也连依赖它的官员都无法说清楚它为什么做出了那样的决定;而一项算法大量参与其中的决策,在程序上仍然可能让没有任何人能够给公民一个理由、或听取他们的申诉。这一切都不是假设性的:多个辖区的监管者、法院与同等于监察专员的机构,都已经发现公共部门的风险评分与欺诈检测系统,不成比例地根据街区、移民历史,或家庭结构标记了人们,而在每一个案例中,原因都是那个让模型精确的模式,恰好也追踪着一项受保护的或敏感的特征。

因此,这里的公共价值利害关系,不是一次性权衡效率与公平的取舍,而是一门需要持续维系的设计纪律。一位被一位人类官员拒绝一项福利的公民,可以询问那位官员为什么,并能向另一位拥有地位与权力去改变这个答案的人申诉——这正是主题3.4所描述的问责机制(见主题3.4——问责制、透明度与合法性)。一位被一个模型拒绝一项福利的公民,需要同样这种获得解释的权利,以及同样这条通向一位能够推翻它的人的路径,否则这个公共机构已经悄悄地输出了一项它从未正式撤销的正当程序保障。把这件事做对,正是让一个公共机构能够捕捉到算法决策在一贯性与规模上真正的收益、同时不把"算法决定了"变成一句终结问责、而非开启问责的话的关键。

核心概念

自动化决策(ADM)是使用数据、软件与算法,以不同程度的人类监督做出或实质性地为决策提供依据,涵盖一个谱系,从一个仅仅为人类呈现信息的系统,到一个完全没有人类参与、自行决定并采取行动的系统(见自动化决策)。一个系统在这个谱系上所处的位置——决策支持、决策增强,还是完全自动化——决定了适用哪些问责与正当程序义务,这正是为什么监管者越来越多地按系统在这个谱系上的位置、而非按底层技术来分类系统。

"人在回路"描述的是一种安排,一个人在一项算法输出生效之前对其进行审查或批准,这与"人在回路之上"(一个人监测并能够介入)或完全自动化处理、根本没有任何审查,是不同的(见人在回路)。一项真正的人在回路控制,要求审查者拥有实际不同意这套系统的时间、信息与地位;一位近乎批准每一项算法建议的审查者——因为不同意比同意需要花费更多时间或带来更多个人风险——并没有真正行使监督,即便流程图上显示着一个人的步骤。这种模式,常被称为自动化偏见,是本主题主题中最常见、也最不易被察觉的失败之一。

算法偏见是一个计算机化系统产出不公平结果的系统性的、可重复的倾向——例如,以系统设计者既未打算、也常常没有注意到的方式,偏袒某一个群体、而非另一个群体(见算法偏见)。在公共行政中,主要来源是训练数据偏见:一个在历史执法、放贷或个案记录上训练出来的模型,会学到这些记录中的模式,包括任何嵌入在过去谁被调查、谁被批准,或谁被标记之中的历史性过度执法、服务不足,或歧视性做法。即便一项敏感特征——种族、残障、移民身份——被明确从数据中排除,一个模型也可能复制这个结果,因为一个相关联的代理变量(邮编、姓氏、班次模式、福利历史)以另一个名字携带着同样的信号;不经检验其代理变量便移除这个具名变量,是一个公共机构相信自己修正了一个偏见问题、实际上却根本没有修正它的常见方式。

机器学习中的公平性指的是用于衡量并纠正自动化决策中算法偏见的一整套技术与程序方法(见公平性(机器学习))。这个领域的一个真正棘手的特征,而非一个可以解决的技术性细节是,几种直觉上合理的公平定义——各群体之间批准率相等、各群体之间错误率相等,以及每个群体内部校准的准确性相等——只要底层各群体在数据中的基础比率不同,在数学上就是不相容的。一个公共机构无法同时满足每一种定义;它只能明确地、带着自己愿意为之辩护的理由来选择,当前这项决策应该针对哪一种定义进行优化,而这是一项披着技术外衣的政策判断。

可解释性与黑箱问题。 当一个模型的内部运作无法仅从其输入与输出中被检查或理解时,它就是一个黑箱——这对许多表现优异的机器学习模型来说是真实的,它们的准确性,往往恰恰来自那种让它们难以解读的复杂性。可解释人工智能,即XAI,是让一个模型的推理变得可被检查的一系列方法所构成的领域,范围从为具有重大后果的决策选择本质上可解释的模型类型,到产出近似于、而非真正揭示一个复杂模型实际做了什么的事后解释。这一区分在法律上与在技术上同样重要:一份听起来合理、却并不反映模型实际推理的近似解释,可以满足一份透明度核对清单,却辜负了那位依赖它来对针对自己的决策的真实依据提出质疑的公民。

解释权是一项有争议的法律原则,即受到一项重大自动化决策影响的人,有权获得对其中所涉逻辑的一份有意义的解释,这与欧盟的《通用数据保护条例》关联最为紧密,该条例限制了仅依据自动化处理、产出法律或类似重大影响的决策,并赋予当事人获得人工干预与对该决策提出异议的权利(见解释权与通用数据保护条例)。法律学者对这项权利在实践中究竟有多强存在争议,而欧盟之外的辖区大多缺乏一项同等的法定权利,这正是为什么一个公共机构不应该把"我们遵守了相关的数据保护法",等同于"我们能向受影响的人解释这项决策"——这两项主张是相关的,却并不相同,而只有第二项,才是正当程序真正所要求的。

正当程序与自然正义。 在行政法中,正当程序——这项原则在美国宪法中发展得最为完整,但在许多法律体系中都以可比的形式得到呼应,主张国家在剥夺一个人的权利或权利之前必须遵循公平的程序——以及自然正义——英联邦行政法传统,要求一次公平的听证,并要求决策者免于偏见——都建立在一个电脑出现之前就已写就的假设之上:一项决策拥有一位可以识别的决策者,他能够给出理由、能够被证明不带有失格性的偏见,并能够被要求重新考虑。一个算法同时使这三项假设都变得紧张——理由可能在技术上不可得,所讨论的"偏见"是统计性的、而非个人性的,而同一个模型的重新考虑会产出同样的答案——这正是为什么算法决策的正当程序,必须被明确地工程化出来,而不能从为人类决策者建立的程序中继承而来。

基于风险的人工智能监管。 一种正在兴起的监管模式——在欧盟的《人工智能法案》中发展得最为完整——没有统一地监管所有人工智能,而是按应用的利害关系对义务分级,直接禁止一小部分用途,对"高风险"用途(明确包括公共部门资格认定、执法风险评估与移民决策)施加最重的合规义务,要求对较低风险的用途进行透明度披露,并让最低风险的用途基本不受监管(见《人工智能法案》)。无论一个具体辖区的监管模式如何,其底层理念——治理义务应随决策的利害关系而分级、而非随技术的复杂程度而分级——即便没有直接的法律义务去遵循欧盟的具体制度,也是一项有用的设计原则。

最佳实践

1. 在选定模型之前、而非之后,依据决策的利害关系对每一套系统加以分类。 一套把一个案例标记出来供人工审查的系统,与一套直接拒绝一项福利的系统,承担着不同的义务;在构建之前、而非在部署暴露出这个缺口之后,使用诸如欧盟《人工智能法案》风险类别之类的框架作为参考点,决定一个用例属于哪个层级。
2. 用平实的语言告诉人们,一项算法参与了一项关于他们的决策。 一份埋在条款与条件中的笼统隐私声明不满足这一点;这份通知应该说明这套系统做什么、使用什么数据,以及如果这个人不同意它的输出会发生什么。
3. 建立一套审查者真正能够行使的人在回路控制,并衡量他们是否真的这样做。 追踪推翻率、每个案例平均花费的时间,以及不同意模型的审查者是否面临着同意时不会面临的任何阻力——如果推翻率接近于零,这次审查很可能只是装饰性的。
4. 使用真实结果、而非开发者的意图来检验差异性影响。 在部署之前、以及此后按固定周期,按受保护与敏感特征——包括通过诸如邮编或福利历史等可能的代理变量——分解衡量这套模型的结果,因为一个从未直接使用受保护变量的模型,依然可能产出一个明显不平等的结果。
5. 给予每一位受影响的人一条通向一位拥有权力推翻算法决策、而不仅仅是解释它的人的途径。 一条只是重申模型推理、却没有真正被推翻可能性的申诉渠道,满足了解释权的字面要求,却挫败了它的目的。
6. 在具有法律后果的决策上,优先选择一个可解释的模型,而非一个略微更精确的黑箱模型。 当一个可解释模型与一个复杂模型之间的准确性差距很小时,对公民、申诉官员与审计人员而言,可解释性的收益,通常远超过这份边际准确性对这个组织的价值。
7. 在一份常设记录中,记录每一套系统的目的、训练数据、已知局限与预期用途,并在这些发生变化时加以更新。 一个为一个目的部署、却被悄悄挪作他用的模型——例如,把欺诈筛查扩展到一般资格分诊——通常已经把它最初的验证与偏见检测抛在了脑后。
8. 把一个高风险模型的训练与运营数据,保留在一条受治理的、目的受限的管道之内。 把为一个行政目的收集的数据集,重新用于为一个不相关的目的训练一个模型,与其说是一个建模失败,不如说是一个数据治理失败(见主题5.4——公共部门数据、互操作性与开放数据)。
9. 把算法审计置于一个不向构建或运营这套系统的团队汇报的职能之下。 一次由系统自己的开发者进行的审计,与一次由一位拥有权力发布不利发现的、真正独立的审查者进行的审计,发现的问题不同、也更少(见主题3.4——问责制、透明度与合法性)。
10. 在把一套系统切换为真实决策之前,先运行一段影子期。 在它开始行动之前的一段明确规定的时期内,把这个模型的建议与同样案例上的实际人类决策相比较,使任何系统性的分歧在一位公民受到影响之前就浮现出来。
11. 只为利害关系最小、最具可逆性的决策保留完全自动化、根本没有任何人工审查。 一项决策越严重、越不可逆——终止一项福利、一次触发刑事调查的欺诈转介、一次拒绝入境——保留一位真正在回路中的人的理由就越充分,无论这个模型被衡量出来的准确性如何。
12. 按固定的日程重新训练、重新验证并重新检测偏见,而不仅仅在一个问题被报告之后才这样做。 随着这套模型据以训练的人口与世界发生变化,它的准确性与公平性特征可能会悄悄漂移,一个只在一次投诉之后才展开调查的公共机构,已经任由这种漂移持续了不管这次投诉花了多久才浮出水面的那么长时间。

与团队讨论的问题

在我们的组织里,一项算法目前在哪些地方做出、或大量地为一项影响一个人权利、权益或自由的决策提供依据,受影响的每一个人是否真的能够发现这件事? 许多组织在真正盘点自己的系统时才发现,算法评分或分诊已经渗透进比任何单一团队所意识到的更多决策节点之中,常常最初是作为一件低风险的效率工具被引入的。用这个问题诚实地建立起这份清单,包括从供应商采购、而非内部构建的系统,因为采购可能会掩盖一件被购买的工具实际上在决定多少事情。讨论一下,你目前的通知实践,是否能让一位受影响的公民无需专业知识就能发现,一个模型参与了他们的案件。

如果一位公民明天正式质疑我们的一项自动化决策,我们能给他们一个真实的、具体的理由,还是只能给他们一份对流程的描述? 一份流程描述——"这套系统考虑了你的收入、家庭规模与付款历史"——与解释为什么这些输入对这个具体的人产出了这个具体的结果,是不同的。用这个问题挑选一套正在运行的系统,作为一个团队尝试写出一位真实公民在申诉时会收到的那份解释。如果这项练习很困难,这份困难本身就是一项发现。

我们是否知道自己的训练数据是否复制了一种历史性的偏见模式,我们是否用真实结果、而非我们的意图检验过这一点? 把一项受保护的特征从一个数据集中排除,与排除它的影响并不相同,因为相关联的代理变量能够以一个不同的名字携带同样的信号。用这个问题识别出,你的哪些系统曾经用真实的、部署后的结果、按相关特征分解来检测过差异性影响,而非仅仅检测输入数据中是否存在一项受保护变量。讨论一下,如果尚未做过,要在你利害关系最高的系统上运行这项基于结果的检验需要什么。

我们的人在回路审查,是一项真正的核查,还是一枚我们没有仔细衡量、因而没有注意到的橡皮图章? 一位处于时间压力之下、缺乏完整背景信息,或面对着比同意更多阻力去不同意的人类审查者,倾向于批准算法的建议,而无论其质量如何。用这个问题找出你至少一套系统真实的推翻率,讨论一下这个数字告诉你,这次审查究竟是作为一项控制在发挥作用、还是作为一项合规形式。

当有人想对我们的算法所做出、或大量参与的一项决策提出申诉时,程序上实际会发生什么——一位拥有真正权力推翻它的人,是否真的会看到这份申诉? 许多申诉流程,只是把一位公民引导回一份对模型逻辑的描述,却从未真正抵达一位能够就是非曲直推翻这个结果的人。用这个问题为一个真实或现实的案例,从头到尾追溯一次申诉,识别出——如果有的话——一位拥有真正权力改变答案的人参与其中的确切节点。

如果我们的某一个模型在部署之后出现退化或漂移,谁承担这项风险,我们实际上会如何在一位公民或一位记者告诉我们之前就知道这一点? 一个模型的公平性与准确性特征在上线时并非一成不变;它们可能随着人口、经济,或相关政策的变化而改变,常常对构建这套系统的团队来说是不可见的。用这个问题识别出谁对部署后的监测负责、按什么节奏,以及具体什么会触发一次重新训练或一次暂停。如果诚实的答案是"没有人具体在关注这件事",就把这当作这场讨论所能产出的最紧迫的发现来对待。

实践中的公共价值案例

一个虚构的国家社会保险机构,建立了一个风险评分模型,用来确定它的欺诈调查团队应该优先审查哪些失业救济申请,此前多年的积压案件,意味着真正的欺诈几个月都得不到调查,而诚实的申请人却在等待一些不相关的处理延误。这个模型在五年的已结案调查档案上训练,学习哪些申请特征,在历史上曾经先于一项被确认的欺诈发现,它在测试中表现良好:它评为高风险的申请,被确认为欺诈的比率,远高于一份随机样本,而该机构的领导层,眼看着积压案件多年来第一次下降,把这次推出当作一次毫不含糊的成功来对待。

十八个月之后,一个内部的、相当于监察专员的办公室注意到了一件该欺诈团队自己的绩效仪表盘从未揭示出来的事情:居住在少数几个邮政辖区、这些辖区不成比例地是低收入居民与新近移民聚集地的申请人,被标记接受调查的比率,几乎是其他地方相似申请人的三倍,而他们被标记的申请中,以完全没有发现欺诈告终的比例也高得多。这个模式可以追溯到训练数据:历史调查档案反映的是若干年,当时的现场调查员依据自己非正式的启发法,恰恰把人工抽查集中在了这些辖区,于是这个模型学会了把"住在那里"当作对欺诈的一种预测,而实际上,它所预测的只是过去被检查得更频繁而已。邮政辖区从来不是这个模型的一项输入;它不需要是,因为家庭构成、雇主行业与付款方式字段,与它足够密切地相关,足以通过代理携带同样的信号。

该机构的调查证实了这一模式是真实的,也证实了第二个、更不易察觉的问题:本应在一个案件进入完整调查之前先加以批准的人类审查者,在绝大多数案例中都批准了这个模型评分最高的建议,每个案例的平均审查时间不到两分钟——远不足以对一个统计评分进行有意义的重新判断,这意味着领导层曾指出作为一项保障措施的人在回路控制,实际上从未真正捕捉到它存在的意义所要捕捉的那种差异。该机构的应对措施同时结合了本主题的好几项最佳实践:它对模型进行了重新训练,修正了历史性的过度执法模式,延长了审查时间,并赋予审查者在自己的判断与评分不一致时、无需升级就能结案的权力,并为任何一位申请被标记的人建立了一份平实语言的通知,以及一条通向一位具名个案官员的真正申诉途径。每审查小时的调查产出略有下降,但在此前被过度标记的辖区,被标记申请中被确认欺诈的比率,上升到了与其余申请案件相匹配的水平,该机构自己的审计把这一点当作真正的成功衡量标准——不是被标记申请的数量,而是标记是否追踪了真正的欺诈、而非这个模型学会复制的一种历史模式。

四种部门视角

地方政府

地方政府越来越多地为对居民具有最直接、最个人化利害关系的决策——住房分配优先级、儿童福利风险评分,以及市政税或福利欺诈分诊——部署算法工具,常常同时缺乏自己构建、验证或审计这些系统的内部数据科学能力,让许多地方政府依赖供应商提供的模型,而其训练数据与验证,这个政府机构无法完全检查。这产生了一项特定的采购纪律:一个委托一套算法系统的地方政府,应该作为一项合同条件,要求获得它对一套内部构建的系统会要求的同样的可解释性、偏见检测与审计准入权,因为一位居民的正当程序权利,不会因为这个政府机构购买了这套系统、而非自行构建它而减弱。地方政府与居民的近距离也意味着,一次算法失误,更有可能在变成一项正式投诉之前就在社区中被个人所知晓,这为轻量化、早期的地方审查提供了理由。

国家政府

国家机构运营着本主题范围内规模最大的系统——税务欺诈侦测、移民风险评估、国家福利资格认定——在这里,即便一个很小的错误率,也会转化为一个非常庞大的受影响人数绝对值,而这个机构通常也拥有建立真正保障措施的最深厚的技术与法律能力。国家政府通常也是基于风险的人工智能监管(在存在的地方)被制定与执行的层级,这给了国家机构最明确的正式义务,也在一次审计或一场法院裁决发现一套自动化系统在规模上产出了歧视性或无法审查的结果时,让它承担最大的风险暴露。正当程序的利害关系在这里以另一种意义也是最高的:一项移民或执法风险评分,能够影响自由、而不仅仅是权益,这为最保守的自动化姿态提供了理由——最少的完全自动化、最真实的人工审查——恰恰是在因为案件量之大、自动化的技术论证常常最强有力的地方。

社会部门与非营利组织

非营利组织与非政府组织(NGO)越来越多地使用算法工具来分诊援助分配、筛查受益人的资格,或在恰恰是本主题所涵盖的领域中排定个案优先级,常常处于真实的资源约束之下,这使得自动化的效率论证真正具有说服力。然而,这里的问责结构与政府大相径庭:一个非营利组织的受益人,很少拥有一位公民对抗一个国家机构所拥有的那种法定申诉权,而这个组织的主要问责关系,常常通向它的资助方、而非算法所决定的对象,这恰恰是主题3.8——社会部门与非营利组织管理——为整个部门所描述的那种问责缺口。因此,一个采用算法分诊的非营利组织,应该把本主题所描述的解释与申诉权,当作一项自愿标准来构建,不是因为一位监管者要求它,而是因为这个组织所服务的人没有其他获得它的途径。

多边与国际

多边机构与国际人道主义机构,跨越国界与法律体系应用算法定位与风险评分工具,常常是在自动化的速度收益最为迫切、可获得的数据最不可靠的危机情境中——不完整的登记数据、为一场危机收集、却被重新用于另一场危机的数据,以及对争议一项决定他们是否获得援助的评分决策能力有限的人群。没有任何单一一部国家正当程序法或解释权制度,能够统一地适用于一个多边机构的所有运营,因此本主题所描述的保障措施,必须被内建到这个组织自己的运营标准之中,而非从一套可强制执行的外部法律框架中继承而来,这呼应了主题3.4为多边机构普遍识别出的那种代表性与问责缺口(见主题3.4——问责制、透明度与合法性)。这里的利害关系也是严峻的,因为一项算法决策能够决定获得食物、庇护,或庇护申请处理的机会,而这些人当中,几乎没有任何一个群体拥有对一个错误结果提出申诉的实际能力。

常见失败模式

代理性歧视。 一个模型直接排除了一项受保护的特征,却从一个相关联的变量——邮编、姓氏、就业行业、福利历史——学到了一个等价的信号,复制了这项排除本应防止的同一种歧视性模式。这项代价是一种虚假的安全感:这个组织可以真实地说,这项受保护变量从未被使用过,而结果依然与它曾被使用时一样不平等。

人工审查中的自动化偏见。 一位正式被要求核查一项算法建议的人类审查者,在绝大多数案例中都批准了它,因为不同意比同意需要花费更多时间、更多辩护理由,或更多个人风险。这项代价是,这个组织相信正在捕捉错误的一项控制措施,在实践中却是在为它们盖橡皮图章,而这通常只有在有人直接衡量推翻率、而非信任这个流程存在这件事本身之后才会变得可见。

可解释性表演。 一个组织为一项自动化决策提供了一份听起来具体、令人满意的解释,但它是由一种近似于、而非揭示模型实际推理的方法在事后生成的。这项代价在这份解释接受真正的审视——一次申诉、一次审计、一次法律质疑——时浮现,结果发现它并不对应于这套系统实际产出那个具体结果的原因。

通过反馈循环复制的历史偏见。 一个在过去决策的结果上训练的模型——哪些街区曾被调查、哪些申请曾被批准——学习并延续了塑造了那些过去决策的、任何过度审查或服务不足的模式,而它产出的每一轮新决策,都变成了下一个版本的训练数据,加深了这个模式、而非纠正它。这已经在国际范围内的多个公共部门领域中被记录下来,包括基于风险的警务与福利欺诈筛查,而这种底层机制在这些有据可查的案例中足够一致,可以被当作任何在历史执法或个案数据上训练的系统的一般性风险来对待,无论辖区如何。

问责缺口,或"多手"问题。 当一项决策经过一个供应商的模型、一个机构的数据、一个政策团队的门槛设定,以及一位个案工作者的名义签核时,对一个错误结果的责任,可能真正变得连组织自身都无法说清楚,每一方都能够指向另一方作为错误的来源。这项代价不仅仅是受影响的公民无法得到一个明确的答案,还有这个组织无法可靠地修复真正的原因,因为对整体这项决策,并不存在一位单一负责任的负责人(见主题3.4——问责制、透明度与合法性)。

成熟度模型

检查清单

• 建立一份完整的清单,列出每一套做出或实质性地为一项影响一个人权利或权益的决策提供依据的系统,包括供应商提供的工具。
• 依据一套明确设定的风险层级,按其所影响决策的利害关系,对这份清单中的每一套系统加以分类。
• 确认每一位受影响的人,都收到一份平实语言的通知,说明一项算法参与了他们的案件。
• 起草一位真实公民在申诉时会收到的具体的、个案层面的解释,并检验它是否真的能让他们满意。
• 使用真实的、部署后的结果,按相关特征分解,检测每一套高风险系统的差异性影响,而不仅仅是核查排除在外的输入变量。
• 衡量每一项人在回路控制的推翻率与平均审查时间,并把一个接近于零的推翻率当作一项发现。
• 确认一位拥有真正权力推翻这项决策的具名人员,审查每一次申诉。
• 把算法审计置于一个独立于构建或运营这套系统的团队的职能之下。
• 确认每一套系统的训练与运营数据,保留在一条受治理的、目的受限的管道之内。
• 为每一套已部署的模型设定一个固定的重新训练与重新验证日程,而不是等待一次投诉来触发审查。
• 识别出你的哪些系统目前对最严重、最不可逆的决策没有完全自动化保障措施,并首先加以纠正。
• 与你的团队一起运行上述六个讨论问题,并记录诚实的答案与官方答案不同之处。

关键资料来源

• 经合组织人工智能原则(2019年,2024年更新)——第一份关于值得信赖的人工智能的政府间标准,涵盖包容性增长、人权、透明度、稳健性与问责制。
• 欧盟《人工智能法案》(法规(EU)2024/1689)——第一份全面的、按风险分级的人工智能法律框架,明确处理公共部门资格认定、执法与移民用途。
• 美国政府问责局,《人工智能:面向联邦机构与其他实体的问责框架》(GAO-21-519SP,2021年)——公共部门人工智能问责的治理、数据、绩效与监测框架。
• 丹尼尔·基茨·西特隆关于"技术性正当程序"的学术研究,主张自动化系统需要专门为算法、而非人类决策构建的程序保障。
• 凯茜·奥尼尔、弗吉尼亚·尤班克斯与弗兰克·帕斯夸莱面向公众的学术研究,关于算法偏见、自动化福利行政与不透明评分系统,贯穿本主题对训练数据偏见与黑箱问题的讨论。

参考文献

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp