IA e tomada de decisão algorítmica no governo

Por que razão isto importa para o valor público

Os organismos públicos sempre racionaram a atenção: um técnico não pode entrevistar pessoalmente todos os requerentes, um funcionário aduaneiro não pode inspecionar todos os contentores, uma equipa antifraude não pode rever todos os pedidos. A inteligência artificial (IA) — o vasto campo da construção de sistemas que executam tarefas que normalmente exigem juízo humano — e a prática mais estreita da tomada de decisão algorítmica e automatizada (ADM, do inglês automated decision-making) prometem racionar essa atenção de forma mais consistente e em escala muito maior, pontuando, sinalizando ou decidindo diretamente casos que uma equipa humana nunca poderia rever por inteiro. O Tópico 5.1 trata dos padrões de prestação de serviços digitais em que esta capacidade se insere (ver Tópico 5.1 — Governo digital e transformação digital); este tópico trata do que acontece quando um modelo, e não um funcionário nomeado, está a fazer parte ou a totalidade da decisão.

A promessa é real: um modelo bem construído pode detetar padrões de fraude invisíveis a um técnico, aplicar regras de elegibilidade com perfeita consistência a um milhão de pedidos e libertar tempo escasso de peritos para os casos que genuinamente exigem juízo. O risco é igualmente real e mais difícil de ver a partir do interior da organização que construiu o sistema. Um modelo treinado com dados históricos pode reproduzir e amplificar a própria discriminação que um organismo público existe para corrigir; um modelo complexo pode ser tão opaco que nem o cidadão nem o funcionário que nele se apoia conseguem dizer por que razão decidiu o que decidiu; e uma decisão que um algoritmo informa fortemente pode ainda assim, processualmente, não deixar ninguém capaz de dar ao cidadão uma razão ou de ouvir o seu caso. Nada disto é hipotético: reguladores, tribunais e organismos equivalentes a provedores em várias jurisdições já encontraram sistemas públicos de pontuação de risco e de deteção de fraude que sinalizaram desproporcionadamente pessoas por bairro, historial de imigração ou estrutura familiar, em cada caso porque o padrão que tornava o modelo exato acompanhava também uma característica protegida ou sensível.

O que está em jogo para o valor público não é, por isso, a eficiência versus a justiça como um compromisso a equilibrar uma vez, mas uma disciplina de conceção a sustentar continuamente. Um cidadão a quem um funcionário humano nega uma prestação pode perguntar-lhe porquê e pode recorrer a outro humano com legitimidade e poder para mudar a resposta — o aparelho de responsabilização que o Tópico 3.4 descreve (ver Tópico 3.4 — Responsabilização, transparência e legitimidade). Um cidadão a quem um modelo nega uma prestação precisa do mesmo direito a uma explicação e da mesma via para um humano que o possa anular, sob pena de o organismo público ter exportado discretamente uma garantia de devido processo que nunca retirou formalmente. Acertar nisto é o que permite a um organismo público captar os ganhos genuínos da tomada de decisão algorítmica em consistência e em escala sem converter «o algoritmo decidiu» numa frase que põe fim à responsabilização em vez de a iniciar.

Conceitos fundamentais

A tomada de decisão automatizada (ADM) é o uso de dados, software e algoritmos para tomar ou informar materialmente decisões com graus variáveis de supervisão humana, abrangendo um espectro desde um sistema que apenas põe informação à disposição de um humano até um que decide e age sem qualquer humano envolvido (ver tomada de decisão automatizada). O ponto desse espectro em que um sistema se situa — apoio à decisão, aumento da decisão ou automatização plena — determina que obrigações de responsabilização e de devido processo se aplicam, razão pela qual os reguladores classificam cada vez mais os sistemas pela sua posição nele e não pela tecnologia subjacente.

O humano no circuito (human-in-the-loop) descreve um arranjo em que uma pessoa revê ou aprova o resultado de um algoritmo antes de este produzir efeito, por contraste com o humano sobre o circuito (human-on-the-loop, em que uma pessoa monitoriza e pode intervir) ou com o tratamento plenamente automatizado sem qualquer revisão (ver human-in-the-loop). Um genuíno controlo de humano no circuito exige que o revisor tenha o tempo, a informação e a legitimidade para efetivamente discordar do sistema; um revisor que aprova quase todas as recomendações algorítmicas porque discordar leva mais tempo ou acarreta mais risco pessoal do que concordar não está a exercer supervisão, embora o organigrama do processo mostre um passo humano. Este padrão, muitas vezes chamado enviesamento de automatização, é uma das falhas mais comuns e menos visíveis do tema deste tópico.

O enviesamento algorítmico é a tendência sistemática e repetível de um sistema informatizado para produzir resultados injustos — por exemplo, privilegiando um grupo face a outro de formas que os autores do sistema não pretendiam nem, muitas vezes, notaram (ver enviesamento algorítmico). Na administração pública a fonte dominante é o enviesamento dos dados de treino: um modelo treinado com registos históricos de fiscalização, concessão de crédito ou ação social aprende os padrões desses registos, incluindo qualquer histórico de excesso de vigilância, de subatendimento ou de prática discriminatória incorporado em quem foi investigado, aprovado ou sinalizado no passado. Um modelo pode reproduzir este resultado mesmo quando uma característica sensível — raça, deficiência, estatuto migratório — é explicitamente excluída dos dados, porque um indicador indireto correlacionado (código postal, apelido, padrão de turnos, historial de prestações) transporta o mesmo sinal com outro nome; remover a variável nomeada sem testar os seus indicadores indiretos é uma forma comum de um organismo público julgar ter corrigido um problema de enviesamento que não corrigiu de todo.

A equidade na aprendizagem automática refere-se à família de abordagens técnicas e processuais para medir e corrigir o enviesamento algorítmico em decisões automatizadas (ver equidade (aprendizagem automática)). Uma característica genuinamente difícil deste campo, e não uma nota técnica resolúvel, é que várias definições de equidade intuitivamente razoáveis — taxas de aprovação iguais entre grupos, taxas de erro iguais entre grupos e exatidão calibrada igualmente dentro de cada grupo — são matematicamente incompatíveis sempre que os grupos subjacentes têm taxas de base diferentes nos dados. Um organismo público não pode satisfazer todas as definições em simultâneo; só pode escolher, explicitamente e com razões que esteja disposto a defender, que definição a decisão em causa deve otimizar, o que é um juízo de política com roupagem técnica.

Explicabilidade e o problema da caixa-negra. Um modelo é uma caixa-negra quando o seu funcionamento interno não pode ser inspecionado nem compreendido apenas a partir das suas entradas e saídas — o que se verifica em muitos modelos de aprendizagem automática de alto desempenho, cuja exatidão advém muitas vezes precisamente da complexidade que os torna difíceis de interpretar. A inteligência artificial explicável, ou XAI, é o campo dos métodos para tornar inspecionável o raciocínio de um modelo, desde a escolha de tipos de modelo inerentemente interpretáveis para decisões consequentes até à geração de explicações posteriores que aproximam, em vez de revelar, o que um modelo complexo efetivamente fez. A distinção importa tanto juridicamente como tecnicamente: uma explicação aproximada que soa plausível mas não reflete o raciocínio efetivo do modelo pode satisfazer uma lista de verificação de transparência e ainda assim falhar ao cidadão que nela se apoia para contestar a verdadeira base de uma decisão contra ele.

O direito à explicação é o princípio jurídico contestado de que uma pessoa sujeita a uma decisão automatizada significativa tem direito a uma explicação significativa da lógica envolvida, mais estreitamente associado ao Regulamento Geral sobre a Proteção de Dados da União Europeia, que restringe as decisões baseadas exclusivamente em tratamento automatizado que produzam efeitos jurídicos ou igualmente significativos e confere ao titular direitos de obter intervenção humana e de contestar a decisão (ver direito à explicação e Regulamento Geral sobre a Proteção de Dados). Os juristas discutem quão forte é efetivamente este direito na prática, e as jurisdições fora da União Europeia carecem em grande medida de um direito estatutário equivalente, razão pela qual um organismo público não deve tratar «cumprimos a lei de proteção de dados aplicável» como equivalente a «conseguimos explicar esta decisão à pessoa que ela afeta» — as duas afirmações são afins mas não são a mesma, e só a segunda é o que o devido processo efetivamente exige.

Devido processo e justiça natural. No direito administrativo, o devido processo — o princípio, mais desenvolvido no direito constitucional dos Estados Unidos mas ecoado de forma comparável em muitos sistemas jurídicos, de que o Estado tem de seguir procedimentos justos antes de privar uma pessoa de um direito ou prestação — e a justiça natural — a tradição de direito administrativo da Commonwealth que exige uma audiência justa e a ausência de enviesamento no decisor — assentam ambos num pressuposto escrito antes de existirem computadores: que uma decisão tem um decisor identificável que pode dar razões, que pode ser mostrado livre de um enviesamento desqualificante e a quem se pode pedir que reconsidere. Um algoritmo tensiona os três pressupostos em simultâneo — as razões podem estar tecnicamente indisponíveis, o «enviesamento» em causa é estatístico e não pessoal e a reconsideração pelo mesmo modelo produz a mesma resposta — razão pela qual o devido processo para as decisões algorítmicas tem de ser engendrado explicitamente e não herdado de procedimentos construídos para decisores humanos.

Regulação da IA baseada no risco. Em vez de regular toda a IA de modo uniforme, um padrão regulatório emergente — mais plenamente desenvolvido no Regulamento da Inteligência Artificial da União Europeia — escalona as obrigações segundo o que está em jogo na aplicação, proibindo um conjunto estreito de utilizações, impondo as obrigações de conformidade mais pesadas às utilizações de «risco elevado» (que incluem explicitamente a determinação de elegibilidade no setor público, a avaliação de risco policial e as decisões migratórias), exigindo divulgações de transparência para as utilizações de menor risco e deixando as utilizações de risco mínimo em grande medida por regular (ver Regulamento da Inteligência Artificial). Seja qual for o padrão regulatório de uma dada jurisdição, a ideia subjacente — de que as obrigações de governação devem escalar com o que está em jogo na decisão e não com a sofisticação da tecnologia — é um princípio de conceção útil mesmo sem obrigação legal direta de seguir o regime específico da UE.

Boas práticas

1. Classifique cada sistema pelo que está em jogo na decisão antes de escolher o modelo, e não depois. Um sistema que sinaliza um caso para revisão humana acarreta uma obrigação diferente da de um que nega uma prestação de forma definitiva; decida em que escalão se situa um caso de utilização, usando como referência um quadro como as categorias de risco do Regulamento da IA da UE, antes de construir e não depois de a implantação revelar a lacuna.
2. Diga às pessoas, em linguagem simples, quando um algoritmo está envolvido numa decisão que lhes diz respeito. Um aviso genérico de privacidade enterrado em termos e condições não satisfaz isto; o aviso deve dizer o que o sistema faz, que dados usa e o que acontece se a pessoa discordar do seu resultado.
3. Construa um controlo de humano no circuito que o revisor possa efetivamente exercer, e meça se o faz. Acompanhe a taxa de anulação, o tempo médio gasto por caso e se os revisores que discordam do modelo enfrentam algum atrito que concordar não implica — se a taxa de anulação é próxima de zero, a revisão é muito provavelmente decorativa.
4. Teste o impacto desproporcionado com resultados reais, e não com as intenções dos programadores. Antes da implantação e num ciclo fixo recorrente depois, meça os resultados do modelo desagregados por características protegidas e sensíveis, incluindo através de prováveis indicadores indiretos como o código postal ou o historial de prestações, porque um modelo que nunca usa diretamente uma variável protegida pode ainda assim produzir um resultado marcadamente desigual.
5. Dê a cada pessoa afetada uma via para um humano com poder para anular a decisão do algoritmo, e não apenas para a explicar. Um canal de recurso que reafirma o raciocínio do modelo sem uma possibilidade genuína de reversão satisfaz a letra de um direito à explicação enquanto derrota o seu propósito.
6. Prefira um modelo interpretável a um modelo de caixa-negra marginalmente mais exato para as decisões juridicamente consequentes. Quando a diferença de exatidão entre um modelo interpretável e um complexo é pequena, o ganho de interpretabilidade vale normalmente muito mais para o cidadão, para o responsável pelos recursos e para o auditor do que a exatidão marginal vale para a organização.
7. Documente a finalidade, os dados de treino, as limitações conhecidas e a utilização prevista de cada sistema num registo permanente, e atualize-o quando qualquer deles mudar. Um modelo implantado para um fim e discretamente reaproveitado para outro — a triagem de fraude alargada a uma triagem geral de elegibilidade, por exemplo — normalmente deixou para trás a sua validação e os seus testes de enviesamento originais.
8. Mantenha os dados de treino e operacionais de um modelo de elevado risco dentro de um circuito governado e limitado à finalidade. Reutilizar um conjunto de dados recolhido para um fim administrativo para treinar um modelo para um fim sem relação é uma falha de governação de dados tanto como de modelação (ver Tópico 5.4 — Dados do setor público, interoperabilidade e dados abertos).
9. Coloque a auditoria algorítmica sob uma função que não responda perante a equipa que construiu ou opera o sistema. Uma auditoria realizada pelos próprios programadores do sistema encontra problemas diferentes, e menos, do que uma realizada por um revisor genuinamente independente com legitimidade para publicar uma conclusão adversa (ver Tópico 3.4 — Responsabilização, transparência e legitimidade).
10. Execute um período-sombra antes de ligar um sistema para decisões reais. Compare as recomendações do modelo com as decisões humanas efetivas nos mesmos casos durante um período definido antes de começar a agir, de modo que qualquer divergência sistemática venha à tona antes de um cidadão ser afetado por ela.
11. Reserve a automatização plena, sem qualquer revisão humana, apenas para as decisões menos consequentes e mais reversíveis. Quanto mais grave e menos reversível for uma decisão — cessação de uma prestação, uma sinalização de fraude que desencadeia uma investigação criminal, uma recusa de entrada — mais forte é o argumento para manter um humano genuinamente no circuito, seja qual for a exatidão medida do modelo.
12. Reforme o treino, revalide e volte a testar o enviesamento num calendário fixo, e não apenas quando um problema é reportado. As propriedades de exatidão e de equidade de um modelo podem derivar silenciosamente à medida que a população e o mundo em que foi treinado mudam, e um organismo público que só investiga depois de uma queixa deixou já a deriva correr durante o tempo que a queixa levou a vir à tona.

Perguntas para discutir com a sua equipa

Onde, na nossa organização, um algoritmo toma ou informa fortemente atualmente uma decisão que afeta os direitos, prestações ou liberdade de uma pessoa, e todas as pessoas afetadas conseguiriam efetivamente descobrir que isso aconteceu? Muitas organizações descobrem, quando realmente inventariam os seus sistemas, que a pontuação ou a triagem algorítmica se infiltrou em mais pontos de decisão do que qualquer equipa isolada percebia, muitas vezes introduzida originalmente como ferramenta de eficiência de baixo risco. Use esta pergunta para construir esse inventário com honestidade, incluindo os sistemas adquiridos a um fornecedor e não construídos internamente, uma vez que a contratação pode obscurecer o quanto uma ferramenta adquirida está realmente a decidir. Discuta se as suas práticas atuais de aviso permitiriam a um cidadão afetado descobrir, sem conhecimentos especializados, que um modelo esteve envolvido no seu caso.

Se um cidadão contestasse formalmente amanhã uma das nossas decisões automatizadas, conseguiríamos dar-lhe uma razão real e específica, ou apenas uma descrição do processo? Uma descrição do processo — «o sistema considerou o seu rendimento, a dimensão do agregado e o historial de pagamentos» — não é o mesmo que uma explicação do porquê de esses fatores terem produzido este resultado particular para esta pessoa particular. Use esta pergunta para escolher um sistema em funcionamento e tentar, em equipa, redigir a explicação que um cidadão real receberia se recorresse. Se o exercício for difícil, essa dificuldade é em si mesma a conclusão.

Sabemos se os nossos dados de treino reproduzem um padrão histórico de enviesamento, e testámo-lo face a resultados efetivos e não às nossas intenções? Excluir uma característica protegida de um conjunto de dados não é o mesmo que excluir a sua influência, porque os indicadores indiretos correlacionados podem transportar o mesmo sinal com outro nome. Use esta pergunta para identificar quais dos seus sistemas foram testados quanto ao impacto desproporcionado usando resultados reais pós-implantação, desagregados por características relevantes, e não testados apenas quanto à presença de uma variável protegida nos dados de entrada. Discuta o que seria necessário para realizar esse teste baseado em resultados no seu sistema de maior importância, se ainda não foi feito.

A nossa revisão com humano no circuito é um controlo genuíno, ou um carimbo que não medimos de perto o suficiente para notar? Um revisor humano sob pressão de tempo, sem contexto pleno ou que enfrenta mais atrito ao discordar do que ao concordar tenderá a aprovar a recomendação do algoritmo independentemente da sua qualidade. Use esta pergunta para encontrar a sua taxa efetiva de anulação de pelo menos um sistema e discuta o que esse número lhe diz sobre se a revisão está a funcionar como controlo ou como formalidade de conformidade.

O que acontece efetivamente, em termos processuais, quando alguém quer recorrer de uma decisão que o nosso algoritmo tomou ou informou fortemente — e algum humano com poder real para a reverter chega a ver o recurso? Muitos processos de recurso encaminham o cidadão de volta para uma descrição da lógica do modelo sem nunca chegar a uma pessoa que possa anular o resultado quanto ao mérito. Use esta pergunta para traçar um recurso, de ponta a ponta, num caso real ou realista, e identifique o ponto exato, se existir, em que um humano com autoridade genuína para alterar a resposta está envolvido.

Quem detém o risco se um dos nossos modelos se degradar ou derivar após a implantação, e como saberíamos antes de um cidadão ou de um jornalista nos dizer? As propriedades de equidade e de exatidão de um modelo não estão fixadas no lançamento; podem mudar à medida que a população, a economia ou a política adjacente mudam, muitas vezes de forma invisível para a equipa que construiu o sistema. Use esta pergunta para identificar quem é responsável pela monitorização pós-implantação, com que cadência e o que desencadearia especificamente um novo treino ou uma suspensão. Se a resposta honesta for «ninguém está especificamente a vigiar isto», trate-o como a conclusão mais urgente que esta discussão pode produzir.

Na prática: um exemplo de valor público

Uma agência nacional fictícia de segurança social construiu um modelo de pontuação de risco para priorizar quais os pedidos de subsídio de desemprego que a sua equipa de investigação de fraude devia rever primeiro, após anos de um atraso acumulado que significava que a fraude genuína ficava por investigar durante meses enquanto os requerentes honestos esperavam por atrasos de processamento sem relação. O modelo foi treinado com cinco anos de processos de investigação encerrados, aprendendo que características dos pedidos tinham historicamente precedido uma conclusão confirmada de fraude, e teve bom desempenho nos testes: os pedidos que pontuava como de risco elevado eram confirmados como fraudulentos a uma taxa muito superior à de uma amostra aleatória, e a direção da agência, ao ver o seu atraso diminuir pela primeira vez em anos, tratou a implantação como um êxito inequívoco.

Dezoito meses depois, um gabinete interno equivalente a um provedor reparou em algo que o painel de desempenho da própria equipa antifraude não fizera emergir: os requerentes residentes num pequeno número de distritos postais, desproporcionadamente de menores rendimentos e desproporcionadamente migrantes recentes, estavam a ser sinalizados para investigação a uma taxa quase três vezes superior à de requerentes semelhantes noutros lugares, e uma parte muito maior dos seus pedidos sinalizados era encerrada sem qualquer fraude encontrada. O padrão remontava aos dados de treino: os processos históricos de investigação refletiam anos em que os investigadores de terreno, a trabalhar a partir das suas próprias heurísticas informais, tinham concentrado as verificações pontuais manuais precisamente nesses distritos, pelo que o modelo aprendera a tratar o facto de aí viver como preditivo de fraude, quando era apenas preditivo de ter sido verificado com mais frequência no passado. O distrito postal nunca fora uma entrada do modelo; não precisava de ser, porque a composição do agregado, o setor do empregador e os campos de meio de pagamento se correlacionavam com ele suficientemente de perto para transportar o mesmo sinal por indicador indireto.

A investigação da agência confirmou que o padrão era real e confirmou também um segundo problema, mais discreto: os revisores humanos que deviam aprovar um caso para investigação completa antes de este avançar tinham aprovado as recomendações mais pontuadas do modelo na esmagadora maioria dos casos, com tempos de revisão médios inferiores a dois minutos por caso — muito longe de bastar para realmente contestar uma pontuação estatística, o que significava que o controlo de humano no circuito para que a direção apontara como salvaguarda não estivera de facto a apanhar a disparidade que existia para apanhar. A resposta da agência combinou várias das boas práticas deste tópico em simultâneo: voltou a treinar o modelo com o padrão histórico de excesso de vigilância corrigido, alongou o tempo de revisão e deu aos revisores autoridade para encerrar um caso sinalizado sem escalada quando o seu próprio juízo discordava da pontuação e construiu um aviso em linguagem simples e uma genuína via de recurso para um técnico nomeado para qualquer pessoa cujo pedido fosse sinalizado. O rendimento das investigações por hora de revisor desceu um pouco, mas a taxa de fraude confirmada entre os pedidos sinalizados dos distritos anteriormente sobressinalizados subiu até igualar a do resto da carteira, o que a própria auditoria da agência tratou como a verdadeira medida de êxito — não o volume de pedidos sinalizados, mas se a sinalização acompanhava a fraude efetiva e não um padrão histórico que o modelo aprendera a reproduzir.

Quatro perspetivas setoriais

Poder local

As autarquias implantam cada vez mais ferramentas algorítmicas para as decisões com maior importância imediata e pessoal para os residentes — prioridade na atribuição de habitação, pontuação de risco em proteção de menores e triagem de fraude em impostos locais ou prestações —, muitas vezes sem a capacidade interna de ciência de dados para construir, validar ou auditar esses sistemas, deixando muitas a depender de modelos fornecidos por fornecedores cujos dados de treino e validação a autoridade não consegue inspecionar por inteiro. Isto cria uma disciplina de contratação particular: uma autoridade local que encomenda um sistema algorítmico deve exigir, como condição contratual, a mesma explicabilidade, testes de enviesamento e acesso de auditoria que exigiria de uma construção interna, porque os direitos de devido processo de um residente não diminuem por a autoridade ter comprado o sistema em vez de o construir. A proximidade do governo local dos residentes significa também que uma falha algorítmica tem mais probabilidade de se tornar pessoalmente conhecida na comunidade antes de se tornar uma queixa formal, o que argumenta a favor de uma revisão local ligeira e precoce.

Governo nacional

Os organismos nacionais operam os sistemas de maior escala no âmbito deste tópico — deteção de fraude fiscal, avaliação de risco de imigração, elegibilidade nacional para prestações — em que mesmo uma pequena taxa de erro se traduz num número absoluto muito grande de pessoas afetadas, e em que o organismo tem tipicamente a capacidade técnica e jurídica mais profunda para construir salvaguardas genuínas. Os governos nacionais são também normalmente o nível em que a regulação da IA baseada no risco, onde existe, é redigida e aplicada, dando aos organismos nacionais as obrigações formais mais claras e a maior exposição quando uma auditoria ou um tribunal conclui que um sistema automatizado produziu resultados discriminatórios ou não revisíveis em escala. O que está em jogo em termos de devido processo é aqui mais elevado também noutro sentido: uma pontuação de risco de imigração ou de aplicação da lei pode afetar a liberdade e não apenas a prestação, o que argumenta a favor da postura de automatização mais conservadora — a menor automatização plena e a revisão humana mais genuína — precisamente onde o argumento técnico a favor da automatização é muitas vezes mais forte por causa do volume de casos.

Setor social e organizações sem fins lucrativos

As organizações sem fins lucrativos e não governamentais (ONG) usam cada vez mais ferramentas algorítmicas para triar a distribuição de ajuda, selecionar beneficiários quanto à elegibilidade ou priorizar a ação social nos exatos domínios que este tópico abrange, muitas vezes sob restrições de recursos reais que tornam genuinamente convincente o argumento de eficiência a favor da automatização. A estrutura de responsabilização é, contudo, marcadamente diferente da do governo: os beneficiários de uma organização sem fins lucrativos raramente têm os direitos de recurso estatutários que um cidadão tem contra um organismo do Estado, e a relação de responsabilização principal da organização corre muitas vezes para os financiadores e não para as pessoas sobre quem o algoritmo decide, que é precisamente a lacuna de responsabilização que o Tópico 3.8 — Gestão do setor social e de organizações sem fins lucrativos — descreve para o setor em geral. Uma organização sem fins lucrativos que adote uma triagem algorítmica deve, por isso, construir os direitos de explicação e de recurso que este tópico descreve como norma voluntária, não porque um regulador o exija, mas porque as pessoas que serve não têm outra via para eles.

Organismos multilaterais e internacionais

Os organismos multilaterais e as agências humanitárias internacionais aplicam ferramentas algorítmicas de focalização e de pontuação de risco através de fronteiras e de sistemas jurídicos, frequentemente em contextos de crise em que o benefício de rapidez da automatização é mais agudo e os dados disponíveis são menos fiáveis — dados de registo incompletos, dados recolhidos para uma crise e reutilizados para outra e populações com capacidade limitada de contestar uma decisão de pontuação que determina se recebem ajuda. Nenhuma lei nacional de devido processo ou regime de direito à explicação se aplica uniformemente às operações de um organismo multilateral, pelo que as salvaguardas que este tópico descreve têm de ser incorporadas nas próprias normas operacionais da organização e não herdadas de um quadro jurídico externo exequível, ecoando a lacuna de representação e de responsabilização que o Tópico 3.4 identifica para os organismos multilaterais em geral (ver Tópico 3.4 — Responsabilização, transparência e legitimidade). O que está em jogo é também grave aqui, uma vez que uma decisão algorítmica pode determinar o acesso a alimentos, abrigo ou tratamento de asilo para pessoas com a menor capacidade prática de qualquer grupo deste tópico para recorrer de um resultado errado.

Modos de falha comuns

Discriminação por indicador indireto. Um modelo exclui diretamente uma característica protegida mas aprende um sinal equivalente a partir de uma variável correlacionada — código postal, apelido, setor de emprego, historial de prestações —, reproduzindo o mesmo padrão discriminatório que a exclusão pretendia prevenir. O custo é uma falsa sensação de segurança: a organização pode dizer com verdade que a variável protegida nunca foi usada, enquanto o resultado continua tão desigual como se tivesse sido.

Enviesamento de automatização na revisão humana. Um revisor humano, formalmente obrigado a verificar a recomendação de um algoritmo, aprova-a na esmagadora maioria dos casos porque discordar leva mais tempo, mais justificação ou mais risco pessoal do que concordar. O custo é que um controlo que a organização julga estar a apanhar erros está, na prática, a carimbá-los, e isto só se torna normalmente visível quando alguém mede diretamente a taxa de anulação em vez de confiar em que o processo existe.

Teatro da explicabilidade. Uma organização fornece uma explicação para uma decisão automatizada que soa específica e satisfatória mas é gerada a posteriori por um método que aproxima, em vez de revelar, o raciocínio efetivo do modelo. O custo surge quando a explicação é testada sob escrutínio real — um recurso, uma auditoria, uma impugnação judicial — e se revela não corresponder ao motivo por que o sistema efetivamente produziu aquele resultado particular.

Enviesamento histórico reproduzido por ciclos de realimentação. Um modelo treinado com os resultados de decisões passadas — que bairros foram investigados, que pedidos foram aprovados — aprende e depois perpetua qualquer padrão de excesso de vigilância ou de subatendimento que moldou essas decisões passadas, e cada nova ronda de decisões que produz torna-se dados de treino para a versão seguinte, aprofundando o padrão em vez de o corrigir. Isto foi documentado em vários domínios do setor público a nível internacional, incluindo a vigilância policial baseada no risco e a triagem de fraude nas prestações sociais, e o mecanismo subjacente é suficientemente consistente nesses casos documentados para ser tratado como um risco geral em qualquer sistema treinado com dados históricos de fiscalização ou de ação social, independentemente da jurisdição.

A lacuna de responsabilização, ou o problema das «muitas mãos». Quando uma decisão passa por um modelo de fornecedor, pelos dados de um organismo, pela fixação de limiares de uma equipa de política e por uma validação nominal de um técnico, a responsabilidade por um resultado errado pode acabar por ser genuinamente pouco clara mesmo para a própria organização, podendo cada parte apontar para outra como origem do erro. O custo não é apenas que o cidadão afetado não consegue obter uma resposta clara, mas que a organização não consegue corrigir de forma fiável a causa real, porque não existe nenhum responsável único pela decisão como um todo (ver Tópico 3.4 — Responsabilização, transparência e legitimidade).

Modelo de maturidade

Lista de verificação

• Construa um inventário completo de todos os sistemas que tomam ou informam materialmente uma decisão que afeta os direitos ou prestações de uma pessoa, incluindo as ferramentas fornecidas por fornecedores.
• Classifique cada sistema desse inventário pelo que está em jogo na decisão que informa, usando um escalão de risco definido.
• Confirme que cada pessoa afetada recebe um aviso em linguagem simples de que um algoritmo esteve envolvido no seu caso.
• Redija a explicação específica, ao nível do caso, que um cidadão real receberia em recurso, e teste se satisfaria efetivamente esse cidadão.
• Teste cada sistema de elevado risco quanto ao impacto desproporcionado usando resultados reais pós-implantação, desagregados por características relevantes, e não apenas verificando as variáveis de entrada excluídas.
• Meça a taxa de anulação e o tempo médio de revisão de cada controlo de humano no circuito, e trate uma taxa de anulação próxima de zero como uma conclusão.
• Confirme que um humano nomeado, com autoridade genuína para reverter a decisão, revê todos os recursos.
• Coloque a auditoria algorítmica sob uma função independente da equipa que construiu ou opera o sistema.
• Confirme que os dados de treino e operacionais de cada sistema permanecem dentro de um circuito governado e limitado à finalidade.
• Fixe um calendário fixo de novo treino e de revalidação para cada modelo implantado, em vez de esperar que uma queixa desencadeie a revisão.
• Identifique quais dos seus sistemas não têm atualmente salvaguarda contra a automatização plena nas decisões mais graves e menos reversíveis, e corrija isso primeiro.
• Execute as seis perguntas de discussão acima com a sua equipa e registe onde a resposta honesta difere da oficial.

Fontes principais

• Princípios da IA da OCDE (2019, atualizados em 2024) — a primeira norma intergovernamental para uma IA de confiança, que abrange o crescimento inclusivo, os direitos humanos, a transparência, a robustez e a responsabilização.
• Regulamento da Inteligência Artificial da União Europeia (Regulamento (UE) 2024/1689) — o primeiro quadro jurídico abrangente e escalonado por risco para a IA, que trata explicitamente as utilizações no setor público em matéria de elegibilidade, aplicação da lei e migração.
• US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — um quadro de governação, dados, desempenho e monitorização para a responsabilização da IA no setor público.
• A investigação de Danielle Keats Citron sobre o «devido processo tecnológico», que defende que os sistemas automatizados exigem salvaguardas processuais concebidas especificamente para a decisão algorítmica e não para a humana.
• A investigação de divulgação pública de Cathy O'Neil, Virginia Eubanks e Frank Pasquale sobre o enviesamento algorítmico, a administração automatizada das prestações sociais e os sistemas opacos de pontuação, citada ao longo da discussão deste tópico sobre o enviesamento dos dados de treino e o problema da caixa-negra.

Referências

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp