IA y Toma de Decisiones Algorítmica en el Gobierno

Por qué esto importa para el valor público

Los organismos públicos siempre han racionado la atención: un gestor de casos no puede entrevistar personalmente a cada solicitante, un funcionario de aduanas no puede inspeccionar cada contenedor, un equipo de fraude no puede revisar cada reclamación. La inteligencia artificial (IA) —el campo amplio de construir sistemas que realizan tareas que normalmente requieren juicio humano— y la práctica más estrecha de la toma de decisiones algorítmica y automatizada (TDA) prometen racionar esa atención más consistentemente y a una escala mucho mayor, puntuando, señalando, o decidiendo directamente casos que un equipo humano nunca podría revisar completamente. El Tema 5.1 cubre los patrones de entrega de servicio digital dentro de los cuales se sitúa esta capacidad (véase el Tema 5.1 — Gobierno Digital y Transformación Digital); este tema trata sobre qué ocurre una vez que un modelo, en lugar de un funcionario nombrado, está haciendo parte o toda la decisión.

La promesa es real: un modelo bien construido puede captar patrones de fraude invisibles para un gestor de casos, aplicar reglas de elegibilidad con perfecta consistencia a través de un millón de reclamaciones, y liberar tiempo experto escaso para los casos que genuinamente necesitan juicio. El riesgo es igualmente real y más difícil de ver desde dentro de la organización que construyó el sistema. Un modelo entrenado con datos históricos puede reproducir y amplificar la misma discriminación que existe un organismo público para corregir; un modelo complejo puede ser tan opaco que ni el ciudadano ni el funcionario que depende de él pueden decir por qué decidió lo que decidió; y una decisión que un algoritmo informa fuertemente aún puede, procedimentalmente, dejar a nadie capaz de dar al ciudadano una razón o escuchar su caso. Nada de esto es hipotético: reguladores, tribunales, y organismos equivalentes a defensores del pueblo en múltiples jurisdicciones ya han encontrado sistemas de puntuación de riesgo y detección de fraude del sector público que señalaban desproporcionadamente a personas por vecindario, historial de inmigración, o estructura familiar, en cada caso porque el patrón que hacía preciso al modelo también resultaba rastrear una característica protegida o sensible.

Lo que está en juego para el valor público por lo tanto no es eficiencia frente a justicia como una compensación que equilibrar una vez, sino una disciplina de diseño que sostener continuamente. Un ciudadano al que un funcionario humano niega un beneficio puede preguntarle a ese funcionario por qué, y puede apelar ante otro humano con la posición y el poder de cambiar la respuesta —la maquinaria de rendición de cuentas que describe el Tema 3.4 (véase el Tema 3.4 — Rendición de Cuentas, Transparencia, y Legitimidad). Un ciudadano al que un modelo niega un beneficio necesita ese mismo derecho a una explicación y esa misma ruta hacia un humano que pueda anularla, o el organismo público silenciosamente ha exportado una garantía de debido proceso que nunca retiró formalmente. Acertar en esto es lo que permite a un organismo público capturar las ganancias genuinas de consistencia y escala de la toma de decisiones algorítmica sin convertir "el algoritmo decidió" en una frase que termina la rendición de cuentas en lugar de comenzarla.

Conceptos fundamentales

La toma de decisiones automatizada (TDA) es el uso de datos, software, y algoritmos para tomar o informar materialmente decisiones con grados variables de supervisión humana, abarcando un espectro desde un sistema que meramente saca a la superficie información para un humano hasta uno que decide y actúa sin ninguna implicación humana en absoluto (véase Toma de decisiones automatizada). Dónde se sitúa un sistema en ese espectro —apoyo a la decisión, aumento de la decisión, o automatización completa— determina qué obligaciones de rendición de cuentas y debido proceso aplican, que es por qué los reguladores cada vez más clasifican los sistemas por posición en él en lugar de por la tecnología subyacente.

Humano en el bucle describe un arreglo en el que una persona revisa o aprueba el producto de un algoritmo antes de que entre en vigor, a diferencia del humano sobre el bucle (una persona monitorea y puede intervenir) o el procesamiento completamente automatizado sin revisión en absoluto (véase Humano en el bucle). Un control genuino de humano en el bucle exige que el revisor tenga el tiempo, la información, y la posición para realmente estar en desacuerdo con el sistema; un revisor que aprueba casi cada recomendación algorítmica porque estar en desacuerdo toma más tiempo o conlleva más riesgo personal que estar de acuerdo no está ejerciendo supervisión, aunque el diagrama de proceso muestre un paso humano. Este patrón, a menudo llamado sesgo de automatización, es uno de los fallos más comunes y menos visibles del tema de este tema.

El sesgo algorítmico es la tendencia sistemática y repetible de un sistema computarizado a producir resultados injustos —por ejemplo, privilegiando a un grupo sobre otro de formas que ni pretendían ni, a menudo, notaron los diseñadores del sistema (véase Sesgo algorítmico). En la administración pública la fuente dominante es el sesgo de datos de entrenamiento: un modelo entrenado con registros históricos de aplicación, préstamos, o gestión de casos aprende los patrones en esos registros, incluyendo cualquier vigilancia excesiva histórica, servicio insuficiente, o práctica discriminatoria incorporada en quién fue investigado, aprobado, o señalado en el pasado. Un modelo puede reproducir este resultado incluso cuando una característica sensible —raza, discapacidad, estatus migratorio— se excluye explícitamente de los datos, porque un proxy correlacionado (código postal, apellido, patrón de turno, historial de beneficios) lleva la misma señal con otro nombre; eliminar la variable nombrada sin probar sus proxies es una forma común en que un organismo público cree que ha arreglado un problema de sesgo que en absoluto ha arreglado.

La equidad en el aprendizaje automático se refiere a la familia de enfoques técnicos y procedimentales para medir y corregir el sesgo algorítmico en decisiones automatizadas (véase Equidad (aprendizaje automático)). Una característica genuinamente difícil de este campo, no una nota técnica solucionable, es que varias definiciones intuitivamente razonables de equidad —tasas de aprobación iguales entre grupos, tasas de error iguales entre grupos, y precisión calibrada igualmente dentro de cada grupo— son matemáticamente incompatibles siempre que los grupos subyacentes tengan tasas base diferentes en los datos. Un organismo público no puede satisfacer cada definición simultáneamente; solo puede elegir, explícitamente y con razones que esté dispuesto a defender, qué definición debería optimizar la decisión en cuestión, lo cual es un juicio de política disfrazado de uno técnico.

La explicabilidad y el problema de la caja negra. Un modelo es una caja negra cuando su funcionamiento interno no se puede inspeccionar ni entender solo a partir de sus entradas y salidas —cierto de muchos modelos de aprendizaje automático de alto rendimiento, cuya precisión a menudo viene precisamente de la complejidad que los hace difíciles de interpretar. La inteligencia artificial explicable, o IAX, es el campo de métodos para hacer inspeccionable el razonamiento de un modelo, que va desde elegir tipos de modelo inherentemente interpretables para decisiones consecuentes hasta generar explicaciones posteriores al hecho que aproximan, en lugar de revelar, lo que realmente hizo un modelo complejo. La distinción importa legalmente tanto como técnicamente: una explicación aproximada que suena plausible pero no refleja el razonamiento real del modelo puede satisfacer una lista de verificación de transparencia mientras falla al ciudadano que depende de ella para disputar la base real de una decisión en su contra.

El derecho a explicación es el principio legal disputado de que una persona sujeta a una decisión automatizada significativa tiene derecho a una explicación significativa de la lógica involucrada, más estrechamente asociado con el Reglamento General de Protección de Datos de la Unión Europea, que restringe las decisiones basadas únicamente en procesamiento automatizado que producen efectos legales o similarmente significativos y da al sujeto derechos a obtener intervención humana y a impugnar la decisión (véase Derecho a explicación y Reglamento General de Protección de Datos). Los académicos legales disputan cuán fuerte es realmente este derecho en la práctica, y las jurisdicciones fuera de la Unión Europea en gran medida carecen de un derecho estatutario equivalente, que es por qué un organismo público no debería tratar 'cumplimos con la ley de protección de datos relevante' como equivalente a 'podemos explicar esta decisión a la persona a la que afecta' —las dos afirmaciones están relacionadas pero no son lo mismo, y solo la segunda es lo que realmente exige el debido proceso.

El debido proceso y la justicia natural. En el derecho administrativo, el debido proceso —el principio, más desarrollado en el derecho constitucional estadounidense pero reflejado de forma comparable en muchos sistemas legales, de que el estado debe seguir procedimientos justos antes de privar a una persona de un derecho o titularidad— y la justicia natural —la tradición de derecho administrativo del Commonwealth que exige una audiencia justa y libertad de sesgo en el tomador de decisiones— ambos descansan sobre un supuesto escrito antes de que existieran las computadoras: que una decisión tiene un tomador de decisiones identificable que puede dar razones, que se puede mostrar libre de un sesgo descalificante, y al que se le puede pedir reconsiderar. Un algoritmo tensiona los tres supuestos a la vez —las razones pueden estar técnicamente no disponibles, el 'sesgo' en cuestión es estadístico en lugar de personal, y la reconsideración por el mismo modelo produce la misma respuesta— que es por qué el debido proceso para las decisiones algorítmicas tiene que diseñarse explícitamente en lugar de heredarse de procedimientos construidos para tomadores de decisiones humanos.

La regulación de la IA basada en riesgo. En lugar de regular toda la IA uniformemente, un patrón regulatorio emergente —más completamente desarrollado en la Ley de Inteligencia Artificial de la Unión Europea— escalona las obligaciones por lo que está en juego en la aplicación, prohibiendo un conjunto estrecho de usos directamente, imponiendo las obligaciones de cumplimiento más pesadas a los usos de 'alto riesgo' (que explícitamente incluyen la determinación de elegibilidad del sector público, la evaluación de riesgo de aplicación de la ley, y las decisiones migratorias), exigiendo divulgaciones de transparencia para usos de menor riesgo, y dejando en gran medida sin regular los usos de riesgo mínimo (véase Ley de Inteligencia Artificial). Cualquiera que sea el patrón regulatorio en una jurisdicción dada, la idea subyacente —que las obligaciones de gobernanza deberían escalar con lo que está en juego en la decisión, no con la sofisticación de la tecnología— es un principio de diseño útil incluso sin una obligación legal directa de seguir el régimen específico de la UE.

Mejores prácticas

1. Clasifique cada sistema por lo que está en juego en la decisión antes de elegir el modelo, no después. Un sistema que señala un caso para revisión humana conlleva una obligación diferente de uno que niega un beneficio directamente; decida en qué nivel se sitúa un caso de uso, usando un marco como las categorías de riesgo de la Ley de IA de la UE como punto de referencia, antes de construir en lugar de después de que el despliegue revele la brecha.
2. Diga a las personas, en lenguaje llano, cuando un algoritmo está involucrado en una decisión sobre ellas. Un aviso de privacidad genérico enterrado en términos y condiciones no satisface esto; el aviso debería decir qué hace el sistema, qué datos usa, y qué pasa si la persona no está de acuerdo con su producto.
3. Construya un control de humano en el bucle que un revisor realmente pueda ejercer, y mida si lo hace. Rastree la tasa de anulación, el tiempo promedio dedicado por caso, y si los revisores que no están de acuerdo con el modelo enfrentan alguna fricción que no enfrenta estar de acuerdo —si la tasa de anulación está cerca de cero, la revisión muy probablemente es decorativa.
4. Pruebe el impacto dispar usando resultados reales, no las intenciones de los desarrolladores. Antes del despliegue y en una cadencia recurrente fija después, mida los resultados del modelo desagregados por características protegidas y sensibles, incluyendo mediante proxies probables como el código postal o el historial de beneficios, porque un modelo que nunca usa directamente una variable protegida aún puede producir un resultado marcadamente desigual.
5. Dé a cada persona afectada una ruta hacia un humano que tenga el poder de anular la decisión del algoritmo, no meramente explicarla. Un canal de apelación que reafirma el razonamiento del modelo sin una posibilidad genuina de reversión satisface la letra de un derecho a explicación mientras derrota su propósito.
6. Prefiera un modelo interpretable sobre un modelo de caja negra marginalmente más preciso para decisiones legalmente consecuentes. Donde la brecha de precisión entre un modelo interpretable y uno complejo es pequeña, la ganancia de interpretabilidad usualmente vale mucho más para el ciudadano, el funcionario de apelación, y el auditor de lo que vale la precisión marginal para la organización.
7. Documente el propósito, los datos de entrenamiento, las limitaciones conocidas, y el uso pretendido de cada sistema en un registro permanente, y actualícelo cuando cambie cualquiera de ellos. Un modelo desplegado para un propósito y silenciosamente reutilizado para otro —el cribado de fraude extendido a la clasificación general de elegibilidad, por ejemplo— usualmente ha dejado atrás su validación y prueba de sesgo original.
8. Mantenga los datos de entrenamiento y operativos de un modelo de alto riesgo dentro de una tubería gobernada y de propósito limitado. Reutilizar un conjunto de datos recopilado para un propósito administrativo para entrenar un modelo para un propósito no relacionado es un fallo de gobernanza de datos tanto como uno de modelado (véase el Tema 5.4 — Datos del Sector Público, Interoperabilidad, y Datos Abiertos).
9. Ponga la auditoría algorítmica bajo una función que no informe al equipo que construyó u opera el sistema. Una auditoría realizada por los propios desarrolladores del sistema encuentra problemas diferentes, y menos de ellos, que una realizada por un revisor genuinamente independiente con la posición para publicar un hallazgo adverso (véase el Tema 3.4 — Rendición de Cuentas, Transparencia, y Legitimidad).
10. Ejecute un período sombra antes de activar un sistema para decisiones reales. Compare las recomendaciones del modelo con las decisiones humanas reales sobre los mismos casos durante un período definido antes de que comience a actuar, de modo que cualquier divergencia sistemática salga a la superficie antes de que un ciudadano se vea afectado por ella.
11. Reserve la automatización completa, sin ninguna revisión humana en absoluto, solo para las decisiones menos consecuentes y más reversibles. Cuanto más severa y menos reversible sea una decisión —terminación de un beneficio, una derivación de fraude que activa una investigación criminal, una negación de entrada— más fuerte es el caso de mantener a un humano genuinamente en el bucle, cualquiera que sea la precisión medida del modelo.
12. Vuelva a entrenar, revalidar, y probar el sesgo en un calendario fijo, no solo cuando se informa un problema. Las propiedades de precisión y equidad de un modelo pueden derivar silenciosamente a medida que cambia la población y el mundo en el que se entrenó, y un organismo público que solo investiga después de una queja ya ha dejado que la deriva se ejecute durante el tiempo que tomó en salir a la superficie la queja.

Preguntas para discutir con su equipo

¿Dónde en nuestra organización actualmente un algoritmo toma o informa fuertemente una decisión que afecta los derechos, titularidades, o libertad de una persona, y realmente podría descubrir cada persona afectada que ocurrió? Muchas organizaciones descubren, cuando realmente inventarían sus sistemas, que la puntuación o clasificación algorítmica se ha infiltrado en más puntos de decisión de los que cualquier equipo individual se dio cuenta, a menudo introducida originalmente como una herramienta de eficiencia de bajo riesgo. Use esta pregunta para construir ese inventario honestamente, incluyendo sistemas contratados a un proveedor en lugar de construidos internamente, ya que la contratación puede oscurecer cuánto realmente está decidiendo una herramienta comprada. Discuta si sus prácticas actuales de aviso permitirían a un ciudadano afectado descubrir, sin conocimiento especializado, que un modelo estuvo involucrado en su caso.

Si un ciudadano impugnara formalmente una de nuestras decisiones automatizadas mañana, ¿podríamos darle una razón real y específica, o solo una descripción del proceso? Una descripción de proceso —'el sistema consideró su ingreso, tamaño del hogar, e historial de pago'— no es lo mismo que una explicación de por qué esas entradas produjeron este resultado particular para esta persona particular. Use esta pregunta para elegir un sistema en vivo e intentar, como equipo, escribir la explicación que recibiría un ciudadano real si apelara. Si el ejercicio es difícil, esa dificultad es en sí misma el hallazgo.

¿Sabemos si nuestros datos de entrenamiento reproducen un patrón histórico de sesgo, y lo hemos probado frente a resultados reales en lugar de frente a nuestras intenciones? Excluir una característica protegida de un conjunto de datos no es lo mismo que excluir su influencia, porque los proxies correlacionados pueden llevar la misma señal bajo un nombre diferente. Use esta pregunta para identificar cuáles de sus sistemas se han probado por impacto dispar usando resultados reales posteriores al despliegue, desagregados por características relevantes, en lugar de probados solo por la presencia de una variable protegida en los datos de entrada. Discuta qué se necesitaría para ejecutar esa prueba basada en resultados en su sistema de mayor riesgo si aún no se ha hecho.

¿Es nuestra revisión de humano en el bucle una comprobación genuina, o un sello de goma que no hemos medido lo suficientemente de cerca como para notarlo? Un revisor humano bajo presión de tiempo, sin contexto completo, o enfrentando más fricción por estar en desacuerdo que por estar de acuerdo tenderá hacia aprobar la recomendación del algoritmo independientemente de su calidad. Use esta pregunta para encontrar su tasa real de anulación para al menos un sistema, y discuta qué le dice ese número sobre si la revisión está funcionando como un control o como una formalidad de cumplimiento.

¿Qué ocurre realmente, procedimentalmente, cuando alguien quiere apelar una decisión que tomó o informó fuertemente nuestro algoritmo —y alguna vez ve la apelación un humano con poder real de anularla? Muchos procesos de apelación dirigen a un ciudadano de vuelta a través de una descripción de la lógica del modelo sin jamás llegar a una persona que pueda anular el resultado sobre sus méritos. Use esta pregunta para rastrear una apelación, de principio a fin, para un caso real o realista, e identifique el punto exacto, si lo hay, donde se involucra un humano con autoridad genuina para cambiar la respuesta.

¿Quién posee el riesgo si uno de nuestros modelos se degrada o deriva después del despliegue, y cómo realmente lo sabríamos antes de que nos lo dijera un ciudadano o un periodista? Las propiedades de equidad y precisión de un modelo no están fijas en el lanzamiento; pueden cambiar a medida que la población, la economía, o la política adyacente cambian, a menudo invisiblemente para el equipo que construyó el sistema. Use esta pregunta para identificar quién es responsable del monitoreo posterior al despliegue, en qué cadencia, y qué específicamente activaría un reentrenamiento o una pausa. Si la respuesta honesta es 'nadie está observando esto específicamente', trate eso como el hallazgo más urgente que puede producir esta discusión.

En la práctica: un ejemplo de valor público

Una agencia nacional ficticia de seguridad social construyó un modelo de puntuación de riesgo para priorizar qué reclamaciones de beneficio por desempleo debería revisar primero su equipo de investigación de fraude, después de años de un atraso que significaba que el fraude genuino permanecía sin investigar durante meses mientras los reclamantes honestos esperaban por retrasos de procesamiento no relacionados. El modelo se entrenó con cinco años de expedientes de investigación cerrados, aprendiendo qué características de reclamación históricamente habían precedido a un hallazgo de fraude confirmado, y funcionó bien en las pruebas: las reclamaciones que puntuó como alto riesgo se confirmaron fraudulentas a una tasa mucho mayor que una muestra aleatoria, y el liderazgo de la agencia, observando caer su atraso por primera vez en años, trató el despliegue como un éxito inequívoco.

Dieciocho meses después, una oficina interna equivalente a defensor del pueblo notó algo que el propio panel de desempeño del equipo de fraude no había sacado a la superficie: los reclamantes que vivían en un pequeño número de distritos postales, desproporcionadamente de bajos ingresos y desproporcionadamente migrantes recientes, estaban siendo señalados para investigación a casi tres veces la tasa de reclamantes similares por lo demás en otros lugares, y una parte mucho mayor de sus reclamaciones señaladas se cerraban sin encontrar fraude en absoluto. El patrón se rastreó hasta los datos de entrenamiento: los expedientes de investigación históricos reflejaban años en los que los investigadores de campo, trabajando desde sus propias heurísticas informales, habían concentrado comprobaciones puntuales manuales exactamente en esos distritos, así que el modelo había aprendido a tratar vivir ahí como predictivo de fraude, cuando en realidad solo era predictivo de haber sido comprobado más a menudo en el pasado. El distrito postal nunca había sido una entrada del modelo; no necesitaba serlo, porque la composición del hogar, el sector del empleador, y los campos de método de pago se correlacionaban lo suficientemente estrechamente con él como para llevar la misma señal por proxy.

La investigación de la agencia confirmó que el patrón era real, y también confirmó un segundo problema, más silencioso: los revisores humanos que se suponía que aprobarían un caso para investigación completa antes de que procediera habían estado aprobando las recomendaciones de puntuación más alta del modelo en la abrumadora mayoría de los casos, con tiempos de revisión promediando menos de dos minutos por caso —lejos de suficiente para cuestionar significativamente una puntuación estadística, lo que significaba que el control de humano en el bucle que el liderazgo había señalado como una salvaguarda en realidad no había estado captando la disparidad que existía para captar. La respuesta de la agencia combinó varias de las mejores prácticas de este tema a la vez: reentrenó el modelo con el patrón de vigilancia excesiva histórica corregido, alargó el tiempo de revisión y dio a los revisores autoridad para cerrar un caso señalado sin escalamiento cuando su propio juicio discrepara de la puntuación, y construyó un aviso en lenguaje llano y una ruta de apelación genuina a un funcionario de caso nombrado para cualquiera cuya reclamación fuera señalada. El rendimiento de investigación por hora de revisor cayó algo, pero la tasa de fraude confirmado entre las reclamaciones señaladas de los distritos previamente sobreseñalados subió para igualar el resto de la carga de casos, lo que la propia auditoría de la agencia trató como la medida real del éxito —no el volumen de reclamaciones señaladas, sino si el señalamiento rastreaba fraude real en lugar de un patrón histórico que el modelo había aprendido a reproducir.

Cuatro lentes sectoriales

Gobierno local

Las autoridades locales cada vez más despliegan herramientas algorítmicas para las decisiones con lo más inmediato y personal en juego para los residentes —prioridad de asignación de vivienda, puntuación de riesgo de bienestar infantil, y clasificación de fraude de impuesto municipal o beneficios— a menudo mientras carecen de la capacidad interna de ciencia de datos para construir, validar, o auditar estos sistemas ellas mismas, dejando a muchas dependientes de modelos suministrados por proveedores cuyos datos de entrenamiento y validación la autoridad no puede inspeccionar completamente. Esto crea una disciplina de contratación particular: una autoridad local que encarga un sistema algorítmico debería exigir, como condición contractual, la misma explicabilidad, prueba de sesgo, y acceso de auditoría que exigiría de una construcción interna, porque los derechos de debido proceso de un residente no disminuyen porque la autoridad compró el sistema en lugar de construirlo. La proximidad del gobierno local a los residentes también significa que un fallo algorítmico tiene más probabilidad de volverse conocido personalmente en la comunidad antes de convertirse en una queja formal, lo que aboga por una revisión local temprana y ligera.

Gobierno nacional

Las agencias nacionales operan los sistemas de mayor escala en el alcance de este tema —detección de fraude fiscal, evaluación de riesgo migratorio, elegibilidad nacional de beneficios— donde incluso una pequeña tasa de error se traduce en un número absoluto muy grande de personas afectadas, y donde la agencia típicamente tiene la capacidad técnica y legal más profunda para construir salvaguardas genuinas. Los gobiernos nacionales también usualmente son el nivel en el que se escribe y aplica la regulación de IA basada en riesgo, donde existe, dando a las agencias nacionales las obligaciones formales más claras y la mayor exposición cuando una auditoría o un tribunal encuentra que un sistema automatizado ha producido resultados discriminatorios o no revisables a escala. Lo que está en juego en el debido proceso es más alto aquí también en otro sentido: una puntuación de riesgo de inmigración o de aplicación de la ley puede afectar la libertad tanto como la titularidad, lo que aboga por la postura de automatización más conservadora —la menor automatización completa y la revisión humana más genuina— precisamente donde el caso técnico para la automatización a menudo es más fuerte debido al volumen de casos.

Sector social y sin ánimo de lucro

Las organizaciones sin ánimo de lucro y las organizaciones no gubernamentales (ONG) cada vez más usan herramientas algorítmicas para clasificar la distribución de ayuda, examinar a beneficiarios por elegibilidad, o priorizar la gestión de casos exactamente en los dominios que cubre este tema, a menudo bajo restricciones de recursos reales que hacen genuinamente convincente el caso de eficiencia para la automatización. La estructura de rendición de cuentas, sin embargo, es marcadamente diferente de la del gobierno: los beneficiarios de una organización sin ánimo de lucro rara vez tienen los derechos de apelación estatutarios que tiene un ciudadano frente a una agencia estatal, y la relación de rendición de cuentas primaria de la organización a menudo corre hacia sus financiadores en lugar de hacia las personas sobre las que decide el algoritmo, que es precisamente la brecha de rendición de cuentas que describe el Tema 3.8 — Gestión del Sector Social y Organizaciones Sin Ánimo de Lucro — para el sector en general. Una organización sin ánimo de lucro que adopta la clasificación algorítmica por lo tanto debería construir los derechos de explicación y apelación que describe este tema como un estándar voluntario, no porque lo exija un regulador, sino porque las personas a las que sirve la organización no tienen ninguna otra ruta hacia uno.

Multilateral e internacional

Los organismos multilaterales y las agencias humanitarias internacionales aplican herramientas de focalización algorítmica y puntuación de riesgo a través de fronteras y sistemas legales, frecuentemente en entornos de crisis donde el beneficio de velocidad de la automatización es más agudo y los datos disponibles son menos confiables —datos de registro incompletos, datos recopilados para una crisis y reutilizados para otra, y poblaciones con capacidad limitada de disputar una decisión de puntuación que determina si reciben ayuda. Ninguna ley nacional individual de debido proceso o régimen de derecho a explicación aplica uniformemente a través de las operaciones de un organismo multilateral, así que las salvaguardas que describe este tema tienen que construirse en los propios estándares operativos de la organización en lugar de heredarse de un marco legal externo exigible, haciendo eco de la brecha representacional y de rendición de cuentas que identifica el Tema 3.4 para los organismos multilaterales en general (véase el Tema 3.4 — Rendición de Cuentas, Transparencia, y Legitimidad). Lo que está en juego también es severo aquí, ya que una decisión algorítmica puede determinar el acceso a alimentos, refugio, o procesamiento de asilo para personas con la menor capacidad práctica de cualquier grupo en este tema de apelar un resultado equivocado.

Modos de fallo comunes

Discriminación por proxy. Un modelo excluye directamente una característica protegida pero aprende una señal equivalente de una variable correlacionada —código postal, apellido, sector de empleo, historial de beneficios— reproduciendo el mismo patrón discriminatorio que la exclusión pretendía prevenir. El coste es una falsa sensación de seguridad: la organización puede decir con veracidad que la variable protegida nunca se usó, mientras el resultado permanece igualmente desigual que si se hubiera usado.

Sesgo de automatización en la revisión humana. Un revisor humano, formalmente requerido para comprobar la recomendación de un algoritmo, la aprueba en la abrumadora mayoría de los casos porque estar en desacuerdo toma más tiempo, más justificación, o más riesgo personal que estar de acuerdo. El coste es que un control que la organización cree que está captando errores está, en la práctica, sellándolos con un sello de goma, y esto usualmente solo se vuelve visible una vez que alguien mide directamente la tasa de anulación en lugar de confiar en que existe el proceso.

Teatro de explicabilidad. Una organización proporciona una explicación para una decisión automatizada que suena específica y satisfactoria pero se genera después del hecho mediante un método que aproxima, en lugar de revelar, el razonamiento real del modelo. El coste sale a la superficie cuando se prueba la explicación bajo escrutinio real —una apelación, una auditoría, un cuestionamiento legal— y resulta no corresponder a por qué el sistema realmente produjo ese resultado particular.

Sesgo histórico reproducido mediante bucles de retroalimentación. Un modelo entrenado con los resultados de decisiones pasadas —qué vecindarios se investigaron, qué solicitudes se aprobaron— aprende y luego perpetúa cualquier patrón de escrutinio excesivo o servicio insuficiente que dio forma a esas decisiones pasadas, y cada nueva ronda de decisiones que produce se convierte en datos de entrenamiento para la próxima versión, profundizando el patrón en lugar de corregirlo. Esto se ha documentado en múltiples dominios del sector público internacionalmente, incluyendo la vigilancia basada en riesgo y el cribado de fraude de bienestar, y el mecanismo subyacente es lo suficientemente consistente entre esos casos documentados como para tratarlo como un riesgo general en cualquier sistema entrenado con datos históricos de aplicación o gestión de casos, independientemente de la jurisdicción.

La brecha de rendición de cuentas, o el problema de las "muchas manos". Cuando una decisión pasa por el modelo de un proveedor, los datos de una agencia, la fijación de umbral de un equipo de política, y la aprobación nominal de un gestor de casos, la responsabilidad por un resultado equivocado puede terminar genuinamente poco clara incluso para la propia organización, con cada parte capaz de señalar a otra como la fuente del error. El coste no es solo que el ciudadano afectado no puede obtener una respuesta clara, sino que la organización no puede arreglar confiablemente la causa real, porque no existe ningún propietario individual responsable para la decisión como un todo (véase el Tema 3.4 — Rendición de Cuentas, Transparencia, y Legitimidad).

Modelo de madurez

Lista de verificación

• Construir un inventario completo de cada sistema que toma o informa materialmente una decisión que afecta los derechos o titularidades de una persona, incluyendo herramientas suministradas por proveedores.
• Clasificar cada sistema en ese inventario por lo que está en juego en la decisión que informa, usando un nivel de riesgo definido.
• Confirmar que cada persona afectada recibe un aviso en lenguaje llano de que un algoritmo estuvo involucrado en su caso.
• Redactar la explicación específica a nivel de caso que recibiría un ciudadano real en apelación, y probar si realmente lo satisfaría.
• Probar cada sistema de alto riesgo por impacto dispar usando resultados reales posteriores al despliegue, desagregados por características relevantes, no solo comprobando variables de entrada excluidas.
• Medir la tasa de anulación y el tiempo promedio de revisión para cada control de humano en el bucle, y tratar una tasa de anulación cercana a cero como un hallazgo.
• Confirmar que un humano nombrado, con autoridad genuina para anular la decisión, revisa cada apelación.
• Colocar la auditoría algorítmica bajo una función independiente del equipo que construyó u opera el sistema.
• Confirmar que los datos de entrenamiento y operativos de cada sistema permanecen dentro de una tubería gobernada y de propósito limitado.
• Fijar un calendario fijo de reentrenamiento y revalidación para cada modelo desplegado, en lugar de esperar a que una queja active la revisión.
• Identificar cuáles de sus sistemas actualmente no tienen ninguna salvaguarda de automatización completa para las decisiones más severas y menos reversibles, y corregir eso primero.
• Ejecutar las seis preguntas de discusión anteriores con su equipo y registrar dónde difiere la respuesta honesta de la oficial.

Fuentes clave

• Principios de IA de la OCDE (2019, actualizados en 2024) —el primer estándar intergubernamental para la IA confiable, cubriendo el crecimiento inclusivo, los derechos humanos, la transparencia, la robustez, y la rendición de cuentas.
• Ley de Inteligencia Artificial de la Unión Europea (Reglamento (UE) 2024/1689) —el primer marco legal integral escalonado por riesgo para la IA, abordando explícitamente los usos de elegibilidad del sector público, aplicación de la ley, y migración.
• Oficina de Responsabilidad Gubernamental de EE. UU., Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) —un marco de gobernanza, datos, desempeño, y monitoreo para la rendición de cuentas de IA en el sector público.
• La erudición de Danielle Keats Citron sobre 'debido proceso tecnológico', argumentando que los sistemas automatizados requieren salvaguardas procedimentales construidas específicamente para la toma de decisiones algorítmica, en lugar de la humana.
• La erudición orientada al público de Cathy O'Neil, Virginia Eubanks, y Frank Pasquale sobre el sesgo algorítmico, la administración de bienestar automatizada, y los sistemas de puntuación opacos, citada a lo largo de la discusión de este tema sobre el sesgo de datos de entrenamiento y el problema de la caja negra.

Referencias

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp