IA et prise de décision algorithmique dans l'administration publique

Pourquoi cela compte pour la valeur publique

Les organismes publics ont toujours rationné l'attention : un agent de dossiers ne peut pas interviewer personnellement chaque demandeur, un agent des douanes ne peut pas inspecter chaque conteneur, une équipe de fraude ne peut pas réviser chaque demande. L'intelligence artificielle (IA) — le domaine large consistant à bâtir des systèmes qui accomplissent des tâches exigeant normalement un jugement humain — et la pratique plus étroite de la prise de décision algorithmique et automatisée (PDA) promettent de rationner cette attention plus constamment et à une bien plus grande échelle, scorant, signalant, ou décidant directement des cas qu'une équipe humaine ne pourrait jamais complètement réviser. Le thème 5.1 couvre les schémas de livraison de service numérique à l'intérieur desquels se situe cette capacité (voir thème 5.1 — Gouvernement numérique et transformation numérique) ; ce thème porte sur ce qui se passe une fois qu'un modèle, plutôt qu'un fonctionnaire nommé, fait une partie ou la totalité de la décision.

La promesse est réelle : un modèle bien bâti peut attraper des schémas de fraude invisibles à un agent de dossiers, appliquer des règles d'éligibilité avec une cohérence parfaite à travers un million de demandes, et libérer du temps d'expert rare pour les cas qui exigent authentiquement un jugement. Le risque est également réel et plus difficile à voir de l'intérieur de l'organisation qui a bâti le système. Un modèle entraîné sur des données historiques peut reproduire et amplifier la discrimination même qu'un organisme public existe pour corriger ; un modèle complexe peut être si opaque que ni le citoyen ni le fonctionnaire qui s'y fie ne peut dire pourquoi il a décidé ce qu'il a décidé ; et une décision qu'un algorithme informe fortement peut encore, procéduralement, laisser personne capable de donner au citoyen une raison ou d'entendre son cas. Rien de cela n'est hypothétique : des régulateurs, des tribunaux, et des organismes équivalents à un ombudsman à travers de multiples juridictions ont déjà trouvé des systèmes de scoring de risque et de détection de fraude du secteur public qui signalaient de façon disproportionnée des gens par quartier, historique d'immigration, ou structure familiale, dans chaque cas parce que le schéma qui rendait le modèle précis se trouvait aussi suivre une caractéristique protégée ou sensible.

L'enjeu de valeur publique n'est donc pas efficience contre équité comme un arbitrage à équilibrer une fois, mais une discipline de conception à soutenir continuellement. Un citoyen à qui une prestation est refusée par un fonctionnaire humain peut demander à ce fonctionnaire pourquoi, et peut faire appel à un autre humain avec le statut et le pouvoir de changer la réponse — la machinerie de redevabilité que le thème 3.4 décrit (voir thème 3.4 — Redevabilité, transparence et légitimité). Un citoyen à qui une prestation est refusée par un modèle a besoin de ce même droit à une explication et de cette même voie vers un humain qui peut la renverser, sinon l'organisme public a discrètement exporté une garantie de procédure régulière qu'il n'a jamais formellement retirée. Bien faire cela est ce qui permet à un organisme public de capturer les véritables gains de la prise de décision algorithmique en cohérence et en échelle sans convertir « l'algorithme a décidé » en une phrase qui termine la redevabilité plutôt que de la commencer.

Concepts fondamentaux

La prise de décision automatisée (PDA) est l'usage de données, de logiciels, et d'algorithmes pour prendre ou informer matériellement des décisions avec des degrés variables de supervision humaine, couvrant un spectre allant d'un système qui fait simplement surgir de l'information pour un humain à un qui décide et agit sans aucune implication humaine du tout (voir prise de décision automatisée). Où un système se situe sur ce spectre — soutien de décision, augmentation de décision, ou automatisation complète — détermine quelles obligations de redevabilité et de procédure régulière s'appliquent, ce qui explique pourquoi les régulateurs classifient de plus en plus les systèmes par position sur celui-ci plutôt que par la technologie sous-jacente.

Humain dans la boucle décrit un arrangement dans lequel une personne révise ou approuve la sortie d'un algorithme avant qu'elle ne prenne effet, distinct de humain sur la boucle (une personne surveille et peut intervenir) ou du traitement entièrement automatisé sans aucune révision du tout (voir humain dans la boucle). Un véritable contrôle d'humain dans la boucle exige que le réviseur ait le temps, l'information, et le statut pour réellement être en désaccord avec le système ; un réviseur qui approuve presque chaque recommandation algorithmique parce qu'être en désaccord prend plus de temps ou porte plus de risque personnel qu'être d'accord n'exerce pas de supervision, même si le diagramme de processus montre une étape humaine. Ce schéma, souvent appelé le biais d'automatisation, est l'un des échecs les plus courants et les moins visibles du sujet de ce thème.

Le biais algorithmique est la tendance systématique et reproductible d'un système informatisé à produire des résultats injustes — par exemple, privilégiant un groupe sur un autre de façons que les concepteurs du système n'avaient ni prévues ni, souvent, remarquées (voir biais algorithmique). En administration publique, la source dominante est le biais des données d'entraînement : un modèle entraîné sur des dossiers historiques d'application, de prêt, ou de travail de cas apprend les schémas dans ces dossiers, y compris toute surveillance policière historique excessive, tout sous-service, ou toute pratique discriminatoire incorporée dans qui a été enquêté, approuvé, ou signalé dans le passé. Un modèle peut reproduire ce résultat même quand une caractéristique sensible — race, handicap, statut migratoire — est explicitement exclue des données, parce qu'un mandataire corrélé (code postal, nom de famille, schéma de quart de travail, historique de prestation) porte le même signal sous un autre nom ; retirer la variable nommée sans tester ses mandataires est une façon courante par laquelle un organisme public croit avoir corrigé un problème de biais qu'il n'a pas du tout corrigé.

L'équité en apprentissage automatique réfère à la famille d'approches techniques et procédurales pour mesurer et corriger le biais algorithmique dans les décisions automatisées (voir équité (apprentissage automatique)). Une caractéristique authentiquement difficile de ce domaine, non une note de bas de page techniquement résoluble, est que plusieurs définitions intuitivement raisonnables de l'équité — taux d'approbation égaux à travers les groupes, taux d'erreur égaux à travers les groupes, et précision calibrée également à l'intérieur de chaque groupe — sont mathématiquement incompatibles chaque fois que les groupes sous-jacents ont des taux de base différents dans les données. Un organisme public ne peut pas satisfaire chaque définition simultanément ; il ne peut que choisir, explicitement et avec des raisons qu'il est prêt à défendre, quelle définition la décision en cause devrait optimiser, ce qui est un jugement politique déguisé en un technique.

L'explicabilité et le problème de la boîte noire. Un modèle est une boîte noire quand son fonctionnement interne ne peut pas être inspecté ni compris à partir de ses seules entrées et sorties — vrai pour de nombreux modèles d'apprentissage automatique très performants, dont la précision vient précisément de la complexité qui les rend difficiles à interpréter. L'intelligence artificielle explicable, ou XAI, est le domaine des méthodes pour rendre inspectable le raisonnement d'un modèle, allant du choix de types de modèles intrinsèquement interprétables pour les décisions conséquentes à la génération d'explications post-hoc qui approximent, plutôt que révèlent, ce qu'un modèle complexe a réellement fait. La distinction compte légalement autant que techniquement : une explication approximative qui semble plausible mais ne reflète pas le raisonnement réel du modèle peut satisfaire une liste de vérification de transparence tout en manquant le citoyen qui compte sur elle pour contester la base réelle d'une décision contre lui.

Le droit à l'explication est le principe légal contesté selon lequel une personne soumise à une décision automatisée significative a droit à une explication significative de la logique impliquée, le plus étroitement associé au Règlement général sur la protection des données de l'Union européenne, qui restreint les décisions basées uniquement sur un traitement automatisé qui produisent des effets légaux ou similairement significatifs et donne au sujet des droits d'obtenir une intervention humaine et de contester la décision (voir droit à l'explication et Règlement général sur la protection des données). Les juristes disputent à quel point ce droit est réellement fort en pratique, et les juridictions en dehors de l'Union européenne manquent largement d'un droit statutaire équivalent, ce qui explique pourquoi un organisme public ne devrait pas traiter « nous nous conformons à la loi de protection des données pertinente » comme équivalent à « nous pouvons expliquer cette décision à la personne qu'elle affecte » — les deux revendications sont liées mais non identiques, et seule la seconde est ce que la procédure régulière exige réellement.

La procédure régulière et la justice naturelle. En droit administratif, la procédure régulière — le principe, le plus développé en droit constitutionnel des États-Unis mais reflété sous forme comparable à travers de nombreux systèmes légaux, que l'État doit suivre des procédures justes avant de priver une personne d'un droit ou d'un droit acquis — et la justice naturelle — la tradition de droit administratif du Commonwealth exigeant une audience juste et une liberté de biais chez le décideur — reposent toutes deux sur une hypothèse écrite avant que les ordinateurs n'existent : qu'une décision a un décideur identifiable qui peut donner des raisons, qui peut être démontré libre d'un biais disqualifiant, et à qui on peut demander de reconsidérer. Un algorithme tend les trois hypothèses à la fois — les raisons peuvent être techniquement indisponibles, le « biais » en question est statistique plutôt que personnel, et la reconsidération par le même modèle produit la même réponse — ce qui explique pourquoi la procédure régulière pour les décisions algorithmiques doit être conçue explicitement plutôt qu'héritée de procédures bâties pour des décideurs humains.

La réglementation basée sur le risque de l'IA. Plutôt que de réglementer toute l'IA uniformément, un schéma réglementaire émergent — le plus pleinement développé dans la Loi sur l'intelligence artificielle de l'Union européenne — étage les obligations selon les enjeux de l'application, interdisant purement un ensemble étroit d'usages, imposant les obligations de conformité les plus lourdes aux usages « à haut risque » (qui incluent explicitement la détermination d'éligibilité du secteur public, l'évaluation de risque d'application de la loi, et les décisions migratoires), exigeant des divulgations de transparence pour les usages à risque plus bas, et laissant les usages à risque minimal largement non réglementés (voir Loi sur l'intelligence artificielle). Quel que soit le schéma réglementaire dans une juridiction donnée, l'idée sous-jacente — que les obligations de gouvernance devraient s'échelonner avec les enjeux de la décision, non la sophistication de la technologie — est un principe de conception utile même sans obligation légale directe de suivre le régime spécifique de l'UE.

Pratiques exemplaires

1. Classez chaque système par les enjeux de la décision avant de choisir le modèle, non après. Un système qui signale un cas pour révision humaine porte une obligation différente de celui qui refuse une prestation directement ; décidez dans quel palier se situe un cas d'usage, en utilisant un cadre tel que les catégories de risque de la Loi sur l'IA de l'UE comme point de référence, avant de bâtir plutôt qu'après que le déploiement ne révèle l'écart.
2. Dites aux gens, en langage clair, quand un algorithme est impliqué dans une décision les concernant. Un avis de confidentialité générique enterré dans les conditions générales ne satisfait pas cela ; l'avis devrait dire ce que le système fait, quelles données il utilise, et ce qui se passe si la personne est en désaccord avec sa sortie.
3. Bâtissez un contrôle d'humain dans la boucle qu'un réviseur peut réellement exercer, et mesurez s'il le fait. Suivez le taux de contournement, le temps moyen dépensé par cas, et si les réviseurs qui sont en désaccord avec le modèle font face à une friction que l'accord ne cause pas — si le taux de contournement est proche de zéro, la révision est très probablement décorative.
4. Testez l'impact disproportionné en utilisant de véritables résultats, non les intentions des développeurs. Avant le déploiement et selon une cadence fixe et récurrente par la suite, mesurez les résultats du modèle désagrégés par caractéristiques protégées et sensibles, y compris à travers des mandataires probables tels que le code postal ou l'historique de prestation, parce qu'un modèle qui n'utilise jamais directement une variable protégée peut encore produire un résultat crûment inégal.
5. Donnez à chaque personne affectée une voie vers un humain qui a le pouvoir de renverser la décision de l'algorithme, non seulement de l'expliquer. Un canal d'appel qui reformule le raisonnement du modèle sans une véritable possibilité de renversement satisfait la lettre d'un droit à l'explication tout en en défaisant le but.
6. Préférez un modèle interprétable à un modèle boîte noire marginalement plus précis pour les décisions légalement conséquentes. Là où l'écart de précision entre un modèle interprétable et un complexe est petit, le gain d'interprétabilité vaut habituellement bien plus pour le citoyen, l'agent d'appel, et l'auditeur que la précision marginale ne vaut pour l'organisation.
7. Documentez le but, les données d'entraînement, les limites connues, et l'usage prévu de chaque système dans un dossier permanent, et mettez-le à jour quand l'un d'eux change. Un modèle déployé pour un but et discrètement réaffecté à un autre — le criblage de fraude étendu au triage général d'éligibilité, par exemple — a habituellement laissé sa validation et son test de biais originaux derrière lui.
8. Gardez les données d'entraînement et opérationnelles pour un modèle à haut enjeu à l'intérieur d'un pipeline gouverné et à but limité. Réutiliser un ensemble de données collecté pour un but administratif afin d'entraîner un modèle pour un but non lié est un échec de gouvernance de données autant qu'un échec de modélisation (voir thème 5.4 — Données, interopérabilité et données ouvertes du secteur public).
9. Placez l'audit algorithmique sous une fonction qui ne rapporte pas à l'équipe qui a bâti ou fait fonctionner le système. Un audit mené par les propres développeurs du système trouve des problèmes différents, et moins nombreux, qu'un mené par un réviseur authentiquement indépendant avec le statut de publier un constat défavorable (voir thème 3.4 — Redevabilité, transparence et légitimité).
10. Menez une période d'ombre avant d'activer un système pour de véritables décisions. Comparez les recommandations du modèle contre de véritables décisions humaines sur les mêmes cas pour une période définie avant qu'il ne commence à agir, afin que toute divergence systématique fasse surface avant qu'un citoyen n'en soit affecté.
11. Réservez l'automatisation complète, sans aucune révision humaine du tout, aux décisions les moins conséquentes et les plus réversibles seulement. Plus une décision est sévère et moins réversible — la fin d'une prestation, un signalement de fraude qui déclenche une enquête criminelle, un refus d'entrée — plus le dossier est fort pour garder un humain authentiquement dans la boucle, quelle que soit la précision mesurée du modèle.
12. Réentraînez, revalidez, et retestez pour le biais selon un calendrier fixe, non seulement quand un problème est signalé. Les propriétés de précision et d'équité d'un modèle peuvent dériver silencieusement à mesure que la population et le monde sur lesquels il a été entraîné changent, et un organisme public qui n'enquête qu'après une plainte a déjà laissé la dérive courir pendant tout le temps qu'il a fallu à la plainte pour faire surface.

Questions à discuter avec votre équipe

Où dans notre organisation un algorithme prend-il ou informe-t-il fortement actuellement une décision qui affecte les droits, droits acquis, ou liberté d'une personne, et chaque personne affectée pourrait-elle réellement découvrir que cela s'est produit ? De nombreuses organisations découvrent, quand elles inventorient réellement leurs systèmes, que le scoring ou le triage algorithmique s'est glissé dans plus de points de décision que ne le réalisait aucune équipe unique, souvent introduit originalement comme un outil d'efficience à faible enjeu. Utilisez cette question pour bâtir cet inventaire honnêtement, y compris les systèmes acquis d'un fournisseur plutôt que bâtis en interne, puisque l'approvisionnement peut obscurcir combien un outil acheté décide réellement. Discutez de si vos pratiques d'avis actuelles laisseraient un citoyen affecté découvrir, sans connaissance spécialisée, qu'un modèle était impliqué dans son cas.

Si un citoyen contestait formellement une de nos décisions automatisées demain, pourrions-nous lui donner une raison réelle et spécifique, ou seulement une description du processus ? Une description de processus — « le système a considéré votre revenu, la taille de votre ménage, et votre historique de paiement » — n'est pas la même chose qu'une explication de pourquoi ces intrants ont produit ce résultat particulier pour cette personne particulière. Utilisez cette question pour choisir un système vivant et essayer, en équipe, d'écrire l'explication qu'un véritable citoyen recevrait s'il faisait appel. Si l'exercice est difficile, cette difficulté est elle-même le constat.

Savons-nous si nos données d'entraînement reproduisent un schéma historique de biais, et l'avons-nous testé contre de véritables résultats plutôt que contre nos intentions ? Exclure une caractéristique protégée d'un ensemble de données n'est pas la même chose qu'exclure son influence, parce que des mandataires corrélés peuvent porter le même signal sous un nom différent. Utilisez cette question pour identifier lesquels de vos systèmes ont été testés pour un impact disproportionné en utilisant de véritables résultats post-déploiement, désagrégés par caractéristiques pertinentes, plutôt que testés seulement pour la présence d'une variable protégée dans les données d'entrée. Discutez de ce qu'il faudrait pour mener ce test basé sur les résultats sur votre système à plus haut enjeu si cela n'a pas déjà été fait.

Notre révision d'humain dans la boucle est-elle un véritable contrôle, ou un tampon de caoutchouc que nous n'avons pas mesuré d'assez près pour le remarquer ? Un réviseur humain sous pression temporelle, sans contexte complet, ou faisant face à plus de friction pour être en désaccord qu'être d'accord tendra à approuver la recommandation de l'algorithme indépendamment de sa qualité. Utilisez cette question pour trouver votre taux de contournement réel pour au moins un système, et discutez de ce que ce chiffre vous dit sur si la révision fonctionne comme un contrôle ou comme une formalité de conformité.

Que se passe-t-il réellement, procéduralement, quand quelqu'un veut faire appel d'une décision que notre algorithme a prise ou fortement informée — et un humain avec un véritable pouvoir de la renverser voit-il jamais l'appel ? De nombreux processus d'appel acheminent un citoyen à travers une description de la logique du modèle sans jamais atteindre une personne qui peut renverser le résultat sur le fond. Utilisez cette question pour retracer un appel, de bout en bout, pour un cas réel ou réaliste, et identifiez le point exact, le cas échéant, où un humain avec une véritable autorité de changer la réponse est impliqué.

Qui possède le risque si un de nos modèles se dégrade ou dérive après le déploiement, et comment le saurions-nous réellement avant qu'un citoyen ou un journaliste ne nous le dise ? Les propriétés d'équité et de précision d'un modèle ne sont pas fixées au lancement ; elles peuvent changer à mesure que la population, l'économie, ou la politique adjacente change, souvent invisiblement pour l'équipe qui a bâti le système. Utilisez cette question pour identifier qui est redevable de la surveillance post-déploiement, selon quelle cadence, et ce qui déclencherait spécifiquement un réentraînement ou une pause. Si la réponse honnête est « personne ne surveille spécifiquement cela », traitez cela comme le constat le plus urgent que cette discussion puisse produire.

En pratique : un exemple de valeur publique

Un organisme national fictif d'assurance sociale a bâti un modèle de scoring de risque pour prioriser quelles demandes de prestation de chômage son équipe d'enquête sur la fraude devrait réviser en premier, après des années d'un arriéré signifiant que la véritable fraude restait non enquêtée pendant des mois tandis que les demandeurs honnêtes attendaient sur des délais de traitement non liés. Le modèle a été entraîné sur cinq ans de dossiers d'enquête clos, apprenant quelles caractéristiques de demande avaient historiquement précédé un constat de fraude confirmé, et il a bien performé en test : les demandes qu'il scorait à haut risque étaient confirmées frauduleuses à un taux bien plus élevé qu'un échantillon aléatoire, et la direction de l'organisme, observant son arriéré chuter pour la première fois en des années, a traité le déploiement comme un succès sans ambiguïté.

Dix-huit mois plus tard, un bureau interne équivalent à un ombudsman a remarqué quelque chose que le propre tableau de bord de performance de l'équipe de fraude n'avait pas fait surgir : les demandeurs vivant dans un petit nombre de districts postaux, disproportionnément à faible revenu et disproportionnément des migrants récents, étaient signalés pour enquête à près de trois fois le taux de demandeurs autrement similaires ailleurs, et une part bien plus élevée de leurs demandes signalées était close sans aucune fraude trouvée. Le schéma remontait aux données d'entraînement : les dossiers d'enquête historiques reflétaient des années pendant lesquelles les enquêteurs de terrain, travaillant à partir de leurs propres heuristiques informelles, avaient concentré les vérifications manuelles ponctuelles exactement dans ces districts, donc le modèle avait appris à traiter le fait d'y vivre comme prédictif de fraude, quand ce n'était en réalité que prédictif d'avoir été vérifié plus souvent dans le passé. Le district postal n'avait jamais été un intrant du modèle ; il n'avait pas besoin de l'être, parce que la composition du ménage, le secteur d'employeur, et les champs de méthode de paiement corrélaient assez étroitement avec lui pour porter le même signal par mandataire.

L'enquête de l'organisme a confirmé que le schéma était réel, et a aussi confirmé un second problème, plus discret : les réviseurs humains censés approuver un cas pour une enquête complète avant qu'il ne procède avaient approuvé les recommandations les mieux scorées du modèle dans l'immense majorité des cas, avec des temps de révision moyennant moins de deux minutes par cas — nulle part près d'assez pour remettre en question significativement un score statistique, ce qui signifiait que le contrôle d'humain dans la boucle que la direction avait pointé comme une garantie n'avait pas réellement attrapé la disparité qu'il existait pour attraper. La réponse de l'organisme a combiné plusieurs des pratiques exemplaires de ce thème à la fois : il a réentraîné le modèle en corrigeant pour le schéma historique de surveillance excessive, a allongé le temps de révision et donné aux réviseurs l'autorité de clore un cas signalé sans escalade quand leur propre jugement était en désaccord avec le score, et a bâti un avis en langage clair et une véritable voie d'appel vers un agent de dossier nommé pour quiconque dont la demande était signalée. Le rendement d'enquête par heure de réviseur a quelque peu chuté, mais le taux de fraude confirmé parmi les demandes signalées des districts précédemment sur-signalés est monté pour correspondre au reste de la charge de travail, ce que le propre audit de l'organisme a traité comme la véritable mesure de succès — non le volume de demandes signalées, mais si le signalement suivait la fraude réelle plutôt qu'un schéma historique que le modèle avait appris à reproduire.

Quatre angles sectoriels

Collectivités locales

Les collectivités locales déploient de plus en plus des outils algorithmiques pour les décisions avec les enjeux les plus immédiats et personnels pour les résidents — priorité d'allocation de logement, scoring de risque de protection de l'enfance, et triage de fraude fiscale locale ou de prestation — souvent tout en manquant de la capacité interne de science des données pour bâtir, valider, ou auditer ces systèmes eux-mêmes, laissant beaucoup s'appuyer sur des modèles fournis par des fournisseurs dont l'autorité ne peut pas pleinement inspecter les données d'entraînement et la validation. Cela crée une discipline d'approvisionnement particulière : une collectivité locale commandant un système algorithmique devrait exiger, comme condition contractuelle, la même explicabilité, le même test de biais, et le même accès d'audit qu'elle exigerait d'une construction interne, parce que les droits de procédure régulière d'un résident ne diminuent pas parce que l'autorité a acheté le système plutôt que de le bâtir. La proximité des collectivités locales aux résidents signifie aussi qu'un raté algorithmique est plus susceptible de devenir connu personnellement dans la communauté avant de devenir une plainte formelle, ce qui plaide pour une révision locale légère et précoce.

Gouvernement national

Les organismes nationaux font fonctionner les systèmes à la plus grande échelle dans la portée de ce thème — détection de fraude fiscale, évaluation de risque d'immigration, éligibilité nationale aux prestations — où même un petit taux d'erreur se traduit en un très grand nombre absolu de personnes affectées, et où l'organisme a typiquement la capacité technique et légale la plus profonde pour bâtir de véritables garanties. Les gouvernements nationaux sont aussi habituellement le niveau auquel la réglementation basée sur le risque de l'IA, là où elle existe, est écrite et appliquée, donnant aux organismes nationaux les obligations formelles les plus claires et la plus grande exposition quand un audit ou un tribunal trouve qu'un système automatisé a produit des résultats discriminatoires ou non révisables à l'échelle. Les enjeux de procédure régulière sont les plus élevés ici dans un autre sens aussi : un score de risque d'immigration ou d'application de la loi peut affecter la liberté autant que le droit acquis, ce qui plaide pour la posture d'automatisation la plus conservatrice — le moins d'automatisation complète et la révision humaine la plus authentique — précisément là où le dossier technique pour l'automatisation est souvent le plus fort à cause du volume de cas.

Secteur social et organismes à but non lucratif

Les organismes à but non lucratif et les organisations non gouvernementales (ONG) utilisent de plus en plus des outils algorithmiques pour trier la distribution d'aide, cribler les bénéficiaires pour l'éligibilité, ou prioriser le travail de cas dans exactement les domaines que ce thème couvre, souvent sous de véritables contraintes de ressources qui rendent le dossier d'efficience pour l'automatisation authentiquement convaincant. La structure de redevabilité est nettement différente de celle du gouvernement, cependant : les bénéficiaires d'un organisme à but non lucratif ont rarement les droits d'appel statutaires qu'un citoyen a contre un organisme d'État, et la relation de redevabilité primaire de l'organisation s'exécute souvent vers ses bailleurs de fonds plutôt que vers les gens que l'algorithme décide, ce qui est précisément l'écart de redevabilité que le thème 3.8 — Secteur social et gestion des organismes à but non lucratif — décrit pour le secteur en général. Un organisme à but non lucratif adoptant le triage algorithmique devrait donc bâtir les droits d'explication et d'appel que ce thème décrit comme une norme volontaire, non parce qu'un régulateur l'exige, mais parce que les gens que l'organisation sert n'ont aucune autre voie vers un.

Organismes multilatéraux et internationaux

Les organismes multilatéraux et les agences humanitaires internationales appliquent des outils de ciblage algorithmique et de scoring de risque à travers les frontières et systèmes légaux, fréquemment dans des contextes de crise où le bénéfice de vitesse de l'automatisation est le plus aigu et les données disponibles les moins fiables — données d'enregistrement incomplètes, données collectées pour une crise et réutilisées pour une autre, et populations avec une capacité limitée de contester une décision de scoring qui détermine si elles reçoivent de l'aide. Aucune loi nationale unique de procédure régulière ou régime de droit à l'explication ne s'applique uniformément à travers les opérations d'un organisme multilatéral, donc les garanties que ce thème décrit doivent être intégrées dans les propres normes opérationnelles de l'organisation plutôt qu'héritées d'un cadre légal externe applicable, faisant écho à l'écart de représentation et de redevabilité que le thème 3.4 identifie pour les organismes multilatéraux en général (voir thème 3.4 — Redevabilité, transparence et légitimité). Les enjeux sont aussi sévères ici, puisqu'une décision algorithmique peut déterminer l'accès à la nourriture, à l'abri, ou au traitement d'asile pour des gens avec la capacité pratique la plus faible de tout groupe dans ce thème de faire appel d'un résultat erroné.

Modes de défaillance courants

La discrimination par mandataire. Un modèle exclut directement une caractéristique protégée mais apprend un signal équivalent d'une variable corrélée — code postal, nom de famille, secteur d'emploi, historique de prestation — reproduisant le même schéma discriminatoire que l'exclusion était censée prévenir. Le coût est un faux sentiment de sécurité : l'organisation peut véridiquement dire que la variable protégée n'a jamais été utilisée, tandis que le résultat reste tout aussi inégal que si elle l'avait été.

Le biais d'automatisation dans la révision humaine. Un réviseur humain, formellement requis pour vérifier la recommandation d'un algorithme, l'approuve dans l'immense majorité des cas parce qu'être en désaccord prend plus de temps, plus de justification, ou plus de risque personnel qu'être d'accord. Le coût est qu'un contrôle que l'organisation croit attraper des erreurs les tamponne, en pratique, et cela ne devient habituellement visible qu'une fois que quelqu'un mesure le taux de contournement directement plutôt que de faire confiance au fait que le processus existe.

Le théâtre d'explicabilité. Une organisation fournit une explication pour une décision automatisée qui semble spécifique et satisfaisante mais est générée après coup par une méthode qui approxime, plutôt que révèle, le raisonnement réel du modèle. Le coût fait surface quand l'explication est testée sous véritable examen — un appel, un audit, une contestation légale — et s'avère ne pas correspondre à pourquoi le système a réellement produit cette sortie particulière.

Le biais historique reproduit à travers des boucles de rétroaction. Un modèle entraîné sur les résultats de décisions passées — quels quartiers ont été enquêtés, quelles demandes ont été approuvées — apprend puis perpétue quel que soit le schéma de surveillance excessive ou de sous-service qui a façonné ces décisions passées, et chaque nouveau tour de décisions qu'il produit devient des données d'entraînement pour la version suivante, approfondissant le schéma plutôt que de le corriger. Cela a été documenté à travers de multiples domaines du secteur public internationalement, y compris le maillage policier basé sur le risque et le criblage de fraude d'aide sociale, et le mécanisme sous-jacent est assez cohérent à travers ces cas documentés pour être traité comme un risque général dans tout système entraîné sur des données historiques d'application ou de travail de cas, indépendamment de la juridiction.

L'écart de redevabilité, ou le problème des « nombreuses mains ». Quand une décision passe à travers le modèle d'un fournisseur, les données d'un organisme, la fixation de seuil d'une équipe de politique, et l'approbation nominale d'un agent de dossier, la responsabilité d'un résultat erroné peut finir authentiquement peu claire même pour l'organisation elle-même, chaque partie pouvant pointer une autre comme la source de l'erreur. Le coût n'est pas seulement que le citoyen affecté ne peut pas obtenir une réponse claire, mais que l'organisation ne peut pas fiablement corriger la cause réelle, parce qu'aucun propriétaire redevable unique n'existe pour la décision dans son ensemble (voir thème 3.4 — Redevabilité, transparence et légitimité).

Modèle de maturité

Liste de vérification

• Bâtissez un inventaire complet de chaque système qui prend ou informe matériellement une décision affectant les droits ou droits acquis d'une personne, y compris les outils fournis par des fournisseurs.
• Classifiez chaque système de cet inventaire par les enjeux de la décision qu'il informe, en utilisant un palier de risque défini.
• Confirmez que chaque personne affectée reçoit un avis en langage clair qu'un algorithme était impliqué dans son cas.
• Rédigez l'explication spécifique au niveau du cas qu'un véritable citoyen recevrait en appel, et testez si elle le satisferait réellement.
• Testez chaque système à haut enjeu pour un impact disproportionné en utilisant de véritables résultats post-déploiement, désagrégés par caractéristiques pertinentes, non seulement en vérifiant les variables d'entrée exclues.
• Mesurez le taux de contournement et le temps de révision moyen pour chaque contrôle d'humain dans la boucle, et traitez un taux de contournement proche de zéro comme un constat.
• Confirmez qu'un humain nommé, avec une véritable autorité de renverser la décision, révise chaque appel.
• Placez l'audit algorithmique sous une fonction indépendante de l'équipe qui a bâti ou fait fonctionner le système.
• Confirmez que les données d'entraînement et opérationnelles pour chaque système restent à l'intérieur d'un pipeline gouverné et à but limité.
• Fixez un calendrier de réentraînement et de revalidation fixe pour chaque modèle déployé, plutôt que d'attendre qu'une plainte ne déclenche une révision.
• Identifiez lesquels de vos systèmes n'ont actuellement aucune garantie contre l'automatisation complète pour les décisions les plus sévères et les moins réversibles, et corrigez cela en premier.
• Menez les six questions de discussion ci-dessus avec votre équipe et enregistrez où la réponse honnête diffère de l'officielle.

Sources principales

• Principes de l'OCDE sur l'IA (2019, mis à jour 2024) — la première norme intergouvernementale pour une IA digne de confiance, couvrant la croissance inclusive, les droits humains, la transparence, la robustesse, et la redevabilité.
• Loi sur l'intelligence artificielle de l'Union européenne (Règlement (UE) 2024/1689) — le premier cadre légal complet à paliers de risque pour l'IA, traitant explicitement les usages d'éligibilité du secteur public, d'application de la loi, et de migration.
• US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — un cadre de gouvernance, de données, de performance, et de surveillance pour la redevabilité de l'IA dans le secteur public.
• Les travaux de Danielle Keats Citron sur la « procédure régulière technologique », soutenant que les systèmes automatisés exigent des garanties procédurales conçues spécifiquement pour la prise de décision algorithmique, plutôt qu'humaine.
• Les travaux publics de Cathy O'Neil, Virginia Eubanks, et Frank Pasquale sur le biais algorithmique, l'administration automatisée de l'aide sociale, et les systèmes de scoring opaques, cités tout au long de la discussion de ce thème sur le biais des données d'entraînement et le problème de la boîte noire.

Références

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp