Qualité, sécurité et gestion de la performance

Pourquoi cela compte pour la valeur publique

Chaque organisation publique et du secteur social de toute taille fonctionne désormais sur des chiffres : temps d'attente, dossiers de cas clos, minutes de réponse, taux de réussite, scores de satisfaction, cotes d'inspection. Les cibles construites à partir de ces chiffres ne sont pas une imposition venue de l'extérieur de la gestion publique ; c'est ainsi que la légitimité et le soutien sont démontrés aux bailleurs de fonds, aux assemblées législatives, aux conseils, et aux citoyens qui ne peuvent autrement voir à l'intérieur des opérations quotidiennes (voir thème 1.2 — Le triangle stratégique : légitimité, valeur et capacité). Un dirigeant qui ne peut pointer un chiffre ayant bougé dans la bonne direction peine à défendre un budget, un mandat, ou une réforme.

La difficulté est qu'un chiffre construit pour représenter la qualité n'est pas la même chose que la qualité elle-même, et les deux se séparent discrètement au moment où le chiffre commence à compter davantage que la réalité derrière lui. Une force de police peut faire baisser la criminalité enregistrée en changeant comment les agents classifient les incidents plutôt qu'en réduisant le préjudice. Un hôpital peut atteindre une cible de temps d'attente en reclassifiant quels patients le chronomètre concerne plutôt qu'en traitant les gens plus vite. Aucun de ces changements n'apparaît dans le chiffre publié, ce qui est exactement le problème que ce thème existe pour traiter.

Ce thème est le traitement de référence de ce problème dans le secteur public : les indicateurs de performance et les incitations perverses qu'ils créent, les régimes d'assurance qualité conçus pour garder des normes cohérentes indépendamment de ce que dit une cible unique, et les organismes d'inspection et de notation indépendants qui vérifient la réalité derrière les chiffres depuis l'extérieur de la chaîne de commandement qui les a produits. Le thème 2.1 couvre d'où les indicateurs devraient venir en premier lieu — cadres de résultats et modèles logiques qui relient une mesure à une véritable revendication causale sur la valeur (voir thème 2.1 — Le tableau de bord de la valeur publique et les cadres de résultats). Ce thème couvre ce qui se passe une fois que ces indicateurs sont transformés en cibles vivantes contre lesquelles le personnel est géré, et comment une organisation garde son propre système de mesure honnête.

Les enjeux augmentent avec le degré de publicité de l'usage d'un chiffre. Une mesure interne privée qui dérive de la réalité gaspille le temps d'un gestionnaire. Une cible de performance publique, une cote d'inspection très visible, ou une statistique de sécurité qui dérive de la réalité peut coûter des vies, mal allouer des ressources pendant des années, et — quand l'écart entre le chiffre rapporté et l'expérience vécue devient éventuellement visible — détruire exactement la légitimité que le chiffre a été publié pour bâtir (voir thème 3.4 — Redevabilité, transparence et légitimité).

Concepts fondamentaux

Un indicateur de performance est une variable mesurable choisie pour représenter un aspect de la performance d'une organisation qui ne peut lui-même être observé directement et continuellement (voir indicateur de performance). Les indicateurs sont des mandataires par construction : personne ne peut mesurer la « qualité des soins » ou la « sécurité communautaire » directement, donc une organisation mesure quelque chose de plus étroit et de plus dénombrable — un temps d'attente, un taux de criminalité enregistré — et traite le mouvement de celui-ci comme preuve du mouvement de la chose plus large qu'il représente. Cet écart entre mandataire et réalité ne se referme jamais ; ce thème porte sur sa gestion plutôt que sur l'oubli de son existence.

La loi de Goodhart énonce, dans sa formulation la plus courante en secteur public, que lorsqu'une mesure devient une cible, elle cesse d'être une bonne mesure. La loi porte le nom de l'économiste britannique Charles Goodhart, qui a formulé l'intuition sous-jacente en 1975 dans le contexte de la politique monétaire : une fois qu'une banque centrale commence à cibler une mesure particulière de la masse monétaire, les relations statistiques qui rendaient cette mesure utile commencent à se rompre, parce que les gens changent leur comportement en réponse à la cible elle-même. L'anthropologue Marilyn Strathern a reformulé l'idée pour un public de secteur public dans une étude de 1997 largement citée sur la culture d'audit des universités britanniques, lui donnant la formulation compacte désormais la plus citée : « quand une mesure devient une cible, elle cesse d'être une bonne mesure ». Le thème 3.1 a introduit cette dynamique brièvement dans le contexte de la dépendance du nouveau management public aux cibles explicites ; ce thème en est le traitement de référence complet (voir thème 3.1 — Systèmes et modèles d'administration publique). La loi de Goodhart n'est pas un argument contre la mesure — c'est un argument selon lequel la mesure et la récompense ne peuvent être fusionnées sans précaution sans changer ce qui est mesuré.

Les incitations perverses sont le mécanisme par lequel la loi de Goodhart fait son dommage : une structure d'incitation qui produit des résultats contraires à ce que ses concepteurs avaient prévu, parce que les personnes qui y répondent optimisent pour la lettre de la récompense plutôt que pour le but derrière elle (voir incitation perverse). Une cible attachée au financement, à la réputation, ou à une carrière crée une incitation perverse chaque fois qu'existe un moyen d'améliorer le chiffre rapporté sans améliorer le résultat sous-jacent — et dans un service livré à travers des milliers de jugements individuels, un tel moyen existe presque toujours une fois que les gens commencent à le chercher.

Une typologie des réponses dysfonctionnelles aux cibles. L'économiste Peter Smith, dans une étude influente de 1995 sur les données de performance du secteur public, a catalogué les façons dont les cibles publiées déforment le comportement, dont plusieurs demeurent le vocabulaire standard pour diagnostiquer un système d'indicateurs en difficulté. La vision en tunnel consiste à concentrer l'effort sur ce qui est mesuré au détriment de ce qui ne l'est pas, même quand les aspects non mesurés comptent tout autant sinon davantage. La fixation sur la mesure consiste à traiter le succès sur l'indicateur comme un succès sur l'objectif sous-jacent, de sorte que le mandataire remplace discrètement la chose qu'il était censé représenter dans l'attention de chacun — le schéma derrière l'enseignement pour le test dans les systèmes éducatifs, où l'enseignement se rétrécit à ce qu'une évaluation standardisée couvre plutôt qu'à l'apprentissage plus large que l'évaluation était censée signaler. La mauvaise représentation est la manipulation délibérée des données rapportées — reclassifier un cas, ajuster un chronomètre, choisir un dénominateur plus favorable — de sorte que les chiffres s'améliorent sans que la réalité ne change du tout. L'ossification est la lente décomposition d'une cible vers la non-pertinence à mesure qu'elle est laissée sans révision longtemps après que l'environnement opérationnel pour lequel elle a été conçue a changé. Une étude étroitement liée de 2006 sur les cibles dans le système de santé publique anglais, par Gwyn Bevan et Christopher Hood, a montré jusqu'où ces dynamiques peuvent aller quand une cible est associée à de sévères conséquences pour son manquement, forgeant l'expression « cibles et terreur » pour un régime produisant exactement le comportement de manipulation qu'il était conçu pour éliminer.

L'assurance qualité est la discipline systématique et possédée par l'organisation consistant à s'assurer qu'un produit ou service satisfait constamment une norme définie, par la prévention des défauts intégrée au processus plutôt que par la seule inspection du résultat fini (voir assurance qualité). Là où une cible de performance mesure un résultat après coup, l'assurance qualité est conçue pour rendre un mauvais résultat moins susceptible de se produire en premier lieu, typiquement par des procédures normalisées, des listes de vérification, une revue par les pairs, et une analyse des causes profondes des défaillances. La gestion de la qualité totale est la philosophie de gestion plus large bâtie sur cette discipline, traitant l'amélioration continue de la qualité comme la responsabilité de chacun plutôt qu'une fonction spécialisée boulonnée à la fin d'un processus (voir gestion de la qualité totale), et la famille de normes ISO 9000 publiée par l'Organisation internationale de normalisation (ISO), publiée pour la première fois en 1987, donne aux organisations un cadre certifiable pour démontrer qu'un tel système de gestion existe. Un organisme peut être certifié à une norme de gestion de la qualité, et réussir chaque vérification d'assurance qualité interne, tout en manipulant encore ses cibles de performance rapportées extérieurement ; les deux systèmes répondent à des questions différentes et ni l'un ni l'autre ne se substitue à l'autre.

Les indicateurs de sécurité et la culture de sécurité méritent un traitement séparé des indicateurs de performance ordinaires parce que le préjudice d'une incitation perverse est souvent irréversible. En santé, la pratique de la sécurité des patients a appris, souvent à grand coût, que punir le personnel pour avoir signalé une erreur supprime exactement l'information dont un système de sécurité a besoin pour prévenir la suivante — une intuition qui s'est répandue des contextes cliniques vers l'aviation, le transport, et d'autres services publics à haute conséquence. Un environnement de signalement « sans blâme » ou de « culture juste » traite un quasi-accident honnêtement signalé comme une donnée précieuse plutôt qu'un aveu de culpabilité, ce qui est l'opposé de comment la plupart des cibles de performance ordinaires sont conçues pour fonctionner : un régime de performance récompense le bon chiffre, tandis qu'un régime de sécurité doit récompenser le chiffre honnête même quand il est mauvais.

Les organismes d'inspection et de notation indépendants fournissent un contrôle sur tout ce qui précède venant de l'extérieur de la chaîne de commandement évaluée. Une inspection — telle qu'Ofsted en Angleterre, qui inspecte les prestataires d'éducation et de services à l'enfance, ou la Care Quality Commission, qui inspecte et note les prestataires de santé et de soins sociaux — envoie des évaluateurs qui observent la pratique directement, exercent un jugement professionnel, et publient une cote que l'organisme inspecté ne contrôle pas. C'est structurellement différent de la gestion de la performance interne : un chiffre de temps d'attente autodéclaré peut être manipulé par les personnes dont l'incitation est de le manipuler, mais un inspecteur qui parcourt les salles ou observe la classe regarde la réalité que le chiffre était censé représenter. L'inspection est une forme de redevabilité horizontale — un examen par un organisme de statut indépendant plutôt que par un électorat ou un marché (voir thème 3.4 — Redevabilité, transparence et légitimité) — et elle gagne ce rôle seulement dans la mesure où son indépendance, en financement, nomination, et publication, est authentiquement protégée.

Pratiques exemplaires

1. Dérivez les indicateurs du modèle logique, non de ce qui est déjà facile à compter. Choisir une mesure parce que la donnée existe déjà, plutôt que parce qu'elle suit un véritable maillon de la chaîne causale, est comment la fixation sur la mesure et la vision en tunnel commencent (voir thème 2.1 — Le tableau de bord de la valeur publique et les cadres de résultats).
2. Associez chaque cible d'extrant ou d'activité à au moins une mesure d'équilibrage qui révélerait la stratégie de manipulation la plus probable. Si une cible de temps d'attente peut être manipulée en reclassifiant des cas, suivez le taux de reclassification aux côtés du chiffre vedette, non comme une pensée après coup une fois qu'un scandale force la question.
3. Traitez une cible atteinte pendant plusieurs périodes consécutives comme une invitation à enquêter, non simplement à célébrer. Un chiffre qui cesse de discriminer entre bonne et mauvaise performance a soit authentiquement résolu le problème, soit été manipulé jusqu'à la non-pertinence, et les deux se ressemblent identiquement depuis le tableau de bord seul.
4. Séparez qui fixe une cible, de qui est mesuré contre elle, de qui vérifie indépendamment le résultat. Fusionner ces trois rôles en une seule partie de l'organisation retire la tension structurelle qui garde un système de mesure honnête.
5. Révisez ou retirez une cible selon un cycle fixe, non seulement après un échec visible. L'ossification est le destin par défaut d'une cible ; une révision programmée qui demande si la cible suit encore quelque chose de significatif attrape la décomposition avant qu'une crise ne le fasse.
6. Bâtissez un canal de signalement sans blâme pour les quasi-accidents et erreurs pertinents à la sécurité, gardé structurellement séparé des décisions de récompense de performance. Un système de sécurité qui punit le signalement honnête aura toujours le même taux d'erreur sous-jacente — il cessera simplement d'en être informé jusqu'à ce que le préjudice soit plus grand et plus difficile à cacher.
7. Donnez aux inspecteurs et organismes de notation indépendants un accès authentique, un financement protégé, et des droits de publication que l'organisme inspecté ne peut pas opposer de veto. Une inspection qui dépend de la bonne volonté de l'organisation qu'elle note pour son budget ou son accès exécute un examen, elle ne le fournit pas.
8. Utilisez le jugement professionnel pour interpréter un score quantitatif, plutôt que de laisser le score se suffire à lui-même. Une seule cote composite comprime une réalité riche et inégale en un seul chiffre ; publiez le récit qualitatif derrière une cote d'inspection aux côtés de la cote elle-même, afin qu'un lecteur puisse voir ce que le chiffre résume.
9. Concevez les cibles avec le personnel de première ligne qui sera mesuré contre elles, non seulement pour lui. Les personnes les plus proches du travail connaissent généralement la stratégie de manipulation la plus facile avant tout analyste ; les impliquer dans la conception fait remonter ce risque tôt plutôt qu'après que la cible soit déjà en vigueur.
10. Certifiez un processus systématique de gestion de la qualité, tel qu'un processus bâti sur la famille de normes ISO 9000, comme un plancher plutôt qu'un substitut à la mesure des résultats. La certification démontre qu'un processus cohérent existe ; elle ne démontre pas en soi que le processus produit un bon résultat, et traiter le certificat comme une preuve suffisante de qualité est sa propre forme de fixation sur la mesure.
11. Publiez les limites connues d'une cible aux côtés de la cible elle-même. Nommer, dans le même rapport que le chiffre, ce que la mesure ne capture pas et comment elle pourrait plausiblement être manipulée devance exactement la découverte qui autrement endommage la légitimité plus tard (voir thème 3.4 — Redevabilité, transparence et légitimité).

Questions à discuter avec votre équipe

Lesquelles de nos cibles publiées actuelles pourraient être atteintes sans que le résultat sous-jacent ne s'améliore du tout ? C'est l'application la plus directe de la loi de Goodhart disponible pour toute équipe, et presque chaque organisation qui a fait fonctionner des cibles numériques pendant plus de quelques années porte au moins un exemple vivant. Parcourez vos indicateurs vedettes un à la fois et demandez, concrètement, quel comportement chacun récompense plutôt que ce qu'il était conçu pour mesurer. Discutez de si le personnel de première ligne connaît déjà un moyen plus facile de faire bouger le chiffre que le moyen prévu, puisqu'il le sait généralement bien avant que cela n'atteigne les dirigeants seniors. Traitez un « personne ne ferait cela ici » confiant et non examiné comme méritant lui-même l'enquête plutôt que comme une réassurance.

Où avons-nous laissé un extrant facile à compter remplacer discrètement un véritable jugement de qualité ou de sécurité ? Les extrants sont presque toujours moins coûteux et plus rapides à collecter que les résultats, ce qui crée une tentation permanente de rapporter les premiers en utilisant le langage des seconds. Identifiez un indicateur phare que votre organisation rapporte actuellement et demandez, en groupe, s'il mesure réellement la qualité de ce qui s'est passé ou seulement le volume d'activité qui a eu lieu. Discutez de ce qu'exigerait la collecte d'une véritable mesure de qualité pour cette même activité, et de ce qui a empêché l'organisation de la collecter jusqu'ici. Cette question révèle souvent que l'obstacle est la dotation en ressources plutôt que la difficulté de définition.

Si un membre du personnel signalait honnêtement aujourd'hui son propre quasi-accident ou sa propre erreur, que lui arriverait-il réellement ? L'existence d'une politique sans blâme n'est pas la preuve que les gens croient qu'elle s'applique personnellement à eux. Discutez d'un cas récent, réel ou hypothétique, où une divulgation honnête d'une erreur aurait testé la politique, et soyez précis sur quelles ont été ou auraient probablement été les conséquences. Considérez si votre signalement pertinent à la sécurité se situe dans le même système que vos décisions de récompense de performance, puisque mélanger les deux est la façon la plus courante par laquelle une culture nominalement sans blâme punit quand même discrètement l'honnêteté. Cette question est inconfortable par conception ; une équipe qui ne peut en discuter ouvertement y a déjà répondu.

Notre organisme d'inspection ou de notation a-t-il une véritable indépendance envers l'organisation qu'il évalue, ou seulement une indépendance formelle ? L'indépendance de nom est courante ; l'indépendance en financement, en accès, et dans le droit de publier un constat malvenu est plus rare et plus facile à éroder graduellement. Listez les relations d'inspection ou de notation auxquelles votre organisation est soumise et évaluez honnêtement chacune sur si elle survivrait à une tentative déterminée de l'organisme inspecté de façonner le résultat. Discutez de ce qui s'est passé la dernière fois qu'une inspection a produit un résultat authentiquement malvenu, et si la réponse a été de corriger le problème sous-jacent ou de gérer la relation avec l'inspecteur.

Laquelle des réponses dysfonctionnelles de Smith aux cibles — vision en tunnel, fixation sur la mesure, mauvaise représentation, ossification — est actuellement la plus visible dans notre propre rapport ? Nommer le mode de défaillance spécifique, plutôt que discuter de manipulation dans l'abstrait, rend la conversation assez concrète pour agir dessus. Passez en revue les quatre schémas et demandez lequel l'équipe reconnaît dans sa propre expérience récente, plutôt que de supposer que l'organisation en est exempte parce qu'aucun scandale ne s'est encore produit. Discutez de ce à quoi ressemblerait une étape corrective pour ce schéma spécifique dans le prochain cycle de rapport, non comme un engagement général à « faire mieux sur la mesure ».

Si nous cessions de rapporter publiquement notre cible vedette actuelle pendant un an, que perdrions-nous réellement, et que pourrions-nous gagner ? Cette question teste si une cible oriente authentiquement les décisions ou est devenue une fin en soi que personne ne défendrait si on lui demandait de la justifier à partir de premiers principes. Discutez honnêtement de quelle décision, le cas échéant, a changé au cours de la dernière année à cause de ce chiffre spécifique, par opposition à des décisions qui auraient été prises de toute façon. Considérez quel temps du personnel et quelle distorsion comportementale la cible coûte actuellement, et si une mesure différente, plus difficile à manipuler, servirait mieux le même but de redevabilité. Ce n'est pas un argument pour abandonner la mesure — c'est une discipline pour ne garder que la mesure qui mérite sa place.

En pratique : un exemple de valeur publique

Le service d'ambulance d'une région métropolitaine de taille moyenne — fictif, illustratif d'un schéma plutôt qu'un compte rendu d'un organisme réel — avait fonctionné pendant des années sous une cible publiée exigeant une réponse d'urgence en huit minutes pour les appels les plus menaçants pour la vie. La cible avait été fixée avec une bonne intention, soutenue par une preuve clinique que la vitesse de réponse affecte authentiquement la survie pour une catégorie définie d'urgences, et le conseil du service traitait le pourcentage publié d'appels atteignant la cible comme son indicateur unique le plus important de succès organisationnel.

Sur trois ans, le chiffre rapporté s'est amélioré de façon constante, de juste au-dessus de la moitié des appels qualifiants à près de neuf sur dix, et la direction senior présentait la tendance à chaque réunion du conseil comme une preuve claire que les réformes opérationnelles fonctionnaient. Ce que le chiffre vedette ne montrait pas était comment l'amélioration avait réellement été réalisée. Les préposés aux appels, conscients que leur propre performance était partiellement évaluée sur combien d'appels ils classifiaient dans la catégorie porteuse de cible, avaient commencé — graduellement, sans qu'aucune décision unique ne soit prise à cet effet — à déclasser une part croissante d'appels authentiquement sérieux vers une catégorie de priorité inférieure à laquelle le chronomètre de huit minutes ne s'appliquait pas, simplement parce qu'un bassin d'appels plus petit et plus étroitement défini était plus facile pour atteindre la cible. Séparément, les équipages avaient appris que le chronomètre s'arrêtait au moment où un véhicule arrivait sur les lieux, non quand un patient était réellement atteint, ce qui créait une incitation petite mais réelle à se garer à la limite plutôt qu'à atteindre le patient le plus rapidement possible.

Aucune des deux pratiques n'était frauduleuse au sens de falsifier un dossier ; chacune était une réponse localement rationnelle à une cible dont la définition créait de l'espace pour exactement cette dérive — un exemple classique de fixation sur la mesure et de mauvaise représentation opérant ensemble. Le problème a émergé non par le propre rapport du service, qui continuait à montrer une amélioration, mais par l'inspection routinière d'une inspection régionale de santé indépendante, qui combinait la revue des dossiers de cas avec l'observation directe de la gestion des appels et a trouvé des classifications déclassées incohérentes avec le détail clinique enregistré dans les mêmes appels. La cote de l'inspection a chuté brusquement, d'une description équivalente à « bon » à « nécessite une amélioration », malgré que le propre chiffre publié de temps de réponse du service soit meilleur qu'il ne l'avait jamais été.

La réponse initiale du service — pointant vers ses propres chiffres en amélioration — a aggravé le problème de crédibilité, parce qu'elle répondait à une question que l'inspection n'avait pas posée ; l'inspection n'avait jamais contesté l'arithmétique, seulement ce que l'arithmétique mesurait. Sa réponse plus efficace a été de reconcevoir l'ensemble d'indicateurs à partir du modèle logique sous-jacent plutôt que de rafistoler la cible existante : le temps de réponse a été redéfini au moment du contact avec le patient plutôt qu'à l'arrivée du véhicule, la classification des appels a été auditée indépendamment sur un échantillon glissant plutôt que confiée au propre dossier du préposé, et une mesure clinique de résultat parallèle — survie jusqu'à l'admission à l'hôpital — a été introduite parce qu'elle était bien plus difficile à manipuler par la seule reclassification. Le pourcentage rapporté de temps de réponse a chuté la première année sous la nouvelle définition, ce que le conseil avait préparé ses bailleurs de fonds à attendre ; la mesure de résultat clinique, suivie pour la première fois sur une base comparable, a montré une amélioration plus petite mais authentique que la cible originale n'avait jamais réellement démontrée dans un sens ou dans l'autre.

Quatre angles sectoriels

Collectivités locales

Les services locaux tels que l'incendie et le sauvetage, les soins sociaux aux adultes, et la collecte des déchets sont généralement mesurés contre un mélange d'indicateurs mandatés nationalement que la collectivité locale n'a pas choisis et de mesures choisies localement reflétant les propres priorités d'un conseil spécifique, donc un seul service peut être jugé un succès contre un ensemble d'indicateurs et une préoccupation contre un autre. L'inspection au niveau local est souvent livrée par un organisme national ou régional avec un mandat statutaire couvrant de nombreuses collectivités locales à la fois, ce qui donne une perspective comparative utile mais un contexte local moins granulaire que l'organisation qu'il inspecte. Les élus locaux et les comités d'examen ajoutent une couche de redevabilité plus rapide et plus immédiate, et sont souvent les premiers à entendre les résidents quand un chiffre publié et l'expérience vécue divergent.

Gouvernement national

Le gouvernement national fait généralement fonctionner les régimes de performance les plus grands et les plus politiquement visibles, parce qu'une cible nationale — une norme de temps d'attente, un objectif de réduction de la criminalité, un objectif de taux de réussite aux examens — devient un mandataire dans le débat public pour la compétence du gouvernement en place, ce qui élève les enjeux de la manipulation bien au-delà du niveau opérationnel. C'est le cadre où la dynamique « cibles et terreur » de Bevan et Hood se réalise le plus pleinement, parce que les cibles nationales sont fréquemment associées à des conséquences politiques visibles pour leur manquement, aiguisant l'incitation à gérer le chiffre plutôt que la réalité derrière lui. Les inspections nationales, précisément parce qu'elles opèrent à distance des ministères dont une cote peut affecter les fortunes politiques, portent une part disproportionnée du fardeau pour faire remonter l'écart entre performance rapportée et performance réelle (voir thème 3.4 — Redevabilité, transparence et légitimité).

Secteur social et organismes à but non lucratif

Les organismes à but non lucratif et les organisations non gouvernementales font face à l'assurance qualité et à l'accréditation plus souvent comme une discipline volontaire ou imposée par le bailleur de fonds que comme un régime d'inspection statutaire, puisque peu de juridictions font fonctionner une inspection indépendante dédiée pour le secteur dans son ensemble. Cela laisse l'assurance qualité du secteur social plus fragmentée — différents bailleurs de fonds imposant différentes exigences à la même organisation — mais aussi plus flexible, puisqu'un organisme à but non lucratif peut souvent concevoir son propre ensemble d'indicateurs autour de sa véritable théorie du changement plutôt qu'un ensemble de mesures imposées de l'extérieur. L'absence d'un inspecteur externe obligatoire élève l'importance relative d'un conseil indépendant et d'un audit externe comme le propre substitut de redevabilité horizontale du secteur (voir thème 3.4 — Redevabilité, transparence et légitimité), puisque la propre direction d'un organisme à but non lucratif est autrement à la fois le mesureur et le mesuré.

Organismes multilatéraux et internationaux

Les organismes multilatéraux et les indices comparatifs qu'ils publient ou sur lesquels ils s'appuient — classements transnationaux de la qualité de gouvernance, de la facilité de faire des affaires, ou de la performance des services publics — font face à la loi de Goodhart à l'échelle de gouvernements nationaux entiers, où un pays peut améliorer son classement par des réformes ciblées étroitement sur les critères mesurés plutôt que sur la condition plus large que l'indice prétend représenter. L'inspection indépendante au sens domestique utilisé ailleurs dans ce thème n'a pas de véritable équivalent à travers les frontières souveraines, puisqu'aucun État n'accepte une inspection externe avec le statut coercitif qu'un organisme national a sur un organisme qu'il supervise ; l'assurance qualité multilatérale s'appuie plutôt sur la revue par les pairs, l'autodéclaration validée par des missions techniques, et le coût réputationnel d'une cote publiée. Cela rend l'indépendance et la crédibilité technique de l'organisme compilant tout indicateur transnational particulièrement importantes, puisque c'est souvent le seul contrôle disponible.

Modes de défaillance courants

La vision en tunnel. Une organisation concentre l'effort et les ressources sur ce qui est mesuré, au détriment direct des aspects non mesurés du même service qui comptent tout autant pour les personnes qu'elle sert. Le coût est un service qui semble s'améliorer dans chaque rapport publié tandis qu'une dimension non mesurée — la dignité du patient, la complexité du cas, les résultats à long terme — se détériore discrètement, inaperçue jusqu'à ce qu'elle devienne une crise assez grande pour forcer une nouvelle mesure.

La fixation sur la mesure. Le succès sur l'indicateur en vient à être traité, à l'intérieur de l'organisation, comme équivalent au succès sur l'objectif sous-jacent, de sorte que le mandataire déplace le but dans l'attention réelle de chacun même si l'énoncé de mission formel nomme encore le but. Le coût est un écart croissant et auto-renforçant entre la performance rapportée et la réalité vécue, parce que personne à l'intérieur de l'organisation ne regarde plus la réalité directement.

La mauvaise représentation. Les données sont ajustées — un chronomètre arrêté tôt, un cas reclassifié, un dénominateur choisi pour un effet favorable — de sorte que le chiffre rapporté s'améliore sans que la réalité sous-jacente ne change du tout, comme dans l'exemple travaillé ci-dessus. Le coût, une fois découvert, est disproportionné par rapport à la distorsion originale, parce que la mauvaise représentation endommage non seulement le chiffre spécifique mais la crédibilité de chaque autre chiffre que la même organisation a jamais publié (voir thème 3.4 — Redevabilité, transparence et légitimité).

L'ossification. Une cible fixée pour un contexte opérationnel spécifique est laissée sans révision longtemps après que ce contexte a changé, donc elle continue d'être rapportée et gérée contre même si elle ne discrimine plus entre performance authentiquement bonne et authentiquement médiocre. Le coût est invisible pendant des années, parce qu'une cible ossifiée produit encore un chiffre ; le chiffre a simplement cessé de signifier quoi que ce soit, et l'attention de gestion réelle de l'organisation s'est généralement déjà déplacée ailleurs sans que personne ne retire formellement la mesure.

La capture de l'inspection. Un organisme d'inspection ou de notation indépendant devient graduellement dépendant de la bonne volonté, de l'accès, ou de la coopération continue des organisations qu'il inspecte, que ce soit par des arrangements de financement, des parcours de carrière qui déplacent le personnel entre inspecteur et inspecté, ou des relations informelles bâties à travers des inspections répétées. Le coût est une perte lente de véritable indépendance qu'une charte ou un statut formel n'empêche pas en soi, et elle ne fait généralement surface que quand un échec majeur traverse un système de notation qui aurait dû l'attraper.

Le signalement de sécurité mû par le blâme. Un système de signalement d'erreur ou de quasi-accident pertinent à la sécurité est nominalement sans blâme mais est, en pratique, connecté assez étroitement à l'évaluation de performance ou au processus disciplinaire pour que le personnel apprenne que signaler une erreur honnête porte un risque personnel. Le coût n'est pas moins d'erreurs — c'est moins de signalements des erreurs qui continuent de se produire, ce qui retire exactement le signal d'alerte précoce qu'un système de sécurité existe pour fournir avant l'incident suivant, plus sérieux.

Modèle de maturité

Liste de vérification

• Retracez chaque indicateur de performance vedette jusqu'au modèle logique ou au cadre de résultats qu'il est censé représenter.
• Identifiez le moyen le plus plausible par lequel chaque cible publiée pourrait être manipulée, et nommez une mesure d'équilibrage qui la révélerait.
• Confirmez que celui qui fixe une cible, celui qui est mesuré contre elle, et celui qui vérifie indépendamment le résultat ne sont pas tous la même partie de l'organisation.
• Programmez une révision à cycle fixe de chaque cible vivante, indépendante de tout échec visible qui la provoquerait.
• Confirmez que le canal de signalement pertinent à la sécurité est structurellement séparé des décisions de récompense de performance et disciplinaires.
• Testez si le personnel croit qu'une erreur ou un quasi-accident honnêtement rapporté serait traité sans blâme, non seulement si une politique le dit.
• Confirmez que tout organisme d'inspection ou de notation évaluant l'organisation dispose d'un financement, d'un accès, et de droits de publication protégés.
• Publiez les limites connues de chaque cible vedette aux côtés du chiffre lui-même.
• Vérifiez si un indicateur a été atteint de façon constante pendant plusieurs périodes sans enquête correspondante sur pourquoi.
• Impliquez le personnel de première ligne dans la conception de toute nouvelle cible avant sa mise en vigueur.
• Confirmez qu'une certification de gestion de la qualité, là où elle existe, est traitée comme un plancher et non citée comme preuve de bons résultats à elle seule.

Sources principales

• La formulation de 1975 de Charles Goodhart de ce qui est devenu connu comme la loi de Goodhart, développée dans le contexte du ciblage de politique monétaire.
• Marilyn Strathern, ''Improving ratings': audit in the British university system', European Review, 5(3) (1997), 305–321 — la reformulation largement citée en secteur public de la loi de Goodhart.
• Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector', International Journal of Public Administration, 18(2–3) (1995), 277–310 — la source de la typologie de la vision en tunnel, de la fixation sur la mesure, de la mauvaise représentation, et de l'ossification sur laquelle ce thème s'appuie.
• Gwyn Bevan et Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System', Public Administration, 84(3) (2006), 517–538 — l'étude « cibles et terreur » de la manipulation sous de sévères conséquences.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) — un compte rendu de grande envergure de l'échec de la mesure à travers l'éducation, la santé, les affaires, et le gouvernement.
• UK National Audit Office, « Performance measurement by regulators », et les orientations du US Government Accountability Office distinguant les mesures de performance de l'évaluation de programme.
• La Care Quality Commission et Ofsted, comme exemples d'organismes d'inspection et de notation indépendants opérant à distance des organisations qu'ils évaluent.

Références

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, ''Improving ratings': audit in the British university system' — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector' — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan et Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System' — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted