Le tableau de bord de la valeur publique et les cadres de résultats

Pourquoi cela compte pour la valeur publique

La plupart des dirigeants publics et du secteur social peuvent produire un document de stratégie qui parle couramment de résultats. Bien moins peuvent produire, un an plus tard, les preuves montrant si ces résultats ont réellement bougé. L'écart entre les deux ne tient généralement pas à un manque de données — la plupart des organisations en collectent des volumes considérables — mais à un manque de structure disciplinée qui transforme des comptages d'activité bruts en une affirmation défendable sur la valeur créée. Le thème 1.2 — Le triangle stratégique : légitimité, valeur et capacité a exposé la légitimité et le soutien, la proposition de valeur et la capacité opérationnelle comme les trois côtés que la stratégie d'une organisation doit satisfaire à la fois (voir thème 1.2 — Le triangle stratégique : légitimité, valeur et capacité). Ce thème porte sur les outils qui rendent ces trois côtés mesurables plutôt que simplement affirmés.

Les enjeux sont immédiats et récurrents. Un bailleur de fonds ou une assemblée législative demande, au prochain cycle budgétaire, « qu'avons-nous obtenu pour cet argent » — et une organisation ne disposant que de comptages de production (cliniques ouvertes, dossiers traités, sessions de formation menées) n'a aucune réponse à la question de résultat qui se cache dessous. Une équipe de programme croit réussir parce que l'activité est intense et occupée, sans avoir séparé l'activité du changement dans le monde que cette activité était censée provoquer. Un conseil approuve une nouvelle initiative sur la force d'un récit persuasif, puis n'a plus, un an plus tard, de base convenue pour décider de la poursuivre, de l'étendre ou de l'arrêter. Chacun de ces cas est un échec de mesure aux conséquences stratégiques, non un désagrément technique.

Les outils de ce thème — le tableau de bord de la valeur publique de Mark Moore, le modèle logique, et la redevabilité axée sur les résultats et ses parents — ne résolvent pas tous les problèmes de mesure qu'affronte une organisation publique ou du secteur social. Les thèmes suivants couvrent les couches plus difficiles et plus techniques : monétiser les résultats par l'analyse coûts-avantages et coût-efficacité (voir thème 2.2 — Analyse coûts-avantages sociale et analyse coût-efficacité), valoriser les résultats qui résistent à la monétisation par le retour social sur investissement (voir thème 2.3 — Retour social sur investissement et mesure de l'impact), et établir qu'un programme a réellement causé un changement observé par une évaluation de programme formelle (voir thème 2.4 — Économétrie du secteur public et évaluation des programmes). Ce que ce thème fournit est la couche sous-jacente à ces trois : un vocabulaire partagé et un petit nombre de cadres durables pour énoncer, avant que ce travail technique ne commence, ce qu'une organisation cherche réellement à changer, pour qui, et comment elle le saura.

Concepts fondamentaux

Le tableau de bord de la valeur publique est la proposition de Mark H. Moore pour suivre chaque côté du triangle stratégique avec son propre ensemble d'indicateurs, plutôt que de se rabattre par défaut sur les mesures financières et opérationnelles qu'utiliserait un tableau de bord prospectif du secteur privé. Moore a adapté le tableau de bord prospectif — l'outil de Robert Kaplan et David Norton pour suivre une entreprise selon les perspectives financière, client, processus interne et apprentissage — parce qu'un unique résultat net financier ne peut représenter une organisation dont la prétention centrale à exister est qu'elle crée une valeur qu'aucun prix de marché ne capture. Le tableau de bord de la valeur publique demande plutôt à une organisation de spécifier des mesures sous trois rubriques qui reflètent le triangle : un compte de légitimité et de soutien (l'environnement d'autorisation est-il satisfait — bailleurs de fonds, organes de contrôle, public), un compte de valeur publique (la proposition de valeur se réalise-t-elle — résultats pour les citoyens et clients), et un compte de capacité opérationnelle (l'organisation est-elle capable de soutenir et d'améliorer la livraison — personnel, systèmes, finances, partenariats). La discipline consiste à refuser qu'un seul compte tienne lieu du tout ; une organisation qui ne rapporte que l'efficacité financière, ou que la satisfaction client, n'a pas du tout rapporté par rapport au triangle.

Les modèles logiques donnent au compte de valeur du tableau de bord sa structure interne. Un modèle logique expose la chaîne causale qu'un programme prétend faire fonctionner : les intrants (l'argent, le personnel et les autres ressources engagés), les activités (ce que l'organisation en fait), les extrants (les produits immédiats et comptables de ces activités — sessions livrées, permis délivrés, foyers visités), les résultats (les changements de connaissance, de comportement, d'état ou de statut que les extrants sont censés provoquer, typiquement sur des mois ou quelques années), et l'impact (le changement de plus long terme, souvent à l'échelle de la population, auquel les résultats sont censés contribuer, généralement partagé avec d'autres acteurs et plus difficile à attribuer à un seul programme). La distinction entre extrant et résultat est la plus lourde de conséquences de ce thème : un extrant est quelque chose que l'organisation a fait ; un résultat est quelque chose qui a changé pour quelqu'un d'autre en conséquence. L'extrant d'un programme de formation est le nombre de personnes formées ; son résultat est ce que ces personnes peuvent alors faire, ou comment leur situation change, qu'elles ne pouvaient pas ou ne pouvait pas faire avant.

La théorie du changement est la discipline étroitement liée qui consiste à rendre explicites plutôt qu'implicites les hypothèses derrière un modèle logique — pourquoi l'organisation croit que l'activité A produira réellement le résultat B, et dans quelles conditions cette affirmation causale pourrait échouer. Une théorie du changement n'est pas simplement un modèle logique plus détaillé ; elle met au premier plan le raisonnement du type « si... alors... parce que » et les hypothèses contextuelles que le diagramme de cases et de flèches d'un modèle logique tend à laisser tacites. Le thème 2.3 utilise la théorie du changement comme point de départ de la mesure d'impact dans le secteur social de façon plus approfondie (voir thème 2.3 — Retour social sur investissement et mesure de l'impact) ; ici, elle importe surtout comme la discipline qui garde un modèle logique honnête sur ce qu'il prétend réellement causer, par opposition à ce qu'il espère simplement voir suivre.

La redevabilité axée sur les résultats (RBA) est le membre le plus connu d'une famille de cadres axés sur les résultats utilisés à travers les gouvernements et le secteur social pour relier les résultats au niveau de la population à la performance de programmes spécifiques. Développée par Mark Friedman et exposée dans son livre Trying Hard Is Not Good Enough, la RBA sépare deux types distincts de redevabilité que les organisations confondent couramment. La redevabilité de population demande comment se porte toute une communauté ou un territoire sur une condition de bien-être — pauvreté infantile, sécurité communautaire, réussite scolaire — en utilisant un petit nombre d'indicateurs phares qu'aucune agence unique ne détient ni ne contrôle entièrement. La redevabilité de performance demande dans quelle mesure un programme ou une agence spécifique se comporte bien, en utilisant trois types d'indicateur de performance que le cadre de Friedman insiste à distinguer : combien a été fait (l'effort — le comptage d'extrant), à quel point c'était bien fait (la qualité), et si quelqu'un s'en porte mieux (l'effet — le résultat). La méthode pratique de la RBA, parfois appelée analyse « inverser la courbe », remonte à partir d'un indicateur choisi — en demandant quelle histoire racontent les données, ce qui cause cette histoire, qui sont les partenaires ayant un rôle à jouer pour la changer, ce qui fonctionnerait, et ce que l'organisation propose de faire — une version structurée du raisonnement qu'un modèle logique et une théorie du changement formalisent séparément. La RBA est une instance d'un schéma plus large de gestion axée sur les résultats, étroitement liée à la pratique courante du suivi et de l'évaluation utilisée à travers le développement international et l'administration publique, promue sous diverses formes par les gouvernements nationaux, les bailleurs de fonds philanthropiques et les organismes multilatéraux comme une discipline partagée pour relier la dépense aux résultats plutôt qu'aux seuls extrants.

Extrants, résultats et tableau de bord ensemble. La raison pour laquelle ces cadres appartiennent à un seul thème, plutôt qu'à trois, est qu'ils répondent à la même question sous-jacente à différents moments du cycle de planification et de reddition de comptes d'une organisation. Le modèle logique est tracé au moment de la conception, pour énoncer l'affirmation causale. La redevabilité axée sur les résultats et les cadres comparables sont appliqués au moment de la reddition de comptes, pour garder les mesures de performance honnêtes sur la différence entre effort et effet. Le tableau de bord de la valeur publique se situe au-dessus des deux, comme la structure permanente qui garantit que les preuves de résultat — quelle que soit la façon dont elles ont été produites — atteignent effectivement les conversations sur la légitimité et la capacité où se prennent les décisions de budget et de mandat, plutôt que de rester à l'intérieur du rapport d'une seule équipe de programme. Ensemble, les trois cadres sont ce qui transforme la valeur publique d'une affirmation qu'une organisation fait sur elle-même en une affirmation qu'elle peut défendre par des preuves.

Pratiques exemplaires

1. Tracez le modèle logique avant les indicateurs, non après. Choisir quoi mesurer avant de convenir de ce que vous prétendez causer produit une liste de ce qui est facile à compter ; tracez d'abord la chaîne des intrants à l'impact, puis choisissez des mesures qui testent chaque maillon.
2. Rapportez sur les trois comptes du tableau de bord ensemble, non l'un après l'autre. Une mise à jour de légitimité sans preuve de résultat, ou un rapport de résultat sans compte de capacité sur ce qu'il en a coûté de le soutenir, racontent chacun seulement une partie de l'histoire dont un bailleur de fonds ou un organe de contrôle a besoin pour prendre une véritable décision.
3. Séparez explicitement l'effort, la qualité et l'effet dans chaque rapport de performance. Empruntez la division tripartite de Friedman même en dehors d'une mise en œuvre formelle de RBA ; un rapport qui mélange « sessions livrées » avec « vies améliorées » sans les distinguer se rabattra toujours par défaut sur celui des deux qui est le plus facile à gonfler.
4. Choisissez un petit nombre d'indicateurs phares de population et maintenez-les sur des années, non des trimestres. Les conditions au niveau de la population évoluent lentement et sont affectées par de nombreux acteurs ; changer l'indicateur phare à chaque cycle de reddition de comptes rend impossible de dire si la courbe s'inverse réellement.
5. Nommez, à voix haute, ce que l'organisation ne contrôle pas. Un modèle logique qui laisse entendre qu'un seul programme cause entièrement un résultat au niveau de la population invite exactement le scepticisme qui mine la légitimité lorsque le résultat ne bouge pas comme prévu ; énoncez dès le départ les autres facteurs contributifs.
6. Publiez le cadre de résultats avant le cycle budgétaire, non après. Un cadre de résultats produit pour justifier une décision budgétaire déjà prise se lit comme une rationalisation a posteriori ; un cadre publié avant le cycle est la preuve qu'une véritable décision est testée contre lui.
7. Gardez le tableau de bord et le modèle logique comme des documents vivants, réexaminés quand le contexte change, non des artefacts annuels. Un modèle logique tracé pour un environnement politique donné peut discrètement cesser de correspondre à la réalité — une nouvelle loi, un changement démographique, une modification du financement — bien avant qu'un réexamen programmé ne le détecte ; traitez les deux comme appartenant aux équipes de livraison, non comme un exercice de conformité pour un bureau central.
8. Gardez les mesures du compte de performance proches des personnes qui peuvent agir dessus. Une équipe de programme peut améliorer directement les mesures de qualité et d'effort ; confiez-lui des cibles de résultat au niveau de la population qu'elle ne peut bouger seule, et la mesure devient une source de démoralisation plutôt que d'orientation.
9. Traitez une cible de résultat manquée comme une invitation à demander pourquoi, non un verdict à cacher. L'habitude « inverser la courbe » de demander ce qui cause la tendance avant d'assigner un blâme garde utile le rapport de résultats ; une culture qui punit les cibles manquées apprend au personnel à protéger le chiffre plutôt que le résultat.
10. Rendez les hypothèses de la théorie du changement réfutables. Une hypothèse écrite si vaguement qu'aucune preuve ne pourrait jamais la contredire n'ajoute pas de rigueur au modèle logique ; écrivez les hypothèses de façon assez précise pour qu'une évaluation future puisse démontrer qu'elles étaient fausses.

Questions à discuter avec votre équipe

Pouvons-nous actuellement distinguer, pour notre programme le plus important, un extrant d'un résultat — et notre propre personnel utilise-t-il ces deux mots correctement ? De nombreuses organisations rapportent des comptages d'activité en utilisant le langage des résultats sans remarquer la substitution, ce qui érode discrètement la différence que ce thème traite comme fondamentale. Utilisez cette question pour sortir un rapport actuel réel et vérifier, ligne par ligne, quels chiffres décrivent ce que l'organisation a fait par opposition à ce qui a changé pour quelqu'un d'autre. Discutez de où le langage a dérivé, et si cette dérive reflète une confusion authentique sur la logique du programme ou simplement que les données de résultat sont plus difficiles à obtenir que les données d'extrant. Si la réponse honnête est la seconde, c'est en soi un constat qui mérite d'être consigné, non une raison de continuer à utiliser un langage d'extrant déguisé en résultats.

Où notre rapport actuel fusionne-t-il effort, qualité et effet en un chiffre unique, et que dit réellement ce chiffre à un lecteur ? La division tripartite de Friedman existe parce que les organisations se rabattent couramment par défaut sur le rapport d'effort — le plus facile des trois à compter — tout en laissant entendre qu'elles ont rapporté l'effet. Utilisez cette question pour identifier un indicateur phare que l'organisation rapporte actuellement et déterminer, en groupe, lequel des trois il mesure réellement. Discutez de ce qu'il faudrait pour rapporter les trois séparément pour cet indicateur, et si le faire changerait la façon dont l'organisation est perçue par les personnes qui ne voient actuellement que le chiffre fusionné.

Si notre résultat de population phare ne bouge pas pendant deux cycles de reddition de comptes supplémentaires, que ferions-nous différemment, et que ne changerions-nous pas ? Cette question teste si l'organisation utilise réellement son cadre de résultats pour se piloter, ou le produit simplement comme une obligation de reddition de comptes. Utilisez-la pour distinguer quelles parties de la stratégie actuelle sont conditionnées par les données de résultat et lesquelles sont fixes quoi que montrent les données. Discutez honnêtement de savoir si une partie du programme actuel survivrait inchangée même si les preuves s'y opposaient fermement, car c'est la partie qui n'est en réalité pas gérée par le cadre.

Notre tableau de bord de la valeur publique, si nous en avons un, rapporte-t-il les trois côtés du triangle, ou est-il discrètement devenu un tableau de bord pour un seul côté ? Il est courant qu'un cadre de résultats commence avec une ambition authentique à trois côtés et dérive, sous la pression de la reddition de comptes, vers un document uniquement axé sur les résultats ou uniquement sur les finances. Utilisez cette question pour auditer les deux ou trois derniers rapports formels par rapport à la structure à trois comptes que décrit ce thème. Discutez de quel côté a tendance à être abandonné en premier sous la pression du temps, et de ce que cela dit sur quel côté l'organisation traite implicitement comme facultatif.

Qui, en dehors de cette organisation, devrait être d'accord avec notre modèle logique pour qu'il soit crédible, et l'avons-nous réellement sollicité ? Un modèle logique tracé entièrement par l'équipe de programme qui a conçu l'intervention peut discrètement encoder des hypothèses optimistes que personne à l'extérieur de la salle n'est en position de contester. Utilisez cette question pour identifier quels acteurs externes — bailleurs de fonds, partenaires de livraison, les personnes que le programme sert — ont un intérêt dans la justesse de la chaîne causale, et si l'un d'entre eux l'a réellement examinée. Discutez de ce qui a changé, le cas échéant, la dernière fois qu'une perspective extérieure a été invitée dans cet examen.

Quel est le plus petit ensemble d'indicateurs de population et de performance que nous pourrions rapporter tout en permettant encore à un observateur externe de juger si cette organisation crée de la valeur publique ? Les systèmes de mesure tendent à accumuler des indicateurs au fil du temps bien plus vite qu'ils ne les retirent, jusqu'à ce que le cadre devienne trop volumineux pour que quiconque puisse réellement l'utiliser dans une décision. Utilisez cette question pour tenter, comme exercice, de réduire de moitié l'ensemble d'indicateurs actuel sans perdre la capacité de répondre aux questions de redevabilité de population et de performance que décrit ce thème. Discutez de quelle résistance cet exercice fait apparaître, car la résistance à couper un indicateur précis est souvent un signe de ce dont l'organisation est réellement tenue responsable, que cela corresponde ou non à sa stratégie énoncée.

En pratique : un exemple de valeur publique

Un réseau régional d'associations caritatives de soutien à la famille — fictif, illustratif d'un schéma plutôt qu'un compte rendu d'une organisation réelle — avait passé une décennie à mener des programmes de visites à domicile pour les nouveaux parents dans des quartiers à faible revenu. Ses rapports annuels aux bailleurs de fonds étaient détaillés et, en termes d'extrants, impressionnants : des milliers de visites à domicile réalisées chaque année, une forte participation aux ateliers de parentalité, de solides scores de satisfaction des familles participantes. Fort de ce bilan, le réseau avait crû régulièrement, ajoutant de nouvelles antennes locales à peu près tous les deux ans.

Un nouveau bailleur de fonds national, envisageant une subvention pluriannuelle assez importante pour doubler la portée du réseau, a posé une question que le conseil d'administration du réseau lui-même n'avait jamais formellement posée à la direction : quelles preuves montraient que les enfants des familles ayant reçu les visites à domicile s'en sortaient réellement mieux, plus tard, que des enfants comparables dont les familles n'en avaient pas bénéficié. La direction du réseau a réalisé, en travaillant sur la question, que son rapport n'avait jamais séparé l'effort de l'effet. Les comptages de visites et les scores de satisfaction étaient des preuves authentiques que le programme était livré et bien reçu ; aucun des deux n'était une preuve qu'il changeait les résultats développementaux d'un enfant, ce qui était l'affirmation incorporée dans l'énoncé de mission même du réseau et, implicitement, dans chaque demande de subvention qu'il avait jamais rédigée.

Le réseau a bâti un modèle logique à partir de zéro, en partant des résultats qu'il souhaitait réellement — indicateurs améliorés de développement de la petite enfance, réduction des cas avérés de négligence envers les enfants, confiance parentale renforcée — et en remontant vers les activités et extrants dont chacun était censé dépendre, en nommant explicitement les hypothèses intermédiaires. Il a adopté une structure simplifiée de redevabilité axée sur les résultats : des indicateurs de population suivis à l'échelle du quartier et partagés avec les écoles et services de santé locaux, aux côtés d'indicateurs de performance sur lesquels ses propres équipes pouvaient agir directement — fréquence des visites, achèvement des ateliers, et confiance parentale évaluée par le personnel à trois et douze mois. Deux des cinq indicateurs de résultat n'ont pas bougé comme espéré dans un quartier lors du premier cycle de reddition de comptes. Plutôt que de supprimer le résultat, le réseau a utilisé son propre processus « inverser la courbe » pour enquêter, a découvert qu'un changement de personnel infirmier de santé locale avait perturbé les voies d'orientation, et a ajusté ses arrangements de partenariat plutôt que son modèle central. Le bailleur de fonds a renouvelé et étendu la subvention, citant l'honnêteté du rapport, non l'absence d'un manquement, comme raison de sa confiance.

Quatre angles sectoriels

Collectivités locales

Le cadre de résultats d'une collectivité locale s'inscrit typiquement dans un ensemble plus large d'indicateurs définis nationalement qu'elle n'a pas choisis mais doit rapporter, aux côtés de mesures choisies localement qui reflètent les propres priorités de son conseil. Cette structure double signifie qu'un tableau de bord local doit souvent concilier deux publics aux questions différentes — un inspecteur national demandant la conformité à un ensemble d'indicateurs standard, et des résidents locaux demandant une condition locale précise et visible, telle qu'une rue ou un service particulier. Les modèles logiques à l'échelle des collectivités locales sont généralement les plus faciles à bâtir pour un service unique (un changement de collecte du recyclage, une refonte de bibliothèque) et les plus difficiles à bâtir de façon crédible pour des résultats transversaux tels que la cohésion communautaire, où de nombreux acteurs hors du contrôle du conseil contribuent aussi.

Gouvernement national

Les cadres de résultats nationaux fonctionnent à une échelle où la distinction redevabilité-de-population/redevabilité-de-performance de la redevabilité axée sur les résultats devient essentielle plutôt que facultative : un indicateur national de santé ou d'éducation est affecté par des centaines de programmes, dont seuls quelques-uns un seul ministère finance directement, de sorte qu'un ministère unique revendiquant seul le crédit ou seul le blâme pour une tendance nationale est rarement défendable. Les gouvernements nationaux sont aussi la source la plus courante de grands cadres de résultats mandatés centralement que les organismes de livraison plus bas dans la chaîne doivent adopter, ce qui crée le risque récurrent que le cadre soit conçu pour l'agrégation et la comparaison entre ministères plutôt que pour réellement piloter la livraison d'un programme donné.

Secteur social et organismes à but non lucratif

Les organismes à but non lucratif et les organisations non gouvernementales (ONG) construisent plus souvent leurs propres modèles logiques et théories du changement à partir de premiers principes plutôt que d'adopter un cadre transmis par un autorisateur, parce que leurs bailleurs de fonds sont fréquemment ceux qui demandent le dossier causal plutôt que de fournir un modèle standard. Cela donne aux organisations du secteur social davantage de liberté pour concevoir un cadre de résultats adapté à la logique réelle de leur programme, mais aussi davantage d'exposition à la fatigue de mesure induite par les bailleurs de fonds, où chaque subvention porte ses propres exigences de reddition de comptes et une organisation finit par maintenir plusieurs cadres de résultats parallèles pour le même travail sous-jacent. La séparation population-contre-performance de la redevabilité axée sur les résultats est particulièrement utile ici, car elle donne à un organisme à but non lucratif le langage pour dire clairement à un bailleur de fonds qu'il peut être tenu responsable de ses propres mesures de performance mais non, seul, d'un indicateur de population que de nombreux autres acteurs influencent aussi.

Organismes multilatéraux et internationaux

Les organismes multilatéraux pratiquent la gestion axée sur les résultats à une échelle où les hypothèses du modèle logique voyagent à travers des dizaines de contextes nationaux à la fois, de sorte qu'une logique d'intervention qui tient dans un pays peut échouer silencieusement dans un autre sans que l'indicateur mondial phare ne révèle quel contexte pose problème. Les cadres de résultats dans ce contexte sont souvent construits pour satisfaire simultanément plusieurs gouvernements donateurs, chacun avec ses propres préférences de reddition de comptes, ce qui pousse vers des ensembles d'indicateurs standardisés (du type promu par les orientations internationales de gestion axée sur les résultats) au prix de la spécificité locale. L'écart entre un extrant qu'un partenaire de mise en œuvre peut rapporter rapidement — formations livrées, cliniques approvisionnées — et un résultat qui n'apparaît que dans une enquête nationale des années plus tard est à son plus large ici, rendant particulièrement importante la discipline d'énoncer explicitement la chaîne causale supposée, plutôt que de la présumer.

Modes de défaillance courants

L'extrant déguisé en résultat. Une organisation rapporte des comptages d'activité en utilisant le langage des résultats — « sécurité communautaire améliorée » alors que la mesure réelle est le nombre de patrouilles effectuées — soit par confusion authentique, soit parce que les données de résultat sont plus difficiles et plus lentes à collecter. Le coût apparaît lorsqu'un examinateur externe demande directement les preuves de résultat et ne trouve que des extrants derrière l'affirmation, endommageant la crédibilité de l'organisation plus qu'un résultat modeste mais honnêtement rapporté ne l'aurait fait.

La prolifération d'indicateurs. Un tableau de bord ou un modèle logique accumule des mesures plus vite qu'il ne les retire, chaque nouvelle demande de partie prenante ajoutant une ligne de plus plutôt que de remplacer une ligne existante. Le résultat éventuel est un cadre trop volumineux pour qu'un gestionnaire puisse réellement l'utiliser dans une décision, ce qui fait discrètement revenir l'organisation au jugement informel tandis que le cadre officiel devient un artefact de reddition de comptes que personne ne consulte.

La capture de la cible. Une mesure de performance, une fois attachée au financement ou à la récompense, devient ce que le personnel optimise directement plutôt que le résultat qu'elle était censée représenter par procuration — le schéma que décrit la loi de Goodhart, selon laquelle une mesure utilisée comme cible cesse d'être une mesure fiable. Le foyer de ce thème pour cette dynamique dans le secteur public spécifiquement, y compris comment les régimes de qualité tentent de la détecter et de la limiter, se trouve ailleurs (voir thème 3.11 — Qualité, sécurité et gestion de la performance) ; ici, elle importe comme une raison de garder séparées les mesures d'effort, de qualité et d'effet, et de réexaminer les cibles avant qu'elles ne déforment le comportement.

La surextension de l'attribution. Le rapport d'un programme laisse entendre une responsabilité causale exclusive pour un résultat au niveau de la population que de nombreux autres acteurs influencent aussi, soit par langage négligent, soit par conviction authentique. Lorsque le résultat ne bouge pas — souvent pour des raisons hors du contrôle du programme — l'organisation absorbe un blâme disproportionné à sa contribution réelle, ce qui décourage ensuite le rapport honnête des manquements dans les cycles futurs.

Le cadre sans rétroaction. Une organisation bâtit un modèle logique et un cadre de résultats authentiquement bien conçus, puis ne les réexamine jamais à l'aune des résultats réels, de sorte qu'ils se figent en un document fixe plutôt qu'un outil de gestion vivant. La stratégie sous-jacente continue de fonctionner sur les hypothèses d'origine des années après que les preuves auraient justifié de les réviser, au prix de l'adaptabilité même que le cadre était censé permettre.

Modèle de maturité

Liste de vérification

• Tracez un modèle logique (intrants, activités, extrants, résultats, impact) pour chaque programme majeur avant de finaliser ses indicateurs.
• Écrivez les hypothèses causales de la théorie du changement de façon assez précise pour que des preuves puissent les contredire.
• Séparez les mesures d'effort, de qualité et d'effet dans chaque rapport de performance, même en dehors d'une mise en œuvre formelle de redevabilité axée sur les résultats.
• Construisez ou mettez à jour le tableau de bord de la valeur publique afin que les trois côtés — légitimité, valeur, capacité — soient rapportés ensemble, non séparément.
• Choisissez un ensemble petit et stable d'indicateurs phares au niveau de la population et engagez-vous à les maintenir sur plusieurs cycles de reddition de comptes.
• Vérifiez les rapports actuels pour un langage décrivant un extrant avec des mots de résultat, et corrigez-le.
• Publiez le cadre de résultats avant le prochain cycle budgétaire ou de financement, non après.
• Nommez explicitement ce que l'organisation ne contrôle pas seule pour toute affirmation au niveau de la population qu'elle rapporte.
• Fixez un cycle défini pour réexaminer les modèles logiques à l'aune des preuves réelles, non seulement lors d'une évaluation formelle programmée.
• Identifiez au moins une partie prenante externe pour examiner les hypothèses du modèle logique avant qu'il ne soit finalisé.
• Auditez l'ensemble d'indicateurs actuel pour des opportunités de retirer des mesures que personne n'utilise dans une décision réelle.
• Convenez, à l'avance, de ce que l'organisation fera différemment si un résultat phare ne bouge pas pendant deux cycles de reddition de comptes.

Sources principales

• Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) et Recognizing Public Value (2013) — les textes fondateurs du tableau de bord de la valeur publique, adaptant la tradition du tableau de bord prospectif aux trois côtés du triangle stratégique.
• Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities — le texte fondateur de la redevabilité axée sur les résultats, incluant la distinction redevabilité-de-population/redevabilité-de-performance et l'analyse « inverser la courbe ».
• La littérature du tableau de bord prospectif de Robert Kaplan et David Norton — la source du secteur privé que Moore a adaptée au contexte de la valeur publique.
• Les orientations de l'OCDE sur la gestion axée sur les résultats et la terminologie d'évaluation, utilisées à travers le développement et l'administration publique pour standardiser le langage des résultats et de l'impact.
• Les orientations du Groupe indépendant d'évaluation de la Banque mondiale sur les cadres de résultats et les théories du changement pour les opérations de développement.
• Le compte rendu public de l'Agence des services humains du Vermont sur l'application de la redevabilité axée sur les résultats à l'échelle de l'État et de la communauté — un exemple du cadre en usage gouvernemental réel.

Références

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf