Économétrie du secteur public et évaluation des programmes

Pourquoi cela compte pour la valeur publique

Chaque année, des organismes publics renouvellent, étendent, ou annulent des programmes sur la force d'une comparaison de résultats : les participants au programme d'emploi ont trouvé du travail plus vite que les non-participants ; les élèves du dispositif de soutien scolaire ont obtenu de meilleurs scores que les élèves n'en ayant pas bénéficié. Chaque comparaison est vraie comme description et dangereuse comme argument, car aucune, en elle-même, ne dit si le programme a causé la différence. Les personnes qui s'inscrivent à un programme d'emploi sont fréquemment plus motivées que celles qui ne le font pas, et les élèves sélectionnés pour le soutien scolaire sont souvent choisis parce qu'un enseignant s'attend déjà à ce qu'ils réagissent bien. L'écart entre « le groupe traité a mieux réussi » et « le traitement l'a fait mieux réussir » est exactement l'écart que l'inférence causale existe pour combler.

Ce n'est pas une subtilité académique. Un comité financier auquel on demande de renouveler le financement d'un programme se voit implicitement demander d'autoriser la dépense d'argent public sur une affirmation de causalité, que quiconque dans la salle utilise ce mot ou non. Le thème 2.1 vous a donné le cadre de résultats qui énonce ce qu'un programme est censé changer (voir thème 2.1 — Le tableau de bord de la valeur publique et les cadres de résultats) ; ce thème vous donne les méthodes qui testent s'il l'a réellement changé, et de combien. L'analyse coûts-avantages et coût-efficacité (voir thème 2.2 — Analyse coûts-avantages sociale et analyse coût-efficacité) et le retour social sur investissement (voir thème 2.3 — Retour social sur investissement et mesure de l'impact) ont tous deux besoin d'une taille d'effet défendable avec laquelle travailler ; ce thème est l'endroit d'où vient cette taille d'effet, ou où vous apprenez que le chiffre que vous avez déjà ne peut porter le poids qu'on lui impose.

Les enjeux ne sont pas seulement financiers. Un gouvernement qui étend un programme inefficace parce qu'une évaluation défaillante l'a fait paraître efficace a gaspillé de l'argent et, souvent pire, a déplacé une alternative authentiquement efficace qui n'en a jamais eu la chance ; un gouvernement qui annule un programme efficace parce qu'une comparaison naïve l'a fait paraître inutile a détruit une valeur qu'une évaluation mieux conçue aurait protégée. Bien mener l'identification causale, et savoir quand vous ne pouvez pas bien la mener, est en soi une compétence de valeur publique, non un centre d'intérêt secondaire de spécialiste.

Concepts fondamentaux

L'inférence causale est la branche de la statistique s'intéressant à établir si, et de combien, le changement d'une variable produit un changement dans une autre, par opposition aux deux variables évoluant simplement ensemble. Elle fournit le fondement conceptuel — le raisonnement contrefactuel, le langage du traitement et du contrôle, le catalogue des menaces spécifiques à une affirmation causale — sur lequel s'appuie chaque méthode de ce thème. Wikipédia : inférence causale.

Le contrefactuel est le résultat qu'une personne ou une unité aurait connu si elle n'avait pas reçu le programme, et c'est la quantité centrale et inobservable que chaque méthode causale tente d'approximer : vous pouvez observer ce qui est arrivé à un participant, mais jamais ce qui serait arrivé à cette même personne sans assistance. Chaque méthode ci-dessous est une stratégie différente pour construire un substitut crédible à cette observation manquante. Le modèle causal de Rubin, développé principalement par le statisticien Donald Rubin, formalise cela comme le cadre des « résultats potentiels » : chaque unité a un résultat potentiel sous traitement et un sous contrôle, et l'effet causal est la différence entre les deux, dont un seul est jamais observé. Wikipédia : modèle causal de Rubin.

La confusion survient lorsqu'un troisième facteur influence à la fois si une unité reçoit un programme et le résultat que le programme est censé changer, faisant paraître que le programme a causé un effet que le facteur de confusion a en réalité produit. La motivation, la capacité préalable, les conditions économiques locales et la richesse du foyer sont des facteurs de confusion récurrents dans l'évaluation de programmes publics, parce qu'ils affectent couramment à la fois qui recourt à un service et comment cette personne ou ce lieu se porte ensuite. Wikipédia : confusion.

Le biais de sélection est le cas spécifique de confusion qui provient de la manière dont les participants en viennent à se trouver dans le groupe de traitement — auto-sélection, orientation par le personnel, ou règles d'admissibilité — de sorte que les groupes traité et non traité diffèrent systématiquement avant même que le programme ne les touche. Un programme d'emploi auquel seuls les demandeurs d'emploi les plus motivés s'inscrivent paraîtra efficace même s'il ne fait rien, parce que le groupe de comparaison n'a jamais été un substitut équitable de ce que les participants auraient fait sans assistance. Wikipédia : biais de sélection.

La corrélation n'implique pas la causalité est l'avertissement général que ce thème opérationnalise : deux variables évoluant ensemble sont compatibles avec le fait que l'une cause l'autre, avec l'inverse, avec une cause commune partagée, ou avec la coïncidence, et le schéma seul ne peut distinguer entre ces possibilités. Les ventes de crème glacée et les noyades augmentent toutes deux chaque été sans que l'une ne cause l'autre, parce que le temps chaud entraîne les deux ; l'évaluation de programmes publics regorge de versions plus subtiles du même piège. Wikipédia : la corrélation n'implique pas la causalité.

L'essai contrôlé randomisé (ECR), appelé évaluation randomisée dans la littérature d'évaluation des politiques, assigne au hasard des unités éligibles à un groupe de traitement qui reçoit le programme et un groupe de contrôle qui ne le reçoit pas, de sorte qu'en moyenne les deux groupes ne diffèrent que par le fait d'avoir été traités ou non. La randomisation est puissante car elle traite la confusion en bloc : elle équilibre à la fois les facteurs de confusion que vous pouvez mesurer et ceux que vous ne pouvez pas, sans avoir besoin de les nommer à l'avance. Wikipédia : essai contrôlé randomisé.

La différence de différences (DiD) compare le changement de résultats dans le temps pour un groupe traité au changement sur la même période pour un groupe de comparaison n'ayant pas reçu le programme, en supposant qu'en l'absence du programme, les deux groupes auraient suivi des tendances parallèles. C'est la méthode de référence lorsqu'un programme a atteint un territoire avant un autre et que la randomisation n'a jamais été une option, car elle peut utiliser des données administratives collectées couramment plutôt qu'un essai conçu à cet effet. Wikipédia : différence de différences.

La conception en régression sur discontinuité (RDD) exploite une règle de programme qui assigne le traitement selon qu'un score mesuré franchit un seuil fixe — une prestation commençant exactement à un seuil de revenu, un cours de rattrapage assigné aux élèves obtenant un score juste en dessous de la moyenne — et compare les résultats des unités juste au-dessus et juste en dessous du seuil, qui sont sinon semblables. Parce que de quel côté du seuil une unité tombe est effectivement arbitraire dans une bande étroite autour de celui-ci, la comparaison approxime une expérience randomisée locale sans que personne n'ait randomisé quoi que ce soit. Wikipédia : conception en régression sur discontinuité.

L'estimation par variables instrumentales (VI) utilise une troisième variable, un « instrument », qui affecte le recours à un programme mais n'a aucun effet direct sur le résultat sauf par ce recours, pour extraire la partie de la relation traitement-résultat que la confusion contaminerait autrement. Un instrument classique en politique publique est la distance à un établissement, ou une place attribuée par loterie, qui modifie la participation sans causer indépendamment le résultat ; l'essentiel de la difficulté de la méthode consiste à défendre que l'instrument n'affecte le résultat que par le programme. Wikipédia : estimation par variables instrumentales.

Une expérience naturelle est une situation, résultant de la politique, de la géographie ou des circonstances plutôt que de la conception d'un chercheur, dans laquelle certaines personnes sont exposées à un programme et d'autres comparables ne le sont pas, comme si une expérience avait été menée sans que personne ne la mène. Un changement de politique prenant effet à une date de naissance seuil, une frontière plaçant des foyers presque identiques dans des ressorts juridiques différents, ou une loterie rationnant une place sursouscrite sont des expériences naturelles que la RDD, les VI ou la DiD peuvent ensuite analyser. Wikipédia : expérience naturelle.

L'effet Hawthorne nomme le risque que les gens changent leur comportement simplement parce qu'ils savent être observés, indépendamment du contenu réel du programme, ce qui peut gonfler un effet estimé si le groupe de contrôle n'est pas observé avec la même intensité — l'acte de mesurer peut lui-même devenir une partie du traitement. Wikipédia : effet Hawthorne.

La puissance statistique est la probabilité qu'une évaluation détecte un effet réel d'une taille donnée s'il existe, dépendant principalement de la taille de l'échantillon, de la taille d'effet recherchée, et de combien les résultats varient au sein des groupes. Une évaluation sous-puissante qui trouve « aucun effet significatif » n'a souvent pas montré que le programme ne fait rien ; elle a montré que l'évaluation était trop petite pour trancher dans un sens ou dans l'autre, une distinction que les dirigeants manquent fréquemment sous la pression d'aboutir à un verdict. Wikipédia : puissance (statistiques).

Pratiques exemplaires

1. Décidez de la conception d'évaluation avant le lancement du programme, non après. Une évaluation randomisée, un déploiement échelonné adapté à la différence de différences, ou un seuil d'admissibilité adapté à la régression sur discontinuité sont tous bien plus faciles à intégrer dès le départ qu'à adapter rétroactivement une fois la livraison déjà commencée de façon ad hoc.
2. Énoncez explicitement le contrefactuel dans chaque note d'évaluation. Écrivez, en une phrase, à quoi vous comparez les participants — aucun programme du tout, le programme précédent, une intervention différente — car un contrefactuel non énoncé est souvent l'endroit où se cachent les disputes d'évaluation les plus vives.
3. Traitez une simple comparaison avant-après comme une hypothèse de départ, jamais comme un constat. Les résultats dérivent pour de nombreuses raisons sans lien avec votre programme — le cycle économique, des effets saisonniers, d'autres changements de politique survenant en même temps — et une conception avant-après ne peut séparer la contribution de votre programme de la leur.
4. Faites correspondre la méthode à la règle qui a réellement assigné le programme, non à la méthode que vous trouvez la plus familière. Un programme rationné par loterie appelle la logique d'une évaluation randomisée même si vous ne l'appelez jamais un essai ; un programme assigné par un seuil noté appelle la régression sur discontinuité ; un programme déployé dans certaines zones avant d'autres appelle la différence de différences.
5. Pré-enregistrez les mesures de résultat et le plan d'analyse avant d'examiner les résultats. Décider quel résultat compte comme « succès » après avoir vu lequel a bougé est une voie bien documentée vers les faux positifs, et le pré-enregistrement est la défense standard contre cela.
6. Dotez l'évaluation de la puissance nécessaire pour la plus petite taille d'effet qui justifierait quand même le coût du programme, non pour la commodité. Une évaluation trop petite pour détecter un effet pertinent pour la politique produira un résultat non informatif de « différence non significative » qui sera mal lu comme une preuve d'échec.
7. Rapportez les caractéristiques du groupe de comparaison aux côtés de celles du groupe de traitement, non seulement l'effet phare. Une évaluation crédible permet à un lecteur sceptique de vérifier que les deux groupes étaient semblables avant traitement ; une évaluation qui cache cela oblige le lecteur à prendre l'équilibre pour acquis.
8. Commanditez l'évaluation auprès d'une source indépendante de l'équipe de livraison, ou cloisonnez l'analyse si vous ne le pouvez pas. Une équipe ayant un intérêt dans le succès d'un programme a une incitation structurelle, souvent inconsciente, à interpréter des preuves ambiguës en faveur du programme.
9. Séparez la significativité statistique de la significativité pratique et budgétaire dans chaque rapport. Un petit effet estimé avec précision et un grand effet estimé imprécisément sont des constats différents exigeant des décisions différentes, et les fusionner tous deux en « significatif » ou « non significatif » efface la distinction dont une décision de financement a réellement besoin.
10. Budgétisez l'évaluation comme une part fixe du coût du programme au stade de la conception, non comme ce qui reste. Un programme assez important pour compter pour la valeur publique est généralement assez important pour financer une évaluation d'impact crédible, et traiter l'évaluation comme discrétionnaire est comment une preuve faible devient routinière.
11. Publiez les résultats nuls et négatifs avec la même visibilité que les positifs. Un environnement commanditaire qui ne publicise que les évaluations réussies crée un biais de sélection dans la base de preuves publiée elle-même, biaisant vers l'optimisme le jugement ultérieur de tous sur « ce qui fonctionne ».
12. Alimentez chaque évaluation achevée dans la base de preuves plus large que votre secteur maintient, non seulement dans vos propres archives. Une seule évaluation, aussi bien conçue soit-elle, est un point de données ; la synthèse systématique à travers de nombreuses évaluations est ce qui transforme un constat de programme en connaissance transférable (voir thème 2.6 — Synthèse des données probantes et ce qui fonctionne).

Questions à discuter avec votre équipe

Quel est le contrefactuel auquel nous comparons réellement ce programme, et l'avons-nous dit à voix haute ? Chaque affirmation d'impact implique une comparaison, mais les équipes la laissent fréquemment implicite, laissant « cela a fonctionné » glisser discrètement entre « mieux que rien », « mieux que ce que nous faisions avant », et « mieux que la meilleure alternative que nous aurions pu financer ». Demandez à votre responsable de l'évaluation d'énoncer le contrefactuel en une seule phrase en langage clair, puis vérifiez si les preuves dont vous disposez soutiennent réellement une affirmation sur cette comparaison précise. Si le contrefactuel honnête est « nous ne savons pas ce qui se serait passé autrement », traitez l'affirmation d'impact actuelle comme une hypothèse, non un constat, et discutez de ce qu'il faudrait pour combler cet écart.

Les personnes ou lieux ayant recouru à ce programme pourraient-ils différer systématiquement de ceux qui n'y ont pas recouru, de façons qui affecteraient aussi le résultat ? C'est la question du biais de sélection, et elle mérite d'être posée même quand — surtout quand — la réponse paraît évidemment « non ». Motivation, circonstances antérieures, capacité locale, et schémas d'orientation du personnel sont des sources cachées communes de différence qui produisent une estimation d'impact trompeuse même avec un échantillon large et d'apparence soignée. Si l'équipe ne peut décrire comment les participants ont fini dans le programme, elle ne peut pas exclure cela, et cette lacune devrait vous inquiéter davantage qu'une petite taille d'échantillon.

Notre conception d'évaluation a-t-elle été intégrée dans le programme, ou ajoutée après coup, et qu'est-ce que cela nous a coûté ? Une évaluation randomisée, un déploiement échelonné, ou un seuil d'admissibilité noté sont tous bien moins coûteux et plus crédibles quand planifiés avant le lancement que reconstruits à partir de quelles que soient les données administratives ayant survécu. Demandez quelles options de conception d'évaluation ont été considérées au stade de la conception du programme, et si aucune ne l'a été, traitez cela comme une lacune de processus à combler avant le prochain programme, non simplement une limite de celui-ci. Discutez de quelles données devraient exister dès le premier jour pour que le prochain programme majeur soutienne une estimation causale crédible.

Notre échantillon est-il assez grand pour détecter un effet qui vaille la peine d'être connu, et reconnaîtrions-nous un constat « aucun effet » sous-puissant si nous en voyions un ? Une évaluation qui rapporte aucun effet statistiquement significatif vous dit parfois correctement que le programme ne fonctionne pas, et vous dit parfois seulement que l'évaluation était trop petite pour voir un effet qui existe réellement. Demandez à vos analystes d'énoncer la taille d'effet minimale que l'évaluation était dotée de la puissance de détecter, et comparez-la à la taille d'effet qui justifierait réellement le coût du programme. Si ces deux chiffres sont très éloignés, le constat « aucun effet » peut être non informatif plutôt qu'accablant, et l'équipe devrait le dire clairement plutôt que de laisser le silence être lu comme un échec.

Qui bénéficie, professionnellement ou en réputation, si cette évaluation revient positive, et cela change-t-il de combien d'examen indépendant elle a besoin ? Ce n'est pas une accusation de malhonnêteté ; c'est une reconnaissance que les personnes ayant conçu ou livré un programme sont structurellement plus susceptibles d'interpréter des résultats ambigus avec bienveillance, souvent sans remarquer qu'elles le font. Discutez de si l'évaluation a été commanditée, analysée, ou examinée par quiconque indépendant de l'équipe de livraison, et sinon, à quoi ressemblerait un cloisonnement proportionné pour un programme de cette taille. L'objectif est un résultat en lequel votre bailleur de fonds le plus sceptique aurait aussi confiance, non simplement un résultat que votre propre équipe est à l'aise de défendre.

Si le constat de cette évaluation est robuste, que ferions-nous réellement différemment, et sommes-nous prêts à le faire ? Une évaluation commanditée mais jamais destinée à changer une décision est un coût irrécupérable déguisé en diligence raisonnable, et cela vaut la peine de nommer ce risque avant que les résultats n'arrivent plutôt qu'après. Discutez, à l'avance, de ce qu'un constat positif solide justifierait (extension, et de combien) et ce qu'un constat nul ou négatif déclencherait (reconception, ou annulation, et sur quel calendrier). Si personne dans la salle ne peut répondre à cela avant de voir les résultats, l'évaluation peut servir une fonction de légitimité plutôt qu'une fonction de décision, et cela mérite d'être reconnu honnêtement (voir thème 2.1 — Le tableau de bord de la valeur publique et les cadres de résultats).

En pratique : un exemple de valeur publique

Illustration fictive. Le ministère des Services de l'emploi d'un pays non nommé de taille moyenne a mené un projet pilote d'un an d'un service de coaching intensif pour les demandeurs d'emploi de longue durée, aux côtés du service standard existant. À la fin du pilote, un rapport interne a comparé le groupe ayant reçu le coaching intensif à tous les autres ayant quitté le chômage pendant la même période : le groupe coaché avait un taux de placement en emploi de 38 % dans les six mois, contre 24 % pour le reste de la file active. Les ministres ont été informés que le programme « fonctionnait » et une analyse de rentabilité a été soumise pour le déployer nationalement.

Avant d'approuver le financement, le comité financier a posé une question simple : comment les demandeurs d'emploi s'étaient-ils retrouvés dans le groupe coaché en premier lieu ? La réponse s'est révélée avoir une importance considérable. Les gestionnaires de dossiers avaient orienté vers le pilote de coaching les demandeurs d'emploi qu'ils jugeaient « les plus susceptibles d'en bénéficier », une décision de tri bien intentionnée qui avait, en effet, sélectionné dès le départ un groupe plus prêt à l'emploi vers le traitement. La comparaison 38 % contre 24 % était contaminée par exactement le biais de sélection contre lequel ce thème met en garde : il était entièrement possible que le groupe coaché ait surperformé le reste de la file active même sans aucun coaching du tout.

Plutôt que d'approuver ou de rejeter le déploiement sur cette comparaison, l'unité d'évaluation du ministère a proposé une seconde phase utilisant une loterie. La demande pour le service de coaching dépassait déjà les places disponibles, donc l'unité a alloué au hasard les places parmi des candidats également admissibles et a comparé les taux de placement en emploi entre les gagnants et les perdants de la loterie, une application de la logique d'évaluation randomisée sans avoir besoin de retenir le service à quiconque qui l'aurait autrement reçu. Douze mois plus tard, la comparaison par loterie montrait un effet plus petit mais réel : une amélioration de 9 points de pourcentage du placement à six mois, non l'écart de 14 points que la comparaison initiale avait laissé entendre. Le ministère a utilisé l'estimation basée sur la loterie, aux côtés de ses propres données de coût, pour bâtir un dossier de coût-efficacité défendable (voir thème 2.2 — Analyse coûts-avantages sociale et analyse coût-efficacité) pour un déploiement étendu mais contraint en ressources, plutôt que l'expansion plus large et non livrable que la comparaison initiale défaillante aurait justifiée.

Quatre angles sectoriels

Collectivités locales

Les collectivités locales mènent typiquement de nombreux programmes petits et moyens plutôt que quelques très grands, ce qui rend les évaluations randomisées conçues à cet effet coûteuses par rapport à la taille du programme et pousse les évaluateurs locaux vers des méthodes quasi expérimentales qui réutilisent des données administratives déjà collectées — différence de différences entre zones de service ayant adopté un changement à des moments différents, ou régression sur discontinuité autour d'un seuil d'admissibilité local. Les différences de frontière et de ressort juridique qui seraient un désagrément ailleurs sont souvent la meilleure expérience naturelle d'un évaluateur local, puisque deux quartiers ou districts voisins peuvent différer en politique tout en restant semblables à la plupart des autres égards.

Gouvernement national

Les gouvernements nationaux ont l'échelle pour financer des évaluations randomisées conçues à cet effet et les ensembles de données administratives, souvent reliés entre les registres fiscaux, de prestations, de santé et d'éducation, pour mener des conceptions quasi expérimentales crédibles à faible coût marginal. Cette échelle est aussi celle où les groupes de travail d'évaluation « ce qui fonctionne » et les orientations d'évaluation centralisées, telles que le manuel d'évaluation standard d'un ministère des finances, tendent à se situer, car seul un gouvernement national peut justifier le coût fixe de maintenir une infrastructure d'évaluation permanente et une norme méthodologique commune à travers de nombreux ministères.

Secteur social et organismes à but non lucratif

Les organismes à but non lucratif et les organisations non gouvernementales ont rarement les tailles d'échantillon ou les budgets qu'exige une évaluation randomisée bien dotée en puissance, et leurs programmes changent souvent de façon adaptative en réponse à ce que le personnel de première ligne observe, ce qui complique toute conception supposant un traitement stable et bien défini. Le partenariat avec un groupe de recherche académique ou un intermédiaire spécialisé en évaluation, du type qui s'est développé autour du mouvement d'évaluation randomisée dans le développement international, est fréquemment la seule voie réaliste vers une estimation causale rigoureuse, et les bailleurs de fonds demandent de plus en plus exactement ce type de partenariat externe avant de s'engager sur des subventions pluriannuelles.

Organismes multilatéraux et internationaux

Les organismes multilatéraux financent des programmes à travers de nombreux pays aux systèmes de données, capacités administratives, et normes d'examen éthique différents, ce qui rend plus difficile d'appliquer uniformément des méthodes causales standardisées mais crée aussi une variation naturelle entre pays qui peut elle-même devenir une expérience naturelle lorsqu'une politique est adoptée dans certains États membres avant d'autres. Les évaluations randomisées en économie du développement ont été particulièrement influentes à cette échelle, produisant des preuves qui ont façonné comment le financement du développement international est alloué, mais elles portent aussi un risque documenté d'échec de validité externe : un résultat qui tient dans le pays et le contexte étudiés ne se transfère pas automatiquement à un contexte différent, une réserve que la conception de programme multilatéral néglige trop souvent.

Modes de défaillance courants

L'avant-après naïf. Un programme est jugé uniquement en comparant les résultats avant son lancement aux résultats après, sans aucun groupe de comparaison, de sorte que toute tendance déjà en cours — reprise économique, changement démographique, autre changement de politique survenant en même temps — est attribuée à tort au programme. Le coût est un récit causal confiant bâti sur une conception qui ne peut en réalité distinguer l'effet du programme de tout ce qui s'est passé en même temps.

Le biais de sélection confondu avec l'effet du programme. Des participants qui se sont inscrits volontairement, ou ont été orientés parce qu'ils semblaient susceptibles de réussir, sont comparés à tous les autres, produisant une estimation d'impact qui est en réalité une mesure de qui le programme a attiré plutôt que ce qu'il leur a fait. Le coût est un programme étendu qui paraît moins efficace, parfois bien moins, une fois qu'il atteint une population moins auto-sélectionnée.

L'évaluation sous-puissante rapportée comme un constat nul. Un petit pilote trouve « aucun effet statistiquement significatif » et est lu comme une preuve que le programme ne fonctionne pas, alors que l'échantillon était en fait trop petit pour détecter un effet de la taille qui compterait. Le coût joue dans les deux sens : un programme authentiquement efficace peut être annulé sur la force d'une preuve qui n'a jamais été capable de montrer qu'il fonctionnait, ou des ressources sont déplacées pour financer un essai plus grand qui n'aurait pas eu besoin d'être nécessaire si la note d'origine avait été correctement dotée en puissance.

Extrapoler une estimation locale au-delà de son contexte. Une conception en régression sur discontinuité estime correctement l'effet pour les unités proches du seuil d'admissibilité, et une estimation par variables instrumentales estime correctement l'effet pour les unités dont le statut de traitement l'instrument a réellement modifié, mais les deux constats sont ensuite appliqués à toute la population comme si l'estimation tenait partout. Le coût est une politique étendue sur la force d'un chiffre qui n'a jamais été vrai que localement.

L'évaluation comme théâtre. Une évaluation est commanditée pour créer l'apparence d'une prise de décision fondée sur les preuves, mais la décision a effectivement déjà été prise, et aucun constat plausible ne l'aurait changée. Le coût est un budget d'évaluation gaspillé et, plus corrosivement, une érosion lente de la confiance dans l'évaluation elle-même une fois que le personnel remarque que les résultats ne semblent jamais changer les résultats.

Modèle de maturité

Liste de vérification

• Énoncez le contrefactuel de chaque évaluation de programme majeure en une phrase en langage clair.
• Confirmez comment les participants en sont venus à se trouver dans le groupe de traitement, et évaluez si ce processus pourrait lui-même expliquer la différence de résultat.
• Choisissez la méthode d'évaluation (évaluation randomisée, différence de différences, régression sur discontinuité, variables instrumentales, ou expérience naturelle) pour correspondre à la règle d'assignation réelle, avant que la livraison ne commence là où c'est possible.
• Calculez la puissance statistique nécessaire pour détecter la plus petite taille d'effet qui justifierait le coût du programme.
• Pré-enregistrez les mesures de résultat et le plan d'analyse avant que les résultats ne soient vus.
• Rapportez la comparabilité des groupes de traitement et de comparaison aux côtés de l'effet phare.
• Commanditez ou examinez l'évaluation par une fonction indépendante de l'équipe de livraison.
• Séparez la significativité statistique de la significativité budgétaire et pratique dans chaque rapport aux décideurs.
• Budgétisez l'évaluation comme une part fixe du coût du programme au stade de la conception.
• Publiez les constats nuls et négatifs avec la même visibilité que les positifs.
• Vérifiez si une estimation locale positive (de la régression sur discontinuité ou des variables instrumentales) est extrapolée au-delà de la population qu'elle couvre réellement.
• Acheminez les évaluations achevées vers la base de preuves plus large que votre secteur maintient, non seulement vos propres archives.

Sources principales

Le cœur méthodologique de ce thème s'appuie sur la tradition économétrique appliquée associée à Joshua D. Angrist et Jörn-Steffen Pischke, et sur le cadre des résultats potentiels formalisé par Donald Rubin. Le mouvement d'évaluation randomisée en politique publique et en économie du développement, associé à l'Abdul Latif Jameel Poverty Action Lab (J-PAL) et à son réseau académique, fournit une grande partie de la pratique appliquée référencée dans les angles sectoriels. Les normes d'évaluation gouvernementales s'appuient sur les orientations du Magenta Book du Trésor britannique, et la pratique de synthèse des preuves s'appuie sur les normes de la Campbell Collaboration pour la revue systématique en politique sociale (voir thème 2.6 — Synthèse des données probantes et ce qui fonctionne).

Références

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network