Synthèse des données probantes et ce qui fonctionne

Pourquoi cela compte pour la valeur publique

Un ministre, un maire, ou le directeur de programme d'un organisme caritatif a rarement le luxe d'une seule étude nette sur laquelle agir. Plus souvent, le bureau contient trois évaluations qui se contredisent, une revue de littérature qui les cite sélectivement, un groupe de pression brandissant le seul essai qui convient à sa cause, et une échéance fixée par un cycle budgétaire plutôt que par le rythme de la recherche. La synthèse des données probantes existe parce que les études individuelles sont bruyantes : les tailles d'échantillon sont petites, les contextes diffèrent, et n'importe quel résultat pourrait être un coup de chance, une adéquation locale qui ne voyagera pas, ou un effet authentique. La question à laquelle un dirigeant a besoin de réponse est rarement « qu'a trouvé cette étude précise ? » mais « à travers tout ce qui est crédible et a été essayé, que devrais-je attendre si je fais cela ici, maintenant ? »

La théorie de la valeur publique fait de cela plus qu'une subtilité technique. Un programme financé par des ressources collectives repose sur une proposition de valeur que les citoyens, en agrégat, autoriseraient (voir thème 2.1 — Le tableau de bord de la valeur publique et les cadres de résultats pour comment cette proposition est énoncée et suivie). Une proposition bâtie sur une seule étude triée sur le volet, ou sur aucune revue de preuves du tout, est une affirmation de légitimité plus faible qu'une proposition bâtie sur une synthèse minutieuse — et une base plus faible pour la capacité opérationnelle, parce que du personnel et des budgets s'engagent sur sa force. Le mouvement « ce qui fonctionne » — le réseau d'organismes indépendants qui évaluent la qualité et la force des preuves de politique — a grandi directement de ce problème : trop de décisions publiques étaient prises sur l'étude la plus bruyante plutôt que sur la mieux étayée.

Le problème plus difficile que traite ce thème est ce que fait un dirigeant quand la synthèse elle-même est peu concluante, contestée, ou simplement indisponible à temps. Les hiérarchies de preuves ont été construites pour mettre de l'ordre dans une base de preuves désordonnée, mais utilisées de façon négligente, « la preuve n'est pas encore assez solide » devient une excuse permanente pour éviter une décision que la réalité n'attendra pas réellement. Un dirigeant qui comprend comment fonctionne la synthèse, et où sont ses limites, peut distinguer l'incertitude authentique qui justifie la prudence d'une hiérarchie utilisée comme couverture pour l'inaction.

Ce thème est la suite naturelle des méthodes d'inférence causale sur lesquelles s'appuie une synthèse (voir thème 2.4 — Économétrie du secteur public et évaluation des programmes) et se situe aux côtés, plutôt qu'à la place, des cadres de résultats qu'une synthèse sert en définitive (voir thème 2.1 — Le tableau de bord de la valeur publique et les cadres de résultats). Un dirigeant qui peut lire une revue systématique, comprendre une évaluation « ce qui fonctionne », et raisonner clairement sur l'absence de preuve par opposition à la preuve négative prend de meilleures décisions en direct que celui qui ne peut que demander « plus de preuves » ou accepter la première étude qu'on lui remet.

Concepts fondamentaux

Une revue systématique est une synthèse des preuves sur une question définie qui utilise une méthode explicite, préspécifiée et reproductible pour trouver, évaluer et combiner des études, par opposition à une revue de littérature narrative, qui sélectionne des sources à la discrétion de l'auteur (voir revue systématique). Ses traits définitoires sont un protocole enregistré écrit avant que la recherche ne commence, une stratégie de recherche incluant la littérature non publiée et grise, des critères d'inclusion explicites, et une méthode standard pour évaluer le risque de biais de chaque étude. C'est ce qui sépare une revue systématique d'un essai bien écrit avec des notes de bas de page : une autre équipe suivant le même protocole trouverait globalement les mêmes preuves et parviendrait à une conclusion globalement similaire.

La méta-analyse est la technique statistique la plus souvent associée à une revue systématique : elle regroupe les tailles d'effet quantitatives de plusieurs études indépendantes en une estimation unique et plus précise, pondérant généralement chaque étude par sa taille d'échantillon et sa qualité (voir méta-analyse). Une méta-analyse ne vaut que ce que valent les études qui l'alimentent ; regrouper cinq études faibles produit une estimation plus précise d'un effet possiblement biaisé, non une estimation digne de confiance. Les analystes rapportent donc l'hétérogénéité — combien les résultats d'étude varient au-delà de ce que le hasard prédirait — car une hétérogénéité élevée signale que les études ne testaient pas réellement la même chose, et un chiffre unique regroupé peut induire en erreur.

Le biais de publication est la tendance des études aux résultats positifs et significatifs à être publiées tandis que les résultats nuls ou négatifs restent dans le tiroir d'un chercheur, faisant paraître une intervention plus systématiquement efficace dans la littérature qu'elle ne l'est réellement (voir biais de publication). Une revue rigoureuse corrige cela en fouillant les registres d'essais et les évaluations non publiées, non seulement les articles de revues. Un dirigeant lisant une synthèse bâtie uniquement sur des articles publiés devrait demander ce que les examinateurs ont fait pour trouver les études qui n'ont jamais paru dans l'impression.

La hiérarchie des preuves classe les conceptions d'étude selon leur capacité à contrôler la confusion et le biais, plaçant typiquement les méta-analyses d'essais randomisés au sommet, les essais contrôlés randomisés individuels ensuite, puis les conceptions quasi expérimentales et observationnelles, et l'opinion d'expert en bas (voir hiérarchie des preuves). Un essai contrôlé randomisé assigne les participants au hasard à un groupe d'intervention ou de comparaison, l'outil le plus puissant pour isoler un effet causal de tout ce qui se passe autour de lui (voir essai contrôlé randomisé ; voir thème 2.4 — Économétrie du secteur public et évaluation des programmes pour comment de telles conceptions sont bâties et analysées). La hiérarchie est une heuristique authentiquement utile, mais une heuristique, non une loi : une étude observationnelle bien menée sur une politique rare ou lente peut surclasser un essai mal mené et sous-puissant, et un dirigeant qui la traite comme un classement absolu écartera parfois la preuve la plus pertinente au profit de la conception la plus prestigieuse.

L'approche GRADE — Grading of Recommendations, Assessment, Development and Evaluations — formalise un second jugement distinct que la hiérarchie seule ne fait pas : elle évalue à la fois la certitude de la preuve et, indépendamment, la force d'une recommandation d'agir dessus, car une preuve solide ne justifie pas toujours une recommandation forte, et une preuve faible ne justifie pas toujours l'inaction face à un préjudice sévère et urgent (voir approche GRADE). Cette séparation est l'idée la plus utile de ce thème pour un décideur pressé par le temps : elle permet à un dirigeant de dire, honnêtement, « la preuve ici est modérée, et étant donné les enjeux et le coût de l'attente, je recommande que nous procédions » — un jugement défendable et documenté, plutôt qu'un faux choix entre attendre la certitude et ignorer entièrement la preuve.

Une distinction qui revient constamment dans le débat politique en direct est celle entre absence de preuve et preuve d'absence : un manque d'études sur l'effet d'une intervention (« aucune preuve d'effet ») n'est pas la même affirmation qu'un corpus d'études bien doté en puissance ayant positivement constaté aucun effet (« preuve d'absence d'effet ») (voir preuve d'absence). Un nouveau programme local sans encore aucune évaluation n'a simplement pas été testé ; un programme national bien étudié et répétitivement constaté ne bouger aucun résultat a été testé et montré ne pas fonctionner. Confondre les deux est l'une des erreurs les plus lourdes de conséquences qu'un dirigeant public puisse commettre : tuer un pilote non testé mais prometteur comme s'il avait échoué, ou continuer de financer un programme répétitivement réfuté comme si personne n'avait encore regardé d'assez près.

La politique fondée sur des preuves est le mouvement plus large et l'affirmation normative selon laquelle les décisions publiques devraient être ancrées dans des preuves rigoureusement établies plutôt que dans la seule idéologie, l'anecdote, ou l'intuition (voir politique fondée sur des preuves). Ses critiques, et de plus en plus ses propres partisans, préfèrent « politique informée par les preuves », qui concède que la preuve est un intrant parmi plusieurs — valeurs, mandat, coût, et les questions de légitimité que ce livre traite comme fondamentales — plutôt qu'une règle de décision mécanique que la seule preuve peut trancher.

De ce mouvement a grandi le schéma du centre ou organisme de référence « ce qui fonctionne » : un organisme indépendant qui examine systématiquement les preuves pour les interventions dans un domaine de politique et publie des évaluations accessibles et comparables, plutôt que de laisser chaque commanditaire local mener sa propre revue. Cochrane a été pionnier de ce modèle en santé dès 1993, maintenant un manuel vivant de méthodologie de revue systématique utilisé bien au-delà de la médecine (voir Cochrane (organisation)). La Campbell Collaboration a étendu la même méthodologie à la politique sociale, la justice pénale, l'éducation et le développement international (voir Campbell Collaboration). Des organismes de référence nationaux ont suivi : le What Works Clearinghouse des États-Unis, géré par son Institute of Education Sciences depuis 2002, examine la recherche en éducation par rapport à des normes de conception explicites (voir What Works Clearinghouse) ; l'Education Endowment Foundation d'Angleterre publie une boîte à outils d'enseignement et d'apprentissage largement utilisée évaluant les interventions en classe sur le coût, la force de la preuve, et l'impact typique dans un format unique et comparable (voir Education Endowment Foundation). Des centres équivalents existent pour la réduction de la criminalité, l'intervention précoce, le sans-abrisme, et le bien vieillir — une petite famille internationale bâtie sur la même méthode : revue systématique, évaluation transparente, et un résumé destiné aux praticiens qui n'exige aucun méthodologiste pour le lire.

Pratiques exemplaires

1. Demandez la synthèse avant l'étude unique. Quand un résultat frappant arrive sur votre bureau, demandez d'abord si une revue systématique ou une évaluation « ce qui fonctionne » existe déjà pour cette intervention, non si l'étude paraît convaincante isolément.
2. Lisez la revue sous-jacente aux côtés de toute évaluation de boîte à outils, non à sa place. Une évaluation en une ligne ou une icône de cadenas résume un jugement ; ce n'est pas un substitut à comprendre sur quelle preuve il repose et à quel point il s'applique directement à votre contexte.
3. Séparez explicitement la qualité de la preuve de la force de votre recommandation. Empruntez la logique GRADE même informellement : énoncez à quel point la preuve est certaine, puis énoncez séparément à quel point cette certitude, combinée aux enjeux et au coût, justifie d'agir maintenant.
4. Nommez si vous faites face à « pas encore de preuve » ou à « preuve d'absence d'effet » avant de décider. Mettez cette distinction par écrit dans chaque note de preuve, car les deux situations justifient des réponses presque opposées — pilotage prudent contre arrêt ou reconception.
5. Vérifiez la correspondance entre le contexte de la revue et le vôtre avant de supposer que l'effet se transférera. Une taille d'effet regroupée d'études menées ailleurs est une moyenne, non une promesse ; demandez ce qui a modéré l'effet à l'origine et si ces modérateurs sont présents ici.
6. Commanditez une évaluation rapide des preuves quand une revue systématique complète ne s'inscrira pas dans votre échéancier. Une revue structurée et bornée dans le temps de la littérature existante — des jours ou des semaines, non des mois — est une voie médiane légitime entre la nouvelle recherche primaire et l'absence totale de revue.
7. Publiez vos propres évaluations quel que soit le résultat. Les constats nuls et négatifs sont aussi précieux pour la prochaine synthèse que les positifs ; les retenir aggrave le biais de publication qui mine chaque future revue de votre domaine.
8. Bâtissez une relation permanente avec un centre ou organisme de référence « ce qui fonctionne » de votre domaine avant d'en avoir besoin. Chercher à froid dans la boîte à outils d'un organisme de synthèse pour la première fois pendant une crise en direct est bien plus lent que de déjà savoir ce qu'il couvre et qui interroger sur une lacune.
9. Fixez votre seuil de preuve avant que les résultats n'arrivent, non après. Convenez à l'avance de quel niveau de preuve justifierait l'extension, un pilotage plus poussé, ou l'arrêt, pour réduire la tentation de réinterpréter des constats ambigus pour correspondre à une décision déjà prise.
10. Bornez dans le temps la recherche d'une étude qui lèvera tout doute. Attendre une base de preuves parfaite et non ambiguë est en soi une décision, généralement celle de continuer à faire ce que vous faites déjà ; fixez une échéance qui respecte le coût du délai autant que le coût d'agir sur une preuve faible.
11. Traitez la synthèse comme un intrant de la proposition de valeur, non un substitut à elle. L'intervention la mieux étayée n'est pas automatiquement le bon choix une fois le coût, l'effet distributif, et la légitimité pesés à ses côtés (voir thème 2.1 — Le tableau de bord de la valeur publique et les cadres de résultats).
12. Documentez quelle preuve vous avez considérée, et pourquoi vous l'avez pondérée ainsi. Un registre écrit des études examinées et du raisonnement derrière le jugement final protège à la fois la légitimité de la décision et la capacité du prochain examinateur à en apprendre.

Questions à discuter avec votre équipe

Quand avons-nous changé pour la dernière fois une décision en direct parce qu'une revue systématique ou une évaluation « ce qui fonctionne » contredisait ce que nous avions déjà prévu de faire ? Si la réponse honnête est « jamais », cela vaut la peine de s'y attarder, car cela suggère que l'examen des preuves fonctionne peut-être comme un exercice de confirmation plutôt qu'une véritable vérification. Discutez d'une décision récente où la base de preuves était mitigée et passez en revue si elle a réellement façonné le choix ou a été rassemblée principalement pour soutenir une conclusion atteinte au préalable. Considérez ce qui devrait changer dans la façon dont la preuve atteint les décideurs, et quand, pour qu'elle ait une influence réelle plutôt qu'un poids symbolique.

Traitons-nous quelque part « aucune preuve d'effet » comme s'il s'agissait de « preuve d'absence d'effet », ou l'inverse ? Passez en revue votre portefeuille de programmes actuel et identifiez tout programme que vous avez discrètement déprioritisé parce que « la preuve n'est pas là », et vérifiez si cela signifie authentiquement non testé ou authentiquement réfuté. Faites de même dans l'autre sens : tout programme que vous continuez de financer parce que « personne n'a montré qu'il ne fonctionne pas », alors qu'en réalité personne n'a regardé. Discutez de ce qu'il faudrait pour corriger les deux ou trois exemples les plus lourds de conséquences, et qui devrait être propriétaire de cette correction.

Si une décision avait besoin de preuves d'ici vendredi, avons-nous réellement un processus d'évaluation rapide des preuves, ou en improviserions-nous un sous pression ? La pression du temps n'est pas hypothétique ; c'est la condition normale sous laquelle la plupart des décisions réelles fondées sur des preuves sont prises. Discutez de si votre organisation a une méthode permanente — une équipe nommée, un modèle, une courte liste de centres « ce qui fonctionne » à vérifier en premier — ou si chaque demande urgente part d'une page blanche. Si c'est le cas, discutez de à quoi ressemblerait un processus minimal viable d'évaluation rapide et qui en serait propriétaire.

De qui la hiérarchie des preuves que nous utilisons réellement est-elle, et convient-elle aux enjeux et à la réversibilité de cette décision ? Différents domaines appliquent leurs normes de preuve différemment, et une hiérarchie calibrée pour des décisions irréversibles et à enjeu élevé n'est pas toujours la bonne barre pour un pilote bon marché, réversible et facilement surveillé. Discutez de si votre organisation applique une norme de preuve uniformément quels que soient les enjeux, et si cela vous protège des mauvaises décisions ou ralentit simplement les bonnes. Convenez, en équipe, de quelle norme devrait être exigée pour les trois prochaines décisions à votre agenda, avant que vous ne sachiez ce que dit la preuve.

Qu'avons-nous fait, concrètement, pour empêcher nos propres évaluations de disparaître dans un tiroir ? Chaque résultat nul non publié que votre organisation garde est une lacune qu'une autre organisation devra redécouvrir à la dure. Discutez honnêtement de votre bilan : combien de vos 10 dernières évaluations ont été partagées à l'extérieur, et qu'est-il arrivé à celles qui ne l'ont pas été. Convenez d'un engagement concret et doté en ressources — une politique de publication, un registre partagé — plutôt qu'une aspiration générale à être plus transparent.

Utilisons-nous l'expression « nous avons besoin de plus de preuves » honnêtement, ou comme une façon d'éviter une décision que nous ne voulons pas prendre ? C'est la question la plus inconfortable de ce thème, et elle mérite d'être posée directement. Identifiez une décision précise actuellement bloquée pour des raisons de preuve et discutez, franchement, de ce qui changerait réellement votre avis, et si la preuve que vous attendez va réalistement arriver à temps. Si ce n'est pas le cas, discutez de à quoi ressemblerait une décision honnête sous incertitude authentique au lieu d'une attente continue, et qui a l'autorité de la prendre.

En pratique : un exemple de valeur publique

Une agence régionale de l'emploi, partie d'un ministère national responsable des programmes du marché du travail, était sous pression pour décider dans un seul cycle budgétaire si elle devait étendre un pilote de formation professionnelle de trois districts à toute la région. Le pilote combinait des placements de travail subventionnés avec un mentorat structuré, et l'essai randomisé propre de l'agence à travers les trois districts pilotes avait trouvé une augmentation modeste mais statistiquement significative de l'emploi durable à 12 mois. Une source de preuve rivale a compliqué le tableau : une revue systématique publiée l'année précédente, regroupant neuf programmes similaires à travers plusieurs pays, a trouvé un effet moyen proche de zéro, avec une large variation entre études et aucun schéma clair expliquant quels programmes fonctionnaient.

L'unité de preuves de l'agence avait six semaines avant l'échéance de soumission budgétaire pour concilier les deux constats. Le premier instinct d'un analyste junior était de traiter la revue regroupée comme plus faisant autorité simplement parce qu'elle combinait plus d'études, et de recommander l'abandon du pilote. La conseillère principale en preuves de l'unité s'y est opposée : un effet regroupé proche de zéro à travers des programmes authentiquement différents n'était pas une forte preuve que ce programme local précis et bien mis en œuvre échouerait — c'était une preuve que les programmes de formation professionnelle en général sont hétérogènes en qualité et en adéquation, ce qui était déjà connu. L'hétérogénéité élevée rapportée dans la revue était elle-même le constat le plus important que l'effet regroupé.

La conseillère a proposé une voie médiane plutôt qu'un choix binaire. Elle a recommandé une extension par étapes à la moitié de la région, avec des districts d'expansion sélectionnés au hasard afin que le déploiement lui-même génère davantage de preuves plutôt que de simplement dépenser sur une hypothèse (voir thème 2.4 — Économétrie du secteur public et évaluation des programmes pour comment un déploiement par phases peut être conçu comme une évaluation supplémentaire). Elle a aussi recommandé de publier l'essai original intégralement, méthodes et données brutes incluses, afin qu'il puisse être repris par la prochaine revue systématique plutôt que de rester dans un rapport interne que personne à l'extérieur de l'agence ne verrait jamais.

La direction du ministère a approuvé l'approche par étapes, formulée explicitement dans l'analyse de rentabilité (voir thème 2.5 — Analyses de rentabilité et rapport qualité-prix) comme une décision prise sous une preuve de certitude modérée avec un mécanisme intégré pour résoudre l'incertitude dans les 18 mois, non comme une décision prise parce que la preuve était concluante. Après 18 mois, les districts d'expansion montraient un effet proche de celui du pilote original, et le ministère a étendu davantage avec une base de preuves plus solide que ce qu'aucune des deux sources n'avait offert seule — et une trace écrite claire montrant pourquoi il avait choisi d'agir plutôt que d'attendre.

Ce scénario est illustratif et fictif ; il ne décrit le programme ni l'évaluation d'aucun ministère réel.

Quatre angles sectoriels

Collectivités locales

Une collectivité locale a rarement le budget ou la charge de dossiers pour commanditer sa propre revue systématique, donc sa compétence pratique est de traduire la preuve de synthèse nationale et internationale dans un contexte local précis sous une réelle pression temporelle — vérifier si la base de preuves d'une intervention évaluée par une boîte à outils ressemble à sa propre population, système de service, et niveau de financement avant de supposer que l'effet évalué se transférera. Les dirigeants locaux sont aussi les plus proches du coût des deux erreurs contre lesquelles ce thème met en garde : agir sur une intervention qu'une synthèse a déjà montrée ne pas fonctionner, et refuser une innovation locale authentiquement prometteuse mais sous-évaluée parce qu'aucun centre « ce qui fonctionne » ne l'a encore évaluée.

Gouvernement national

Le gouvernement national est là où se situent la plupart des centres « ce qui fonctionne » et des orientations formelles de hiérarchie des preuves, donnant aux ministères nationaux une proximité avec l'infrastructure de synthèse mais aussi la plus grande exposition à traiter une hiérarchie des preuves comme un portail bureaucratique plutôt qu'une aide à la décision. La tâche nationale caractéristique est de commanditer et de maintenir cette infrastructure — financer un organisme de référence, fixer ses normes de preuve, et s'assurer que ses évaluations atteignent réellement les fonctionnaires rédigeant des analyses de rentabilité (voir thème 2.5 — Analyses de rentabilité et rapport qualité-prix), plutôt que d'exister comme un site web bien considéré que les équipes de politique consultent rarement sous la pression des échéances.

Secteur social et organismes à but non lucratif

Les organismes à but non lucratif et associations caritatives manquent typiquement des ressources pour mener des évaluations rigoureuses à grande échelle, les rendant fortement dépendants d'organismes de synthèse externes et de plus en plus de bailleurs de fonds qui exigent l'alignement avec un niveau de preuve évalué comme condition de subvention. Cela crée un risque distinctif : des organisations sous pression financière peuvent être tentées de surestimer à quel point leur programme correspond à une évaluation favorable — une forme de blanchiment de preuve — ou, à l'inverse, de petites associations caritatives locales authentiquement efficaces peuvent être évincées du financement parce qu'elles n'ont jamais été assez grandes pour générer la preuve qu'un organisme de référence national évalue hautement (voir thème 3.8 — Secteur social et gestion des organismes à but non lucratif pour les structures de financement derrière cette pression).

Organismes multilatéraux et internationaux

Les organismes multilatéraux et internationaux font face au problème de généralisabilité sous sa forme la plus aiguë : une intervention prouvée dans le système de santé, le secteur agricole, ou le marché du travail d'un pays est couramment proposée pour un contexte économique et institutionnel très différent, et la littérature de synthèse est meilleure pour signaler ce transfert non étayé après coup qu'avant. Des réseaux de recherche bâtis pour combler cet écart, tel que l'Abdul Latif Jameel Poverty Action Lab, ont poussé la politique de développement vers la réplication spécifique au contexte plutôt que la preuve de concept dans un seul pays, mais la tension entre preuve globalement comparable et effets dépendants du contexte demeure un trait définitoire de la synthèse à cette échelle.

Modes de défaillance courants

La hiérarchie des preuves comme excuse à l'inaction. Une équipe face à une décision difficile et contestée cite « preuve insuffisante » ou « pas encore d'essai randomisé » comme raison de reporter indéfiniment, alors que le véritable moteur du délai est l'inconfort politique ou le désir d'éviter la reddition de comptes. Cela coûte à l'organisation l'opportunité elle-même, et cela coûte à la base de preuves un test en situation réelle qui aurait pu résoudre l'incertitude, laissant le prochain décideur face exactement à la même lacune.

Confondre absence de preuve et preuve d'absence. Une innovation locale prometteuse mais non testée est tuée comme si elle avait été essayée et avait échoué, tandis qu'un programme national répétitivement réfuté continue d'être financé parce que personne n'a formulé la preuve comme un constat négatif plutôt qu'une lacune. Les deux erreurs sont coûteuses : l'une écarte des options prometteuses, l'autre protège des programmes qu'une synthèse lucide aurait retirés des années plus tôt.

Traiter une évaluation de boîte à outils comme toute l'analyse. Un décideur lit une seule icône de cadenas ou une notation par étoiles et s'arrête là, sans vérifier si les études sous-jacentes correspondent à son contexte, sa population, ou son échelle. Les évaluations sont délibérément compressées pour l'accessibilité ; utilisées sans la revue sous-jacente, elles peuvent produire des décisions assurées bâties sur une base de preuves plus mince que ne le suggère la simplicité de l'évaluation.

Ignorer l'hétérogénéité en faveur du résultat regroupé phare. La taille d'effet moyenne unique d'une méta-analyse est citée dans une note tandis que la large variation entre les études qui l'ont produite — souvent le constat le plus informatif — est abandonnée. Cela produit une fausse précision : un décideur agit comme si chaque mise en œuvre se comportait de la même façon, alors que la qualité de mise en œuvre et le contexte font autant de travail que l'intervention elle-même.

Laisser le biais de publication façonner silencieusement la base de preuves. Une organisation ne lit que la littérature académique publiée en évaluant une intervention, manquant les essais négatifs non publiés et les évaluations internes qui n'ont jamais paru dans une revue. Le tableau résultant de « ce qui fonctionne » biaise systématiquement vers le positif, et les décisions bâties dessus héritent de ce biais sans que personne ne l'ait choisi délibérément.

Modèle de maturité

Liste de vérification

• Revue systématique ou évaluation « ce qui fonctionne » vérifiée avant de s'appuyer sur une seule étude.
• Revue de preuve sous-jacente lue, non seulement l'évaluation résumée ou l'icône.
• Qualité de la preuve et force de la recommandation énoncées comme deux jugements séparés.
• « Aucune preuve d'effet » distingué explicitement de « preuve d'absence d'effet » dans la note écrite.
• Correspondance de contexte entre les études examinées et la décision en jeu vérifiée (population, échelle, système de service).
• Processus d'évaluation rapide des preuves disponible et utilisé quand une revue complète ne s'inscrira pas dans l'échéancier.
• Seuil de preuve pour la décision convenu avant que les résultats ne soient examinés.
• Plan en place pour publier l'évaluation propre de cette organisation, quel que soit le résultat.
• Relation permanente établie avec un centre ou organisme de référence « ce qui fonctionne » pertinent, non bâtie de zéro sous pression.
• Raisonnement derrière le jugement final documenté, incluant la preuve considérée et rejetée.
• Décision examinée par rapport à la proposition de valeur et aux considérations de légitimité, non à la seule force de la preuve.

Sources principales

• Le Cochrane Handbook for Systematic Reviews of Interventions, maintenu par Cochrane, pour la méthodologie fondatrice sur laquelle la pratique de revue systématique à travers les secteurs est bâtie.
• Les orientations de la Campbell Collaboration sur les revues systématiques et la synthèse de preuves pour la politique sociale, comportementale et criminologique, pour l'extension directe de cette méthodologie vers des domaines de politique publique au-delà de la santé.
• Le Standards Handbook du What Works Clearinghouse (Institute of Education Sciences, États-Unis), pour un exemple travaillé de comment un organisme de référence national fixe des normes explicites de conception d'étude et évalue les preuves par rapport à elles.
• La boîte à outils d'enseignement et d'apprentissage de l'Education Endowment Foundation, pour un exemple pratique et destiné aux praticiens de traduction de preuves regroupées en évaluations comparables de coût, d'impact et de force de preuve.
• Les travaux de l'Organisation de coopération et de développement économiques (OCDE) sur le renforcement des capacités pour l'élaboration de politiques informée par les preuves, pour un compte-rendu transnational de comment les gouvernements organisent les côtés demande et offre de l'usage des preuves.
• Le What Works Centre for Crime Reduction du College of Policing et sa boîte à outils de réduction de la criminalité, pour un autre exemple travaillé du schéma d'organisme de référence appliqué hors de la santé et de l'éducation.

Références

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Centre for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-centre-crime-reduction