Synthese der Evidenz und was funktioniert

Warum das für den öffentlichen Wert zählt

Eine Ministerin, ein Bürgermeister, oder die Programmleitung einer gemeinnützigen Organisation hat selten den Luxus einer einzelnen, sauberen Studie, auf der zu handeln ist. Häufiger liegen auf dem Schreibtisch drei Evaluationen, die sich widersprechen, eine Literaturübersicht, die sie selektiv zitiert, eine Interessengruppe, die die eine passende Studie schwenkt, und eine Frist, die von einem Haushaltszyklus statt vom Tempo der Forschung gesetzt wird. Evidenzsynthese existiert, weil einzelne Studien verrauscht sind: Stichprobengrößen sind klein, Kontexte unterscheiden sich, und jedes einzelne Ergebnis könnte ein Zufall sein, eine lokale Passung, die sich nicht überträgt, oder ein echter Effekt. Die Frage, die eine Führungskraft beantwortet braucht, ist selten „was fand diese eine Studie", sondern „über alles Glaubwürdige hinweg, das versucht wurde, was sollte ich erwarten, wenn ich dies hier, jetzt tue?"

Die Theorie des öffentlichen Wertes macht dies zu mehr als einer technischen Feinheit. Ein mit kollektiven Ressourcen finanziertes Programm ruht auf einer Wertproposition, die Bürgerinnen und Bürger, in der Summe, autorisieren würden (siehe Thema 2.1 — Das Scorecard für öffentlichen Wert und Wirkungsrahmen für die Art, wie diese Proposition formuliert und verfolgt wird). Eine auf einer einzelnen herausgepickten Studie, oder auf gar keiner Evidenzprüfung aufgebaute Proposition ist ein schwächerer Anspruch auf Legitimität als eine, die auf sorgfältiger Synthese aufgebaut ist – und eine schwächere Grundlage für operative Kapazität, weil Personal und Budgets auf ihrer Stärke hin verpflichtet werden. Die „What-Works"-Bewegung – das Netzwerk unabhängiger Stellen, die die Qualität und Stärke politischer Evidenz bewerten – entstand direkt aus diesem Problem: zu viele öffentliche Entscheidungen wurden auf Basis der lautesten Studie getroffen, nicht der am besten belegten.

Das schwierigere Problem, das dieses Thema behandelt, ist, was eine Führungskraft tut, wenn die Synthese selbst nicht schlüssig, umstritten, oder schlicht nicht rechtzeitig verfügbar ist. Evidenzhierarchien wurden gebaut, um Ordnung in eine unübersichtliche Evidenzbasis zu bringen, aber sorglos genutzt, wird „die Evidenz ist noch nicht stark genug" zu einer dauerhaften Ausrede, um eine Entscheidung zu vermeiden, auf die die Realität tatsächlich nicht warten wird. Eine Führungskraft, die versteht, wie Synthese funktioniert, und wo ihre Grenzen liegen, kann echte Unsicherheit, die Vorsicht rechtfertigt, von einer als Deckung für Untätigkeit genutzten Hierarchie unterscheiden.

Dieses Thema ist die natürliche Fortsetzung der Methoden kausaler Inferenz, auf die eine Synthese zurückgreift (siehe Thema 2.4 — Ökonometrie des öffentlichen Sektors und Programmevaluation) und steht neben, statt anstelle, den Wirkungsrahmen, denen eine Synthese letztlich dient (siehe Thema 2.1 — Das Scorecard für öffentlichen Wert und Wirkungsrahmen). Eine Führungskraft, die eine systematische Übersichtsarbeit lesen, eine What-Works-Bewertung verstehen, und klar über abwesende gegenüber negativer Evidenz nachdenken kann, trifft bessere Entscheidungen im Alltag als eine, die nur „mehr Evidenz" fordern oder die erste ihr gereichte Studie akzeptieren kann.

Kernkonzepte

Eine systematische Übersichtsarbeit ist eine Synthese der Evidenz zu einer definierten Frage, die eine explizite, vorab festgelegte, reproduzierbare Methode nutzt, um Studien zu finden, zu bewerten, und zu kombinieren, im Gegensatz zu einer narrativen Literaturübersicht, die Quellen nach dem Ermessen der Autorin auswählt (siehe Systematic review). Ihre kennzeichnenden Merkmale sind ein registriertes Protokoll, geschrieben bevor die Suche beginnt, eine Suchstrategie, die unveröffentlichte und graue Literatur einschließt, explizite Einschlusskriterien, und eine Standardmethode zur Bewertung des Verzerrungsrisikos jeder Studie. Dies unterscheidet eine systematische Übersichtsarbeit von einem gut geschriebenen Essay mit Fußnoten: ein anderes Team, das demselben Protokoll folgt, würde weitgehend dieselbe Evidenz finden und zu einer weitgehend ähnlichen Schlussfolgerung gelangen.

Meta-Analyse ist die am häufigsten mit einer systematischen Übersichtsarbeit gepaarte statistische Technik: Sie bündelt die quantitativen Effektstärken mehrerer unabhängiger Studien zu einer einzelnen, präziseren Schätzung, üblicherweise jede Studie nach ihrer Stichprobengröße und Qualität gewichtend (siehe Meta-analysis). Eine Meta-Analyse ist nur so gut wie die Studien, die sie speisen; das Bündeln von fünf schwachen Studien erzeugt eine präzisere Schätzung eines möglicherweise verzerrten Effekts, nicht eine vertrauenswürdige. Analystinnen und Analysten berichten daher Heterogenität – wie stark Studienergebnisse über das hinaus variieren, was Zufall vorhersagen würde –, weil hohe Heterogenität signalisiert, dass die Studien nicht wirklich dasselbe testeten, und eine einzelne gebündelte Zahl in die Irre führen kann.

Publikationsverzerrung ist die Tendenz, dass Studien mit positiven, signifikanten Ergebnissen veröffentlicht werden, während Null- oder negative Ergebnisse in der Schublade einer Forscherin liegen bleiben, wodurch eine Intervention in der Literatur durchweg wirksamer erscheint, als sie tatsächlich ist (siehe Publication bias). Eine strenge Übersichtsarbeit korrigiert dafür, indem sie Studienregister und unveröffentlichte Evaluationen durchsucht, nicht nur Fachzeitschriftenartikel. Eine Führungskraft, die eine nur auf veröffentlichten Arbeiten aufgebaute Synthese liest, sollte fragen, was die Gutachterinnen und Gutachter taten, um die Studien zu finden, die nie in den Druck gelangten.

Die Evidenzhierarchie rangiert Studiendesigns danach, wie gut sie für Confounding und Verzerrung kontrollieren, typischerweise Meta-Analysen randomisierter Studien an die Spitze setzend, einzelne randomisierte kontrollierte Studien als Nächstes, dann quasi-experimentelle und Beobachtungsdesigns, und Expertenmeinung am unteren Ende (siehe Hierarchy of evidence). Eine randomisierte kontrollierte Studie teilt Teilnehmende einer Interventions- oder Vergleichsgruppe durch Zufall zu, das mit Abstand mächtigste Werkzeug, um einen kausalen Effekt von allem anderen um ihn herum Geschehenden zu isolieren (siehe Randomized controlled trial; siehe Thema 2.4 — Ökonometrie des öffentlichen Sektors und Programmevaluation dafür, wie solche Designs gebaut und analysiert werden). Die Hierarchie ist eine echt nützliche Heuristik, aber eine Heuristik, kein Gesetz: eine gut durchgeführte Beobachtungsstudie einer seltenen oder sich langsam bewegenden Politik kann eine schlecht durchgeführte, unterdimensionierte Studie überranken, und eine Führungskraft, die sie als absolute Rangordnung behandelt, wird manchmal die relevantere Evidenz für das prestigeträchtigere Design verwerfen.

Der GRADE-Ansatz – Grading of Recommendations, Assessment, Development and Evaluations – formalisiert ein zweites, getrenntes Urteil, das die Hierarchie allein nicht fällt: Er bewertet sowohl die Gewissheit der Evidenz als auch, unabhängig davon, die Stärke einer Empfehlung, danach zu handeln, weil starke Evidenz nicht immer eine starke Empfehlung rechtfertigt, und schwache Evidenz nicht immer Untätigkeit gegen einen schweren, dringenden Schaden rechtfertigt (siehe GRADE approach). Diese Trennung ist die einzige nützlichste Idee in diesem Thema für eine zeitgedrängte Entscheiderin: Sie erlaubt einer Führungskraft, ehrlich zu sagen, „die Evidenz hier ist moderat, und gegeben die Einsätze und die Kosten des Wartens, empfehle ich, dass wir fortfahren" – ein vertretbares, dokumentiertes Urteil, statt einer falschen Wahl zwischen dem Warten auf Gewissheit und dem völligen Ignorieren von Evidenz.

Eine Unterscheidung, die in der lebendigen Politikdebatte ständig wiederkehrt, ist die zwischen Abwesenheit von Evidenz und Evidenz der Abwesenheit: ein Mangel an Studien zur Wirkung einer Intervention („keine Evidenz für einen Effekt") ist nicht dieselbe Aussage wie ein gut dimensionierter Studienkörper, der positiv keinen Effekt fand („Evidenz für keinen Effekt") (siehe Evidence of absence). Ein neues lokales Programm ohne bisherige Evaluationen wurde schlicht nicht getestet; ein gut untersuchtes nationales Programm, wiederholt befunden, kein Ergebnis zu bewegen, wurde getestet und als nicht funktionierend gezeigt. Die beiden zu vermengen ist einer der folgenreichsten Fehler, die eine öffentliche Führungskraft machen kann: ein ungetestetes, aber vielversprechendes Pilotprojekt zu töten, als hätte es versagt, oder ein wiederholt widerlegtes Programm weiter zu finanzieren, als hätte niemand genau genug hingesehen.

Evidenzbasierte Politik ist die breitere Bewegung und normative Behauptung, dass öffentliche Entscheidungen auf rigoros etablierter Evidenz gegründet sein sollten statt allein auf Ideologie, Anekdote, oder Intuition (siehe Evidence-based policy). Ihre Kritikerinnen und Kritiker, und zunehmend ihre eigenen Befürworterinnen und Befürworter, bevorzugen „evidenzinformierte Politik", was einräumt, dass Evidenz ein Input unter mehreren ist – Werte, Mandat, Kosten, und die Legitimitätsfragen, die dieses Buch als grundlegend behandelt –, statt einer mechanischen Entscheidungsregel, die Evidenz allein entscheiden kann.

Aus dieser Bewegung wuchs das Muster des What-Works-Zentrums oder der Clearingstelle: eine unabhängige Stelle, die systematisch die Evidenz für Interventionen in einer Politikdomäne überprüft und zugängliche, vergleichbare Bewertungen veröffentlicht, statt jede lokale Auftraggeberin ihre eigene Übersichtsarbeit durchführen zu lassen. Cochrane war Vorreiter des Modells im Gesundheitswesen ab 1993 und pflegt ein lebendiges Handbuch zur Methodik systematischer Übersichtsarbeiten, das weit über die Medizin hinaus genutzt wird (siehe Cochrane (organisation)). Die Campbell Collaboration erweiterte dieselbe Methodik auf Sozialpolitik, Strafjustiz, Bildung, und internationale Entwicklung (siehe Campbell Collaboration). Nationale Clearingstellen folgten: Die What Works Clearinghouse der Vereinigten Staaten, seit 2002 vom dortigen Institute of Education Sciences betrieben, überprüft Bildungsforschung gegen explizite Designstandards (siehe What Works Clearinghouse); Englands Education Endowment Foundation veröffentlicht ein weithin genutztes Teaching and Learning Toolkit, das Unterrichtsinterventionen nach Kosten, Evidenzstärke, und typischer Wirkung in einem vergleichbaren Format bewertet (siehe Education Endowment Foundation). Äquivalente Zentren existieren für Kriminalitätsreduktion, Frühintervention, Obdachlosigkeit, und gutes Altern – eine kleine internationale Familie, aufgebaut auf derselben Methode: systematische Übersichtsarbeit, transparente Bewertung, und eine praxisorientierte Zusammenfassung, die keine Methodikerin zum Lesen braucht.

Bewährte Praktiken

1. Fragen Sie nach der Synthese vor der einzelnen Studie. Wenn ein auffälliges Ergebnis auf Ihrem Schreibtisch landet, fragen Sie zuerst, ob bereits eine systematische Übersichtsarbeit oder eine What-Works-Bewertung für diese Intervention existiert, nicht ob die Studie isoliert überzeugend aussieht.
2. Lesen Sie die zugrunde liegende Übersichtsarbeit neben jeder Toolkit-Bewertung, nicht anstelle davon. Eine einzeilige Bewertung oder ein Schlosssymbol fasst ein Urteil zusammen; es ist kein Ersatz für das Verständnis, auf welcher Evidenz es ruht und wie direkt sie auf Ihren Kontext zutrifft.
3. Trennen Sie die Qualität der Evidenz von der Stärke Ihrer Empfehlung, explizit. Borgen Sie sich die GRADE-Logik auch informell: geben Sie an, wie sicher die Evidenz ist, dann geben Sie getrennt an, wie stark diese Sicherheit, kombiniert mit Einsätzen und Kosten, jetziges Handeln rechtfertigt.
4. Benennen Sie, ob Sie „noch keine Evidenz" oder „Evidenz für keinen Effekt" gegenüberstehen, bevor Sie entscheiden. Setzen Sie diese Unterscheidung schriftlich in jedes Evidenzpapier, weil die zwei Situationen fast entgegengesetzte Reaktionen rechtfertigen – vorsichtiges Pilotieren gegenüber Stoppen oder Neugestalten.
5. Prüfen Sie die Passung zwischen dem Kontext der Übersichtsarbeit und Ihrem eigenen, bevor Sie annehmen, dass sich der Effekt überträgt. Eine gebündelte Effektstärke aus andernorts durchgeführten Studien ist ein Durchschnitt, kein Versprechen; fragen Sie, was den Effekt ursprünglich moderierte und ob diese Moderatoren hier vorhanden sind.
6. Beauftragen Sie eine Schnellbewertung der Evidenz, wenn eine vollständige systematische Übersichtsarbeit nicht in Ihren Zeitrahmen passt. Eine strukturierte, zeitlich begrenzte Überprüfung der bestehenden Literatur – Tage oder Wochen, nicht Monate – ist ein legitimer Mittelweg zwischen neuer Primärforschung und gar keiner Überprüfung.
7. Veröffentlichen Sie Ihre eigenen Evaluationen unabhängig vom Ergebnis. Null- und negative Befunde sind für die nächste Synthese ebenso wertvoll wie positive; sie zurückzuhalten verschlimmert die Publikationsverzerrung, die jede zukünftige Übersichtsarbeit in Ihrem Feld untergräbt.
8. Bauen Sie eine stehende Beziehung zu einem What-Works-Zentrum oder einer Clearingstelle in Ihrer Domäne auf, bevor Sie eine brauchen. Das kalte Durchsuchen des Toolkits einer Synthesestelle zum ersten Mal während einer akuten Krise ist weit langsamer, als bereits zu wissen, was es abdeckt und wen man bei einer Lücke fragt.
9. Setzen Sie Ihre Evidenzschwelle, bevor die Ergebnisse eintreffen, nicht danach. Vereinbaren Sie im Voraus, welches Evidenzniveau eine Skalierung, weiteres Pilotieren, oder ein Stoppen rechtfertigen würde, um die Versuchung zu verringern, uneindeutige Befunde neu zu interpretieren, damit sie zu einer bereits getroffenen Entscheidung passen.
10. Setzen Sie der Suche nach einer Studie, die allen Zweifel beseitigt, eine Frist. Auf eine perfekte, eindeutige Evidenzbasis zu warten, ist selbst eine Entscheidung, üblicherweise die, weiter zu tun, was Sie bereits tun; setzen Sie eine Frist, die sowohl die Kosten der Verzögerung als auch die Kosten des Handelns auf schwacher Evidenz respektiert.
11. Behandeln Sie Synthese als Input für die Wertproposition, nicht als deren Ersatz. Die am besten belegte Intervention ist nicht automatisch die richtige Wahl, sobald Kosten, Verteilungseffekt, und Legitimität daneben abgewogen werden (siehe Thema 2.1 — Das Scorecard für öffentlichen Wert und Wirkungsrahmen).
12. Dokumentieren Sie, welche Evidenz Sie berücksichtigt haben, und warum Sie sie so gewichtet haben. Eine schriftliche Aufzeichnung der überprüften Studien und der Begründung hinter dem endgültigen Urteil schützt sowohl die Legitimität der Entscheidung als auch die Fähigkeit der nächsten Gutachterin zu lernen.

Fragen zur Diskussion mit Ihrem Team

Wann haben wir zuletzt eine laufende Entscheidung geändert, weil eine systematische Übersichtsarbeit oder eine What-Works-Bewertung dem widersprach, was wir bereits zu tun geplant hatten? Wenn die ehrliche Antwort „nie" ist, ist das es wert, dabei zu verweilen, weil es nahelegt, dass Evidenzüberprüfung eher als Bestätigungsübung funktionieren mag als als echte Kontrolle. Diskutieren Sie eine aktuelle Entscheidung, bei der die Evidenzbasis gemischt war, und gehen Sie durch, ob sie tatsächlich die Wahl formte oder hauptsächlich gesammelt wurde, um eine vorab getroffene Schlussfolgerung zu stützen. Erwägen Sie, was sich ändern müsste, wie und wann Evidenz Entscheiderinnen und Entscheider erreicht, damit sie echten statt symbolischen Einfluss hat.

Behandeln wir irgendwo „keine Evidenz für einen Effekt", als wäre es „Evidenz für keinen Effekt", oder umgekehrt? Gehen Sie durch Ihr aktuelles Programmportfolio und identifizieren Sie jedes Programm, das Sie still herabgestuft haben, weil „die Evidenz nicht da ist", und prüfen Sie, ob das genuin ungetestet oder genuin widerlegt bedeutet. Tun Sie dasselbe in die andere Richtung: jedes Programm, das Sie weiter finanzieren, weil „niemand gezeigt hat, dass es nicht funktioniert", während tatsächlich niemand hingesehen hat. Diskutieren Sie, was es bräuchte, um die zwei oder drei folgenreichsten Beispiele zu korrigieren, und wer diese Korrektur besitzen sollte.

Wenn eine Entscheidung bis Freitag Evidenz bräuchte, haben wir tatsächlich einen Prozess zur Schnellbewertung der Evidenz, oder würden wir einen unter Druck improvisieren? Zeitdruck ist nicht hypothetisch; er ist der normale Zustand, unter dem die meisten echten evidenzbasierten Entscheidungen getroffen werden. Diskutieren Sie, ob Ihre Organisation eine stehende Methode hat – ein benanntes Team, eine Vorlage, eine kurze Liste zuerst zu prüfender What-Works-Zentren – oder ob jede dringende Anfrage von einer leeren Seite startet. Falls Letzteres, diskutieren Sie, wie ein minimal tragfähiger Schnellbewertungsprozess aussehen würde und wer ihn besitzen würde.

Wessen Evidenzhierarchie nutzen wir tatsächlich, und passt sie zu den Einsätzen und der Umkehrbarkeit dieser Entscheidung? Verschiedene Domänen wenden ihre Evidenzstandards unterschiedlich an, und eine für unumkehrbare, hochriskante Entscheidungen kalibrierte Hierarchie ist nicht immer die richtige Messlatte für ein billiges, umkehrbares, leicht zu überwachendes Pilotprojekt. Diskutieren Sie, ob Ihre Organisation einen Evidenzstandard einheitlich unabhängig von den Einsätzen anwendet, und ob das Sie vor schlechten Entscheidungen schützt oder gute lediglich verlangsamt. Vereinbaren Sie als Team, welcher Standard für die nächsten drei Entscheidungen auf Ihrer Agenda erforderlich sein sollte, bevor Sie wissen, was die Evidenz sagt.

Was haben wir konkret getan, um zu verhindern, dass unsere eigenen Evaluationen in der Schublade verschwinden? Jedes unveröffentlichte Nullergebnis, auf dem Ihre Organisation sitzt, ist eine Lücke, die eine andere Organisation auf die harte Weise wiederentdecken muss. Diskutieren Sie Ihre Erfolgsbilanz ehrlich: wie viele Ihrer letzten 10 Evaluationen wurden extern geteilt, und was geschah mit denen, die es nicht wurden. Vereinbaren Sie eine konkrete, mit Ressourcen versehene Verpflichtung – eine Veröffentlichungspolitik, ein gemeinsames Register – statt einer allgemeinen Absichtserklärung zu mehr Transparenz.

Nutzen wir den Satz „wir brauchen mehr Evidenz" ehrlich, oder als eine Weise, eine Entscheidung zu vermeiden, die wir nicht treffen wollen? Dies ist die unangenehmste Frage in diesem Thema, und sie verdient es, direkt gestellt zu werden. Identifizieren Sie eine spezifische, derzeit auf Evidenzgründen festhängende Entscheidung und diskutieren Sie offen, was tatsächlich Ihre Meinung ändern würde, und ob die Evidenz, auf die Sie warten, realistisch rechtzeitig eintreffen wird. Falls nicht, diskutieren Sie, wie eine ehrliche Entscheidung unter echter Unsicherheit statt fortgesetztem Warten aussehen würde, und wer die Autorität hat, sie zu treffen.

In der Praxis: ein Beispiel für öffentlichen Wert

Eine regionale Arbeitsagentur, Teil eines nationalen Regierungsressorts, das für arbeitsmarktpolitische Programme zuständig ist, stand unter Druck, innerhalb eines Haushaltszyklus zu entscheiden, ob ein Berufsausbildungspilotprojekt von drei Bezirken auf die gesamte Region skaliert werden sollte. Das Pilotprojekt kombinierte subventionierte Arbeitsplatzierungen mit strukturiertem Mentoring, und die eigene randomisierte Studie der Agentur über die drei Pilotbezirke fand einen bescheidenen, aber statistisch signifikanten Anstieg nachhaltiger Beschäftigung nach 12 Monaten. Eine rivalisierende Evidenzquelle verkomplizierte das Bild: eine im Vorjahr veröffentlichte systematische Übersichtsarbeit, die neun ähnliche Programme über mehrere Länder hinweg bündelte, fand einen nahezu null Durchschnittseffekt, mit großer Variation zwischen Studien und keinem klaren Muster, das erklärte, welche Programme funktionierten.

Die Evidenzeinheit der Agentur hatte sechs Wochen vor der Haushaltseinreichungsfrist, um die beiden Befunde zu versöhnen. Der erste Instinkt einer jüngeren Analystin war, die gebündelte Übersichtsarbeit als maßgeblicher zu behandeln, einfach weil sie mehr Studien kombinierte, und zu empfehlen, das Pilotprojekt aufzugeben. Die leitende Evidenzberaterin der Einheit widersprach: ein nahezu null gebündelter Durchschnitt über genuin unterschiedliche Programme hinweg war keine starke Evidenz dafür, dass dieses spezifische, gut umgesetzte lokale Programm scheitern würde – es war Evidenz dafür, dass Berufsausbildungsprogramme im Allgemeinen heterogen in Qualität und Passung sind, was bereits bekannt war. Die in der Übersichtsarbeit berichtete hohe Heterogenität war selbst der wichtigere Befund als der gebündelte Durchschnitt.

Die Beraterin schlug einen Mittelweg statt einer binären Wahl vor. Sie empfahl eine gestaffelte Skalierung auf die halbe Region, mit zufällig ausgewählten Expansionsbezirken, sodass der Rollout selbst weitere Evidenz erzeugte statt bloß gegen eine Annahme auszugeben (siehe Thema 2.4 — Ökonometrie des öffentlichen Sektors und Programmevaluation dafür, wie ein gestaffelter Rollout als weitere Evaluation gestaltet werden kann). Sie empfahl auch, die ursprüngliche Studie vollständig zu veröffentlichen, Methoden und Rohdaten eingeschlossen, sodass sie von der nächsten systematischen Übersichtsarbeit aufgegriffen werden konnte, statt in einem internen Bericht zu liegen, den niemand außerhalb der Agentur je sehen würde.

Die Führung des Ressorts genehmigte den gestaffelten Ansatz, im Business Case explizit gerahmt (siehe Thema 2.5 — Wirtschaftlichkeitsuntersuchungen und Value for Money) als eine unter Evidenz mittlerer Gewissheit getroffene Entscheidung mit einem eingebauten Mechanismus, die Unsicherheit innerhalb von 18 Monaten aufzulösen, nicht als eine Entscheidung, die getroffen wurde, weil die Evidenz schlüssig war. Nach 18 Monaten zeigten die Expansionsbezirke einen Effekt nahe dem des ursprünglichen Pilotprojekts, und das Ressort skalierte weiter mit einer stärkeren Evidenzbasis, als beide Quellen allein geboten hatten – und einem klaren Nachweispfad, der zeigte, warum es sich entschieden hatte zu handeln statt zu warten.

Dieses Szenario ist illustrativ und fiktiv; es beschreibt kein reales Programm oder keine reale Evaluation eines Ressorts.

Vier Sektorperspektiven

Kommunalverwaltung

Eine Kommunalverwaltung hat selten das Budget oder die Fallzahl, ihre eigene systematische Übersichtsarbeit zu beauftragen, sodass ihr praktisches Handwerk darin besteht, nationale und internationale Syntheseevidenz unter echtem Zeitdruck in einen spezifischen lokalen Kontext zu übersetzen – zu prüfen, ob die Evidenzbasis einer toolkit-bewerteten Intervention der eigenen Bevölkerung, dem eigenen Dienstleistungssystem, und Finanzierungsniveau ähnelt, bevor angenommen wird, dass sich der bewertete Effekt überträgt. Lokale Führungskräfte sind auch den Kosten beider in diesem Thema gewarnten Fehler am nächsten: auf einer Intervention zu handeln, die eine Synthese bereits als nicht funktionierend gezeigt hat, und eine genuin vielversprechende, aber unterevaluierte lokale Innovation abzulehnen, weil noch kein What-Works-Zentrum sie bewertet hat.

Nationale Regierung

Die nationale Regierung ist, wo die meisten What-Works-Zentren und formalen Evidenzhierarchie-Leitlinien sitzen, was nationalen Ressorts Nähe zur Syntheseinfrastruktur gibt, aber auch die größte Exponierung, eine Evidenzhierarchie als bürokratisches Tor statt als Entscheidungshilfe zu behandeln. Die kennzeichnende nationale Aufgabe ist das Beauftragen und Pflegen dieser Infrastruktur – eine Clearingstelle zu finanzieren, ihre Evidenzstandards zu setzen, und sicherzustellen, dass ihre Bewertungen tatsächlich Beamtinnen und Beamte erreichen, die Business Cases schreiben (siehe Thema 2.5 — Wirtschaftlichkeitsuntersuchungen und Value for Money), statt als angesehene Website zu existieren, die Politikteams unter Fristdruck selten konsultieren.

Sozialer Sektor und gemeinnützige Organisationen

Gemeinnützige Organisationen und Wohltätigkeitsorganisationen fehlen typischerweise die Ressourcen, strenge Evaluationen im großen Maßstab durchzuführen, was sie stark von externen Synthesestellen abhängig macht und zunehmend von Fördergebern, die Übereinstimmung mit einer bewerteten Evidenzstufe als Förderbedingung verlangen. Dies schafft ein eigentümliches Risiko: unter finanziellem Druck stehende Organisationen können versucht sein, zu überzeichnen, wie gut ihr Programm auf eine günstige Bewertung passt – eine Form des Evidenz-Weißwaschens –, oder umgekehrt können kleine, aber genuin wirksame lokale Wohltätigkeitsorganisationen aus der Finanzierung gedrängt werden, weil sie nie groß genug waren, um die Evidenz zu erzeugen, die eine nationale Clearingstelle hoch bewertet (siehe Thema 3.8 — Sozialer Sektor und Management gemeinnütziger Organisationen für die Finanzierungsstrukturen hinter diesem Druck).

Multilaterale und internationale Organisationen

Multilaterale und internationale Stellen sehen sich dem Generalisierbarkeitsproblem in seiner akutesten Form gegenüber: eine in einem Gesundheitssystem, Agrarsektor, oder Arbeitsmarkt eines Landes bewährte Intervention wird routinemäßig für einen sehr unterschiedlichen wirtschaftlichen und institutionellen Kontext vorgeschlagen, und die Syntheseliteratur ist besser darin, diese ungestützte Übertragung im Nachhinein zu kennzeichnen als vorher. Forschungsnetzwerke, aufgebaut, um diese Lücke zu schließen, wie das Abdul Latif Jameel Poverty Action Lab, haben Entwicklungspolitik hin zu kontextspezifischer Replikation statt Proof of Concept in einem einzelnen Land gedrängt, aber die Spannung zwischen global vergleichbarer Evidenz und kontextabhängigen Effekten bleibt ein bestimmendes Merkmal von Synthese in diesem Maßstab.

Häufige Fehlermuster

Evidenzhierarchie als Ausrede für Untätigkeit. Ein Team, das einer schwierigen, umstrittenen Entscheidung gegenübersteht, zitiert „unzureichende Evidenz" oder „noch keine randomisierte Studie" als Grund, unbegrenzt aufzuschieben, wenn der ehrliche Treiber der Verzögerung politisches Unbehagen oder der Wunsch ist, Rechenschaftspflicht zu vermeiden. Dies kostet die Organisation die Gelegenheit selbst, und es kostet die Evidenzbasis einen realen Test, der die Unsicherheit hätte auflösen können, was die nächste Entscheiderin vor genau derselben Lücke stehen lässt.

Abwesenheit von Evidenz mit Evidenz der Abwesenheit vermengen. Eine vielversprechende, aber ungetestete lokale Innovation wird getötet, als hätte man sie versucht und sie wäre gescheitert, während ein wiederholt widerlegtes nationales Programm weiter finanziert wird, weil niemand die Evidenz als negativen Befund statt als Lücke gerahmt hat. Beide Fehler sind kostspielig: der eine schließt vielversprechende Optionen aus, der andere schützt Programme, die eine klarsichtige Synthese Jahre zuvor eingestellt hätte.

Eine Toolkit-Bewertung als die gesamte Analyse behandeln. Eine Entscheiderin liest ein einzelnes Schlosssymbol oder eine Sternebewertung und hört dort auf, ohne zu prüfen, ob die zugrunde liegenden Studien zu ihrem Kontext, ihrer Bevölkerung, oder ihrem Maßstab passen. Bewertungen sind absichtlich für Zugänglichkeit komprimiert; ohne die zugrunde liegende Übersichtsarbeit genutzt, können sie zuversichtliche Entscheidungen erzeugen, die auf einer dünneren Evidenzbasis aufgebaut sind, als die Einfachheit der Bewertung nahelegt.

Heterogenität zugunsten des Schlagzeilen-gebündelten Ergebnisses ignorieren. Die einzelne durchschnittliche Effektstärke einer Meta-Analyse wird in einem Briefing zitiert, während die große Variation zwischen den sie hervorbringenden Studien – oft der informativere Befund – fallen gelassen wird. Dies erzeugt falsche Präzision: eine Entscheiderin handelt, als würde jede Umsetzung sich gleich verhalten, wenn Umsetzungsqualität und Kontext ebenso viel Arbeit leisten wie die Intervention selbst.

Publikationsverzerrung die Evidenzbasis still formen lassen. Eine Organisation liest bei der Bewertung einer Intervention nur veröffentlichte akademische Literatur und verpasst die unveröffentlichten negativen Studien und internen Evaluationen, die nie in eine Fachzeitschrift gelangten. Das resultierende Bild dessen, „was funktioniert", verzerrt sich systematisch positiv, und Entscheidungen, die darauf aufgebaut sind, erben diese Verzerrung, ohne dass jemand sie bewusst gewählt hätte.

Reifegradmodell

Liste zur Überprüfung

• Systematische Übersichtsarbeit oder What-Works-Bewertung geprüft, bevor auf eine einzelne Studie vertraut wird.
• Zugrunde liegende Evidenzübersichtsarbeit gelesen, nicht nur die zusammenfassende Bewertung oder das Symbol.
• Qualität der Evidenz und Stärke der Empfehlung als zwei getrennte Urteile angegeben.
• „Keine Evidenz für einen Effekt" gegenüber „Evidenz für keinen Effekt" im schriftlichen Papier explizit unterschieden.
• Kontextpassung zwischen den überprüften Studien und der anstehenden Entscheidung geprüft (Bevölkerung, Maßstab, Dienstleistungssystem).
• Prozess zur Schnellbewertung der Evidenz verfügbar und genutzt, wenn eine vollständige Übersichtsarbeit nicht in den Zeitrahmen passt.
• Evidenzschwelle für die Entscheidung vereinbart, bevor Ergebnisse überprüft wurden.
• Plan vorhanden, die eigene Evaluation dieser Organisation zu veröffentlichen, unabhängig vom Ergebnis.
• Stehende Beziehung zu einem relevanten What-Works-Zentrum oder einer Clearingstelle etabliert, nicht unter Druck von Grund auf aufgebaut.
• Begründung hinter dem endgültigen Urteil dokumentiert, einschließlich berücksichtigter und verworfener Evidenz.
• Entscheidung gegen die Wertproposition und Legitimitätsüberlegungen überprüft, nicht allein gegen Evidenzstärke.

Hauptquellen

• Das Cochrane Handbook for Systematic Reviews of Interventions, gepflegt von Cochrane, für die grundlegende Methodik, auf der die Praxis systematischer Übersichtsarbeiten über Sektoren hinweg aufgebaut ist.
• Die Leitlinien der Campbell Collaboration zu systematischen Übersichtsarbeiten und Evidenzsynthese für Sozial-, Verhaltens-, und kriminologische Politik, für die direkte Erweiterung dieser Methodik in Politikdomänen jenseits der Gesundheit.
• Das Standards Handbook der What Works Clearinghouse (Institute of Education Sciences, Vereinigte Staaten), für ein durchgearbeitetes Beispiel dafür, wie eine nationale Clearingstelle explizite Studiendesignstandards setzt und Evidenz gegen sie bewertet.
• Das Teaching and Learning Toolkit der Education Endowment Foundation, für ein praktisches, praxisorientiertes Beispiel der Übersetzung gebündelter Evidenz in vergleichbare Kosten-, Wirkungs-, und Evidenzstärkebewertungen.
• Die Arbeit der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) zum Kapazitätsaufbau für evidenzinformierte Politikgestaltung, für einen länderübergreifenden Bericht darüber, wie Regierungen die Nachfrage- und Angebotsseite der Evidenznutzung organisieren.
• Das What Works Centre for Crime Reduction des College of Policing und sein Kriminalitätsreduktions-Toolkit, für ein weiteres durchgearbeitetes Beispiel des Clearingstellen-Musters angewandt jenseits von Gesundheit und Bildung.

Referenzen

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Centre for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-centre-crime-reduction