Ökonometrie des öffentlichen Sektors und Programmevaluation

Warum das für den öffentlichen Wert zählt

Jedes Jahr erneuern, erweitern oder streichen öffentliche Stellen Programme auf der Stärke eines Ergebnisvergleichs: Teilnehmende im Jobprogramm fanden schneller Arbeit als Nichtteilnehmende; Schülerinnen und Schüler im Nachhilfeprogramm erzielten höhere Werte als nicht nachhilfeunterrichtete Schülerinnen und Schüler. Jeder Vergleich ist als Beschreibung wahr und als Argument gefährlich, weil keiner allein sagt, ob das Programm den Unterschied verursachte. Menschen, die sich in ein Jobprogramm einschreiben, sind häufig motivierter als solche, die es nicht tun, und für Nachhilfe ausgewählte Schülerinnen und Schüler werden oft gewählt, weil eine Lehrkraft bereits erwartet, dass sie gut ansprechen. Die Lücke zwischen „die behandelte Gruppe schnitt besser ab" und „die Behandlung ließ sie besser abschneiden" ist genau die Lücke, die kausale Inferenz zu schließen existiert.

Dies ist keine akademische Spitzfindigkeit. Ein Finanzausschuss, gebeten, die Finanzierung eines Programms zu erneuern, wird implizit gebeten, das Ausgeben öffentlichen Geldes für eine Kausalitätsbehauptung zu autorisieren, ob nun jemand im Raum dieses Wort nutzt oder nicht. Thema 2.1 gab Ihnen den Wirkungsrahmen, der festlegt, was ein Programm zu verändern beabsichtigt (siehe Thema 2.1 — Das Scorecard für öffentlichen Wert und Wirkungsrahmen); dieses Thema gibt Ihnen die Methoden, die testen, ob es das tatsächlich veränderte, und um wie viel. Kosten-Nutzen- und Kosteneffektivitätsanalyse (siehe Thema 2.2 — Soziale Kosten-Nutzen-Analyse und Kosteneffektivitätsanalyse) und sozialer Return on Investment (siehe Thema 2.3 — Sozialer Return on Investment und Wirkungsmessung) brauchen beide eine vertretbare Effektgröße, mit der sie arbeiten können; dieses Thema ist, wo diese Effektgröße herkommt, oder wo Sie lernen, dass die Zahl, die Sie schon haben, das Gewicht nicht tragen kann, das ihr auferlegt wird.

Die Einsätze sind nicht nur finanziell. Eine Regierung, die ein unwirksames Programm skaliert, weil eine fehlerhafte Evaluation es wirksam aussehen ließ, hat Geld verschwendet und, oft schlimmer, eine authentisch wirksame Alternative verdrängt, die nie die Chance bekam; eine Regierung, die ein wirksames Programm streicht, weil ein naiver Vergleich es nutzlos aussehen ließ, hat Wert zerstört, den eine besser gestaltete Evaluation geschützt hätte. Kausale Identifikation richtig hinzubekommen, und zu wissen, wann Sie sie nicht richtig hinbekommen können, ist selbst eine Kompetenz des öffentlichen Wertes, kein Nebeninteresse einer Spezialistin.

Kernkonzepte

Kausale Inferenz ist der Zweig der Statistik, der sich damit befasst festzustellen, ob und um wie viel die Änderung einer Variable eine Änderung in einer anderen hervorbringt, im Unterschied dazu, dass sich die beiden Variablen bloß gemeinsam bewegen. Sie liefert das konzeptuelle Fundament – kontrafaktisches Denken, die Sprache von Behandlung und Kontrolle, den Katalog spezifischer Bedrohungen für eine kausale Behauptung –, auf das sich jede Methode dieses Themas stützt. Wikipedia: Kausale Inferenz.

Das Kontrafaktische ist das Ergebnis, das eine Person oder Einheit erlebt hätte, hätte sie das Programm nicht erhalten, und es ist die zentrale, unbeobachtbare Größe, die jede kausale Methode zu approximieren versucht: Sie können beobachten, was mit einer teilnehmenden Person geschah, aber nie, was mit dieser gleichen Person ohne Unterstützung geschehen wäre. Jede Methode unten ist eine andere Strategie, um einen glaubwürdigen Stellvertreter für diese fehlende Beobachtung zu konstruieren. Das Rubin-Kausalmodell, hauptsächlich vom Statistiker Donald Rubin entwickelt, formalisiert dies als das „potenzielle Ergebnisse"-Rahmenwerk: Jede Einheit hat ein potenzielles Ergebnis unter Behandlung und eines unter Kontrolle, und der kausale Effekt ist die Differenz zwischen ihnen, von denen nur eines je beobachtet wird. Wikipedia: Rubin causal model.

Confounding (Störfaktor-Verzerrung) tritt auf, wenn ein dritter Faktor sowohl beeinflusst, ob eine Einheit ein Programm erhält, als auch das Ergebnis, das das Programm verändern soll, was es so aussehen lässt, als hätte das Programm einen Effekt verursacht, den der Störfaktor tatsächlich hervorbrachte. Motivation, Vorfähigkeit, lokale Wirtschaftsbedingungen und Haushaltsvermögen sind wiederkehrende Störfaktoren in der Evaluation öffentlicher Programme, weil sie routinemäßig sowohl beeinflussen, wer einen Dienst in Anspruch nimmt, als auch, wie es dieser Person oder diesem Ort danach ergeht. Wikipedia: Confounding.

Selektionsverzerrung ist der spezifische Fall von Confounding, der daraus entsteht, wie Teilnehmende überhaupt in die Behandlungsgruppe kommen – Selbstselektion, Personalüberweisung oder Berechtigungsregeln –, sodass sich behandelte und unbehandelte Gruppen systematisch unterscheiden, bevor das Programm sie je berührt. Ein Jobprogramm, für das sich nur die motiviertesten Arbeitsuchenden anmelden, wird wirksam aussehen, selbst wenn es nichts bewirkt, weil die Vergleichsgruppe nie ein fairer Stellvertreter dafür war, was Teilnehmende ohne Unterstützung getan hätten. Wikipedia: Selection bias.

Korrelation impliziert keine Kausalität ist die allgemeine Warnung, die dieses Thema operationalisiert: Zwei sich gemeinsam bewegende Variablen sind vereinbar damit, dass eine die andere verursacht, mit dem Umgekehrten, mit einer gemeinsamen Ursache, oder mit Zufall, und das Muster allein kann nicht zwischen diesen unterscheiden. Eisverkäufe und Ertrinkungstode steigen beide jeden Sommer, ohne dass eines das andere verursacht, weil warmes Wetter beide antreibt; die Evaluation öffentlicher Programme ist voller subtilerer Versionen derselben Falle. Wikipedia: Correlation does not imply causation.

Die randomisierte kontrollierte Studie (RCT), in der Politikevaluationsliteratur eine randomisierte Evaluation genannt, weist berechtigte Einheiten zufällig einer Behandlungsgruppe zu, die das Programm erhält, und einer Kontrollgruppe, die es nicht erhält, sodass sich die beiden Gruppen im Durchschnitt nur darin unterscheiden, ob sie behandelt wurden. Randomisierung ist mächtig, weil sie Confounding im Ganzen behandelt: Sie balanciert sowohl die Störfaktoren, die Sie messen können, als auch die, die Sie nicht können, ohne sie im Voraus benennen zu müssen. Wikipedia: Randomized controlled trial.

Differenz-von-Differenzen (DiD) vergleicht die Veränderung der Ergebnisse über Zeit für eine behandelte Gruppe mit der Veränderung über denselben Zeitraum für eine Vergleichsgruppe, die das Programm nicht erhielt, unter der Annahme, dass die beiden Gruppen ohne das Programm parallelen Trends gefolgt wären. Es ist die Arbeitspferdmethode, wenn ein Programm einen Rechtsraum vor einem anderen erreichte und Randomisierung nie eine Option war, weil sie routinemäßig gesammelte Verwaltungsdaten nutzen kann statt einer eigens gebauten Studie. Wikipedia: Difference in differences.

Regressions-Diskontinuitätsdesign (RDD) nutzt eine Programmregel, die Behandlung basierend darauf zuweist, dass ein gemessener Wert einen festen Schwellenwert überschreitet – eine Leistung, die exakt bei einer Einkommensschwelle beginnt, eine Förderklasse, Schülerinnen und Schülern zugewiesen, die knapp unter einer Bestehensmarke punkten –, und vergleicht Ergebnisse für Einheiten knapp darüber und knapp darunter, die sonst gleich sind. Weil, auf welcher Seite der Schwelle eine Einheit fällt, in einem schmalen Band um sie herum effektiv willkürlich ist, approximiert der Vergleich ein lokales randomisiertes Experiment, ohne dass jemand irgendetwas randomisiert hat. Wikipedia: Regression discontinuity design.

Instrumentalvariablen (IV)-Schätzung nutzt eine dritte Variable, ein „Instrument", die die Inanspruchnahme eines Programms beeinflusst, aber keinen direkten Effekt auf das Ergebnis hat außer durch diese Inanspruchnahme, um den Teil der Behandlungs-Ergebnis-Beziehung herauszulösen, den Confounding sonst kontaminieren würde. Ein klassisches politikpolitisches Instrument ist die Entfernung zu einer Einrichtung oder ein durch Losverfahren zugewiesener Platz, der Teilnahme verschiebt, ohne unabhängig das Ergebnis zu verursachen; das meiste an der Schwierigkeit der Methode liegt darin zu verteidigen, dass das Instrument das Ergebnis nur durch das Programm beeinflusst. Wikipedia: Instrumental variables estimation.

Ein natürliches Experiment ist eine Situation, entstanden aus Politik, Geografie oder Umständen statt aus Forschungsdesign, in der manche Menschen einem Programm ausgesetzt sind und vergleichbare andere nicht, als wäre ein Experiment durchgeführt worden, ohne dass jemand es durchführte. Eine Politikänderung, die zu einem Geburtsdatum-Grenzwert wirksam wird, eine Grenze, die nahezu identische Haushalte in unterschiedliche Rechtsräume setzt, oder ein Losverfahren, das einen übernachgefragten Platz rationiert, sind natürliche Experimente, die RDD, IV oder DiD dann analysieren können. Wikipedia: Natural experiment.

Der Hawthorne-Effekt benennt das Risiko, dass Menschen ihr Verhalten schlicht ändern, weil sie wissen, dass sie beobachtet werden, unabhängig vom tatsächlichen Inhalt des Programms, was einen geschätzten Effekt aufblähen kann, wenn die Kontrollgruppe nicht mit gleicher Intensität beobachtet wird – der Akt des Messens kann selbst Teil der Behandlung werden. Wikipedia: Hawthorne effect.

Statistische Power (Teststärke) ist die Wahrscheinlichkeit, dass eine Evaluation einen echten Effekt gegebener Größe erkennt, falls einer existiert, hauptsächlich abhängig von Stichprobengröße, der gesuchten Effektgröße, und wie stark Ergebnisse innerhalb von Gruppen variieren. Eine unterversorgte Evaluation, die „keinen signifikanten Effekt" findet, hat oft nicht gezeigt, dass das Programm nichts bewirkt; sie hat gezeigt, dass die Evaluation zu klein war, um es in beide Richtungen zu sagen, eine Unterscheidung, die Führungskräfte unter dem Druck, ein Urteil zu erreichen, häufig übersehen. Wikipedia: Power (statistics).

Bewährte Praktiken

1. Entscheiden Sie das Evaluationsdesign vor dem Programmstart, nicht danach. Eine randomisierte Evaluation, ein gestaffelter Rollout, geeignet für Differenz-von-Differenzen, oder eine Berechtigungsschwelle, geeignet für Regressions-Diskontinuitätsdesign, sind alle weit leichter von Anfang an einzubauen, als sie nachträglich ad hoc anzupassen, sobald die Lieferung bereits begonnen hat.
2. Nennen Sie das Kontrafaktische explizit in jedem Evaluationsbriefing. Schreiben Sie in einem Satz nieder, womit Sie Teilnehmende vergleichen – gar kein Programm, das vorherige Programm, eine andere Intervention –, weil ein unbenanntes Kontrafaktisches üblicherweise dort ist, wo sich die schärfsten Evaluationsstreitigkeiten verstecken.
3. Behandeln Sie einen einfachen Vorher-Nachher-Vergleich als Ausgangshypothese, nie als Befund. Ergebnisse driften aus vielen mit Ihrem Programm unverwandten Gründen – der Konjunkturzyklus, saisonale Effekte, andere gleichzeitig eintreffende Politikänderungen –, und ein Vorher-Nachher-Design kann den Beitrag Ihres Programms nicht von deren trennen.
4. Passen Sie die Methode an die Regel an, die das Programm tatsächlich zuwies, nicht an die Methode, die Ihnen am vertrautesten ist. Ein durch Losverfahren rationiertes Programm verlangt die Logik einer randomisierten Evaluation, selbst wenn Sie es nie eine Studie nennen; ein durch eine Punktzahlschwelle zugewiesenes Programm verlangt Regressions-Diskontinuitätsdesign; ein Programm, das einige Gebiete vor anderen erreichte, verlangt Differenz-von-Differenzen.
5. Registrieren Sie die Ergebniskennzahlen und den Analyseplan vorab, bevor Sie die Ergebnisse ansehen. Zu entscheiden, welches Ergebnis als „Erfolg" zählt, nachdem gesehen wurde, welches sich bewegte, ist ein gut dokumentierter Weg zu falsch-positiven Befunden, und Vorabregistrierung ist die Standardverteidigung dagegen.
6. Dimensionieren Sie die Evaluation für die kleinste Effektgröße, die die Kosten des Programms noch rechtfertigen würde, nicht für Bequemlichkeit. Eine Evaluation, zu klein, um einen politikrelevanten Effekt zu erkennen, wird ein uninformatives „kein signifikanter Unterschied"-Ergebnis produzieren, das als Beweis des Scheiterns fehlgelesen wird.
7. Berichten Sie die Merkmale der Vergleichsgruppe neben denen der Behandlungsgruppe, nicht nur den Leiteffekt. Eine glaubwürdige Evaluation lässt eine skeptische Leserin prüfen, dass die beiden Gruppen vor der Behandlung gleich waren; eine Evaluation, die dies verbirgt, lässt die Leserin Ausgewogenheit auf Treu und Glauben annehmen.
8. Beauftragen Sie die Evaluation von einer von Lieferteam unabhängigen Quelle, oder isolieren Sie die Analyse, wenn Sie das nicht können. Ein Team mit Interesse am Erfolg eines Programms hat einen strukturellen, oft unbewussten Anreiz, mehrdeutige Evidenz zugunsten des Programms zu interpretieren.
9. Trennen Sie statistische Signifikanz von praktischer und fiskalischer Signifikanz in jedem Bericht. Ein präzise geschätzter winziger Effekt und ein unpräzise geschätzter großer Effekt sind unterschiedliche Befunde, die unterschiedliche Entscheidungen verlangen, und beide in „signifikant" oder „nicht signifikant" zusammenzufassen, löscht die Unterscheidung, die eine Finanzierungsentscheidung tatsächlich braucht.
10. Budgetieren Sie für Evaluation als festen Anteil der Programmkosten in der Entwurfsphase, nicht als das, was übrigbleibt. Ein Programm, groß genug, um für öffentlichen Wert zu zählen, ist üblicherweise groß genug, eine glaubwürdige Wirkungsevaluation zu finanzieren, und Evaluation als optional zu behandeln, ist, wie schwache Evidenz zur Routine wird.
11. Veröffentlichen Sie Null- und negative Ergebnisse mit derselben Sichtbarkeit wie positive. Ein Beauftragungsumfeld, das nur erfolgreiche Evaluationen publik macht, schafft eine Selektionsverzerrung in der veröffentlichten Evidenzbasis selbst, was das spätere „Was funktioniert"-Urteil aller Richtung Optimismus verzerrt.
12. Speisen Sie jede abgeschlossene Evaluation in die breitere Evidenzbasis Ihres Sektors ein, nicht nur Ihr eigenes Archiv. Eine einzelne Evaluation, wie gut auch gestaltet, ist ein Datenpunkt; systematische Synthese über viele hinweg ist, was einen Programmbefund in übertragbares Wissen verwandelt (siehe Thema 2.6 — Synthese der Evidenz und was funktioniert).

Fragen zur Diskussion mit Ihrem Team

Was ist das Kontrafaktische, gegen das wir dieses Programm tatsächlich vergleichen, und haben wir das laut gesagt? Jede Wirkungsbehauptung impliziert einen Vergleich, aber Teams lassen ihn häufig implizit, sodass „das hat funktioniert" still zwischen „besser als nichts", „besser als das, was wir vorher taten", und „besser als die beste Alternative, die wir hätten finanzieren können" gleitet. Bitten Sie Ihre Evaluationsleitung, das Kontrafaktische als einen einzelnen Satz in klarer Sprache zu formulieren, und prüfen Sie dann, ob die vorhandene Evidenz tatsächlich eine Behauptung über diesen spezifischen Vergleich stützt. Wenn das ehrliche Kontrafaktische „wir wissen nicht, was sonst passiert wäre" ist, behandeln Sie die aktuelle Wirkungsbehauptung als Hypothese, nicht als Befund, und diskutieren Sie, was nötig wäre, um diese Lücke zu schließen.

Könnten sich die Menschen oder Orte, die dieses Programm in Anspruch nahmen, systematisch von denen unterscheiden, die es nicht taten, auf Weisen, die auch das Ergebnis beeinflussen würden? Dies ist die Selektionsverzerrungsfrage, und sie lohnt sich zu stellen, selbst wenn – besonders wenn – die Antwort offensichtlich „nein" scheint. Motivation, Vorumstände, lokale Kapazität und Personalüberweisungsmuster sind häufige versteckte Unterschiedsquellen, die eine irreführende Wirkungsschätzung erzeugen, selbst mit einer großen, sorgfältig aussehenden Stichprobe. Wenn das Team nicht beschreiben kann, wie Teilnehmende ins Programm kamen, können sie dies nicht ausschließen, und diese Lücke sollte Sie mehr beunruhigen als eine kleine Stichprobengröße es würde.

Wurde unser Evaluationsdesign ins Programm eingebaut, oder nachträglich angeschraubt, und was hat uns das gekostet? Eine randomisierte Evaluation, ein gestaffelter Rollout, oder eine bepunktete Berechtigungsschwelle sind alle weit günstiger und glaubwürdiger, wenn vor dem Start geplant, als wenn aus welchen Verwaltungsdaten auch immer zufällig überlebten rekonstruiert. Fragen Sie, welche Evaluationsdesign-Optionen in der Entwurfsphase des Programms erwogen wurden, und wenn keine, behandeln Sie das als vor dem nächsten Programm zu schließende Prozesslücke, nicht nur als Beschränkung dieses einen. Diskutieren Sie, welche Daten von Tag eins an existieren müssten, damit das nächste wichtige Programm eine glaubwürdige kausale Schätzung unterstützt.

Ist unsere Stichprobe groß genug, um einen wissenswerten Effekt zu erkennen, und würden wir einen unterversorgten „kein Effekt"-Befund erkennen, wenn wir ihn sähen? Eine Evaluation, die keinen statistisch signifikanten Effekt berichtet, sagt Ihnen manchmal korrekt, dass das Programm nicht funktioniert, und manchmal nur, dass die Evaluation zu klein war, um einen echt vorhandenen Effekt zu sehen. Bitten Sie Ihre Analystinnen und Analysten, die minimale Effektgröße zu nennen, für die die Evaluation dimensioniert war zu erkennen, und vergleichen Sie das mit der Effektgröße, die die Kosten des Programms tatsächlich rechtfertigen würde. Wenn diese beiden Zahlen weit auseinanderliegen, mag der „kein Effekt"-Befund uninformativ statt vernichtend sein, und das Team sollte das klar sagen, statt Stille als Scheitern lesen zu lassen.

Wer profitiert, beruflich oder reputativ, wenn diese Evaluation positiv ausfällt, und ändert das, wie viel unabhängige Prüfung sie braucht? Dies ist keine Anschuldigung der Unehrlichkeit; es ist eine Anerkennung, dass Menschen, die ein Programm gestalteten oder liefern, strukturell wahrscheinlicher mehrdeutige Ergebnisse wohlwollend interpretieren, oft ohne zu bemerken, dass sie das tun. Diskutieren Sie, ob die Evaluation von jemandem in Auftrag gegeben, analysiert oder überprüft wurde, der vom Lieferteam unabhängig ist, und wenn nicht, wie eine verhältnismäßige Trennwand für ein Programm dieser Größe aussehen würde. Das Ziel ist ein Ergebnis, dem auch Ihr skeptischster Fördergeber vertrauen würde, nicht bloß eines, das Ihr eigenes Team bequem verteidigen kann.

Wenn der Befund dieser Evaluation robust ist, was würden wir tatsächlich anders tun, und sind wir bereit, es zu tun? Eine in Auftrag gegebene, aber nie zur Änderung einer Entscheidung gedachte Evaluation ist eine versunkene Kosten, als Sorgfaltspflicht verkleidet, und es lohnt sich, dieses Risiko zu benennen, bevor die Ergebnisse eintreffen, nicht danach. Diskutieren Sie im Voraus, was ein starker positiver Befund rechtfertigen würde (Skalierung, und um wie viel) und was ein Null- oder negativer Befund auslösen würde (Neugestaltung, oder Streichung, und in welchem Zeitrahmen). Wenn niemand im Raum dies beantworten kann, bevor die Ergebnisse gesehen wurden, mag die Evaluation eher einer Legitimitätsfunktion als einer Entscheidungsfunktion dienen, und das lohnt sich, ehrlich anzuerkennen (siehe Thema 2.1 — Das Scorecard für öffentlichen Wert und Wirkungsrahmen).

In der Praxis: ein Beispiel für öffentlichen Wert

Fiktive Illustration. Das Ministerium für Beschäftigungsdienste in einem mittelgroßen, unbenannten Land führte ein einjähriges Pilotprojekt eines intensiven Coaching-Dienstes für langzeitarbeitslose Arbeitsuchende durch, neben dem bestehenden Standarddienst. Am Ende des Pilotprojekts verglich ein interner Bericht die Gruppe, die intensives Coaching erhielt, mit allen anderen, die im selben Zeitraum die Arbeitslosigkeit verließen: Die gecoachte Gruppe hatte eine Vermittlungsquote von 38 % innerhalb von sechs Monaten, gegenüber 24 % für den Rest der Fallzahl. Ministerinnen und Ministern wurde gesagt, das Programm „funktioniere", und ein Business Case ging voran, es national auszurollen.

Bevor der Finanzausschuss die Finanzierung abzeichnete, stellte er eine unkomplizierte Frage: Wie waren Arbeitsuchende überhaupt in die gecoachte Gruppe gekommen? Die Antwort erwies sich als enorm wichtig. Fallbearbeiterinnen und Fallbearbeiter hatten Arbeitsuchende, die sie als „am wahrscheinlichsten profitierend" beurteilten, ins Coaching-Pilotprojekt überwiesen, eine wohlmeinende Triage-Entscheidung, die effektiv von Anfang an eine arbeitsbereitere Gruppe in die Behandlung selektiert hatte. Der Vergleich 38 % gegen 24 % war genau von der Selektionsverzerrung kontaminiert, vor der dieses Thema warnt: Es war durchaus möglich, dass die gecoachte Gruppe auch ganz ohne Coaching besser abgeschnitten hätte als der Rest der Fallzahl.

Statt den Rollout auf Basis dieses Vergleichs zu genehmigen oder abzulehnen, schlug die Evaluationseinheit des Ministeriums eine zweite Phase mit einem Losverfahren vor. Die Nachfrage nach dem Coaching-Dienst überstieg bereits die verfügbaren Plätze, also teilte die Einheit Plätze zufällig unter gleich berechtigten Antragstellenden zu und verglich Vermittlungsquoten zwischen Losgewinnerinnen und -gewinnern und Losverliererinnen und -verlierern, eine Anwendung der Logik randomisierter Evaluation, ohne den Dienst irgendjemandem vorenthalten zu müssen, der ihn sonst erhalten hätte. Zwölf Monate später zeigte der Losvergleich einen kleineren, aber echten Effekt: eine Verbesserung von 9 Prozentpunkten bei der Sechsmonatsvermittlung, nicht die 14-Punkte-Lücke, die der ursprüngliche Vergleich impliziert hatte. Das Ministerium nutzte die losverfahrensbasierte Schätzung neben eigenen Kostendaten, um einen vertretbaren Kosteneffektivitätsfall zu bauen (siehe Thema 2.2 — Soziale Kosten-Nutzen-Analyse und Kosteneffektivitätsanalyse) für einen skalierten, aber ressourcenbeschränkten Rollout, statt die größere, unlieferbare Expansion, die der fehlerhafte ursprüngliche Vergleich gerechtfertigt hätte.

Vier Sektorperspektiven

Kommunalverwaltung

Kommunalverwaltungen führen typischerweise viele kleine und mittlere Programme statt weniger sehr großer durch, was eigens gebaute randomisierte Evaluationen relativ zur Programmgröße teuer macht und lokale Evaluatorinnen und Evaluatoren zu quasi-experimentellen Methoden drängt, die bereits gesammelte Verwaltungsdaten wiederverwenden – Differenz-von-Differenzen über Dienstbereiche hinweg, die eine Änderung zu unterschiedlichen Zeiten übernahmen, oder Regressions-Diskontinuitätsdesign um eine lokale Berechtigungsschwelle. Grenz- und Rechtsraumunterschiede, die andernorts ein Ärgernis wären, sind oft das beste natürliche Experiment einer lokalen Evaluatorin, da zwei benachbarte Bezirke oder Distrikte sich in der Politik unterscheiden können, während sie in den meisten anderen Aspekten gleich bleiben.

Nationale Regierung

Nationale Regierungen haben den Maßstab, eigens gebaute randomisierte Evaluationen zu finanzieren, und die Verwaltungsdatensätze, oft über Steuer-, Leistungs-, Gesundheits- und Bildungsakten hinweg verknüpft, um glaubwürdige quasi-experimentelle Designs bei niedrigen Grenzkosten durchzuführen. Dieser Maßstab ist auch, wo „Was funktioniert"-Evaluations-Taskforces und zentralisierte Evaluationsleitlinien, etwa ein Standard-Evaluationshandbuch eines Finanzministeriums, tendenziell sitzen, weil nur eine nationale Regierung die Fixkosten rechtfertigen kann, eine ständige Evaluationsinfrastruktur und einen gemeinsamen methodischen Standard über viele Ministerien hinweg aufrechtzuerhalten.

Sozialer Sektor und gemeinnützige Organisationen

Gemeinnützige Organisationen und Nichtregierungsorganisationen haben selten die Stichprobengrößen oder Budgets, die eine gut dimensionierte randomisierte Evaluation braucht, und ihre Programme ändern sich oft adaptiv als Reaktion auf das, was Frontpersonal beobachtet, was jedes Design verkompliziert, das eine stabile, wohldefinierte Behandlung annimmt. Partnerschaft mit einer akademischen Forschungsgruppe oder einer spezialisierten Evaluations-Zwischeninstanz, der Art, die um die randomisierte-Evaluation-Bewegung in der internationalen Entwicklung gewachsen ist, ist häufig der einzige realistische Weg zu einer strengen kausalen Schätzung, und Fördergeber verlangen zunehmend genau diese Art externer Partnerschaft, bevor sie mehrjährige Zuschüsse zusagen.

Multilaterale und internationale Organisationen

Multilaterale Organisationen finanzieren Programme über viele Länder mit unterschiedlichen Datensystemen, Verwaltungskapazität und ethischen Überprüfungsnormen hinweg, was standardisierte kausale Methoden schwerer einheitlich anwendbar macht, aber auch natürliche länderübergreifende Variation schafft, die selbst zu einem natürlichen Experiment werden kann, wenn eine Politik in manchen Mitgliedstaaten vor anderen übernommen wird. Randomisierte Evaluationen in der Entwicklungsökonomie waren in diesem Maßstab besonders einflussreich und produzierten Evidenz, die formte, wie internationale Entwicklungsfinanzierung alloziert wird, aber sie tragen auch ein dokumentiertes Risiko externen Validitätsversagens: Ein Ergebnis, das im untersuchten Land und Kontext gilt, überträgt sich nicht automatisch auf einen anderen Kontext, ein Vorbehalt, über den multilaterale Programmgestaltung zu oft hinweggeht.

Häufige Fehlermuster

Das naive Vorher-Nachher. Ein Programm wird allein durch den Vergleich von Ergebnissen vor und nach seinem Start beurteilt, ganz ohne Vergleichsgruppe, sodass jeder bereits laufende Trend – wirtschaftliche Erholung, ein demografischer Wandel, eine gleichzeitig eintreffende separate Politikänderung – fälschlich dem Programm zugeschrieben wird. Die Kosten sind eine selbstbewusste kausale Geschichte, aufgebaut auf einem Design, das den Effekt des Programms tatsächlich nicht von allem anderen trennen kann, das gleichzeitig geschah.

Selektionsverzerrung mit Programmeffekt verwechselt. Teilnehmende, die sich anmeldeten, oder überwiesen wurden, weil sie erfolgversprechend schienen, werden mit allen anderen verglichen, was eine Wirkungsschätzung erzeugt, die wirklich eine Kennzahl dessen ist, wen das Programm anzog, statt was es ihnen antat. Die Kosten sind ein skaliertes Programm, das weniger wirksam aussieht, manchmal viel weniger, sobald es eine weniger selbstselektierte Bevölkerung erreicht.

Die unterversorgte Evaluation als Nullbefund berichtet. Ein kleines Pilotprojekt findet „keinen statistisch signifikanten Effekt" und wird als Beweis gelesen, dass das Programm nicht funktioniert, obwohl die Stichprobe tatsächlich zu klein war, um einen Effekt der Größe zu erkennen, die wichtig wäre. Die Kosten laufen in beide Richtungen: Ein authentisch wirksames Programm kann auf der Stärke von Evidenz gestrichen werden, die nie in der Lage war zu zeigen, dass es funktioniert, oder Ressourcen wandern zur Finanzierung einer größeren Studie, die nicht nötig gewesen wäre, wenn das ursprüngliche Briefing korrekt dimensioniert worden wäre.

Eine lokale Schätzung über ihren Kontext hinaus extrapolieren. Ein Regressions-Diskontinuitätsdesign schätzt korrekt den Effekt für Einheiten nahe der Berechtigungsschwelle, und eine Instrumentalvariablen-Schätzung schätzt korrekt den Effekt für Einheiten, deren Behandlungsstatus das Instrument tatsächlich verschob, aber beide Befunde werden dann auf die gesamte Bevölkerung angewandt, als gälte die Schätzung überall. Die Kosten sind eine Politik, skaliert auf der Stärke einer Zahl, die nur je lokal wahr war.

Evaluation als Theater. Eine Evaluation wird in Auftrag gegeben, um den Anschein evidenzbasierter Entscheidungsfindung zu schaffen, aber die Entscheidung ist effektiv bereits getroffen, und kein plausibler Befund hätte sie geändert. Die Kosten sind ein verschwendetes Evaluationsbudget und, korrosiver, eine langsame Erosion des Vertrauens in Evaluation selbst, sobald Personal bemerkt, dass Ergebnisse nie Ergebnisse zu ändern scheinen.

Reifegradmodell

Liste zur Überprüfung

• Nennen Sie das Kontrafaktische für jede wichtige Programmevaluation in einem klar formulierten Satz.
• Bestätigen Sie, wie Teilnehmende in die Behandlungsgruppe kamen, und beurteilen Sie, ob dieser Prozess selbst den Ergebnisunterschied erklären könnte.
• Wählen Sie die Evaluationsmethode (randomisierte Evaluation, Differenz-von-Differenzen, Regressions-Diskontinuitätsdesign, Instrumentalvariablen, oder natürliches Experiment) passend zur tatsächlichen Zuweisungsregel, wo möglich vor Beginn der Lieferung.
• Berechnen Sie die statistische Power, die nötig ist, um die kleinste Effektgröße zu erkennen, die die Kosten des Programms rechtfertigen würde.
• Registrieren Sie Ergebniskennzahlen und Analyseplan vorab, bevor Ergebnisse gesehen werden.
• Berichten Sie die Vergleichbarkeit von Behandlungs- und Vergleichsgruppe neben dem Leiteffekt.
• Beauftragen oder überprüfen Sie die Evaluation durch eine vom Lieferteam unabhängige Funktion.
• Trennen Sie statistische Signifikanz von fiskalischer und praktischer Signifikanz in jedem Bericht an Entscheiderinnen und Entscheider.
• Budgetieren Sie für Evaluation als festen Anteil der Programmkosten in der Entwurfsphase.
• Veröffentlichen Sie Null- und negative Befunde mit derselben Sichtbarkeit wie positive.
• Prüfen Sie, ob eine positive lokale Schätzung (aus Regressions-Diskontinuitätsdesign oder Instrumentalvariablen) über die Bevölkerung hinaus extrapoliert wird, die sie tatsächlich abdeckt.
• Leiten Sie abgeschlossene Evaluationen in die breitere Evidenzbasis Ihres Sektors ein, nicht nur Ihr eigenes Archiv.

Hauptquellen

Der methodische Kern dieses Themas stützt sich auf die angewandte ökonometrische Tradition, verbunden mit Joshua D. Angrist und Jörn-Steffen Pischke, und auf das von Donald Rubin formalisierte Rahmenwerk potenzieller Ergebnisse. Die randomisierte-Evaluation-Bewegung in Politik und Entwicklungsökonomie, verbunden mit dem Abdul Latif Jameel Poverty Action Lab (J-PAL) und seinem akademischen Netzwerk, liefert einen Großteil der angewandten Praxis, auf die in den Sektorperspektiven verwiesen wird. Staatliche Evaluationsstandards stützen sich auf die Leitlinien des Magenta Book des britischen Finanzministeriums, und Evidenzsynthese-Praxis stützt sich auf die Standards der Campbell Collaboration für systematische Übersichtsarbeiten in der Sozialpolitik (siehe Thema 2.6 — Synthese der Evidenz und was funktioniert).

Referenzen

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network