Das Scorecard für öffentlichen Wert und Wirkungsrahmen

Warum das für den öffentlichen Wert zählt

Die meisten Führungskräfte im öffentlichen und sozialen Sektor können ein Strategiedokument erstellen, das fließend über Ergebnisse spricht. Weit weniger können ein Jahr später die Evidenz vorlegen, die zeigt, ob sich diese Ergebnisse tatsächlich bewegt haben. Die Lücke zwischen beidem ist üblicherweise kein Mangel an Daten – die meisten Organisationen sammeln enorme Mengen davon –, sondern ein Mangel an einer disziplinierten Struktur, die rohe Aktivitätszählungen in eine vertretbare Behauptung über geschaffenen Wert verwandelt. Thema 1.2 — Das strategische Dreieck: Legitimität, Wert und Kapazität legte Legitimität und Unterstützung, die Wertproposition und operative Kapazität als die drei Säulen dar, die die Strategie einer Organisation gleichzeitig erfüllen muss (siehe Thema 1.2 — Das strategische Dreieck: Legitimität, Wert und Kapazität). Dieses Thema handelt von den Werkzeugen, die diese drei Säulen messbar statt bloß behauptet machen.

Die Einsätze sind unmittelbar und wiederkehrend. Ein Fördergeber oder eine Legislative fragt bei der nächsten Haushaltsrunde: „Was haben wir für dieses Geld bekommen?" – und eine Organisation mit nur Ausstoßzählungen (eröffnete Kliniken, bearbeitete Fälle, durchgeführte Schulungen) hat keine Antwort auf die darunterliegende Ergebnisfrage. Ein Programmteam glaubt, erfolgreich zu sein, weil die Aktivität hoch und geschäftig ist, ohne Aktivität von der Veränderung in der Welt getrennt zu haben, die die Aktivität bewirken sollte. Ein Vorstand genehmigt eine neue Initiative auf der Stärke einer überzeugenden Erzählung, hat dann aber ein Jahr später keine vereinbarte Grundlage, um zu entscheiden, ob sie fortgesetzt, skaliert oder gestoppt werden soll. Jedes davon ist ein Messversagen mit strategischen Konsequenzen, keine technische Unannehmlichkeit.

Die Werkzeuge dieses Themas – Mark Moores Scorecard für öffentlichen Wert, das Logikmodell und ergebnisbasierte Rechenschaftslegung und ihre Verwandten – lösen nicht jedes Messproblem, mit dem eine Organisation des öffentlichen oder sozialen Sektors konfrontiert ist. Spätere Thema behandeln die schwierigeren, technischeren Ebenen: Ergebnisse durch Kosten-Nutzen- und Kosteneffektivitätsanalyse monetarisieren (siehe Thema 2.2 — Soziale Kosten-Nutzen-Analyse und Kosteneffektivitätsanalyse), Ergebnisse bewerten, die sich der Monetarisierung widersetzen, durch sozialen Return on Investment (siehe Thema 2.3 — Sozialer Return on Investment und Wirkungsmessung), und feststellen, dass ein Programm eine beobachtete Veränderung tatsächlich verursacht hat, durch formale Programmevaluation (siehe Thema 2.4 — Ökonometrie des öffentlichen Sektors und Programmevaluation). Was dieses Thema liefert, ist die Ebene unter allen dreien: ein gemeinsames Vokabular und eine kleine Zahl dauerhafter Rahmenwerke, um festzulegen, bevor irgendeine dieser technischen Arbeiten beginnt, was eine Organisation tatsächlich zu verändern versucht, für wen, und woran sie es erkennen wird.

Kernkonzepte

Das Scorecard für öffentlichen Wert ist Mark H. Moores Vorschlag, jede Säule des strategischen Dreiecks mit ihrem eigenen Satz von Indikatoren zu verfolgen, statt standardmäßig auf die finanziellen und operativen Kennzahlen zurückzugreifen, die eine privatwirtschaftliche Balanced Scorecard nutzen würde. Moore passte die Balanced Scorecard an – Robert Kaplans und David Nortons Werkzeug zur Verfolgung eines Unternehmens über finanzielle, Kunden-, interne Prozess- und Lernperspektiven –, weil eine einzelne finanzielle Bilanz keine Organisation repräsentieren kann, deren zentrale Existenzberechtigung ist, dass sie Wert schafft, den kein Marktpreis erfasst. Das Scorecard für öffentlichen Wert bittet eine Organisation stattdessen, Kennzahlen unter drei Überschriften zu benennen, die das Dreieck spiegeln: eine Legitimitäts-und-Unterstützungsrechnung (ist das autorisierende Umfeld zufrieden – Fördergeber, Aufsichtsgremien, die Öffentlichkeit), eine Rechnung öffentlichen Wertes (wird die Wertproposition verwirklicht – Ergebnisse für Bürgerinnen, Bürger und Klientinnen und Klienten) und eine Rechnung operativer Kapazität (ist die Organisation fähig, Lieferung zu erhalten und zu verbessern – Personal, Systeme, Finanzen, Partnerschaften). Die Disziplin liegt darin, sich zu weigern, eine einzelne Rechnung für das Ganze stehen zu lassen; eine Organisation, die nur finanzielle Effizienz oder nur Klientenzufriedenheit berichtet, hat überhaupt nicht gegen das Dreieck berichtet.

Logikmodelle geben der Wertrechnung des Scorecards ihre innere Struktur. Ein Logikmodell legt die kausale Kette dar, die ein Programm zu durchlaufen behauptet: Inputs (das Geld, Personal und andere gebundene Ressourcen), Aktivitäten (was die Organisation damit tut), Ausstoß (die unmittelbaren, zählbaren Produkte dieser Aktivitäten – gelieferte Sitzungen, ausgestellte Genehmigungen, besuchte Haushalte), Ergebnisse (die Veränderungen in Wissen, Verhalten, Zustand oder Status, die der Ausstoß bewirken soll, typischerweise über Monate oder wenige Jahre), und Wirkung (die längerfristige, oft bevölkerungsweite Veränderung, zu der die Ergebnisse beitragen sollen, üblicherweise mit anderen Akteuren geteilt und schwerer einem einzelnen Programm zuzuschreiben). Die Unterscheidung zwischen Ausstoß und Ergebnis ist die folgenreichste in diesem Thema: Ein Ausstoß ist etwas, das die Organisation tat; ein Ergebnis ist etwas, das sich für jemand anderen infolgedessen veränderte. Der Ausstoß eines Schulungsprogramms ist die Zahl der geschulten Menschen; sein Ergebnis ist, was diese Menschen dann tun können, oder wie sich ihre Umstände ändern, was sie zuvor nicht konnten.

Theory of Change (Wirkungstheorie) ist die eng verwandte Disziplin, die Annahmen hinter einem Logikmodell explizit statt implizit zu machen – warum die Organisation glaubt, Aktivität A werde tatsächlich Ergebnis B hervorbringen, und unter welchen Bedingungen diese kausale Behauptung scheitern könnte. Eine Theory of Change ist nicht einfach ein detaillierteres Logikmodell; sie rückt das „wenn... dann... weil"-Argument und die Kontextannahmen in den Vordergrund, die das Kästchen-und-Pfeile-Diagramm eines Logikmodells tendenziell unausgesprochen lässt. Thema 2.3 nutzt Theory of Change als Ausgangspunkt für Wirkungsmessung im sozialen Sektor ausführlicher (siehe Thema 2.3 — Sozialer Return on Investment und Wirkungsmessung); hier zählt sie hauptsächlich als die Disziplin, die ein Logikmodell ehrlich darüber hält, was es tatsächlich zu verursachen behauptet, im Unterschied zu dem, was es nur zu erhoffen folgt.

Ergebnisbasierte Rechenschaftslegung (Results-Based Accountability, RBA) ist das bekannteste Mitglied einer Familie ergebnisbasierter Rahmenwerke, die in Staaten und im sozialen Sektor genutzt werden, um Ergebnisse auf Bevölkerungsebene mit der Leistung spezifischer Programme zu verbinden. Entwickelt von Mark Friedman und dargelegt in seinem Buch Trying Hard Is Not Good Enough, trennt RBA zwei unterschiedliche Arten von Rechenschaftspflicht, die Organisationen routinemäßig vermengen. Bevölkerungsebene-Rechenschaftspflicht fragt, wie es einer ganzen Gemeinschaft oder einem Rechtsraum bei einer Wohlergehensbedingung geht – Kinderarmut, Gemeinschaftssicherheit, Bildungserfolg –, unter Nutzung einer kleinen Zahl von Leitindikatoren, die keine einzelne Behörde besitzt oder vollständig kontrolliert. Leistungs-Rechenschaftspflicht fragt, wie gut ein spezifisches Programm oder eine Behörde abschneidet, unter Nutzung dreier Arten von Leistungsindikatoren, auf deren Unterscheidung Friedmans Rahmenwerk besteht: wie viel getan wurde (Aufwand – die Ausstoßzählung), wie gut es getan wurde (Qualität), und ob es irgendjemandem besser geht (Wirkung – das Ergebnis). Die praktische Methode von RBA, manchmal „die Kurve wenden" genannt, arbeitet rückwärts von einem gewählten Indikator aus – fragend, welche Geschichte die Daten erzählen, was diese Geschichte verursacht, wer die Partner mit einer Rolle bei ihrer Veränderung sind, was funktionieren würde, und was die Organisation vorschlägt zu tun – eine strukturierte Version der Argumentation, die ein Logikmodell und eine Theory of Change getrennt formalisieren. RBA ist eine Instanz eines breiteren Musters ergebnisbasierten Managements, eng verwandt mit der routinemäßigen Praxis von Monitoring und Evaluation, genutzt in der internationalen Entwicklung und öffentlichen Verwaltung, gefördert in verschiedenen Formen von nationalen Regierungen, philanthropischen Fördergebern und multilateralen Organisationen als gemeinsame Disziplin, um Ausgaben mit Ergebnissen zu verbinden, nicht nur mit Ausstoß.

Ausstoß, Ergebnisse und das Scorecard zusammen. Der Grund, warum diese Rahmenwerke in ein Thema gehören, statt in drei, ist, dass sie dieselbe zugrunde liegende Frage an unterschiedlichen Punkten im Planungs- und Berichtszyklus einer Organisation beantworten. Das Logikmodell wird zur Entwurfszeit gezeichnet, um die kausale Behauptung festzulegen. Ergebnisbasierte Rechenschaftslegung und vergleichbare Rahmenwerke werden zur Berichtszeit angewandt, um Leistungskennzahlen ehrlich über den Unterschied zwischen Aufwand und Wirkung zu halten. Das Scorecard für öffentlichen Wert steht über beiden, als die ständige Struktur, die sicherstellt, dass Ergebnisevidenz – wie auch immer sie produziert wurde – tatsächlich die Legitimitäts- und Kapazitätsgespräche erreicht, wo Haushalts- und Mandatsentscheidungen getroffen werden, statt innerhalb der eigenen Berichterstattung eines Programmteams zu bleiben. Zusammen sind die drei Rahmenwerke das, was öffentlichen Wert von einer Behauptung, die eine Organisation über sich selbst aufstellt, in eine Behauptung verwandelt, die sie mit Evidenz verteidigen kann.

Bewährte Praktiken

1. Zeichnen Sie das Logikmodell vor den Indikatoren, nicht danach. Zu wählen, was gemessen wird, bevor vereinbart ist, was Sie zu verursachen behaupten, erzeugt eine Liste von was auch immer leicht zu zählen ist; zeichnen Sie zuerst die Kette von Inputs zu Wirkung, dann wählen Sie Kennzahlen, die jedes Glied darin testen.
2. Berichten Sie gegen alle drei Scorecard-Rechnungen zusammen, nicht eine nach der anderen. Ein Legitimitäts-Update ohne Ergebnisevidenz oder ein Ergebnisbericht ohne Kapazitätsrechnung dessen, was es kostete, dies zu erhalten, erzählen jeweils nur einen Teil der Geschichte, die ein Fördergeber oder Aufsichtsgremium für eine echte Entscheidung braucht.
3. Trennen Sie Aufwand, Qualität und Wirkung explizit in jedem Leistungsbericht. Entlehnen Sie Friedmans Dreiteilung auch außerhalb einer formalen RBA-Implementierung; ein Bericht, der „gelieferte Sitzungen" mit „verbesserte Leben" vermischt, ohne sie zu unterscheiden, wird immer standardmäßig auf was auch immer leichter aufzublähen ist zurückfallen.
4. Wählen Sie eine kleine Zahl von Leit-Bevölkerungsindikatoren und halten Sie sie über Jahre, nicht Quartale. Bevölkerungsebene-Bedingungen bewegen sich langsam und werden von vielen Akteuren beeinflusst; die Leitkennzahl bei jedem Berichtszyklus zu ändern, macht es unmöglich zu sagen, ob sich die Kurve tatsächlich wendet.
5. Benennen Sie laut, was die Organisation nicht kontrolliert. Ein Logikmodell, das impliziert, ein einzelnes Programm verursache ein Ergebnis auf Bevölkerungsebene vollständig, lädt genau die Skepsis ein, die Legitimität untergräbt, wenn sich das Ergebnis nicht planmäßig bewegt; benennen Sie die anderen beitragenden Faktoren von Anfang an.
6. Veröffentlichen Sie den Wirkungsrahmen vor der Haushaltsrunde, nicht danach. Ein Wirkungsrahmen, der erstellt wurde, um eine bereits getroffene Haushaltsentscheidung zu rechtfertigen, liest sich als nachträgliche Rationalisierung; einer, der vor der Runde veröffentlicht wird, ist Evidenz, dass eine echte Entscheidung dagegen getestet wird.
7. Halten Sie Scorecard und Logikmodell als lebende Dokumente, bei Kontextänderungen revisitiert, nicht als jährliche Artefakte. Ein für ein politisches Umfeld gezeichnetes Logikmodell kann still aufhören, zur Realität zu passen – ein neues Gesetz, eine demografische Verschiebung, eine Finanzierungsänderung – lange bevor eine planmäßige Überprüfung dies auffangen würde; behandeln Sie beide als im Besitz von Lieferteams, nicht als Compliance-Übung für ein Zentralbüro.
8. Halten Sie die Leistungsrechnungskennzahlen nah bei den Menschen, die darauf handeln können. Ein Programmteam kann Qualitäts- und Aufwandskennzahlen direkt verbessern; geben Sie ihm Bevölkerungsebene-Ergebnisziele, die es allein nicht bewegen kann, und die Messung wird zur Quelle der Demoralisierung statt der Richtung.
9. Behandeln Sie ein verpasstes Ergebnisziel als Anstoß zu fragen warum, nicht als zu verbergendes Urteil. Die „Kurve wenden"-Gewohnheit, zu fragen, was den Trend verursacht, bevor Schuld zugewiesen wird, hält Ergebnisberichterstattung nützlich; eine Kultur, die verpasste Ziele bestraft, lehrt Personal, den Wert zu schützen statt das Ergebnis.
10. Machen Sie die Annahmen in der Theory of Change falsifizierbar. Eine so vage geschriebene Annahme, dass keine Evidenz sie je widerlegen könnte, fügt dem Logikmodell keine Strenge hinzu; schreiben Sie Annahmen spezifisch genug, dass eine zukünftige Evaluation zeigen könnte, dass sie falsch sind.

Fragen zur Diskussion mit Ihrem Team

Können wir für unser wichtigstes Programm derzeit einen Ausstoß von einem Ergebnis unterscheiden – und nutzt unser eigenes Personal diese beiden Worte korrekt? Viele Organisationen berichten Aktivitätszählungen unter Nutzung der Sprache von Ergebnissen, ohne die Ersetzung zu bemerken, was den Unterschied, den dieses Thema als grundlegend behandelt, still untergräbt. Nutzen Sie diese Frage, um einen aktuellen Bericht hervorzuholen und Zeile für Zeile zu prüfen, welche Zahlen beschreiben, was die Organisation tat, gegenüber dem, was sich für jemand anderen änderte. Diskutieren Sie, wo die Sprache abgedriftet ist, und ob diese Drift echte Verwirrung über die Logik des Programms widerspiegelt oder schlicht, dass Ergebnisdaten schwerer zu bekommen sind als Ausstoßdaten. Wenn die ehrliche Antwort Letzteres ist, ist das selbst ein festhaltenswerter Befund, kein Grund, weiterhin Ausstoßsprache als Ergebnisse verkleidet zu nutzen.

Wo faltet unsere aktuelle Berichterstattung Aufwand, Qualität und Wirkung in eine einzelne Zahl, und was sagt diese Zahl einer Leserin oder einem Leser tatsächlich? Friedmans Dreiteilung existiert, weil Organisationen routinemäßig standardmäßig Aufwand berichten – den am leichtesten zu zählenden der drei –, während sie implizieren, sie hätten Wirkung berichtet. Nutzen Sie diese Frage, um eine Vorzeigekennzahl zu identifizieren, die die Organisation derzeit berichtet, und arbeiten Sie als Gruppe heraus, welche der drei sie tatsächlich misst. Diskutieren Sie, was es bräuchte, alle drei für diese Kennzahl getrennt zu berichten, und ob dies ändern würde, wie die Organisation von den Menschen wahrgenommen wird, die derzeit nur die vermischte Zahl sehen.

Wenn sich unser Leit-Bevölkerungsergebnis für zwei weitere Berichtszyklen nicht bewegt, was würden wir anders tun, und was würden wir nicht ändern? Diese Frage testet, ob die Organisation ihren Wirkungsrahmen echt zur Steuerung nutzt oder ihn schlicht als Berichtspflicht produziert. Nutzen Sie sie, um zu unterscheiden, welche Teile der aktuellen Strategie von den Ergebnisdaten abhängen und welche fixiert sind, unabhängig davon, was die Daten zeigen. Diskutieren Sie ehrlich, ob irgendein Teil des aktuellen Programms unverändert überleben würde, selbst wenn sich die Evidenz fest dagegen wendete, denn das ist der Teil, der tatsächlich nicht vom Rahmenwerk gemanagt wird.

Berichtet unser Scorecard für öffentlichen Wert, falls wir eines haben, alle drei Säulen des Dreiecks, oder ist es still zu einem Scorecard für nur eine Säule geworden? Es ist üblich, dass ein Wirkungsrahmen mit echtem Dreisäulen-Ehrgeiz beginnt und unter Berichtsdruck zu einem reinen Ergebnis- oder reinen Finanzdokument abdriftet. Nutzen Sie diese Frage, um die letzten zwei oder drei formalen Berichte gegen die Dreirechnungsstruktur zu prüfen, die dieses Thema beschreibt. Diskutieren Sie, welche Säule unter Zeitdruck tendenziell zuerst fallengelassen wird, und was das darüber aussagt, welche Säule die Organisation implizit als optional behandelt.

Wer außerhalb dieser Organisation müsste unserem Logikmodell zustimmen, damit es glaubwürdig ist, und haben wir sie tatsächlich gefragt? Ein vollständig vom Programmteam gezeichnetes Logikmodell, das die Intervention gestaltete, kann still optimistische Annahmen kodieren, die niemand außerhalb des Raums infrage stellen kann. Nutzen Sie diese Frage, um zu identifizieren, welche externen Akteure – Fördergeber, Lieferpartner, die Menschen, denen das Programm dient – ein Interesse daran haben, ob die kausale Kette stimmt, und ob irgendeiner von ihnen sie tatsächlich überprüft hat. Diskutieren Sie, was sich, falls überhaupt, änderte, als das letzte Mal eine externe Perspektive zu dieser Überprüfung eingeladen wurde.

Was ist die kleinste Menge an Bevölkerungs- und Leistungsindikatoren, die wir berichten könnten, die es einer Außenstehenden oder einem Außenstehenden immer noch erlauben würde zu beurteilen, ob diese Organisation öffentlichen Wert schafft? Messsysteme tendieren dazu, im Laufe der Zeit Indikatoren weit schneller anzuhäufen, als sie sie ausmustern, bis das Rahmenwerk zu groß wird, als dass irgendjemand es tatsächlich in einer Entscheidung nutzen könnte. Nutzen Sie diese Frage, um als Übung zu versuchen, die aktuelle Indikatorenmenge zu halbieren, ohne die Fähigkeit zu verlieren, die Fragen der Bevölkerungsebene- und Leistungs-Rechenschaftspflicht zu beantworten, die dieses Thema beschreibt. Diskutieren Sie, welchen Widerstand diese Übung zutage fördert, denn Widerstand gegen das Streichen eines spezifischen Indikators ist oft ein Zeichen dafür, wofür die Organisation wirklich zur Rechenschaft gezogen wird, ob das nun zu ihrer erklärten Strategie passt oder nicht.

In der Praxis: ein Beispiel für öffentlichen Wert

Ein regionales Netzwerk von Familienunterstützungs-Wohltätigkeitsorganisationen – fiktiv, illustrativ für ein Muster statt ein Bericht über eine reale Organisation – hatte ein Jahrzehnt damit verbracht, Hausbesuchsprogramme für neue Eltern in einkommensschwachen Vierteln durchzuführen. Seine jährlichen Berichte an Fördergeber waren detailliert und, nach Ausstoßkennzahlen, beeindruckend: Tausende von Hausbesuchen jährlich abgeschlossen, hohe Teilnahme an Elternwerkstätten, starke Zufriedenheitswerte von teilnehmenden Familien. Auf der Stärke dieser Bilanz war das Netzwerk stetig gewachsen und hatte etwa alle zwei Jahre neue lokale Zweigstellen hinzugefügt.

Ein neuer nationaler Fördergeber, der einen mehrjährigen Zuschuss groß genug erwog, um die Reichweite des Netzwerks zu verdoppeln, stellte eine Frage, die der eigene Vorstand des Netzwerks der Geschäftsführung nie formal gestellt hatte: Welche Evidenz zeigte, dass Kinder in Familien, die die Hausbesuche erhielten, später tatsächlich besser dastanden als vergleichbare Kinder, deren Familien sie nicht erhalten hatten. Die Führung des Netzwerks erkannte, während sie die Frage durcharbeitete, dass ihre Berichterstattung nie Aufwand von Wirkung getrennt hatte. Besuchszahlen und Zufriedenheitswerte waren echte Evidenz, dass das Programm geliefert wurde und gut aufgenommen wurde; keines von beiden war Evidenz, dass es die Entwicklungsergebnisse eines Kindes veränderte, was die in der eigenen Leitbildaussage des Netzwerks eingebettete Behauptung war und, implizit, in jedem Förderantrag, den es je geschrieben hatte.

Das Netzwerk baute ein Logikmodell von Grund auf, beginnend bei den Ergebnissen, die es tatsächlich wollte – verbesserte frühkindliche Entwicklungsindikatoren, reduzierte Fälle bestätigter Kindesvernachlässigung, stärkeres elterliches Selbstvertrauen –, und arbeitete rückwärts zu den Aktivitäten und dem Ausstoß, von denen jedes abhängen sollte, wobei es die Annahmen dazwischen explizit benannte. Es übernahm eine vereinfachte ergebnisbasierte Rechenschaftslegungsstruktur: Bevölkerungsindikatoren auf Nachbarschaftsebene verfolgt und mit lokalen Schulen und Gesundheitsdiensten geteilt, neben Leistungsindikatoren, auf die die eigenen Teams direkt handeln konnten – Besuchshäufigkeit, Werkstattabschluss und von Personal eingeschätztes elterliches Selbstvertrauen nach drei und zwölf Monaten. Zwei der fünf Ergebnisindikatoren bewegten sich in einer Nachbarschaft im ersten Berichtszyklus nicht wie erhofft. Statt das Ergebnis zu unterdrücken, nutzte das Netzwerk seinen eigenen „Kurve wenden"-Prozess zur Untersuchung, fand, dass eine Änderung der lokalen Gesundheitsbesucherbesetzung Überweisungswege gestört hatte, und passte seine Partnerschaftsvereinbarungen an, statt sein Kernmodell. Der Fördergeber erneuerte und erweiterte den Zuschuss und nannte die Ehrlichkeit der Berichterstattung, nicht die Abwesenheit eines Defizits, als Grund für Vertrauen.

Vier Sektorperspektiven

Kommunalverwaltung

Der Wirkungsrahmen einer Kommunalverwaltung sitzt typischerweise innerhalb einer breiteren Menge national definierter Indikatoren, die sie nicht wählte, gegen die sie aber berichten muss, neben lokal gewählten Kennzahlen, die die Prioritäten ihres eigenen Rates widerspiegeln. Diese doppelte Struktur bedeutet, dass ein lokales Scorecard oft zwei Zielgruppen mit unterschiedlichen Fragen versöhnen muss – eine nationale Inspektorin, die nach Konformität mit einer Standard-Indikatorenmenge fragt, und lokale Bewohnerinnen und Bewohner, die nach einer spezifischen, sichtbaren lokalen Bedingung fragen, etwa einer bestimmten Straße oder einem Dienst. Logikmodelle im Maßstab der Kommunalverwaltung lassen sich meist am leichtesten für einen einzelnen Dienst bauen (eine Recyclingabholungsänderung, eine Bibliotheksneugestaltung) und am schwersten glaubwürdig für sektorübergreifende Ergebnisse wie gesellschaftlichen Zusammenhalt, wo auch viele Akteure außerhalb der Kontrolle des Rates beitragen.

Nationale Regierung

Nationale Wirkungsrahmen operieren in einem Maßstab, in dem die Unterscheidung zwischen Bevölkerungsebene- und Leistungs-Rechenschaftspflicht aus der ergebnisbasierten Rechenschaftslegung essenziell statt optional wird: Ein nationaler Gesundheits- oder Bildungsindikator wird von Hunderten Programmen beeinflusst, von denen nur wenige irgendein Ministerium direkt finanziert, sodass ein einzelnes Ministerium, das alleinigen Verdienst oder alleinige Schuld für einen nationalen Trend beansprucht, selten vertretbar ist. Nationale Regierungen sind auch die häufigste Quelle großer, zentral vorgeschriebener Wirkungsrahmen, die weiter unten in der Kette liegende Lieferstellen übernehmen müssen, was das wiederkehrende Risiko schafft, dass der Rahmen für Aggregation und Vergleich über Ministerien hinweg gestaltet ist, statt um tatsächlich die Lieferung eines einzelnen Programms zu steuern.

Sozialer Sektor und gemeinnützige Organisationen

Gemeinnützige Organisationen und Nichtregierungsorganisationen bauen häufiger ihre eigenen Logikmodelle und Theories of Change von Grundprinzipien aus, als einen von einer autorisierenden Stelle herabgereichten Rahmen zu übernehmen, weil ihre Fördergeber häufig diejenigen sind, die den kausalen Fall einfordern, statt eine Standardvorlage zu liefern. Dies gibt Organisationen des sozialen Sektors mehr Freiheit, einen Wirkungsrahmen zu gestalten, der zu ihrer tatsächlichen Programmlogik passt, aber auch mehr Aussetzung gegenüber fördergebergetriebener Messmüdigkeit, wo jeder Zuschuss seine eigenen Berichtsanforderungen trägt und eine Organisation am Ende mehrere parallele Wirkungsrahmen für dieselbe zugrunde liegende Arbeit pflegt. Die Bevölkerung-versus-Leistung-Trennung der ergebnisbasierten Rechenschaftslegung ist hier besonders nützlich, da sie einer gemeinnützigen Organisation die Sprache gibt, einem Fördergeber klar zu sagen, dass sie für ihre eigenen Leistungskennzahlen zur Rechenschaft gezogen werden kann, aber nicht allein für einen Bevölkerungsindikator, den viele andere Akteure ebenfalls beeinflussen.

Multilaterale und internationale Organisationen

Multilaterale Organisationen betreiben ergebnisbasiertes Management in einem Maßstab, in dem die Annahmen des Logikmodells über Dutzende nationaler Kontexte gleichzeitig reisen, sodass eine Interventionslogik, die in einem Land hält, in einem anderen still scheitern kann, ohne dass der globale Leitindikator offenbart, welcher Kontext das Problem ist. Ergebnisrahmen sind in diesem Umfeld oft gebaut, um mehrere Geberregierungen gleichzeitig zu befriedigen, jede mit ihren eigenen Berichtspräferenzen, was zu standardisierten Indikatorenmengen (der Art, die durch internationale Leitlinien für ergebnisbasiertes Management gefördert werden) auf Kosten lokaler Spezifität drängt. Die Lücke zwischen einem Ausstoß, den ein ausführender Partner schnell berichten kann – durchgeführte Schulungen, belieferte Kliniken –, und einem Ergebnis, das erst Jahre später in einer nationalen Erhebung auftaucht, ist hier am weitesten, was die Disziplin, die angenommene kausale Kette explizit zu benennen, statt sie anzunehmen, besonders wichtig macht.

Häufige Fehlermuster

Ausstoß als Ergebnis getarnt. Eine Organisation berichtet Aktivitätszählungen unter Nutzung von Ergebnissprache – „verbesserte Gemeinschaftssicherheit", wenn die tatsächliche Kennzahl durchgeführte Patrouillen ist –, entweder aus echter Vermengung oder weil Ergebnisdaten schwerer und langsamer zu sammeln sind. Die Kosten zeigen sich, wenn eine externe Prüferin direkt nach der Ergebnisevidenz fragt und nur Ausstoß hinter der Behauptung findet, was die Glaubwürdigkeit der Organisation stärker beschädigt, als ein bescheidenes, ehrlich berichtetes Ergebnis es getan hätte.

Indikatorenvermehrung. Ein Scorecard oder Logikmodell häuft Kennzahlen schneller an, als es sie ausmustert, getrieben davon, dass jede neue Interessengruppen-Anfrage eine weitere Zeile hinzufügt, statt eine bestehende zu ersetzen. Das schließliche Ergebnis ist ein Rahmenwerk, zu groß, als dass irgendeine Führungskraft es tatsächlich in einer Entscheidung nutzen könnte, was die Organisation still zu informellem Urteil zurückkehren lässt, während der offizielle Rahmen zu einem Berichtsartefakt wird, das niemand konsultiert.

Zielvereinnahmung. Eine Leistungskennzahl, einmal an Finanzierung oder Belohnung geknüpft, wird zu dem, worauf Personal direkt optimiert, statt zu dem Ergebnis, für das sie als Näherungswert dienen sollte – das Muster, das Goodharts Gesetz beschreibt, wonach eine als Ziel genutzte Kennzahl aufhört, eine zuverlässige Kennzahl zu sein. Das Zuhause dieser Dynamik im öffentlichen Sektor speziell, einschließlich wie Qualitätsregime versuchen, sie zu erkennen und zu begrenzen, liegt andernorts (siehe Thema 3.11 — Qualität, Sicherheit, und Leistungsmanagement); hier zählt sie als Grund, Aufwands-, Qualitäts- und Wirkungskennzahlen getrennt zu halten und Ziele zu überprüfen, bevor sie Verhalten verzerren.

Zuschreibungsübergriff. Die Berichterstattung eines Programms impliziert alleinige kausale Verantwortung für ein Ergebnis auf Bevölkerungsebene, das auch viele andere Akteure beeinflussen, entweder durch nachlässige Sprache oder echten Glauben. Wenn sich das Ergebnis nicht bewegt – oft aus Gründen außerhalb der Kontrolle des Programms –, absorbiert die Organisation Schuld unverhältnismäßig zu ihrem tatsächlichen Beitrag, was dann ehrliche Berichterstattung von Defiziten in zukünftigen Zyklen entmutigt.

Rahmenwerk ohne Rückkopplung. Eine Organisation baut ein echt gut gestaltetes Logikmodell und einen Wirkungsrahmen, revisitiert ihn dann nie gegen tatsächliche Ergebnisse, sodass er zu einem fixierten Dokument statt einem lebendigen Managementwerkzeug erstarrt. Die Strategie darunter läuft Jahre nach dem Punkt, an dem Evidenz eine Überarbeitung gerechtfertigt hätte, weiter auf den ursprünglichen Annahmen, auf Kosten genau der Anpassungsfähigkeit, die das Rahmenwerk ermöglichen sollte.

Reifegradmodell

Liste zur Überprüfung

• Zeichnen Sie ein Logikmodell (Inputs, Aktivitäten, Ausstoß, Ergebnisse, Wirkung) für jedes wichtige Programm, bevor Sie seine Indikatoren finalisieren.
• Schreiben Sie die kausalen Annahmen der Theory of Change spezifisch genug, dass Evidenz ihnen widersprechen könnte.
• Trennen Sie Aufwands-, Qualitäts- und Wirkungskennzahlen in jedem Leistungsbericht, auch außerhalb einer formalen ergebnisbasierten Rechenschaftslegungsimplementierung.
• Bauen oder aktualisieren Sie das Scorecard für öffentlichen Wert, sodass alle drei Säulen – Legitimität, Wert, Kapazität – zusammen berichtet werden, nicht getrennt.
• Wählen Sie eine kleine, stabile Menge von Leit-Bevölkerungsindikatoren und verpflichten Sie sich, sie über mehrere Berichtszyklen zu halten.
• Prüfen Sie aktuelle Berichte auf Sprache, die einen Ausstoß mit Ergebnisworten beschreibt, und korrigieren Sie sie.
• Veröffentlichen Sie den Wirkungsrahmen vor der nächsten Haushalts- oder Förderrunde, nicht als deren Nachwirkung.
• Benennen Sie explizit, was die Organisation für jede berichtete Bevölkerungsebene-Behauptung nicht allein kontrolliert.
• Legen Sie einen festen Zyklus fest, um Logikmodelle gegen tatsächliche Evidenz zu revisitieren, nicht nur bei einer planmäßigen formalen Evaluation.
• Identifizieren Sie mindestens eine externe Interessengruppe, um die Annahmen des Logikmodells zu überprüfen, bevor es finalisiert wird.
• Prüfen Sie die aktuelle Indikatorenmenge auf Gelegenheiten, Kennzahlen auszumustern, die niemand in einer echten Entscheidung nutzt.
• Vereinbaren Sie im Voraus, was die Organisation anders tun wird, wenn sich ein Leitergebnis für zwei Berichtszyklen nicht bewegt.

Hauptquellen

• Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) und Recognizing Public Value (2013) — die Ursprungstexte für das Scorecard für öffentlichen Wert, das die Balanced-Scorecard-Tradition an die drei Säulen des strategischen Dreiecks anpasst.
• Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities — der Ursprungstext für ergebnisbasierte Rechenschaftslegung, einschließlich der Bevölkerung-versus-Leistung-Unterscheidung und „Kurve wenden"-Analyse.
• Robert Kaplans und David Nortons Balanced-Scorecard-Literatur — die privatwirtschaftliche Quelle, die Moore für den Kontext des öffentlichen Wertes anpasste.
• OECD-Leitlinien zu ergebnisbasiertem Management und Evaluationsterminologie, genutzt in Entwicklungs- und Verwaltungspraxis, um Ergebnis- und Wirkungssprache zu standardisieren.
• Leitlinien der Unabhängigen Evaluationsgruppe der Weltbank zu Ergebnisrahmen und Theories of Change für Entwicklungsoperationen.
• Der öffentliche Bericht der Vermont Agency of Human Services über die Anwendung ergebnisbasierter Rechenschaftslegung auf Bundesstaats- und Gemeindeebene — ein Beispiel des Rahmenwerks in lebendiger Regierungsnutzung.

Referenzen

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf