Qualität, Sicherheit, und Leistungsmanagement

Warum das für den öffentlichen Wert zählt

Jede öffentliche und Sozialsektor-Organisation jeder Größe läuft heute auf Zahlen: Wartezeiten, geschlossene Fallzahlen, Reaktionsminuten, Bestehensraten, Zufriedenheitswerte, Inspektionsbewertungen. Aus diesen Zahlen gebaute Ziele sind keine Auferlegung von außen auf öffentliches Management; sie sind, wie Legitimität und Unterstützung Fördergeberinnen, Legislativen, Vorständen, und Bürgerinnen und Bürgern demonstriert werden, die sonst nicht in den täglichen Betrieb hineinsehen können (siehe Thema 1.2 — Das strategische Dreieck: Legitimität, Wert und Kapazität). Eine Führungskraft, die nicht auf eine sich in die richtige Richtung bewegende Zahl zeigen kann, tut sich schwer, ein Budget, ein Mandat, oder eine Reform zu verteidigen.

Die Schwierigkeit ist, dass eine Zahl, gebaut, um Qualität zu repräsentieren, nicht dasselbe wie Qualität selbst ist, und die beiden sich still trennen, sobald die Zahl anfängt, mehr zu zählen als die Realität dahinter. Eine Polizeibehörde kann erfasste Kriminalität senken, indem sie ändert, wie Beamtinnen Vorfälle klassifizieren, statt Schaden zu reduzieren. Ein Krankenhaus kann ein Wartezeitziel treffen, indem es umklassifiziert, für welche Patientinnen die Uhr gilt, statt Menschen schneller zu behandeln. Keine der Änderungen zeigt sich in der veröffentlichten Zahl, was genau das Problem ist, das dieses Thema adressiert.

Dieses Thema ist die Heimatbehandlung dieses Problems im öffentlichen Sektor: Leistungsindikatoren und die perversen Anreize, die sie erzeugen, Qualitätssicherungsregime, gebaut, um Standards konsistent zu halten, unabhängig davon, was ein einzelnes Ziel sagt, und unabhängige Inspektions- und Bewertungsstellen, die die Realität hinter den Zahlen von außerhalb der Befehlskette prüfen, die sie produzierte. Thema 2.1 behandelt, woher Indikatoren überhaupt kommen sollten – Wirkungsrahmen und Logikmodelle, die ein Maß zurück zu einer echten kausalen Behauptung über Wert verbinden (siehe Thema 2.1 — Das Scorecard für öffentlichen Wert und Wirkungsrahmen). Dieses Thema behandelt, was geschieht, sobald diese Indikatoren in lebendige Ziele verwandelt werden, gegen die Personal gemanagt wird, und wie eine Organisation ihr eigenes Messsystem ehrlich hält.

Die Einsätze steigen damit, wie öffentlich eine Zahl genutzt wird. Eine private interne Kennzahl, die von der Realität abdriftet, verschwendet die Zeit einer Managerin. Ein öffentliches Leistungsziel, eine Schlagzeilen-Inspektionsbewertung, oder eine Sicherheitsstatistik, die von der Realität abdriftet, kann Leben kosten, Ressourcen jahrelang fehlallozieren, und – wenn die Lücke zwischen der berichteten Zahl und der gelebten Erfahrung schließlich sichtbar wird – genau die Legitimität zerstören, die die Zahl veröffentlicht wurde aufzubauen (siehe Thema 3.4 — Rechenschaftspflicht, Transparenz, und Legitimität).

Kernkonzepte

Ein Leistungsindikator ist eine messbare Variable, gewählt, um für einen Aspekt der Leistung einer Organisation einzustehen, der nicht selbst direkt und kontinuierlich beobachtet werden kann (siehe performance indicator). Indikatoren sind konstruktionsbedingt Proxys: niemand kann „Pflegequalität" oder „Gemeinschaftssicherheit" direkt messen, sodass eine Organisation etwas Engeres und Zählbareres misst – eine Wartezeit, eine erfasste Kriminalitätsrate – und Bewegung darin als Evidenz für Bewegung im breiteren Ding behandelt, für das es steht. Diese Lücke zwischen Proxy und Realität schließt sich nie; dieses Thema handelt davon, sie zu managen, statt zu vergessen, dass sie existiert.

Goodharts Gesetz besagt, in seiner häufigsten Formulierung für den öffentlichen Sektor, dass ein Maß aufhört, ein gutes Maß zu sein, sobald es zu einem Ziel wird. Das Gesetz ist nach dem britischen Ökonomen Charles Goodhart benannt, der die zugrunde liegende Einsicht 1975 im Kontext der Geldpolitik formulierte: sobald eine Zentralbank beginnt, ein bestimmtes Maß der Geldmenge anzuvisieren, beginnen die statistischen Beziehungen, die dieses Maß nützlich machten, zusammenzubrechen, weil Menschen ihr Verhalten als Reaktion auf das Ziel selbst ändern. Die Anthropologin Marilyn Strathern formulierte die Idee 1997 in einer weithin zitierten Studie zur britischen Universitätsprüfkultur für ein Publikum des öffentlichen Sektors neu und gab ihr die kompakte, nun am häufigsten zitierte Formulierung: „wenn ein Maß zu einem Ziel wird, hört es auf, ein gutes Maß zu sein." Thema 3.1 führte diese Dynamik kurz im Kontext der Abhängigkeit von New Public Management von expliziten Zielen ein; dieses Thema ist ihre vollständige Heimatbehandlung (siehe Thema 3.1 — Systeme und Modelle der öffentlichen Verwaltung). Goodharts Gesetz ist kein Argument gegen Messung – es ist ein Argument, dass Messung und Belohnung nicht sorglos verschmolzen werden können, ohne zu ändern, was gemessen wird.

Perverse Anreize sind der Mechanismus, durch den Goodharts Gesetz seinen Schaden anrichtet: eine Anreizstruktur, die Ergebnisse gegen die Absicht ihrer Gestalterinnen produziert, weil die auf sie reagierenden Menschen für den Buchstaben der Belohnung optimieren statt für den Zweck dahinter (siehe perverse incentive). Ein an Finanzierung, Ruf, oder Karriere gebundenes Ziel schafft einen perversen Anreiz, wann immer ein Weg existiert, die berichtete Zahl zu verbessern, ohne das zugrunde liegende Ergebnis zu verbessern – und in einem durch Tausende individuelle Ermessensentscheidungen erbrachten Dienst existiert ein solcher Weg fast immer, sobald Menschen anfangen, danach zu suchen.

Eine Typologie dysfunktionaler Reaktionen auf Ziele. Der Ökonom Peter Smith katalogisierte in einer einflussreichen Studie von 1995 zu Leistungsdaten des öffentlichen Sektors die Arten, wie veröffentlichte Ziele Verhalten verzerren, von denen mehrere das Standardvokabular zur Diagnose eines kämpfenden Indikatorensystems bleiben. Tunnelblick ist, Anstrengung auf das Gemessene zu konzentrieren, auf Kosten des Ungemessenen, selbst wenn die ungemessenen Aspekte ebenso viel oder mehr zählen. Kennzahlenfixierung ist, Erfolg beim Indikator als Erfolg beim zugrunde liegenden Ziel zu behandeln, sodass der Proxy still das ersetzt, was er in der Aufmerksamkeit aller repräsentieren sollte – das Muster hinter Teaching to the Test in Bildungssystemen, wo sich Unterricht auf das verengt, was eine standardisierte Bewertung abdeckt, statt auf das breitere Lernen, das die Bewertung signalisieren sollte. Fehldarstellung ist die absichtliche Manipulation berichteter Daten – einen Fall umklassifizieren, eine Uhr anpassen, einen günstigeren Nenner wählen –, sodass sich die Zahlen verbessern, ohne dass sich die Realität überhaupt ändert. Erstarrung ist der langsame Zerfall eines Ziels in Irrelevanz, während es unüberarbeitet bleibt, lange nachdem sich das Betriebsumfeld, für das es gestaltet wurde, geändert hat. Eine eng verwandte Studie von 2006 zu Zielen im englischen öffentlichen Gesundheitssystem von Gwyn Bevan und Christopher Hood zeigte, wie weit diese Dynamiken laufen können, wenn ein Ziel mit schweren Konsequenzen für sein Verfehlen gepaart wird, und prägte den Ausdruck „Ziele und Terror" für ein Regime, das genau das Ausspielverhalten produziert, das es eliminieren sollte.

Qualitätssicherung ist die systematische, organisationsbesessene Disziplin, sicherzustellen, dass ein Produkt oder Dienst konsistent einen definierten Standard erfüllt, durch in den Prozess eingebaute Fehlervermeidung statt allein durch Inspektion des fertigen Ausstoßes (siehe quality assurance). Wo ein Leistungsziel ein Ergebnis nachträglich misst, ist Qualitätssicherung gestaltet, um ein schlechtes Ergebnis überhaupt weniger wahrscheinlich zu machen, typischerweise durch standardisierte Verfahren, Checklisten, Peer-Review, und Ursachenanalyse von Versagen. Total Quality Management ist die breitere, auf dieser Disziplin aufgebaute Managementphilosophie, die kontinuierliche Qualitätsverbesserung als Verantwortung von jedem behandelt, statt als an das Ende eines Prozesses angeschraubte Spezialistenfunktion (siehe total quality management), und die von der Internationalen Organisation für Normung (ISO) veröffentlichte, erstmals 1987 herausgegebene ISO-9000-Familie internationaler Standards gibt Organisationen einen zertifizierbaren Rahmen, um zu demonstrieren, dass ein solches Managementsystem existiert. Eine Stelle kann nach einem Qualitätsmanagementstandard zertifiziert sein und jede interne Qualitätssicherungsprüfung bestehen, während sie dennoch ihre extern berichteten Leistungsziele ausspielt; die beiden Systeme beantworten unterschiedliche Fragen, und keines ersetzt das andere.

Sicherheitsindikatoren und Sicherheitskultur verdienen getrennte Behandlung von gewöhnlichen Leistungsindikatoren, weil der Schaden aus einem perversen Anreiz oft irreversibel ist. Im Gesundheitswesen hat die Praxis der Patientensicherheit gelernt, oft zu hohen Kosten, dass die Bestrafung von Personal für das Melden eines Fehlers genau die Information unterdrückt, die ein Sicherheitssystem braucht, um den nächsten zu verhindern – eine Einsicht, die sich von klinischen Umgebungen in die Luftfahrt, den Verkehr, und andere folgenreiche öffentliche Dienste verbreitet hat. Ein „No-Blame"- oder „Just-Culture"-Meldeumfeld behandelt einen ehrlich gemeldeten Beinaheunfall als wertvollen Datenpunkt statt als Schuldeingeständnis, was das Gegenteil davon ist, wie die meisten gewöhnlichen Leistungsziele gestaltet sind zu funktionieren: ein Leistungsregime belohnt die gute Zahl, während ein Sicherheitsregime die ehrliche Zahl belohnen muss, selbst wenn sie schlecht ist.

Unabhängige Inspektions- und Bewertungsstellen liefern eine Kontrolle über all das Obige, die von außerhalb der bewerteten Befehlskette kommt. Eine Aufsichtsbehörde – wie Englands Ofsted, die Bildungs- und Kinderdienstanbieter inspiziert, oder die Care Quality Commission, die Gesundheits- und Sozialpflegeanbieter inspiziert und bewertet – sendet Prüferinnen, die Praxis direkt beobachten, professionelles Urteil ausüben, und eine Bewertung veröffentlichen, die die inspizierte Stelle nicht kontrolliert. Dies unterscheidet sich strukturell von internem Leistungsmanagement: eine selbst berichtete Wartezeitzahl kann von den Menschen ausgespielt werden, deren Anreiz es ist, sie auszuspielen, aber eine Inspektorin, die durch die Stationen geht oder das Klassenzimmer beobachtet, sieht sich die Realität an, die die Zahl repräsentieren sollte. Inspektion ist eine Form horizontaler Rechenschaftspflicht – Prüfung durch eine Stelle unabhängigen Stands statt durch eine Wählerschaft oder einen Markt (siehe Thema 3.4 — Rechenschaftspflicht, Transparenz, und Legitimität) –, und sie verdient diese Rolle nur in dem Maße, in dem ihre Unabhängigkeit, bei Finanzierung, Ernennung, und Veröffentlichung, genuin geschützt ist.

Bewährte Praktiken

1. Leiten Sie Indikatoren aus dem Logikmodell ab, nicht aus dem, was bereits leicht zu zählen ist. Ein Maß zu wählen, weil die Daten bereits existieren, statt weil es ein echtes Glied in der kausalen Kette verfolgt, ist, wie Kennzahlenfixierung und Tunnelblick beginnen (siehe Thema 2.1 — Das Scorecard für öffentlichen Wert und Wirkungsrahmen).
2. Paaren Sie jedes Ausstoß- oder Aktivitätsziel mit mindestens einem ausgleichenden Maß, das die wahrscheinlichste Ausspielstrategie offenbaren würde. Wenn ein Wartezeitziel durch Umklassifizierung von Fällen ausgespielt werden kann, verfolgen Sie die Umklassifizierungsrate neben der Schlagzeilenzahl, nicht als Nachgedanke, erst nachdem ein Skandal die Frage erzwingt.
3. Behandeln Sie ein mehrere aufeinanderfolgende Perioden getroffenes Ziel als Aufforderung zur Untersuchung, nicht bloß zum Feiern. Eine Zahl, die aufhört, zwischen guter und schlechter Leistung zu unterscheiden, hat das Problem entweder genuin gelöst oder wurde in Irrelevanz ausgespielt, und die beiden sehen vom Dashboard allein identisch aus.
4. Trennen Sie, wer ein Ziel setzt, von wer daran gemessen wird, von wer das Ergebnis unabhängig prüft. Diese drei Rollen in einem Teil der Organisation zu vereinen, entfernt die strukturelle Spannung, die ein Messsystem ehrlich hält.
5. Überarbeiten oder pensionieren Sie ein Ziel auf festem Zyklus, nicht nur nach sichtbarem Versagen. Erstarrung ist das Standardschicksal eines Ziels; eine geplante Überprüfung, die fragt, ob das Ziel noch irgendetwas Bedeutsames verfolgt, fängt den Zerfall, bevor eine Krise es tut.
6. Bauen Sie einen No-Blame-Meldekanal für sicherheitsrelevante Beinaheunfälle und Fehler, strukturell von Leistungsbelohnungsentscheidungen getrennt gehalten. Ein Sicherheitssystem, das ehrliches Melden bestraft, wird immer noch dieselbe Rate zugrunde liegender Fehler haben – es wird nur aufhören, davon zu erfahren, bis der Schaden größer und schwerer zu verbergen ist.
7. Geben Sie unabhängigen Inspektorinnen und Bewertungsstellen echten Zugang, geschützte Finanzierung, und Veröffentlichungsrechte, die die inspizierte Stelle nicht mit Veto belegen kann. Eine Aufsichtsbehörde, die für ihr Budget oder ihren Zugang vom Wohlwollen der von ihr bewerteten Organisation abhängt, führt Prüfung durch, statt sie zu liefern.
8. Nutzen Sie professionelles Urteil, um einen quantitativen Score zu interpretieren, statt den Score allein stehen zu lassen. Ein einzelner zusammengesetzter Bewertungswert komprimiert eine reiche, ungleichmäßige Realität in eine Zahl; veröffentlichen Sie die qualitative Erzählung hinter einer Inspektionsbewertung neben der Bewertung selbst, sodass eine Leserin sehen kann, was die Zahl zusammenfasst.
9. Gestalten Sie Ziele mit dem Frontlinienpersonal, das daran gemessen wird, nicht nur für sie. Menschen, die der Arbeit am nächsten sind, kennen üblicherweise die leichteste Ausspielstrategie, bevor es irgendeine Analystin tut; sie in die Gestaltung einzubeziehen, bringt dieses Risiko früh zutage statt erst, nachdem das Ziel bereits lebt.
10. Zertifizieren Sie einen systematischen Qualitätsmanagementprozess, wie einen auf der ISO-9000-Familie von Standards aufgebauten, als Boden statt als Ersatz für Ergebnismessung. Zertifizierung demonstriert, dass ein konsistenter Prozess existiert; sie demonstriert nicht selbst, dass der Prozess ein gutes Ergebnis produziert, und das Zertifikat als ausreichenden Qualitätsbeweis zu behandeln, ist selbst eine Form der Kennzahlenfixierung.
11. Veröffentlichen Sie die bekannten Grenzen eines Ziels neben dem Ziel selbst. Im selben Bericht wie die Zahl zu benennen, was das Maß nicht erfasst und wie es plausibel ausgespielt werden könnte, nimmt genau die Entdeckung vorweg, die sonst später Legitimität beschädigt (siehe Thema 3.4 — Rechenschaftspflicht, Transparenz, und Legitimität).

Fragen zur Diskussion mit Ihrem Team

Welche unserer aktuellen veröffentlichten Ziele könnten erreicht werden, ohne dass sich das zugrunde liegende Ergebnis überhaupt verbessert? Dies ist die direkteste Anwendung von Goodharts Gesetz, die jedem Team verfügbar ist, und fast jede Organisation, die numerische Ziele seit mehr als ein paar Jahren betreibt, trägt mindestens ein laufendes Beispiel. Gehen Sie Ihre Schlagzeilenindikatoren eins nach dem anderen durch und fragen Sie konkret, welches Verhalten jeder belohnt, statt was er messen sollte. Diskutieren Sie, ob Frontlinienpersonal bereits einen leichteren Weg kennt, die Zahl zu bewegen, als den beabsichtigten, da sie es üblicherweise lange bevor es leitende Führungskräfte erreicht, tun. Behandeln Sie ein selbstbewusstes, ungeprüftes „das würde hier niemand tun" selbst als untersuchenswert statt als Beruhigung.

Wo haben wir einen leicht zu zählenden Ausstoß still für ein echtes Qualitäts- oder Sicherheitsurteil einstehen lassen? Ausstöße sind fast immer billiger und schneller zu erheben als Ergebnisse, was eine dauerhafte Versuchung schafft, Ersteres in der Sprache Letzteren zu berichten. Identifizieren Sie einen Vorzeigeindikator, den Ihre Organisation derzeit berichtet, und fragen Sie als Gruppe, ob er tatsächlich die Qualität dessen misst, was geschah, oder nur das Volumen der stattgefundenen Aktivität. Diskutieren Sie, was ein echtes Qualitätsmaß für dieselbe Aktivität zu erheben erfordern würde, und was die Organisation bisher davon abgehalten hat, es zu erheben. Diese Frage offenbart oft, dass die Barriere Ressourcierung ist, nicht Definitionsschwierigkeit.

Wenn ein Personalmitglied heute seinen eigenen Beinaheunfall oder Fehler ehrlich meldete, was würde tatsächlich mit ihm geschehen? Die Existenz einer No-Blame-Politik ist kein Beweis, dass Menschen glauben, sie gelte persönlich für sie. Diskutieren Sie einen kürzlichen Fall, real oder hypothetisch, in dem eine ehrliche Offenlegung eines Fehlers die Politik getestet hätte, und seien Sie spezifisch dazu, was die Konsequenzen waren oder wahrscheinlich gewesen wären. Erwägen Sie, ob Ihre sicherheitsrelevante Berichterstattung im selben System sitzt wie Ihre Leistungsbelohnungsentscheidungen, da das Vermischen der beiden der häufigste Weg ist, wie eine nominell No-Blame-Kultur Ehrlichkeit dennoch still bestraft. Diese Frage ist absichtlich unbequem; ein Team, das sie nicht offen diskutieren kann, hat sie bereits beantwortet.

Hat unsere Inspektions- oder Bewertungsstelle echte Unabhängigkeit von der von ihr bewerteten Organisation, oder nur formale Unabhängigkeit? Unabhängigkeit dem Namen nach ist üblich; Unabhängigkeit bei Finanzierung, Zugang, und dem Recht, einen unwillkommenen Befund zu veröffentlichen, ist seltener und leichter allmählich zu erodieren. Listen Sie die Inspektions- oder Bewertungsbeziehungen auf, denen Ihre Organisation unterliegt, und bewerten Sie jede ehrlich danach, ob sie einen entschlossenen Versuch der inspizierten Stelle, das Ergebnis zu formen, überleben würde. Diskutieren Sie, was das letzte Mal geschah, als eine Inspektion ein genuin unwillkommenes Ergebnis produzierte, und ob die Reaktion war, das zugrunde liegende Problem zu beheben, oder die Beziehung zur Inspektorin zu managen.

Welche von Smiths dysfunktionalen Reaktionen auf Ziele – Tunnelblick, Kennzahlenfixierung, Fehldarstellung, Erstarrung – ist derzeit am sichtbarsten in unserer eigenen Berichterstattung? Das spezifische Versagensmuster zu benennen, statt Ausspielen abstrakt zu diskutieren, macht das Gespräch konkret genug, um zu handeln. Gehen Sie die vier Muster durch und fragen Sie, welches das Team in seiner eigenen kürzlichen Erfahrung erkennt, statt anzunehmen, die Organisation sei ausgenommen, weil noch kein Skandal eingetreten ist. Diskutieren Sie, wie ein Korrekturschritt für dieses spezifische Muster im nächsten Berichtszyklus aussehen würde, nicht als generelle Verpflichtung, „bei Messung besser zu werden."

Wenn wir unser aktuelles Schlagzeilenziel für ein Jahr aufhörten öffentlich zu berichten, was würden wir tatsächlich verlieren, und was könnten wir gewinnen? Diese Frage testet, ob ein Ziel genuin Entscheidungen steuert oder zu einem Selbstzweck geworden ist, den niemand verteidigen würde, wenn er gebeten würde, es von Grundprinzipien aus zu rechtfertigen. Diskutieren Sie ehrlich, welche Entscheidung, falls überhaupt, sich im letzten Jahr wegen dieser spezifischen Zahl geändert hat, getrennt von Entscheidungen, die ohnehin getroffen worden wären. Erwägen Sie, welche Personalzeit und Verhaltensverzerrung das Ziel derzeit kostet, und ob ein anderes, schwerer auszuspielendes Maß demselben Rechenschaftszweck besser dienen würde. Dies ist kein Argument, Messung aufzugeben – es ist eine Disziplin, nur die Messung zu behalten, die ihren Platz verdient.

In der Praxis: ein Beispiel für öffentlichen Wert

Der Rettungsdienst einer mittelgroßen Ballungsregion – fiktiv, illustrativ für ein Muster statt ein Bericht über eine reale Stelle – hatte jahrelang unter einem veröffentlichten Ziel operiert, das eine Notfallreaktion innerhalb von acht Minuten für die lebensbedrohlichsten Anrufe verlangte. Das Ziel war mit guter Absicht gesetzt worden, gestützt von klinischer Evidenz, dass Reaktionsgeschwindigkeit für eine definierte Kategorie von Notfällen genuin das Überleben beeinflusst, und der Vorstand des Dienstes behandelte den veröffentlichten Prozentsatz der das Ziel erfüllenden Anrufe als seinen einzigen wichtigsten Indikator organisatorischen Erfolgs.

Über drei Jahre verbesserte sich die berichtete Zahl stetig, von knapp über der Hälfte der qualifizierenden Anrufe auf fast neun von zehn, und die leitende Führung präsentierte den Trend bei jeder Vorstandssitzung als klare Evidenz, dass operative Reformen funktionierten. Was die Schlagzeilenzahl nicht zeigte, war, wie die Verbesserung tatsächlich erreicht wurde. Anrufannehmende, sich bewusst, dass ihre eigene Leistung teilweise danach bewertet wurde, wie viele Anrufe sie in die zielbehaftete Kategorie klassifizierten, hatten begonnen – allmählich, ohne eine einzelne Entscheidung dazu –, einen wachsenden Anteil genuin ernster Anrufe in eine niedrigere Prioritätskategorie herabzustufen, auf die die Acht-Minuten-Uhr nicht angewandt wurde, einfach weil ein kleinerer, enger definierter Pool von Anrufen leichter war, das Ziel gegen zu treffen. Getrennt davon hatten Einsatzkräfte gelernt, dass die Uhr in dem Moment stoppte, in dem ein Fahrzeug am Einsatzort ankam, nicht wenn eine Patientin tatsächlich erreicht wurde, was einen kleinen, aber echten Anreiz schuf, an der Grenze zu parken, statt die Patientin am schnellsten zu erreichen.

Keine der Praktiken war betrügerisch im Sinne einer Fälschung eines Datensatzes; jede war eine lokal rationale Reaktion auf ein Ziel, dessen Definition genau für diese Drift Raum schuf – ein Lehrbuchbeispiel von Kennzahlenfixierung und Fehldarstellung, die zusammen wirken. Das Problem tauchte nicht durch die eigene Berichterstattung des Dienstes auf, die weiter Verbesserung zeigte, sondern durch die routinemäßige Inspektion einer unabhängigen regionalen Gesundheitsaufsichtsbehörde, die Aktenüberprüfung mit direkter Beobachtung der Anrufbearbeitung kombinierte und herabgestufte Klassifikationen fand, die mit den in denselben Anrufen erfassten klinischen Details inkonsistent waren. Die Bewertung der Aufsichtsbehörde fiel scharf, von einer Beschreibung äquivalent zu „gut" auf „braucht Verbesserung", trotz dass die eigene veröffentlichte Reaktionszeitzahl des Dienstes besser war, als sie je gewesen war.

Die anfängliche Reaktion des Dienstes – auf seine eigenen sich verbessernden Zahlen zu verweisen – verschlimmerte das Glaubwürdigkeitsproblem, weil sie eine Frage beantwortete, die die Aufsichtsbehörde nicht gestellt hatte; die Inspektion hatte nie die Arithmetik bestritten, nur, was die Arithmetik maß. Ihre wirksamere Reaktion war, die Indikatorensuite aus dem zugrunde liegenden Logikmodell neuzugestalten, statt das bestehende Ziel zu flicken: Reaktionszeit wurde auf den Moment des Patientenkontakts neu definiert statt der Fahrzeugankunft, Anrufklassifikation wurde unabhängig auf rollierender Stichprobe geprüft statt der Aufzeichnung der Anrufannehmenden vertraut, und ein paralleles klinisches Ergebnismaß – Überleben bis zur Krankenhauseinweisung – wurde eingeführt, weil es weit schwerer durch Umklassifizierung allein auszuspielen war. Der berichtete Reaktionszeit-Prozentsatz fiel im ersten Jahr unter der neuen Definition, worauf der Vorstand seine Fördergeberinnen vorbereitet hatte; das klinische Ergebnismaß, zum ersten Mal auf vergleichbarer Basis verfolgt, zeigte eine kleinere, aber echte Verbesserung, die das ursprüngliche Ziel nie tatsächlich in die eine oder andere Richtung demonstriert hatte.

Vier Sektorperspektiven

Kommunalverwaltung

Lokale Dienste wie Feuerwehr und Rettung, Erwachsenensozialpflege, und Abfallsammlung werden üblicherweise gegen eine Mischung national vorgeschriebener Indikatoren, die die Kommunalverwaltung nicht wählte, und lokal gewählter Maße, die die eigenen Prioritäten eines spezifischen Rates widerspiegeln, gemessen, sodass ein einzelner Dienst gegen einen Indikatorensatz als Erfolg und gegen einen anderen als Sorge beurteilt werden kann. Inspektion auf lokaler Ebene wird oft von einer nationalen oder regionalen Stelle mit gesetzlichem Mandat erbracht, das viele Kommunalverwaltungen gleichzeitig abdeckt, was nützliche vergleichende Perspektive gibt, aber weniger granularen lokalen Kontext als die Organisation, die sie inspiziert. Lokale gewählte Mitglieder und Prüfungsausschüsse fügen eine schnellere, unmittelbarere Rechenschaftsschicht hinzu und sind oft die ersten, die von Einwohnerinnen und Einwohnern hören, wenn eine veröffentlichte Zahl und gelebte Erfahrung divergieren.

Nationale Regierung

Die nationale Regierung betreibt typischerweise die größten und politisch sichtbarsten Leistungsregime, weil ein nationales Ziel – ein Wartezeitstandard, ein Kriminalitätsreduktionsziel, ein Prüfungsbestehensziel – in der öffentlichen Debatte zu einem Proxy für die Kompetenz der aktuellen Regierung wird, was die Einsätze beim Ausspielen weit über die operative Ebene hinaus erhöht. Dies ist das Umfeld, in dem Bevans und Hoods „Ziele und Terror"-Dynamik am vollständigsten verwirklicht wird, weil nationale Ziele häufig mit sichtbaren politischen Konsequenzen für ihr Verfehlen gepaart sind, was den Anreiz schärft, die Zahl zu managen statt die Realität dahinter. Nationale Aufsichtsbehörden tragen, genau weil sie auf Abstand von den Ministerien operieren, deren politisches Schicksal eine Bewertung beeinflussen kann, einen unverhältnismäßigen Anteil der Last, die Lücke zwischen berichteter und tatsächlicher Leistung zutage zu bringen (siehe Thema 3.4 — Rechenschaftspflicht, Transparenz, und Legitimität).

Sozialer Sektor und gemeinnützige Organisationen

Gemeinnützige Organisationen und Nichtregierungsorganisationen stehen Qualitätssicherung und Akkreditierung häufiger als freiwillige oder fördergeberauferlegte Disziplin gegenüber statt als gesetzliches Inspektionsregime, da wenige Rechtsräume eine dedizierte unabhängige Aufsichtsbehörde für den Sektor als Ganzes betreiben. Dies lässt Sozialsektor-Qualitätssicherung fragmentierter – unterschiedliche Fördergeberinnen erlegen derselben Organisation unterschiedliche Anforderungen auf –, aber auch flexibler, da eine gemeinnützige Organisation oft ihre eigene Indikatorensuite um ihre tatsächliche Theory of Change herum gestalten kann, statt um einen von außen auferlegten Maßsatz. Die Abwesenheit einer verpflichtenden externen Inspektorin erhöht die relative Wichtigkeit eines unabhängigen Vorstands und externer Prüfung als eigenen horizontale-Rechenschaftspflicht-Ersatz des Sektors (siehe Thema 3.4 — Rechenschaftspflicht, Transparenz, und Legitimität), da die eigene Führung einer gemeinnützigen Organisation sonst sowohl Messende als auch Gemessene ist.

Multilaterale und internationale Organisationen

Multilaterale Stellen und die vergleichenden Indizes, die sie veröffentlichen oder auf die sie sich verlassen – länderübergreifende Rankings von Governance-Qualität, Leichtigkeit der Geschäftstätigkeit, oder Leistung öffentlicher Dienste – stehen Goodharts Gesetz im Maßstab ganzer nationaler Regierungen gegenüber, wo ein Land sein Ranking durch Reformen verbessern kann, die eng auf die gemessenen Kriterien abzielen, statt auf den breiteren Zustand, den der Index zu repräsentieren beansprucht. Unabhängige Inspektion im innerstaatlichen Sinne, andernorts in diesem Thema genutzt, hat kein echtes Äquivalent über souveräne Grenzen hinweg, da kein Staat eine externe Aufsichtsbehörde mit dem Zwangsstand akzeptiert, den eine nationale Stelle über eine von ihr beaufsichtigte Behörde hat; multilaterale Qualitätssicherung stützt sich stattdessen auf Peer-Review, durch technische Missionen validierte Selbstberichterstattung, und die Reputationskosten einer veröffentlichten Bewertung. Dies macht die Unabhängigkeit und technische Glaubwürdigkeit der Stelle, die irgendeinen länderübergreifenden Indikator zusammenstellt, besonders wichtig, da sie oft die einzige verfügbare Kontrolle ist.

Häufige Fehlermuster

Tunnelblick. Eine Organisation konzentriert Anstrengung und Ressource auf das Gemessene, direkt auf Kosten ungemessener Aspekte desselben Dienstes, die den von ihr bedienten Menschen ebenso wichtig sind. Die Kosten sind ein Dienst, der in jedem veröffentlichten Bericht wie eine Verbesserung aussieht, während eine ungemessene Dimension – Patientenwürde, Fallkomplexität, langfristige Ergebnisse – still verfällt, unbemerkt, bis sie zu einer Krise wird, groß genug, um neue Messung zu erzwingen.

Kennzahlenfixierung. Erfolg beim Indikator kommt dazu, innerhalb der Organisation als gleichbedeutend mit Erfolg beim zugrunde liegenden Ziel behandelt zu werden, sodass der Proxy das Ziel in der tatsächlichen Aufmerksamkeit aller verdrängt, selbst während die formale Missionserklärung noch das Ziel benennt. Die Kosten sind eine wachsende, sich selbst verstärkende Lücke zwischen berichteter Leistung und gelebter Realität, weil niemand innerhalb der Organisation mehr die Realität direkt beobachtet.

Fehldarstellung. Daten werden angepasst – eine Uhr früh gestoppt, ein Fall umklassifiziert, ein Nenner für günstigen Effekt gewählt –, sodass sich die berichtete Zahl verbessert, ohne dass sich die zugrunde liegende Realität überhaupt ändert, wie im obigen durchgearbeiteten Beispiel. Die Kosten, einmal entdeckt, sind unverhältnismäßig zur ursprünglichen Verzerrung, weil Fehldarstellung nicht nur die spezifische Zahl beschädigt, sondern die Glaubwürdigkeit jeder anderen Zahl, die dieselbe Organisation je veröffentlicht hat (siehe Thema 3.4 — Rechenschaftspflicht, Transparenz, und Legitimität).

Erstarrung. Ein für einen spezifischen Betriebskontext gesetztes Ziel bleibt unüberarbeitet, lange nachdem sich dieser Kontext geändert hat, sodass es weiter berichtet und dagegen gemanagt wird, obwohl es nicht mehr zwischen genuin guter und genuin schlechter Leistung unterscheidet. Die Kosten sind jahrelang unsichtbar, weil ein erstarrtes Ziel immer noch eine Zahl produziert; die Zahl hat einfach aufgehört, irgendetwas zu bedeuten, und die echte Managementaufmerksamkeit der Organisation hat sich üblicherweise bereits andernorts hinbewegt, ohne dass jemand das Maß formal pensioniert.

Aufsichtsbehördenvereinnahmung. Eine unabhängige Inspektions- oder Bewertungsstelle wird allmählich vom Wohlwollen, Zugang, oder der fortgesetzten Kooperation der von ihr inspizierten Organisationen abhängig, ob durch Finanzierungsvereinbarungen, Karrierewege, die Personal zwischen Inspektorin und Inspizierter bewegen, oder informelle Beziehungen, über wiederholte Inspektionen aufgebaut. Die Kosten sind ein langsamer Verlust echter Unabhängigkeit, den eine formale Charta oder ein Gesetz allein nicht verhindert, und er zeigt sich typischerweise erst, wenn ein größeres Versagen durch ein Bewertungssystem geht, das es hätte fangen sollen.

Schuldgetriebene Sicherheitsberichterstattung. Ein sicherheitsrelevantes Fehler- oder Beinaheunfall-Meldesystem ist nominell No-Blame, aber in der Praxis eng genug mit Leistungsbeurteilung oder Disziplinarverfahren verbunden, dass Personal lernt, das Melden eines ehrlichen Fehlers berge persönliches Risiko. Die Kosten sind nicht weniger Fehler – es sind weniger Meldungen der weiterhin auftretenden Fehler, was genau das Frühwarnsignal entfernt, das ein Sicherheitssystem liefern soll, bevor der nächste, schwerere Vorfall eintritt.

Reifegradmodell

Liste zur Überprüfung

• Verfolgen Sie jeden Schlagzeilenleistungsindikator zurück zum Logikmodell oder Wirkungsrahmen, den er repräsentieren soll.
• Identifizieren Sie den plausibelsten Weg, wie jedes veröffentlichte Ziel ausgespielt werden könnte, und benennen Sie ein ausgleichendes Maß, das es offenbaren würde.
• Bestätigen Sie, dass wer ein Ziel setzt, wer daran gemessen wird, und wer das Ergebnis unabhängig prüft, nicht alle derselbe Teil der Organisation sind.
• Planen Sie eine Überprüfung jedes laufenden Ziels auf festem Zyklus, unabhängig von jedem sichtbaren Versagen, das sie veranlasst.
• Bestätigen Sie, dass der sicherheitsrelevante Meldekanal strukturell von Leistungsbelohnungs- und Disziplinarentscheidungen getrennt ist.
• Testen Sie, ob Personal glaubt, ein ehrlich gemeldeter Fehler oder Beinaheunfall würde ohne Schuldzuweisung behandelt, nicht nur, ob eine Politik das sagt.
• Bestätigen Sie, dass jede die Organisation bewertende Inspektions- oder Bewertungsstelle geschützte Finanzierung, Zugang, und Veröffentlichungsrechte hat.
• Veröffentlichen Sie die bekannten Grenzen jedes Schlagzeilenziels neben der Zahl selbst.
• Prüfen Sie, ob irgendein Indikator konsistent über mehrere Perioden getroffen wurde, ohne entsprechende Untersuchung, warum.
• Beziehen Sie Frontlinienpersonal in die Gestaltung jedes neuen Ziels ein, bevor es live geht.
• Bestätigen Sie, dass eine Qualitätsmanagementzertifizierung, wo eine existiert, als Boden behandelt wird und nicht allein als Beweis guter Ergebnisse zitiert wird.

Hauptquellen

• Charles Goodharts Formulierung von 1975, aus der Goodharts Gesetz wurde, entwickelt im Kontext geldpolitischer Zielsetzung.
• Marilyn Strathern, „'Improving ratings': audit in the British university system", European Review, 5(3) (1997), 305–321 — die weithin zitierte Neuformulierung von Goodharts Gesetz für den öffentlichen Sektor.
• Peter Smith, „On the Unintended Consequences of Publishing Performance Data in the Public Sector", International Journal of Public Administration, 18(2–3) (1995), 277–310 — die Quelle der Tunnelblick-, Kennzahlenfixierungs-, Fehldarstellungs-, und Erstarrungstypologie, auf die sich dieses Thema stützt.
• Gwyn Bevan und Christopher Hood, „What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System", Public Administration, 84(3) (2006), 517–538 — die „Ziele und Terror"-Studie zu Ausspielen unter schweren Konsequenzen.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) — ein weitreichender Bericht über Messversagen über Bildung, Gesundheitswesen, Wirtschaft, und Regierung hinweg.
• UK National Audit Office, „Performance measurement by regulators", und Leitlinien des US Government Accountability Office, die Leistungsmaße von Programmevaluation unterscheiden.
• Die Care Quality Commission und Ofsted, als Beispiele unabhängiger Inspektions- und Bewertungsstellen, die auf Abstand von den von ihnen bewerteten Organisationen operieren.

Referenzen

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, ''Improving ratings': audit in the British university system' — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector' — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System' — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted