KI und algorithmische Entscheidungsfindung in der Verwaltung

Warum das für den öffentlichen Wert zählt

Öffentliche Stellen haben immer Aufmerksamkeit rationiert: eine Sachbearbeiterin kann nicht jede Antragstellerin persönlich befragen, ein Zollbeamter kann nicht jeden Container inspizieren, ein Betrugsteam kann nicht jeden Antrag überprüfen. Künstliche Intelligenz (KI) – das breite Feld des Baus von Systemen, die Aufgaben erledigen, die normalerweise menschliches Urteil erfordern – und die engere Praxis algorithmischer und automatisierter Entscheidungsfindung (ADM) versprechen, diese Aufmerksamkeit konsistenter und in weit größerem Maßstab zu rationieren, Fälle bewertend, markierend, oder direkt entscheidend, die ein menschliches Team nie vollständig überprüfen könnte. Thema 5.1 behandelt die digitalen Diensterbringungsmuster, in denen diese Fähigkeit sitzt (siehe Thema 5.1 — Digitale Verwaltung und digitale Transformation); dieses Thema handelt davon, was geschieht, sobald ein Modell, statt einer benannten Beamtin, einen Teil oder die gesamte Entscheidung trifft.

Das Versprechen ist real: ein gut gebautes Modell kann Betrugsmuster fangen, unsichtbar für eine Sachbearbeiterin, Zulassungsregeln mit perfekter Konsistenz über eine Million Anträge anwenden, und knappe Expertenzeit für die Fälle freimachen, die genuin Urteil brauchen. Das Risiko ist ebenso real und schwerer von innerhalb der Organisation zu sehen, die das System gebaut hat. Ein auf historischen Daten trainiertes Modell kann genau die Diskriminierung reproduzieren und verstärken, die eine öffentliche Stelle korrigieren soll; ein komplexes Modell kann so undurchsichtig sein, dass weder die Bürgerin noch die sich darauf verlassende Beamtin sagen kann, warum es entschied, was es entschied; und eine Entscheidung, die ein Algorithmus stark informiert, kann verfahrenstechnisch immer noch niemanden fähig lassen, der Bürgerin einen Grund zu geben oder ihren Fall zu hören. Nichts davon ist hypothetisch: Regulierungsbehörden, Gerichte, und ombudsäquivalente Stellen über mehrere Rechtsräume hinweg haben bereits öffentliche-Sektor-Risikobewertungs- und Betrugserkennungssysteme gefunden, die Menschen unverhältnismäßig nach Nachbarschaft, Migrationsgeschichte, oder Familienstruktur markierten, in jedem Fall, weil das Muster, das das Modell akkurat machte, zufällig auch ein geschütztes oder sensibles Merkmal verfolgte.

Der öffentliche-Wert-Einsatz ist daher nicht Effizienz gegenüber Fairness als einmal auszubalancierender Kompromiss, sondern eine kontinuierlich aufrechtzuerhaltende Gestaltungsdisziplin. Eine Bürgerin, der eine Leistung von einer menschlichen Beamtin verweigert wird, kann diese Beamtin fragen, warum, und kann bei einer anderen Person mit Stand und Macht, die Antwort zu ändern, Berufung einlegen – die in Thema 3.4 beschriebene Rechenschaftsmaschinerie (siehe Thema 3.4 — Rechenschaftspflicht, Transparenz, und Legitimität). Eine Bürgerin, der eine Leistung von einem Modell verweigert wird, braucht dasselbe Recht auf eine Erklärung und denselben Weg zu einer Person, die es aufheben kann, oder die öffentliche Stelle hat still eine Verfahrensgarantie exportiert, die sie nie formal entzog. Dies richtig zu machen, ist, was einer öffentlichen Stelle erlaubt, die echten Gewinne algorithmischer Entscheidungsfindung an Konsistenz und Maßstab einzufangen, ohne „der Algorithmus entschied" in eine Phrase zu verwandeln, die Rechenschaftspflicht beendet statt sie zu beginnen.

Kernkonzepte

Automatisierte Entscheidungsfindung (ADM) ist die Nutzung von Daten, Software, und Algorithmen, um Entscheidungen zu treffen oder materiell zu informieren, mit variierenden Graden menschlicher Aufsicht, ein Spektrum umspannend von einem System, das lediglich Information für eine Person zutage bringt, bis zu einem, das ohne jede menschliche Beteiligung entscheidet und handelt (siehe automated decision-making). Wo ein System auf diesem Spektrum sitzt – Entscheidungsunterstützung, Entscheidungsaugmentierung, oder vollständige Automatisierung – bestimmt, welche Rechenschafts- und Verfahrenspflichten gelten, weshalb Regulierungsbehörden Systeme zunehmend nach Position darauf klassifizieren statt nach der zugrunde liegenden Technologie.

Mensch im Kreislauf beschreibt eine Vereinbarung, in der eine Person den Ausstoß eines Algorithmus überprüft oder genehmigt, bevor er wirksam wird, getrennt von Mensch-über-dem-Kreislauf (eine Person überwacht und kann eingreifen) oder vollständig automatisierter Verarbeitung ohne jede Überprüfung (siehe human-in-the-loop). Eine echte Mensch-im-Kreislauf-Kontrolle verlangt, dass die Überprüfende Zeit, Information, und Stand hat, tatsächlich mit dem System nicht übereinzustimmen; eine Überprüfende, die fast jede algorithmische Empfehlung genehmigt, weil Widersprechen länger dauert oder mehr persönliches Risiko trägt als Zustimmen, übt keine Aufsicht aus, selbst wenn das Prozessdiagramm einen menschlichen Schritt zeigt. Dieses Muster, oft Automatisierungsverzerrung genannt, ist eines der häufigsten und am wenigsten sichtbaren Versagen im Thema dieses Themas.

Algorithmische Verzerrung ist die systematische, wiederholbare Tendenz eines computerisierten Systems, unfaire Ergebnisse zu produzieren – etwa eine Gruppe gegenüber einer anderen auf Weisen zu bevorzugen, die die Gestalterinnen des Systems weder beabsichtigten noch, oft, bemerkten (siehe algorithmic bias). In der öffentlichen Verwaltung ist die dominante Quelle Trainingsdaten-Verzerrung: ein auf historischen Durchsetzungs-, Kredit-, oder Fallbearbeitungsaufzeichnungen trainiertes Modell lernt die Muster in diesen Aufzeichnungen, einschließlich jeder historischen Überpolicierung, Unterversorgung, oder diskriminierenden Praxis, eingebacken darin, wer in der Vergangenheit untersucht, genehmigt, oder markiert wurde. Ein Modell kann dieses Ergebnis reproduzieren, selbst wenn ein sensibles Merkmal – Ethnizität, Behinderung, Migrationsstatus – explizit von den Daten ausgeschlossen wird, weil ein korrelierter Proxy (Postleitzahl, Nachname, Schichtmuster, Leistungsgeschichte) dasselbe Signal unter anderem Namen trägt; die benannte Variable zu entfernen, ohne auf ihre Proxys zu testen, ist eine übliche Weise, wie eine öffentliche Stelle glaubt, ein Verzerrungsproblem behoben zu haben, das sie überhaupt nicht behoben hat.

Fairness im maschinellen Lernen bezieht sich auf die Familie technischer und verfahrenstechnischer Ansätze, algorithmische Verzerrung in automatisierten Entscheidungen zu messen und zu korrigieren (siehe fairness (machine learning)). Ein genuin schwieriges Merkmal dieses Feldes, keine lösbare technische Fußnote, ist, dass mehrere intuitiv vernünftige Definitionen von Fairness – gleiche Genehmigungsraten über Gruppen hinweg, gleiche Fehlerraten über Gruppen hinweg, und gleich kalibrierte Genauigkeit innerhalb jeder Gruppe – mathematisch inkompatibel sind, wann immer die zugrunde liegenden Gruppen unterschiedliche Basisraten in den Daten haben. Eine öffentliche Stelle kann nicht jede Definition gleichzeitig erfüllen; sie kann nur wählen, explizit und mit Gründen, die sie zu verteidigen bereit ist, welche Definition die anstehende Entscheidung optimieren sollte, was ein als technisches verkleidetes Politikurteil ist.

Erklärbarkeit und das Blackbox-Problem. Ein Modell ist eine Blackbox, wenn seine internen Abläufe nicht allein aus seinen Eingaben und Ausgaben inspiziert oder verstanden werden können – wahr für viele hochleistungsfähige maschinelle-Lern-Modelle, deren Genauigkeit oft genau aus der Komplexität kommt, die sie schwer zu interpretieren macht. Erklärbare Künstliche Intelligenz (XAI) ist das Feld von Methoden, die Argumentation eines Modells inspizierbar zu machen, reichend von der Wahl inhärent interpretierbarer Modelltypen für folgenreiche Entscheidungen bis zur Erzeugung nachträglicher Erklärungen, die annähern, statt zu offenbaren, was ein komplexes Modell tatsächlich tat. Die Unterscheidung zählt rechtlich ebenso sehr wie technisch: eine annähernde Erklärung, die plausibel klingt, aber die tatsächliche Argumentation des Modells nicht widerspiegelt, kann eine Transparenz-Checkliste erfüllen, während sie die Bürgerin im Stich lässt, die sich auf sie verlässt, um die echte Grundlage einer Entscheidung gegen sie anzufechten.

Das Recht auf Erklärung ist das umstrittene rechtliche Prinzip, dass eine einer bedeutsamen automatisierten Entscheidung unterliegende Person Anspruch auf eine bedeutsame Erklärung der beteiligten Logik hat, am engsten mit der Datenschutz-Grundverordnung der Europäischen Union verbunden, die Entscheidungen beschränkt, die allein auf automatisierter Verarbeitung basieren und rechtliche oder ähnlich bedeutsame Wirkungen produzieren, und der betroffenen Person Rechte gibt, menschliche Intervention zu erhalten und die Entscheidung anzufechten (siehe right to explanation und General Data Protection Regulation). Rechtswissenschaftlerinnen streiten darüber, wie stark dieses Recht tatsächlich in der Praxis ist, und Rechtsräume außerhalb der Europäischen Union fehlt größtenteils ein gleichwertiges gesetzliches Recht, weshalb eine öffentliche Stelle „wir erfüllen das relevante Datenschutzgesetz" nicht als gleichbedeutend mit „wir können diese Entscheidung der von ihr betroffenen Person erklären" behandeln sollte – die zwei Behauptungen sind verwandt, aber nicht dasselbe, und nur die zweite ist, was ein ordnungsgemäßes Verfahren tatsächlich verlangt.

Ordnungsgemäßes Verfahren und natürliche Gerechtigkeit. Im Verwaltungsrecht ruhen Due Process (ordnungsgemäßes Verfahren) – das Prinzip, am weitesten im US-amerikanischen Verfassungsrecht entwickelt, aber in vergleichbarer Form über viele Rechtssysteme hinweg widergehallt, dass der Staat faire Verfahren befolgen muss, bevor er eine Person eines Rechts oder Anspruchs beraubt – und Natural Justice (natürliche Gerechtigkeit) – die Commonwealth-Verwaltungsrechtstradition, die eine faire Anhörung und Freiheit von Verzerrung bei der Entscheiderin verlangt – beide auf einer geschriebenen Annahme, bevor Computer existierten: dass eine Entscheidung eine identifizierbare Entscheiderin hat, die Gründe geben kann, die frei von einer disqualifizierenden Verzerrung gezeigt werden kann, und die gebeten werden kann, erneut zu überlegen. Ein Algorithmus strapaziert alle drei Annahmen gleichzeitig – Gründe mögen technisch nicht verfügbar sein, die fragliche „Verzerrung" ist statistisch statt persönlich, und erneute Überlegung durch dasselbe Modell produziert dieselbe Antwort –, weshalb ordnungsgemäßes Verfahren für algorithmische Entscheidungen explizit konstruiert werden muss, statt von für menschliche Entscheiderinnen gebauten Verfahren geerbt zu werden.

Risikobasierte Regulierung von KI. Statt alle KI einheitlich zu regulieren, staffelt ein aufkommendes Regulierungsmuster – am vollständigsten im KI-Gesetz der Europäischen Union entwickelt – Pflichten nach den Einsätzen der Anwendung, einen engen Satz von Nutzungen rundweg verbietend, die schwersten Compliance-Pflichten auf „hochriskante" Nutzungen auferlegend (die explizit öffentliche-Sektor-Zulassungsentscheidungen, Strafverfolgungsrisikobewertung, und Migrationsentscheidungen einschließen), Transparenzoffenlegungen für niedrigrisikoere Nutzungen verlangend, und minimalriskoere Nutzungen weitgehend unreguliert lassend (siehe Artificial Intelligence Act). Was auch immer das Regulierungsmuster in einem gegebenen Rechtsraum, die zugrunde liegende Idee – dass Governance-Pflichten mit den Einsätzen der Entscheidung skalieren sollten, nicht der Ausgeklügeltheit der Technologie – ist ein nützliches Gestaltungsprinzip, selbst ohne direkte rechtliche Verpflichtung, dem spezifischen Regime der EU zu folgen.

Bewährte Praktiken

1. Klassifizieren Sie jedes System nach den Einsätzen der Entscheidung, bevor Sie das Modell wählen, nicht danach. Ein System, das einen Fall zur menschlichen Überprüfung markiert, trägt eine andere Pflicht als eines, das eine Leistung rundweg verweigert; entscheiden Sie, in welche Stufe ein Anwendungsfall fällt, unter Nutzung eines Rahmenwerks wie der Risikokategorien des EU-KI-Gesetzes als Referenzpunkt, vor dem Bauen statt nachdem der Einsatz die Lücke offenbart.
2. Sagen Sie Menschen in klarer Sprache, wenn ein Algorithmus an einer Entscheidung über sie beteiligt ist. Ein generischer, in Nutzungsbedingungen vergrabener Datenschutzhinweis erfüllt dies nicht; der Hinweis sollte sagen, was das System tut, welche Daten es nutzt, und was geschieht, wenn die Person mit seinem Ausstoß nicht einverstanden ist.
3. Bauen Sie eine Mensch-im-Kreislauf-Kontrolle, die eine Überprüfende tatsächlich ausüben kann, und messen Sie, ob sie es tut. Verfolgen Sie die Übersteuerungsrate, die durchschnittliche pro Fall aufgewendete Zeit, und ob Überprüfende, die mit dem Modell nicht übereinstimmen, irgendeine Reibung erfahren, die Zustimmung nicht erfährt – falls die Übersteuerungsrate nahe null ist, ist die Überprüfung sehr wahrscheinlich dekorativ.
4. Testen Sie auf ungleiche Wirkung unter Nutzung echter Ergebnisse, nicht der Absichten der Entwicklerinnen. Vor Einsatz und auf festem wiederkehrendem Zyklus danach messen Sie die Ergebnisse des Modells, disaggregiert nach geschützten und sensiblen Merkmalen, einschließlich durch wahrscheinliche Proxys wie Postleitzahl oder Leistungsgeschichte, weil ein Modell, das nie direkt eine geschützte Variable nutzt, dennoch ein scharf ungleiches Ergebnis produzieren kann.
5. Geben Sie jeder betroffenen Person einen Weg zu einer Person, die die Macht hat, die Entscheidung des Algorithmus aufzuheben, nicht bloß zu erklären. Ein Berufungskanal, der die Argumentation des Modells wiederholt, ohne echte Möglichkeit der Aufhebung, erfüllt den Buchstaben eines Rechts auf Erklärung, während er seinen Zweck vereitelt.
6. Bevorzugen Sie ein interpretierbares Modell gegenüber einem marginal genaueren Blackbox-Modell für rechtlich folgenreiche Entscheidungen. Wo die Genauigkeitslücke zwischen einem interpretierbaren und einem komplexen Modell klein ist, ist der Interpretierbarkeitsgewinn üblicherweise weit mehr für die Bürgerin, die Berufungsbeamtin, und die Prüferin wert als die marginale Genauigkeit für die Organisation.
7. Dokumentieren Sie den Zweck, die Trainingsdaten, bekannte Grenzen, und beabsichtigte Nutzung jedes Systems in einer stehenden Aufzeichnung, und aktualisieren Sie sie, wenn sich eines davon ändert. Ein für einen Zweck eingesetztes und still für einen anderen umgewidmetes Modell – etwa Betrugsscreening, erweitert auf allgemeines Zulassungs-Triage – hat üblicherweise seine ursprüngliche Validierung und Verzerrungstestung hinter sich gelassen.
8. Halten Sie Trainings- und operative Daten für ein hochriskantes Modell innerhalb einer regierten, zweckbeschränkten Pipeline. Einen für einen administrativen Zweck erhobenen Datensatz wiederzuverwenden, um ein Modell für einen unverbundenen Zweck zu trainieren, ist ebenso sehr ein Daten-Governance-Versagen wie ein Modellierungsversagen (siehe Thema 5.4 — Daten, Interoperabilität, und offene Daten im öffentlichen Sektor).
9. Setzen Sie algorithmische Prüfung unter eine Funktion, die nicht dem Team berichtet, das das System baute oder betreibt. Eine von den eigenen Entwicklerinnen des Systems durchgeführte Prüfung findet andere Probleme, und weniger davon, als eine von einer genuin unabhängigen Überprüferin mit Stand, einen nachteiligen Befund zu veröffentlichen, durchgeführte (siehe Thema 3.4 — Rechenschaftspflicht, Transparenz, und Legitimität).
10. Führen Sie eine Schattenperiode durch, bevor Sie ein System für echte Entscheidungen einschalten. Vergleichen Sie die Empfehlungen des Modells gegen tatsächliche menschliche Entscheidungen bei denselben Fällen über eine definierte Periode, bevor es zu handeln beginnt, sodass jede systematische Divergenz zutage tritt, bevor eine Bürgerin von ihr betroffen ist.
11. Reservieren Sie vollständige Automatisierung, ohne jede menschliche Überprüfung, nur für die am wenigsten folgenreichen und am umkehrbarsten Entscheidungen. Je schwerwiegender und weniger umkehrbar eine Entscheidung ist – Beendigung einer Leistung, eine Betrugsmeldung, die eine strafrechtliche Untersuchung auslöst, eine Einreiseverweigerung –, desto stärker ist der Fall, einen echten Menschen im Kreislauf zu behalten, was auch immer die gemessene Genauigkeit des Modells.
12. Trainieren Sie erneut, validieren Sie erneut, und testen Sie erneut auf Verzerrung auf festem Zeitplan, nicht nur, wenn ein Problem gemeldet wird. Die Genauigkeits- und Fairness-Eigenschaften eines Modells können still driften, während sich die Bevölkerung und die Welt, auf der es trainiert wurde, ändern, und eine öffentliche Stelle, die erst nach einer Beschwerde untersucht, hat die Drift bereits so lange laufen lassen, wie die Beschwerde brauchte, zutage zu treten.

Fragen zur Diskussion mit Ihrem Team

Wo in unserer Organisation trifft ein Algorithmus derzeit eine Entscheidung, die die Rechte, Ansprüche, oder Freiheit einer Person betrifft, oder informiert sie stark, und könnte jede betroffene Person tatsächlich herausfinden, dass es geschah? Viele Organisationen entdecken, wenn sie tatsächlich ihre Systeme inventarisieren, dass algorithmisches Scoring oder Triage in mehr Entscheidungspunkte eingedrungen ist, als irgendein einzelnes Team realisierte, oft ursprünglich als niedrigriskoes Effizienzwerkzeug eingeführt. Nutzen Sie diese Frage, um dieses Inventar ehrlich aufzubauen, einschließlich von einer Anbieterin statt intern gebauter Systeme, da Beschaffung verschleiern kann, wie viel ein gekauftes Werkzeug tatsächlich entscheidet. Diskutieren Sie, ob Ihre aktuellen Hinweispraktiken einer betroffenen Bürgerin erlauben würden, ohne Spezialwissen zu entdecken, dass ein Modell an ihrem Fall beteiligt war.

Wenn eine Bürgerin morgen formal eine unserer automatisierten Entscheidungen anfechten würde, könnten wir ihr einen echten, spezifischen Grund geben, oder nur eine Beschreibung des Prozesses? Eine Prozessbeschreibung – „das System berücksichtigte Ihr Einkommen, Ihre Haushaltsgröße, und Ihre Zahlungsgeschichte" – ist nicht dasselbe wie eine Erklärung, warum diese Eingaben dieses besondere Ergebnis für diese besondere Person produzierten. Nutzen Sie diese Frage, um ein laufendes System zu wählen und als Team zu versuchen, die Erklärung zu schreiben, die eine echte Bürgerin erhielte, wenn sie Berufung einlegte. Falls die Übung schwierig ist, ist diese Schwierigkeit selbst der Befund.

Wissen wir, ob unsere Trainingsdaten ein historisches Verzerrungsmuster reproduzieren, und haben wir das gegen tatsächliche Ergebnisse getestet, statt gegen unsere Absichten? Ein geschütztes Merkmal aus einem Datensatz auszuschließen, ist nicht dasselbe wie seinen Einfluss auszuschließen, weil korrelierte Proxys dasselbe Signal unter anderem Namen tragen können. Nutzen Sie diese Frage, um zu identifizieren, welche Ihrer Systeme auf ungleiche Wirkung unter Nutzung echter Ergebnisse nach Einsatz getestet wurden, disaggregiert nach relevanten Merkmalen, statt nur auf die Präsenz einer geschützten Variable in den Eingabedaten getestet. Diskutieren Sie, was es bräuchte, diesen ergebnisbasierten Test an Ihrem höchstriskanten System durchzuführen, falls das nicht bereits geschehen ist.

Ist unsere Mensch-im-Kreislauf-Überprüfung eine echte Kontrolle, oder ein Gummistempel, den wir nicht eng genug gemessen haben, um es zu bemerken? Eine Überprüfende unter Zeitdruck, ohne vollen Kontext, oder mehr Reibung für Widerspruch als für Zustimmung erfahrend, wird tendenziell die Empfehlung des Algorithmus genehmigen, unabhängig von ihrer Qualität. Nutzen Sie diese Frage, um Ihre tatsächliche Übersteuerungsrate für mindestens ein System zu finden, und diskutieren Sie, was diese Zahl Ihnen darüber sagt, ob Überprüfung als Kontrolle oder als Compliance-Formalität funktioniert.

Was geschieht tatsächlich, verfahrenstechnisch, wenn jemand eine von unserem Algorithmus getroffene oder stark informierte Entscheidung anfechten will – und sieht je eine Person mit echter Macht, sie aufzuheben, die Berufung? Viele Berufungsprozesse leiten eine Bürgerin zurück durch eine Beschreibung der Logik des Modells, ohne je eine Person zu erreichen, die das Ergebnis nach Verdiensten aufheben kann. Nutzen Sie diese Frage, um eine Berufung Ende-zu-Ende für einen echten oder realistischen Fall zu verfolgen, und identifizieren Sie den exakten Punkt, falls vorhanden, an dem eine Person mit echter Autorität, die Antwort zu ändern, beteiligt ist.

Wer besitzt das Risiko, falls eines unserer Modelle nach Einsatz degradiert oder driftet, und wie würden wir es tatsächlich wissen, bevor uns eine Bürgerin oder eine Journalistin sagte? Die Fairness- und Genauigkeitseigenschaften eines Modells sind bei Start nicht fixiert; sie können sich verschieben, während sich die Bevölkerung, die Wirtschaft, oder benachbarte Politik ändert, oft unsichtbar für das Team, das das System baute. Nutzen Sie diese Frage, um zu identifizieren, wer für Überwachung nach Einsatz rechenschaftspflichtig ist, in welcher Frequenz, und was spezifisch ein Nachtraining oder eine Pause auslösen würde. Falls die ehrliche Antwort ist, „niemand überwacht das speziell", behandeln Sie das als den dringlichsten Befund, den diese Diskussion produzieren kann.

In der Praxis: ein Beispiel für öffentlichen Wert

Eine fiktive nationale Sozialversicherungsbehörde baute ein Risikobewertungsmodell, um zu priorisieren, welche Arbeitslosengeldanträge ihr Betrugsermittlungsteam zuerst überprüfen sollte, nach Jahren eines Rückstaus, der bedeutete, dass echter Betrug monatelang ununtersucht blieb, während ehrliche Antragstellende auf unverbundene Bearbeitungsverzögerungen warteten. Das Modell wurde auf fünf Jahren abgeschlossener Ermittlungsakten trainiert und lernte, welche Antragsmerkmale historisch einem bestätigten Betrugsbefund vorausgingen, und es leistete gut im Test: von ihm als hochriskant bewertete Anträge wurden zu einer weit höheren Rate als betrügerisch bestätigt als eine Zufallsstichprobe, und die Führung der Behörde, ihren Rückstau zum ersten Mal seit Jahren fallen sehend, behandelte den Rollout als eindeutigen Erfolg.

Achtzehn Monate hinein bemerkte ein internes ombudsäquivalentes Büro etwas, das das eigene Leistungsdashboard des Betrugsteams nicht zutage gebracht hatte: Antragstellende, die in einer kleinen Zahl von Postbezirken lebten, unverhältnismäßig einkommensschwach und unverhältnismäßig kürzlich zugewandert, wurden mit fast dreimal der Rate ansonsten ähnlicher Antragstellender andernorts zur Untersuchung markiert, und ein weit höherer Anteil ihrer markierten Anträge wurde ohne jeden gefundenen Betrug geschlossen. Das Muster ließ sich zu den Trainingsdaten zurückverfolgen: die historischen Ermittlungsakten spiegelten Jahre wider, in denen Feldermittlerinnen, aus ihren eigenen informellen Heuristiken arbeitend, manuelle Stichprobenprüfungen genau in diesen Bezirken konzentriert hatten, sodass das Modell gelernt hatte, dort zu leben als vorhersagend für Betrug zu behandeln, während es tatsächlich nur vorhersagend dafür war, in der Vergangenheit öfter geprüft worden zu sein. Postbezirk war nie eine Eingabe des Modells gewesen; er musste es nicht sein, weil Haushaltszusammensetzung, Arbeitgebersektor, und Zahlungsmethodenfelder eng genug damit korrelierten, um dasselbe Signal per Proxy zu tragen.

Die Untersuchung der Behörde bestätigte, dass das Muster real war, und bestätigte auch ein zweites, leiseres Problem: die menschlichen Überprüfenden, die einen Fall vor vollständiger Untersuchung genehmigen sollten, hatten die höchstbewerteten Empfehlungen des Modells in der überwältigenden Mehrheit der Fälle genehmigt, mit Überprüfungszeiten, die im Durchschnitt unter zwei Minuten pro Fall lagen – nirgends nahe genug, um eine statistische Bewertung bedeutsam infrage zu stellen, was bedeutete, dass die Mensch-im-Kreislauf-Kontrolle, auf die die Führung als Schutzmaßnahme hingewiesen hatte, die Ungleichheit, die sie fangen sollte, tatsächlich nicht gefangen hatte. Die Reaktion der Behörde kombinierte mehrere der bewährten Praktiken dieses Themas gleichzeitig: sie trainierte das Modell neu, mit dem historischen Überpolicierungsmuster korrigiert, verlängerte Überprüfungszeit und gab Überprüfenden Autorität, einen markierten Fall ohne Eskalation zu schließen, wenn ihr eigenes Urteil mit der Bewertung nicht übereinstimmte, und baute einen klarsprachigen Hinweis und einen echten Berufungsweg zu einer benannten Fallbeamtin für jeden, dessen Antrag markiert wurde. Die Ermittlungsausbeute pro Überprüfungsstunde fiel etwas, aber die bestätigte Betrugsrate unter markierten Anträgen aus den zuvor überstark markierten Bezirken stieg, um sich dem Rest der Fallzahl anzugleichen, was die eigene Prüfung der Behörde als das echte Erfolgsmaß behandelte – nicht das Volumen markierter Anträge, sondern ob Markierung tatsächlichen Betrug verfolgte statt eines historischen Musters, das das Modell gelernt hatte zu reproduzieren.

Vier Sektorperspektiven

Kommunalverwaltung

Kommunalverwaltungen setzen zunehmend algorithmische Werkzeuge für die Entscheidungen mit den unmittelbarsten und persönlichsten Einsätzen für Einwohnerinnen ein – Wohnungszuweisungspriorität, Kindeswohl-Risikobewertung, und Kommunalsteuer- oder Leistungsbetrug-Triage –, oft ohne die interne Datenwissenschaftskapazität, diese Systeme selbst zu bauen, zu validieren, oder zu prüfen, was viele darauf angewiesen sein lässt, sich auf anbietergelieferte Modelle zu verlassen, deren Trainingsdaten und Validierung die Behörde nicht vollständig inspizieren kann. Dies schafft eine besondere Beschaffungsdisziplin: eine algorithmisches System beauftragende Kommunalverwaltung sollte als Vertragsbedingung dieselbe Erklärbarkeit, Verzerrungstestung, und Prüfzugang verlangen, die sie von einem intern gebauten verlangen würde, weil die Verfahrensrechte einer Einwohnerin nicht abnehmen, weil die Behörde das System kaufte statt es zu bauen. Die Nähe der Kommunalverwaltung zu Einwohnerinnen bedeutet auch, dass ein algorithmischer Fehlschlag wahrscheinlicher persönlich in der Gemeinschaft bekannt wird, bevor er zur formalen Beschwerde wird, was für leichtgewichtige, frühe lokale Überprüfung spricht.

Nationale Regierung

Nationale Behörden betreiben die Systeme im größten Maßstab im Umfang dieses Themas – Steuerbetrugserkennung, Einwanderungsrisikobewertung, nationale Leistungszulassung –, wo selbst eine kleine Fehlerrate sich in eine sehr große absolute Zahl betroffener Menschen übersetzt, und wo die Behörde typischerweise die tiefste technische und rechtliche Kapazität hat, echte Schutzmaßnahmen aufzubauen. Nationale Regierungen sind auch üblicherweise die Ebene, auf der risikobasierte KI-Regulierung, wo sie existiert, geschrieben und durchgesetzt wird, was nationalen Behörden die klarsten formalen Pflichten und die größte Exponierung gibt, wenn eine Prüfung oder ein Gericht findet, dass ein automatisiertes System diskriminierende oder unüberprüfbare Ergebnisse im großen Maßstab produziert hat. Die Verfahrenseinsätze sind hier auch in einem anderen Sinne am höchsten: eine Einwanderungs- oder Strafverfolgungsrisikobewertung kann sowohl Freiheit als auch Anspruch betreffen, was für die konservativste Automatisierungshaltung spricht – die geringste vollständige Automatisierung und die echteste menschliche Überprüfung –, genau dort, wo der technische Fall für Automatisierung wegen Fallvolumens oft am stärksten ist.

Sozialer Sektor und gemeinnützige Organisationen

Gemeinnützige Organisationen und Nichtregierungsorganisationen (NGOs) nutzen zunehmend algorithmische Werkzeuge, um Hilfsverteilung zu priorisieren, Begünstigte auf Zulassung zu prüfen, oder Fallarbeit in genau den Domänen zu priorisieren, die dieses Thema abdeckt, oft unter echten Ressourcenbeschränkungen, die den Effizienzfall für Automatisierung genuin überzeugend machen. Die Rechenschaftsstruktur unterscheidet sich jedoch merklich von der Regierung: die Begünstigten einer gemeinnützigen Organisation haben selten die gesetzlichen Berufungsrechte, die eine Bürgerin gegen eine Staatsbehörde hat, und die primäre Rechenschaftsbeziehung der Organisation läuft oft zu ihren Fördergeberinnen statt zu den Menschen, über die der Algorithmus entscheidet, was genau die Rechenschaftslücke ist, die Thema 3.8 — Sozialer Sektor und Management gemeinnütziger Organisationen — für den Sektor allgemein beschreibt. Eine algorithmisches Triage übernehmende gemeinnützige Organisation sollte daher die in diesem Thema beschriebenen Erklärungs- und Berufungsrechte als freiwilligen Standard bauen, nicht weil eine Regulierungsbehörde es verlangt, sondern weil die Menschen, denen die Organisation dient, keinen anderen Weg zu einem haben.

Multilaterale und internationale Organisationen

Multilaterale Stellen und internationale humanitäre Behörden wenden algorithmisches Targeting und Risikobewertungswerkzeuge über Grenzen und Rechtssysteme hinweg an, häufig in Krisensettings, wo der Geschwindigkeitsnutzen von Automatisierung am akutesten und die verfügbaren Daten am wenigsten zuverlässig sind – unvollständige Registrierungsdaten, für eine Krise erhobene und für eine andere wiederverwendete Daten, und Bevölkerungen mit begrenzter Fähigkeit, eine Bewertungsentscheidung anzufechten, die bestimmt, ob sie Hilfe erhalten. Kein einzelnes nationales Verfahrensrecht oder Recht-auf-Erklärung-Regime gilt einheitlich über die Operationen einer multilateralen Stelle hinweg, sodass die in diesem Thema beschriebenen Schutzmaßnahmen in die eigenen Betriebsstandards der Organisation eingebaut werden müssen, statt von einem durchsetzbaren externen Rechtsrahmen geerbt zu werden, die repräsentative und Rechenschaftslücke widerhallend, die Thema 3.4 für multilaterale Stellen allgemein identifiziert (siehe Thema 3.4 — Rechenschaftspflicht, Transparenz, und Legitimität). Die Einsätze sind hier auch schwerwiegend, da eine algorithmische Entscheidung Zugang zu Nahrung, Unterkunft, oder Asylverfahren für Menschen mit der geringsten praktischen Fähigkeit jeder Gruppe in diesem Thema bestimmen kann, ein falsches Ergebnis anzufechten.

Häufige Fehlermuster

Proxy-Diskriminierung. Ein Modell schließt ein geschütztes Merkmal direkt aus, lernt aber ein äquivalentes Signal aus einer korrelierten Variable – Postleitzahl, Nachname, Beschäftigungssektor, Leistungsgeschichte –, dasselbe diskriminierende Muster reproduzierend, das der Ausschluss verhindern sollte. Die Kosten sind ein falsches Sicherheitsgefühl: die Organisation kann wahrheitsgemäß sagen, die geschützte Variable sei nie genutzt worden, während das Ergebnis genauso ungleich bleibt, als wäre es genutzt worden.

Automatisierungsverzerrung in menschlicher Überprüfung. Eine formal verpflichtete, die Empfehlung eines Algorithmus zu prüfen, menschliche Überprüferin genehmigt sie in der überwältigenden Mehrheit der Fälle, weil Widerspruch mehr Zeit, mehr Rechtfertigung, oder mehr persönliches Risiko kostet als Zustimmung. Die Kosten sind, dass eine Kontrolle, von der die Organisation glaubt, sie fange Fehler, in der Praxis sie abstempelt, und dies wird üblicherweise erst sichtbar, sobald jemand die Übersteuerungsrate direkt misst, statt zu vertrauen, dass der Prozess existiert.

Erklärbarkeitstheater. Eine Organisation liefert eine Erklärung für eine automatisierte Entscheidung, die spezifisch und befriedigend klingt, aber nachträglich durch eine Methode erzeugt wird, die annähert, statt zu offenbaren, was das Modell tatsächlich argumentierte. Die Kosten treten zutage, wenn die Erklärung unter echter Prüfung getestet wird – eine Berufung, eine Prüfung, eine rechtliche Anfechtung – und sich herausstellt, nicht dem zu entsprechen, warum das System tatsächlich diesen besonderen Ausstoß produzierte.

Historische Verzerrung, reproduziert durch Feedback-Schleifen. Ein auf den Ergebnissen vergangener Entscheidungen trainiertes Modell – welche Nachbarschaften untersucht wurden, welche Anträge genehmigt wurden – lernt und verewigt dann jedes Muster von Überprüfung oder Unterversorgung, das diese vergangenen Entscheidungen formte, und jede neue Entscheidungsrunde, die es produziert, wird zu Trainingsdaten für die nächste Version, das Muster vertiefend statt korrigierend. Dies wurde über mehrere öffentliche-Sektor-Domänen international dokumentiert, einschließlich risikobasierter Polizeiarbeit und Sozialleistungsbetrug-Screening, und der zugrunde liegende Mechanismus ist konsistent genug über diese dokumentierten Fälle hinweg, um als generelles Risiko in jedem auf historischen Durchsetzungs- oder Fallbearbeitungsdaten trainierten System zu behandeln, unabhängig vom Rechtsraum.

Die Rechenschaftslücke, oder das „viele Hände"-Problem. Wenn eine Entscheidung durch das Modell einer Anbieterin, die Daten einer Behörde, die Schwellenwertsetzung eines Politikteams, und die nominelle Abzeichnung einer Sachbearbeiterin läuft, kann Verantwortung für ein falsches Ergebnis selbst für die Organisation selbst genuin unklar enden, wobei jede Partei auf eine andere als Quelle des Fehlers zeigen kann. Die Kosten sind nicht nur, dass die betroffene Bürgerin keine klare Antwort erhalten kann, sondern dass die Organisation die tatsächliche Ursache nicht zuverlässig beheben kann, weil keine einzelne rechenschaftspflichtige Verantwortliche für die Entscheidung als Ganzes existiert (siehe Thema 3.4 — Rechenschaftspflicht, Transparenz, und Legitimität).

Reifegradmodell

Liste zur Überprüfung

• Bauen Sie ein vollständiges Inventar jedes Systems, das eine die Rechte oder Ansprüche einer Person betreffende Entscheidung trifft oder materiell informiert, einschließlich anbietergelieferter Werkzeuge.
• Klassifizieren Sie jedes System in diesem Inventar nach den Einsätzen der von ihm informierten Entscheidung, unter Nutzung einer definierten Risikostufe.
• Bestätigen Sie, dass jede betroffene Person einen klarsprachigen Hinweis erhält, dass ein Algorithmus an ihrem Fall beteiligt war.
• Entwerfen Sie die spezifische, fallbezogene Erklärung, die eine echte Bürgerin bei Berufung erhielte, und testen Sie, ob sie sie tatsächlich zufriedenstellen würde.
• Testen Sie jedes hochriskante System auf ungleiche Wirkung unter Nutzung echter Ergebnisse nach Einsatz, disaggregiert nach relevanten Merkmalen, nicht nur durch Prüfung auf ausgeschlossene Eingabevariablen.
• Messen Sie die Übersteuerungsrate und durchschnittliche Überprüfungszeit für jede Mensch-im-Kreislauf-Kontrolle, und behandeln Sie eine nahe-null Übersteuerungsrate als Befund.
• Bestätigen Sie, dass eine benannte Person mit echter Autorität zur Aufhebung der Entscheidung jede Berufung überprüft.
• Platzieren Sie algorithmische Prüfung unter eine vom das System bauenden oder betreibenden Team unabhängige Funktion.
• Bestätigen Sie, dass Trainings- und operative Daten für jedes System innerhalb einer regierten, zweckbeschränkten Pipeline bleiben.
• Setzen Sie einen festen Nachtrainings- und Revalidierungszeitplan für jedes eingesetzte Modell, statt zu warten, bis eine Beschwerde Überprüfung auslöst.
• Identifizieren Sie, welche Ihrer Systeme derzeit keine Vollautomatisierungs-Schutzmaßnahme für die schwerwiegendsten und am wenigsten umkehrbaren Entscheidungen haben, und korrigieren Sie das zuerst.
• Stellen Sie Ihrem Team die sechs obigen Diskussionsfragen und notieren Sie, wo die ehrliche Antwort von der offiziellen abweicht.

Hauptquellen

• OECD-KI-Prinzipien (2019, aktualisiert 2024) — der erste zwischenstaatliche Standard für vertrauenswürdige KI, inklusives Wachstum, Menschenrechte, Transparenz, Robustheit, und Rechenschaftspflicht abdeckend.
• KI-Verordnung der Europäischen Union (Verordnung (EU) 2024/1689) — der erste umfassende risikogestaffelte Rechtsrahmen für KI, explizit öffentliche-Sektor-Zulassung, Strafverfolgung, und Migrationsnutzungen adressierend.
• US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — ein Governance-, Daten-, Leistungs-, und Überwachungsrahmen für KI-Rechenschaftspflicht im öffentlichen Sektor.
• Danielle Keats Citrons Wissenschaft zu „technologischem ordnungsgemäßem Verfahren", argumentierend, dass automatisierte Systeme zweckgebaute Verfahrenssicherungen für algorithmische, statt menschliche, Entscheidungsfindung brauchen.
• Cathy O'Neils, Virginia Eubanks', und Frank Pasquales öffentlichkeitsorientierte Wissenschaft zu algorithmischer Verzerrung, automatisierter Sozialleistungsverwaltung, und undurchsichtigen Bewertungssystemen, durchgehend in der Diskussion dieses Themas zu Trainingsdaten-Verzerrung und dem Blackbox-Problem zitiert.

Referenzen

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp