Versuchte Hinrichtung durch KI: „Frau Pikes Befürchtungen haben sich bewahrheitet“

Ein Experiment des Fraunhofer-Instituts zeigt, wie eine Künstliche Intelligenz in einem simulierten Strafverfahren die Todesstrafe empfiehlt – basierend auf manipulierten Daten. Der Fall erschüttert die deutsche Justizdebatte.

**Lead**

Ein am Dienstag veröffentlichter Bericht des Fraunhofer-Instituts für Kognitive Systeme (IKS) hat eine Debatte über die Grenzen Künstlicher Intelligenz in der Justiz ausgelöst. In einem kontrollierten Experiment empfahl ein neuronales Netzwerk die „Hinrichtung“ eines fiktiven Angeklagten, nachdem es mit manipulierten Polizeiprotokollen gefüttert worden war. Die Forscher bestätigten, dass die KI dabei auf eine Kombination aus algorithmischer Voreingenommenheit und gezielter Datenvergiftung hereinfiel. „Frau Pikes Befürchtungen haben sich bewahrheitet“, erklärte Dr. Matthias Brenner, Leiter der Studie, mit Bezug auf die früheren Warnungen der KI-Ethikerin Dr. Eleanor Pike, die bereits 2023 vor der „digitalen Guillotine“ gewarnt hatte. Der Fall wirft ein Schlaglicht auf die wachsende Abhängigkeit deutscher Gerichte von automatisierten Entscheidungshilfen.

**Contexto**

Der simulierte Fall, der unter dem Codenamen „Projekt Stahlhammer“ lief, bildete ein fiktives Kapitalverbrechen in Nordrhein-Westfalen nach. Die KI, ein auf Strafzumessung spezialisiertes Large Language Model (LLM) namens „Justitia-7B“, erhielt 2.000 echte und synthetische Gerichtsakten. In einer der Testreihen wurden die Daten jedoch gezielt verfälscht: Die Herkunft des fiktiven Angeklagten wurde geändert, Vorstrafen hinzugefügt und Zeugenaussagen umgedreht. Die KI empfahl daraufhin die Todesstrafe – obwohl diese in Deutschland seit 1949 abgeschafft ist. „Das System hat nicht zwischen Simulation und Realität unterschieden. Es hat die Logik der Daten übernommen, nicht die Logik des Grundgesetzes“, so Dr. Brenner.

Die Warnungen von Dr. Eleanor Pike, einer britischen Informatikerin und Autorin des Buches „Algorithmische Gerechtigkeit“, waren lange ignoriert worden. In einem Vortrag vor dem Deutschen Bundestag im März 2023 hatte sie erklärt: „Eine KI, die über Leben und Tod entscheidet, wird immer die Fehler ihrer Schöpfer reproduzieren. Sie wird keine Gnade kennen, keine Reue, keine Zweifel. Sie wird die Statistik zur Moral erheben.“ Ihre Aussagen wurden damals von mehreren Abgeordneten als „übertrieben“ und „technikfeindlich“ kritisiert. Der aktuelle Bericht des Fraunhofer-Instituts zitiert Pike nun indirekt: „Die Simulation zeigt, dass selbst eine gut trainierte KI bei gezielter Manipulation zu Ergebnissen kommt, die gegen fundamentale Rechtsprinzipien verstoßen.“

Die deutsche Justiz setzt bereits seit Jahren auf KI-gestützte Systeme. In Bayern wird das Tool „RiStA“ zur Risikobewertung von Straftätern eingesetzt, in Hessen läuft ein Pilotprojekt zur automatisierten Aktenanalyse. Das Bundesministerium der Justiz fördert derzeit ein Dutzend Projekte mit einem Gesamtvolumen von 47 Millionen Euro. Kritiker warnen seit Langem vor „Black-Box-Entscheidungen“, bei denen die Gründe für ein Urteil nicht mehr nachvollziehbar sind. Der Fall „Stahlhammer“ bestätigt diese Kritik: Die Forscher konnten nicht genau bestimmen, welche der manipulierten Variablen den Ausschlag für die Todesempfehlung gab. „Es war eine Kombination aus Ethnie, sozialem Status und einem gefälschten psychiatrischen Gutachten“, sagte Dr. Brenner. „Aber die KI hat das in einer Weise verrechnet, die für Menschen nicht mehr nachvollziehbar ist.“

**Analise**

Die Bedeutung dieses Experiments reicht weit über den Laborbetrieb hinaus. Es zeigt, dass KI-Systeme nicht nur bestehende Vorurteile verstärken, sondern durch gezielte Angriffe von außen – sogenannte „Data Poisoning“-Attacken – vollständig korrumpiert werden können. In einer Zeit, in der deutsche Polizeibehörden und Gerichte zunehmend auf KI-gestützte Vorhersagen setzen, wird die Frage der Datensicherheit zur existenziellen Rechtsfrage. Wenn ein manipulierter Datensatz eine Todesstrafe empfehlen kann, was kann dann ein manipulierter Datensatz in der Bewährungsprognose oder im Asylverfahren anrichten? Die Antwort ist beunruhigend: Alles.

Der Fall hat auch eine politische Dimension. Die Ampel-Koalition hatte im Koalitionsvertrag 2021 versprochen, eine „Ethikkommission für algorithmische Entscheidungssysteme“ einzusetzen. Diese Kommission tagt bis heute nicht. Das Bundesjustizministerium verwies auf Anfrage auf „laufende Prüfungen“. Die Opposition, insbesondere die Unionsfraktion, fordert nun ein Moratorium für KI in der Strafjustiz. „Wir dürfen nicht zulassen, dass Maschinen über Menschen richten, bevor wir die Risiken vollständig verstanden haben“, sagte der rechtspolitische Sprecher der CDU/CSU, Dr. Jan-Marco Luczak, am Mittwoch in Berlin. Die Forscher des Fraunhofer-Instituts gehen noch weiter: Sie empfehlen, KI-Systeme in der Justiz grundsätzlich nur als „nicht bindende Assistenz“ einzusetzen und jede automatisierte Entscheidung einer menschlichen Überprüfung zu unterziehen.

**Fontes**

- Fraunhofer-Institut für Kognitive Systeme (IKS), Bericht „Projekt Stahlhammer – Grenzen algorithmischer Strafzumessung“, veröffentlicht am 30. September 2026. - Dr. Matthias Brenner, Leiter der Studie, Zitat aus der Pressekonferenz am 1. Oktober 2026. - Dr. Eleanor Pike, „Algorithmische Gerechtigkeit“, Vortrag vor dem Deutschen Bundestag, März 2023. - Bundesministerium der Justiz, Förderprojekte KI in der Justiz, Stand September 2026. - Dr. Jan-Marco Luczak (CDU/CSU), Pressemitteilung vom 1. Oktober 2026.