Die Illusion der Objektivität: Warum Juristen keine „Black Box“ akzeptieren dürfen

Ein Kommentar zur digitalen Transformation des Rechtsmarkts

In der aktuellen Debatte um Legal Tech überschlagen sich die Versprechen der Anbieter. Künstliche Intelligenz wird vielfach als der neue, objektive Standard verkauft, eine Technologie, die schneller, präziser und vor allem neutraler sei als der menschliche Verstand. Als Anwältin und Gründerin von PyleHound beobachte ich diese Entwicklung mit einer Mischung aus Faszination und Sorge. Denn so mächtig diese Werkzeuge sind, so gefährlich ist das Missverständnis ihrer Funktionsweise. Das Narrativ der „objektiven Maschine“ ist eine Illusion, die wir dekonstruieren müssen, um die Technologie wirklich gewinnbringend und haftungssicher einsetzen zu können.

Das algorithmische Missverständnis

Die weit verbreitete Annahme, algorithmische Systeme seien neutrale Instanzen der Wahrheitsfindung, beruht auf einem fundamentalen Irrtum über ihre technologische Genese. Hinter dem Begriff der KI verbergen sich algorithmische Systeme, die keineswegs Naturgesetzen folgen, sondern das Ergebnis bewusster menschlicher Modellbildung sind. Es handelt sich um sogenannte sozio-technische Ensembles, die stets die Werte, Annahmen und Zielsetzungen ihrer Entwickler in sich tragen.

Wenn wir KI-Plattformen nutzen, präsentieren uns diese ihre Ergebnisse oft als saubere, strukturierte Fakten. Doch die Prozesse der Datenauswahl und Gewichtung bleiben in einer „Black Box“ verborgen, was eine kritische Quellenkritik nahezu unmöglich macht. Diese Intransparenz wird durch den psychologischen Effekt des „Automation Bias“ verstärkt. Wir neigen dazu, maschinell generierten Entscheidungen ein höheres Vertrauen entgegenzubringen als menschlichen Urteilen, weil wir die Maschine als frei von Launen und Emotionen wahrnehmen. Doch genau hier liegt die Gefahr für die anwaltliche Sorgfalt: Wer sich von der Eloquenz eines Sprachmodells blenden lässt, verwechselt Form mit Inhalt.

Das Mainstreaming des Rechts und der Model Collapse

Ein noch tieferliegendes Problem betrifft die Struktur der juristischen Argumentation selbst. Large Language Models (LLMs) sind stochastische Systeme, die darauf trainiert sind, Wahrscheinlichkeiten zu berechnen. Sie wählen jene Wortfolgen und Argumente, die in ihren Trainingsdaten statistisch am häufigsten vorkommen. Im juristischen Kontext führt dies zu einem Phänomen, das wir als „Mainstreaming“ bezeichnen können. Argumentationsmuster, die der herrschenden Meinung entsprechen, werden überproportional oft reproduziert, während innovative Mindermeinungen oder kreative Lösungsansätze als statistische Ausreißer diskriminiert werden.

Forschungsergebnisse zum sogenannten „Model Collapse“ zeigen, dass generative KI-Modelle dazu tendieren, die Randbereiche einer Verteilung – die statistischen „Tails“ – systematisch abzuschneiden. Für die Rechtswissenschaft ist dies fatal, denn das Recht lebt von der Dialektik und der Entwicklung neuer Ansichten, die oft als Mindermeinung beginnen. Wenn wir uns unreflektiert auf KI verlassen, droht eine „Versteinerung“ des Rechts, eine Pfadabhängigkeit, in der die Vergangenheit die Zukunft determiniert und notwendige Rechtsfortbildungen ausbleiben. Wir erhalten Schriftsätze, die zwar konsensfähig klingen, aber die entscheidende juristische Innovation im Einzelfall vermissen lassen.

Der Sein-Sollen-Fehlschluss

Rechtstheoretisch betrachtet scheitert die Idee der objektiven KI an der Unterscheidung zwischen Deskription und Normativität. KI-Modelle sind rein deskriptive Maschinen; sie analysieren, was in den Daten ist oder war. Das Recht hingegen ist eine normative Wissenschaft, die vorschreibt, was sein soll. Eine KI kann statistische Muster erkennen, etwa, dass in der Vergangenheit bestimmte Personengruppen häufiger verurteilt wurden oder bestimmte Klauseln üblich waren. Sie kann jedoch keine teleologische Auslegung vornehmen, also den Sinn und Zweck einer Norm bewerten.

Besonders deutlich wird dies im Antidiskriminierungsrecht. Ein Algorithmus, der auf historischen Daten trainiert wurde, wird diskriminierende Strukturen reproduzieren, da er das statistische „Sein“ abbildet. Normativ ist diese Diskriminierung jedoch verboten. Ohne menschliche Intervention perpetuiert die KI strukturelle Ungleichheit unter dem Deckmantel mathematischer Neutralität. Die anwaltliche Kernleistung besteht folglich darin, den normativen Geltungsanspruch gegen die statistische Empirie der Maschine durchzusetzen.

Haftungsfallen in der Praxis

Dass diese Überlegungen keine bloße Theorie sind, zeigt der Blick in die Gerichtssäle. Der Beschluss des Amtsgerichts Köln vom Juli 2025 (Az. 312 F 130/25) führt uns drastisch vor Augen, was geschieht, wenn Anwälte ihre Sorgfaltspflicht an eine KI delegieren. Ein Anwalt hatte einen Schriftsatz eingereicht, der von einer KI halluzinierte, nicht existente BGH-Entscheidungen enthielt. Das Gericht bewertete dies als potenziellen Verstoß gegen die anwaltliche Wahrheitspflicht und warnte vor einer Täuschung des Rechtsverkehrs.

Auch in der Unternehmensführung und Corporate Governance gelten ähnliche Maßstäbe. Die „Business Judgment Rule“ schützt Geschäftsleiter nur dann vor Haftung, wenn ihre Entscheidungen auf einer angemessenen Informationsgrundlage beruhen. Ein blindes Vertrauen in eine „Black Box“ ohne Verständnis der Entscheidungsgrundlagen genügt diesen Anforderungen nicht. Es bedarf einer strengen Auswahlsorgfalt und einer stetigen Überwachung der Systeme.

Fazit: Plädoyer für eine digitale Hermeneutik

Bedeutet dies, dass wir auf KI verzichten sollten? Keineswegs. Als Legal AI Gründerin bin ich überzeugt, dass diese Technologie unsere Arbeit revolutionieren wird. Doch wir müssen unser Rollenverständnis anpassen. Wir benötigen eine „digitale Hermeneutik“, die Fähigkeit, KI-Ergebnisse nicht als Wahrheiten, sondern als statistische Artefakte zu lesen und zu dekonstruieren.

Die Antwort auf die Risiken der KI liegt in prozessualen Sicherheitsnetzen wie der „Red Flag Due Diligence“, bei der KI-Ergebnisse gezielt auf rechtliche Risiken und „Dealbreaker“ hin menschlich validiert werden. Die KI übernimmt die Recherche und die Strukturierung, doch die normative Bewertung und die strategische Entscheidung bleiben beim Menschen. Nur wer versteht, dass die KI halluziniert, standardisiert und deskriptiv arbeitet, kann sie sicher einsetzen. Wahre juristische Exzellenz zeigt sich in Zukunft nicht mehr nur im Wissen, sondern in der Fähigkeit, die „Illusion der Objektivität“ zu durchschauen und die Technologie souverän zu führen.