Ein fehlender Grundsatz: Informationskompetenz

A. „Ein LLM erklärt nicht, es optimiert sprachliche Kohärenz“¹

Wahl nennt in seinem Artikel über das informationswissenschaftliche Grundgerüst von RAG-Systemen einen sehr interessanten Ansatz. Danach müsse dem jeweiligen Nutzer in der Praxis bewusst sein, dass ein LLM nicht im übertragbaren Sinn erklärt, sondern auf Grundlage erlernter Muster Ausgaben erzeugt. Die Formulierung, dass ein LLM optimiert, sollte daher nicht technisch verstanden werden. Diese Formulierung ist passend, um die Funktionalität nachvollziehen zu können.

Sprachliche Kohärenz² bezeichnet in der Linguistik den inhaltlichen und logischen Zusammenhang eines Textes. Damit eng verbunden ist die Kohäsion³, die äußerliche Verknüpfung von Sätzen und Satzteilen. Dem Nutzer entgeht dabei im Rahmen der täglichen Anwendung, dass ein LLM nur denjenigen Output wiedergibt, den es anhand des Kontexts, des Prompts und der Modellparameter für wahrscheinlich hält. Das bedeutet konkret, dass ein Text oder ein Ergebnis ausgegeben werden kann, dessen Zusammenhang auf den ersten Blick nachvollziehbar erscheint, obwohl Schlussfolgerungen fehlerhaft sind. Sprachliche Kohärenz und Kohäsion kann ein LLM insofern berücksichtigen und in seiner Ausgabe überzeugend reproduzieren. Die Qualität eines Textes bestimmt sich allerdings nicht nur nach diesen Gesichtspunkten. Vielmehr ist insbesondere im juristischen Kontext der Fokus auf juristische Präzision zu legen.⁴

B. Retrieval-Augmented Generation (RAG)

Technische Innovation schreitet insbesondere im Bereich generativer KI schnell voran. In diesem Zusammenhang ist auf das Retrieval-Augmented Generation (RAG) einzugehen. Ein LLM beruht auf Machine Learning.⁵ Das führt häufig dazu, dass bestehende parametrische Informationen an die Trainingsdaten gebunden sind und veraltet oder irrelevant sein können.

Vereinfacht gesagt bedeutet der Einsatz von RAG, dass bei einer Abfrage weitere Wissensquellen zur Verfügung gestellt werden. Dadurch kann die faktische Fundierung und das Problem der Halluzination verbessert werden. An dieser Stelle sollte angemerkt werden, dass auch hier das Problem der Halluzination nicht gänzlich beseitigt werden kann. Ein fehlerhaftes Retrieval kann zu falschen Angaben führen.⁶

Es handelt sich dabei um eine Verbindung von Informationsretrieval und generativer Sprachverarbeitung. Das wird auch als cross-reference bezeichnet.⁷ Gemeint ist vereinfacht eine Erschließung von Wissensquellen, die häufig semantisch oder lexikalisch erfolgt. Dabei werden Dokumente indexiert und relevante Inhalte bei einer Anfrage abgerufen, um dem LLM zusätzlichen Kontext zur Verfügung zu stellen. RAG-Systeme werden unter anderem für wissensintensive Anwendungen diskutiert und eingesetzt, beispielsweise in medizinischen, juristischen oder sonstigen Compliance Kontexten.⁷

C. Folgerung für den juristischen Kontext

I. KI im Justizsystem

Mit der zunehmenden Verfügbarkeit generativer KI stellt sich auch für die Justiz die Frage, wie mit zumindest teilweise KI-generierten Schriftsätzen umzugehen ist. Der Hintergrund ist nachvollziehbar. Juristische Texte sind für einen juristischen Laien oft schwierig nachzuvollziehen, insbesondere aufgrund ihrer Verweisungen, Zusammenhänge und Interpretationen. Nun kann man sich des Mittels generativer KI bedienen, um innerhalb kurzer Zeit umfangreiche Schriftsätze erstellen zu lassen.

Freilich fällt dem Juristen in solchen generierten Schriften auf, dass manche Normzitate falsch sind, Ansprüche so nicht hergeleitet werden können oder Urteile, auf die verwiesen wurde, gar nicht existieren. An der Stelle ist auf das Problem der Halluzination hinzuweisen, das eingangs in dieser Reihe bereits behandelt wurde. Logischerweise ist an dieser Stelle anzumerken, dass sich die Leistungsfähigkeit der LLMs stetig verbessert. Dies ändert jedoch nichts daran, dass die rechtliche Tragfähigkeit eines generierten Schriftsatzes im Einzelfall geprüft werden muss.

Jedem Bürger steht gegen die öffentliche Gewalt das Grundrecht des effektiven Rechtsschutzes (Art. 19 IV GG) sowie der Anspruch auf einen gesetzlichen Richter zu (Art. 101 I 2 GG). Der allgemeine Justizgewährungsanspruch folgt dabei aus dem Rechtsstaatsprinzip aus Art. 20 III GG. Historisch ist die sogenannte Denegatio iustitiae zu erwähnen, das heißt das Verbot der Rechtsverweigerung.⁸ Diese Entwicklungen können daher die Entstehung eines Spannungsfeldes aufweisen. Es ist durchaus positiv zu werten, dass das Recht unter Zuhilfenahme von KI einer größeren Zahl von Bürgern leichter zugänglich gemacht werden kann. Eine größere Anzahl von Bürgern könnte von diesem Recht wieder Gebrauch machen. Dabei muss berücksichtigt werden, dass die Zahl der Neuzugänge und anhängigen Verfahren in Zivilsachen vor dem Amtsgericht in den letzten Jahren im Durchschnitt gesunken ist, zuletzt jedoch wieder gestiegen ist.⁹ Unabhängig davon darf nicht außer Acht gelassen werden, dass zahlreiche Gerichte und Staatsanwaltschaften, etwa in Strafsachen, mit tausenden Fällen bereits bereits einer erheblichen Arbeitsbelastung ausgesetzt sind.¹⁰ Eine höhere Zahl KI-generierter Klagen schafft daher neue Herausforderungen für die Justiz.

II. Potenzial

Es ist zu untersuchen, wie die genannten Grundsätze im Kontext der juristischen Tätigkeit konkret einzuordnen sind. Es wurde bisher aufgezeigt, dass ein sachgerechter Einsatz generativer KI sowohl Informationskompetenz als auch ein zumindest grundlegendes Verständnis ihrer Funktionsweise voraussetzt. Ein Potenzial kann nur da ausgereizt werden, wo ein Anhaltspunkt besteht, die Grundlage nachzuvollziehen. In der Literatur und in öffentlichen Diskursen wird die mögliche Gefahr für den Verlust des anwaltlichen Berufs prognostiziert. Es wird teilweise aufgezeigt, dass dieser Beruf obsolet werden könnte oder zumindest ein nicht unwesentlicher Teil der bisherigen Arbeit wegfallen wird. Man könnte insofern von einer Erosion der juristischen Arbeitsweise sprechen. Die Frage ist allerdings, wie groß die Gefahr wirklich ist. Hier muss der mögliche Einsatz im Justizsystem und im Anwaltsberuf unterschieden werden.

1. Stilometrie

LLMs können sprachlich stark standardisierte und wiederkehrende Muster erzeugen. In der sogenannten Stilometrie¹⁰ sind Stilmerkmale statistisch messbar und vergleichbar. Hierzu können verschiedene Metriken herangezogen werden. In der Sprachwissenschaft lassen sich dabei verschiedene Merkmalsgruppen unterscheiden. So kann man einen Text anhand diskursiver Merkmale charakterisiern. Damit sind unter anderem Kohäsionsmarker gemeint.¹¹

2. Beispiel anhand eines Urteils

Das Urteil des BGH vom 25.06.2026¹² zeigt exemplarisch die Struktur eines Urteils und insbesondere die Bedeutung von Semantik und Kohärenz im juristischen Kontext. Zunächst fällt die Häufung von anaphorischen Rückverweisen auf. Diese Art der referenziellen Kohäsion ist für die juristische Argumentation und Nachvollziehbarkeit von erheblicher Bedeutung. Dabei ist nicht nur der allgemeine Verweis auf Gesetze oder Normen gemeint. Vielmehr werden auf diese Weise bisherige Rechtsauffassungen und Verfahren wiedergegeben und in einen Kontext gesetzt. Eine qualitativ hochwertige juristische Arbeitsweise zeichnet sich dadurch aus, dass sie detailorientiert und einzelfallbezogen ist.

Der Kern dieses Urteils beschäftigt sich im Wesentlichen mit der tatbestandlichen Voraussetzung des unanfechtbaren Vereinsverbots, das von einem vereinsrechtlichen Betätigungsverbot zu unterscheiden ist. Konkret stellt der BGH für § 86 I Nr. 2 StGB darauf ab, dass die betreffende Vereinigung unanfechtbar verboten sein muss. Ein ausschließlich für Deutschland erlassenes Betätigungsverbot genügt hierfür nicht.

In einem rein auf sprachliche oder semantische Ähnlichkeit ausgerichteten Retrieval können die Begriffe „Vereinsverbot“ und „Betätigungsverbot“ aufgrund ihres gemeinsamen thematischen Kontextes eng beieinanderliegen, gegebenenfalls sogar synonymisch.

Ausgehend von einem klassischen RAG, würde ein Urteil beispielsweise unterteilt („Chunking") und sodann durch Embeddings als Vektoren dargestellt, sodass das LLM für eine Anfrage als relevant bewertete Textabschnitte als zusätzlichen Kontext erhält.

Hier besteht allerdings die Gefahr eines schwerwiegendes Problems. Bei einem überwiegend auf semantische Ähnlichkeit gestützten Retrieval können zusammenhängende Begründungen, innerhalb des Urteils auf mehrere, voneinander getrennte Textabschnitte verteilt sein. Wird lediglich ein einzelner Abschnitt abgerufen, kann dadurch der juristisch entscheidende argumentative Kontext verloren gehen. Eine ähnliche Systematik muss bei der Verarbeitung von Gesetzen beachtet werden. Das Retrieval kann daher nicht nur aufgrund eines Embeddings und semantischer Ähnlichkeit agieren. Vielmehr muss eine Rekonstruktion normativer und argumentativer Zusammenhänge erfolgen. Die Aufbereitung muss referenzsensitiv erfolgen.¹³

Für den Einsatz von KI besteht daher ein großes Potenzial. KI kann bei jenen Aufgaben helfen, die repetitiv sind und etwa die Wiedergabe von Normenketten betreffen. Die Relationstechnik ist eine wesentliche juristische Arbeitsmethode, die dazu dient, komplexe Sachverhalte aufzuarbeiten und systematisch auszuwerten. Auch bei einer solchen Grundstrukturierung könnte KI sinnvoller eingesetzt werden, als von ihr die gesamte fehlerfreie Formulierung eines Urteils zu verlangen. Denkbar wäre etwa die Strukturierung von Behauptungen und die Gegenüberstellung von einem stretigen und unstreigen Vorbringen.

III. Machine Bias

In diesem Zusammenhang ist auch das Problem der algorithmischen Voreingenommenheit anzusprechen, der sogenannte Machine Bias. Erfahrungswerte und Trainingsdaten, die dem LLM zur Verfügung gestellt werden, können zu verstärkter Diskriminierung¹⁴ führen. Dieses Problem wird etwa in der Dikussion um das amerikanische COMPAS-System deutlich, das zur Einschätzung von Rückfallrisiken eingesetzt wurde. Die Bewertung von algorithmischer Fairness ist dabei umstritten. Ein Social Profiling und die damit Ungleichbehandlung können begünstigt werden. Das wird vor allem dann relevant, wenn KI in der Zukunft zur Analyse von Beweisen eingesetzt wird und ihre Ergebnisse unmittelbar oder mittelbar gerichtliche Entscheidungen beeinflussen könnten.¹⁵

D. Ausblick

Es ist daher wichtig, die Hintergründe und Grenzen eines LLMs zu verstehen. Die genannten Grundsätze fallen dabei unter den Begriff der Informationskompetenz. Damit ist in diesem Zusammenhang insbesondere die Fähigkeit gemeint, Informationen zu recherchieren, in den jeweiligen Kontext einzuordnen und vor allem ihre Verlässlichkeit kritisch zu überprüfen. Dabei sollte nicht jedem KI-generierten Dokument misstraut werden. Vielmehr muss erkannt werden, welcher Abschnitt der Überprüfung bedarf. Das muss kontrolliert und bewusst erfolgen.

Annika S. Zierhut

Juristin, Mag. iur., Recht, Technologie und KI