← Alle Artikel

Unterschätztes Potenzial

Wer als Jurist mit Urteilen, Verträgen oder Schriftsätzen arbeitet, kennt das gängige Vorgehen. Das Potenzial generativer KI-Chatbots, die auf Large Language Models (LLMs) beruhen, wird in der juristischen Arbeit allerdings häufig unterschätzt.

Richtig eingesetzt können solche Tools dabei helfen, große Mengen relevanter Informationen herauszuarbeiten und rechtliche Texte schneller zu erfassen. Entscheidend ist dabei nicht nur das eingesetzte Tool selbst, sondern vor allem die Anwendung und Qualität des Prompts. Gerade bei der anwaltlichen Recherche kann dies zu einer erheblich effizienteren Arbeitsweise beitragen.

Bisherige Studien und Recherchen

Es gibt bereits viele Ansätze, die versuchen, durch den Einsatz gezielter Metriken und Benchmarks aussagekräftige Ergebnisse über den Einsatz von LLMs im rechtlichen Kontext zu gewinnen. So wurde im Rahmen des LEGALBENCH-Projekts versucht, anhand von 162 gegebenen Aufgaben, eine grundlegende Einordnung zu schaffen.1 Im Wesentlichen wurde herausgearbeitet, dass verschiedene Techniken bei der Prompteingabe den Output erheblich verändern können. Zu diesem Ergebnis kam auch ein Projekt, das ein wiederverwendbares Prompting Framework2 entwickelte.

So konnte man beispielsweise feststellen, dass sich ein context-layered3 oder chain-of-thought Prompt4 deutlich besser dazu eignet, ein adäquates und vor allem detaillierteres, weniger oberflächliches Ergebnis zu generieren. Bei einem zero-shot Prompt oder few-shot Prompt5 wurde demgegenüber festgestellt, dass das Risiko einer Halluzination besonders hoch sein kann.6 Der Grund dafür ist naheliegend: Wesentliche Informationen, Details oder sonstige Anhaltspunkte sind nicht zugänglich oder fehlen gänzlich. Das LLM füllt solche Lücken unter Umständen mit Fehlinformationen aus. Das ist höchst problematisch und riskant.

Es darf allerdings nicht außer Betracht bleiben, dass die genannten Studien und Untersuchungen in der Regel auf Grundlage des amerikanischen oder britischen Rechts entwickelt wurden.7 Diese Rechtssysteme unterscheiden sich grundlegend vom deutschen Rechtssystem. Das deutsche Recht beruht gerade nicht auf dem Common Law. Höchstrichterliche Entscheidungen des BGH haben erhebliche Leit- und Orientierungswirkung. Sie ersetzen jedoch nicht die Auslegung und Subsumtion anhand der einschlägigen Normen. Eine besondere Bindungswirkung besteht demgegenüber für Entscheidungen des Bundesverfassungsgerichts. Nach § 31 Abs. 1 BVerfGG binden dessen Entscheidungen die Verfassungsorgane des Bundes und der Länder sowie alle Gerichte und Behörden. Anders als in einem strengen Präzedenzsystem sind gerichtliche Entscheidungen in Deutschland grundsätzlich damit nicht in gleicher Weise bindende Rechtsquelle. Damit unterscheidet sich auch die rechtliche Arbeitsweise.

Wenn es um die Bewertung von Prompts und den richtigen Einsatz von LLMs geht, ist daher kein genereller, pauschalisierter Ratgeber förderlich. Das betrifft auch weitere Bereiche des Rechtssystems, wie etwa die Beweisaufnahme oder die Verhandlung und allgemeine juristische Argumentation. Im deutschen Recht bestehen zudem je nach Verfahrensart eigene Ermittlungs-, Darlegungs- und Aufklärungspflichten, die sich nicht ohne Weiteres mit angloamerikanischen Verfahrensmodellen vergleichen lassen.

Gängige Vorgehensweise

Im Rahmen des LegalBench-Projekts wurden schwerpunktmäßig zwei Metriken zugrunde gelegt. Zum einen die Richtigkeit und zum anderen die Analysefähigkeit.8 Die dort gemeinte correctness korrespondiert mit dem erzielten Output, und zwar unter Berücksichtigung logischer, arithmetischer und sonstiger rechtlicher Fehler durch das LLM. Analysis meint die konkreten Schlussfolgerungen und Thesen, auf denen eine Antwort basiert.9

Ein LLM basiert in der Regel auf neuronalen Netzwerken, die anhand großer Trainingsdaten operieren. Konkret wird das KI-Modell dadurch trainiert, Muster in Sprache und Daten zu erkennen und auf dieser Grundlage wahrscheinliche Fortsetzungen zu generieren. Das führt aber nicht zwangsläufig zu einem qualitativ hochwertigen Ergebnis. Im Recht sind gerade Einzelfallentscheidungen und eine exakte Subsumtion erforderlich.

Es wurde eruiert, dass LLMs zu besseren Ergebnissen kommen können, wenn etwa eine Auslegungsregel zunächst erläutert wird. Auch die Verwendung vereinfachter Sprache kann im Vergleich zu technisch versierter Sprache positive Auswirkungen auf die Performance haben. Allerdings bestehen auch hier erhebliche Unterschiede, nicht nur zwischen verschiedenen LLM-Modellen, sondern auch zwischen Versionen innerhalb kommerzieller Modellreihen.10

Metriken zur Bewertung der Ergebnisse

Es wurde bereits auf die unterschiedlichen Grundzüge der Rechtssysteme und damit auch auf verschiedene Arbeitsweisen von Juristen im Ausland im Vergleich zu Deutschland verwiesen. Die Entwicklung eigener Metriken ist dabei von erheblicher Bedeutung und bildet einen Grundstein für eine aussagekräftige Bewertung dieser Thematik.

In der hiesigen Untersuchung wurde mit zwei Metriken gearbeitet. Einerseits wurden Normzitate und die richtige Nennung von Normenketten bewertet. Damit ist die Normenkette gemeint, die für die Lösung des jeweiligen Falls ausschlaggebend ist. Freilich können solche Normenketten je nach Fallgestaltung und Auslegung voneinander abweichen. Dennoch bestehen gängige Normeninterpretationen, die sich im Laufe der Zeit durch Rechtsprechung, Literatur und Rechtsanwendung etabliert haben. Andererseits wurde auch hier die Richtigkeit der Antwort im oben beschriebenen Sinne bewertet.

Hauptsächlich wurde mit ChatGPT (GPT-5.5) und Claude (Sonnet 5) gearbeitet. Die Wahl dieser Metriken basiert auf folgender Überlegung: Unabhängig davon, um welches Rechtsgebiet es sich handelt, muss ein Anwalt, Richter oder Staatsanwalt zunächst die einschlägigen Normen kennen und benennen.

Ein Beispiel: Wenn dem Staatsanwalt § 6 Pflichtversicherungsgesetz schlichtweg nicht bekannt ist, kann er eine entsprechende Straftat auch nicht sachgerecht prüfen oder ermitteln. Wenn ein gegnerischer Anwalt ein rechtliches Argument auf eine Norm stützt, die der anderen Partei bislang nicht bekannt war, kann dies ein Indiz für ein rechtlich relevantes oder starkes Argument sein. Logischerweise spielen dabei weitere Faktoren eine Rolle. Im Grundsatz kann der richtige Einsatz eines LLMs eine erhebliche Chance darstellen, rechtliche Arbeit in bestimmten Bereichen nachhaltig zu verbessern.

Erkenntnisse aus der praktischen Erprobung

Die hiesige Untersuchung ist kein Ersatz für eine umfangreiche empirische Studie. Vielmehr handelt es sich um Versuche, verschiedene Prompttechniken bei unterschiedlichen Anwendungsfällen systematisch einzuordnen und nach ihrer rechtlichen Qualität zu bewerten.

Zunächst wurde ein Fall aus dem Kaufrecht zugrunde gelegt. Der Fall betrifft einen Nacherfüllungsanspruch in Form der Nachbesserung. Er stammt aus dem dritten Semester und hat eine Länge von etwa einer halben Seite. Zunächst wurde ein zero-shot Prompt ausgeführt. Dieser enthielt die Aufforderung, den Fall zu lösen und gutachterlich Stellung zu nehmen.

Im Ergebnis wurden die wesentlichen Normen der §§ 437 Nr. 1, 439 Abs. 1 Alt. 1 BGB korrekt benannt. Die konkrete Subsumtion und die Herangehensweise an den Fall blieben allerdings oberflächlich. Verschiedene Prompttechniken änderten das Ergebnis dabei nur begrenzt. Ein LLM eignet sich zumindest dazu, ein konkretes rechtliches Ergebnis zu überprüfen oder einen ersten Einstieg in einen Fall zu ermöglichen, um die wesentlichen Normen zu identifizieren. Auch bei einem Vergleich mit weiteren Fällen aus dem Strafrecht oder öffentlichen Recht hatte das LLM keine erheblichen Probleme mit der Identifizierung einzelner einschlägiger Normen.

Die genaue Anwendung von Normen, die sich im Einzelfall bereits durch die Änderung eines einzigen Details erheblich unterscheiden kann, muss jedoch weiterhin durch einen Juristen erfolgen. Dieses Ergebnis stellt keine völlig neue Erkenntnis dar. Es verdeutlicht aber erneut das Potenzial und die Grenzen des Einsatzes.

So wurde in einem deutlich längeren Fall zum EBV (Eigentümer-Besitzer-Verhältnis) ein Absatz in § 990 BGB genannt, der im BGB nicht existiert. Dabei handelt es sich um ein klassisches Problem der Halluzination. Daraus lässt sich nicht zuverlässig ableiten, welche Trainingsdaten dem Modell fehlten. Die Stelle zeigt aber, dass das Modell die Normstruktur nicht verlässlich prüfen konnte und deshalb eine nicht existente Normangabe generierte. Das muss nicht bedeuten, dass ein LLM für solche Fragestellungen wertlos ist. Es könnte beispielsweise dabei helfen, interessante Urteile und Literatur zu einem EBV-Problem zu suchen, zu strukturieren oder zusammenzufassen, sofern die zugrunde gelegten Quellen kontrollierbar bleiben.

Anschauliches Beispiel

Ein weiteres anschauliches Beispiel ist das Urteil des EuGH vom 7. Dezember 2023 in der Rechtssache C-634/2111 zum SCHUFA-Scoring, das im Rahmen eines Vorabentscheidungsverfahrens nach Art. 267 AEUV erging. Gegenstand des Verfahrens war unter anderem die Frage, ob die automatisierte Erstellung eines Wahrscheinlichkeitswerts über die Fähigkeit einer Person zur Erfüllung künftiger Zahlungsverpflichtungen eine automatisierte Entscheidung im Sinne von Art. 22 DSGVO darstellen kann.

Der EuGH stellte klar, dass dies jedenfalls dann der Fall sein kann, wenn dieser Scorewert für die Entscheidung eines Dritten, etwa über die Gewährung eines Kredits, maßgeblich ist.12

Die Entscheidung ist für die Auslegung des Unionsrechts durch nationale Gerichte von erheblicher Bedeutung. Ihre praktische Relevanz zeigt sich auch in Verfahren vor dem BGH, in denen es um Auskunftsansprüche gegenüber der SCHUFA und um die Frage geht, welche Informationen Betroffene über die Berechnung und Aussagekraft von Scorewerten erhalten müssen.

Für Anwältinnen und Anwälte, die in vergleichbaren datenschutzrechtlichen Verfahren beraten oder prozessieren, können die Erwägungen des EuGH daher von besonderer Bedeutung sein.

Der entscheidende Punkt ist daher nicht nur, ob ein LLM eingesetzt wird, sondern wie es eingesetzt wird. Relevant können dabei folgende Aspekte sein:

  • das Ziel der rechtlichen Recherche, etwa die Analyse eines Vertrags, eines Urteils, eines Schriftsatzes, eines Schriftwechsels oder sonstiger Unterlagen,
  • das einschlägige Rechtsgebiet,
  • die Form des erwarteten Ergebnisses,
  • und vor allem die Nachvollziehbarkeit und Herleitung des Ergebnisses. Hier zeigt sich, dass die Metrik der Analysefähigkeit (s.o.) besonders wertvoll ist.

Wird das zu untersuchende Urteil als Ausgangsmaterial bereitgestellt, kann ein LLM folgende Fragen in der Regel ohne größere Probleme beantworten:

  • Welche Entscheidung hat der EuGH in der Rechtssache C-634/21 getroffen?
  • Welche Vorlagefrage oder Vorlagefragen lagen dem Verfahren zugrunde?
  • Was ist das zentrale rechtliche Problem der Entscheidung?
  • Wer waren die Beteiligten des Ausgangsverfahrens?
  • Welche weiteren Normen der DSGVO sind für die Entscheidung relevant?
  • Welche wesentlichen Argumente lassen sich aus der Entscheidung für ein deutsches Verfahren über Auskunftsansprüche ableiten?

Möchte man nun andere relevante Urteile vergleichen, kann ein LLM entsprechende Verbindungen (noch) nicht ohne Weiteres zuverlässig ziehen. Es würde beispielsweise nach Übereinstimmungen suchen, sofern es im Rahmen einer vertieften Websuche vergleichbare Urteile finden kann. Auch hier besteht das schwerwiegende Halluzinationsproblem. Nach den hiesigen Tests neigten sowohl ChatGPT als auch Claude dazu, Urteile zu zitieren, die tatsächlich nicht existieren.

Um ein LLM in diesem Kontext sinnvoll einsetzen zu können, könnte man etwa auf eine Rechtsprechungsdatenbank des BGH oder auf offene Datenbanken wie openJur zugreifen. Wenn eine solche Recherche zudem automatisiert werden soll, müssen weitere datenschutzrechtliche Punkte beachtet werden. In der Regel ist das Risiko einer Halluzination bei der Zusammenfassung gegebener Informationen am geringsten.12

Grenzen sonstiger Leitfäden, die angeblich immer „funktionieren“

Im Internet und auf Plattformen wie etwa YouTube, stößt man auf diverse Artikel und Videos, die vorgeben, den ,,richtigen Leitfaden" liefern zu können. Oft ist daran ein nicht ganz geringes Abonnement geknüpft. Dort werden häufig Tabellen mit den angeblich „richtigen Prompts“ abgedruckt. Wie bereits dargestellt wurde, kann eine solche Darstellung jedenfalls dann nicht zutreffend sein, wenn sie einen universellen Lösungsweg verspricht.

Nicht nur das gewählte kommerzielle Modell verändert den Output maßgeblich, sondern auch das Rechtsgebiet, die Art der Aufgabe und das Verständnis des Benutzers von der Aufgabe. ChatGPT reagiert weniger stark auf bloße Rollenzuweisungen und abstrakte Ideen, sondern eher auf context-layered Prompts.13 Das kann auch bei der Filterung von Vertragsklauseln hilfreich sein.

Ein Prompt kann und muss nicht immer unmittelbar zum gewünschten Ergebnis führen. Oft sind mehrere Versuche, Zwischenschritte und Anhaltspunkte erforderlich, um ein LLM zu einem wirklich hilfreichen Instrument zu machen.

Damit ist freilich nicht gemeint, dass alle online verfügbaren Leitfäden unbrauchbar sind. Es ist lediglich Vorsicht geboten. Solche Leitfäden können interessant sein, wenn sich eine Person erstmals mit der Thematik beschäftigt und einen Einstieg sucht. Besteht allerdings kein Verständnis für die Funktionsweise von LLMs und für die Besonderheiten juristischer Arbeit, wird der eigentliche Sinn von Prompttechniken häufig verkannt.

Ausblick

Künstliche Intelligenz kann in der anwaltlichen Arbeit sinnvoll eingesetzt werden, um rechtliche Texte schneller zu strukturieren. Besonders bei umfangreichen Urteilen, Verträgen oder Schriftsätzen kann sie einen erheblichen Mehrwert bieten.

Gleichzeitig bleibt KI ein unterstützendes Werkzeug. Die Qualität des Outputs ist von den genannten Faktoren abhängig. Sie eignet sich nicht für jegliche Anwendungsfälle und ersetzt weder die juristische Subsumtion noch die anwaltliche Verantwortung.

Prompt Engineering ist daher eine praktische Fähigkeit, die trainiert werden sollte. Der Wert liegt nicht darin, eine einzig wahre Formel zu liefern, sondern darin, die Möglichkeiten und Grenzen generativer KI im jeweiligen rechtlichen Kontext realistisch einschätzen und nutzbar machen zu können.

  1. Guha et al., LEGALBENCH: A Collaboratively Built Benchmark for Measuring Legal Reasoning in Large Language Models, 2023. ↩︎ ↩︎ ↩︎ ↩︎

  2. Krishna et al., A Reusable Prompting Framework for Applying Large Language Models to Legal Tasks, 2025 ↩︎

  3. Ein context-layered Prompt soll, wie sich aus dem Namen ableiten lässt, die Umstände des konkreten Auftrags ausführlicher erläutern. Dabei können etwa Ziel, Zweck, Personen und sonstige Aspekte benannt werden. Vgl. 1: Krishna et al., A Reusable Prompting Framework for Applying Large Language Models to Legal Tasks, 2025, S. 3114. ↩︎

  4. Ein chain-of-thought Prompt ähnelt dem menschlichen Denkprozess. Er gibt dabei eine Reihe von Informationen vor, an denen sich das LLM orientieren kann. Vgl. 1: Krishna et al., A Reusable Prompting Framework for Applying Large Language Models to Legal Tasks, 2025, S. 3114. ↩︎

  5. Ein zero-shot Prompt gibt dabei keine Beispiel- oder sonstige Handlungsmuster vor. Ein Output wird regelmäßig durch mehrere Prompts erreicht, d.h. few-shot Prompts. Vgl. 1: Krishna et al., A Reusable Prompting Framework for Applying Large Language Models to Legal Tasks, 2025, S. 3114. ↩︎

  6. Krishna et al., A Reusable Prompting Framework for Applying Large Language Models to Legal Tasks, 2025, S. 3117, 3121; Microsoft, Prompt Engineering for Lawyers (2nd Edition), 2025, S. 19, 30 ff., 43 f.; Yang/Li/Gong, Legal Knowledge Generation Based on LLM Prompt Engineering, CLOUD 2025, S. 16-31; Guha et al., LEGALBENCH: A Collaboratively Built Benchmark for Measuring Legal Reasoning in Large Language Models, 2023, S. 5. ↩︎

  7. Vgl. dazu auch Mielke/Wolff, „KI, LÖS‘ MIR DEN FALL!“, Jusletter IT 2025, S. 137 f.; siehe etwa Policarpio, ChatGPT Prompts for In-House Lawyers & Legal Teams: A Practical Guide, abrufbar unter: https://www.legalontech.com/post/chatgpt-prompts-for-lawyers (zuletzt abgerufen am 26.06.2026). ↩︎

  8. Guha et al., LEGALBENCH: A Collaboratively Built Benchmark for Measuring Legal Reasoning in Large Language Models, 2023, S. 6, 34; vgl. auch Krishna et al., A Reusable Prompting Framework for Applying Large Language Models to Legal Tasks, 2025, S. 3118. ↩︎

  9. Guha et al., LEGALBENCH: A Collaboratively Built Benchmark for Measuring Legal Reasoning in Large Language Models, 2023, S. 10; Krishna et al., A Reusable Prompting Framework for Applying Large Language Models to Legal Tasks, 2025, S. 3121. ↩︎

  10. Urteil des Europäischen Gerichtshofs (EuGH) vom 7. Dezember 2023 (Az. C-634/21) – infocuria. ↩︎

  11. Urteil des Europäischen Gerichtshofs (EuGH) vom 7. Dezember 2023 (Az. C-634/21) – infocuria, Rn. 73. ↩︎

  12. Krishna et al., A Reusable Prompting Framework for Applying Large Language Models to Legal Tasks, 2025, S. 3126. ↩︎ ↩︎

  13. Krishna et al., A Reusable Prompting Framework for Applying Large Language Models to Legal Tasks, 2025, S. 3127. ↩︎

Annika S. Zierhut
Annika S. Zierhut
Juristin, Mag. iur., Recht, Technologie und KI