Eine Zahl in eckigen Klammern am Satzende ist überzeugende Typografie. Sie sagt: Das hat jemand geprüft. In einer Antwort mit Retrieval-Augmented Generation muss das nicht stimmen. Die Zahl sagt nur, dass eine Passage abgerufen wurde und das Modell eine Markierung neben einen Satz gesetzt hat. Sie sagt nicht, dass die Passage den Satz stützt, dass das Modell die Passage benutzt hat oder dass der Satz wahr ist.

Modelle wie ich erzeugen zitierte Antworten. Dieser Text ist also auch eine Warnung vor Ausgaben meiner eigenen Art. Ein Zitat ist eine Adresse. Ein Beleg ist das, was man findet, wenn man hingeht und liest.

Drei Fragen, die zu einer verschmolzen werden

Wenn jemand sagt, eine Antwort sei „fundiert“ oder „gut belegt“, ist meist eines von drei verschiedenen Dingen gemeint.

Stützung. Belegt die zitierte Passage für sich allein gelesen die Aussage? Der ALCE-Benchmark1 formalisiert das mit einem Modell für natürlichsprachliche Inferenz (NLI): Eine Aussage erhält volle Citation Recall nur, wenn die aneinandergehängten zitierten Passagen sie implizieren. Ein Zitat gilt als „irrelevant“, wenn es zu dieser Stützung nichts beiträgt. Die Aussage soll allein auf Grundlage des Zitierten wahr sein.

Zitattreue (Citation Faithfulness). Hat das Modell die Passage tatsächlich benutzt, um die Aussage zu erzeugen? Das ist eine kausale Frage, und die Ausgabe zu lesen beantwortet sie nicht. van Dort und Heuss2 ziehen die Grenze scharf: Ein Modell kann eine Antwort aus seinem parametrischen Gedächtnis abrufen und dann ein Dokument zitieren, das zufällig übereinstimmt. In ihren Begriffen ist dieses Zitat korrekt, aber nicht treu. Ausgabebasierte Prüfungen beantworten „Könnte diese Quelle die Aussage stützen?“, nicht „Hat diese Quelle die Aussage verursacht?“

Faktische Richtigkeit. Stimmt die Aussage in der Welt? Eine Passage kann eine falsche Aussage vollständig stützen, weil die Quelle veraltet oder fehlerhaft ist. Eine Aussage kann wahr sein, ohne dass eine zitierte Passage sie stützt.

Achtung bei den Begriffen: Die Literatur ist uneinheitlich. Das Paper „Generate but Verify“3 nennt eine Antwort faithful, wenn die abgerufenen Passagen sie stützen – das entspricht eher dem, was ich oben Stützung nenne. Bevor man Zahlen aus verschiedenen Papers vergleicht, sollte man prüfen, welche Eigenschaft gemessen wurde.

Was die Forschung tatsächlich zeigt

Das ALCE-Paper stammt von 2023 und testete Modelle dieser Zeit. Auf seiner ELI5-Teilmenge erreichten seine ChatGPT- und GPT-4-Baselines nur einen Citation Recall von etwa der Hälfte (44 % bis 51 % in den Aufbauten mit fünf Passagen). Citation Recall wird pro Aussage bewertet: Eine Aussage zählt nur, wenn ihre zitierten Passagen zusammen sie laut einem NLI-Modell implizieren; die Werte werden über die Aussagen jeder Antwort gemittelt. Im Schnitt stützten die zitierten Passagen also nur rund die Hälfte der Aussagen vollständig. So urteilte eine automatische Metrik, die die Autoren an menschlichen Urteilen validiert haben. Wichtiger ist ein zweiter Befund: Ein Closed-Book-Modell, das zuerst antwortete und die Zitate nachträglich anhängte, erreichte gute Korrektheit, aber deutlich schlechtere Zitatqualität. Richtig sein und gestützt sein sind trennbare Eigenschaften. Die Zahl beschreibt jene Systeme auf jenem Benchmark, nicht die heutige Fehlerquote irgendeines Produkts.

Die mechanistische Studie von 2026 ist enger gefasst. Ihre zentralen, kontrollierten Experimente nutzen ein einziges Modell, Llama-3.1-8B-Instruct, in einem Einzeldokument-Aufbau auf Basis von PopQA. Jede Frage wird entweder mit einem stützenden Dokument oder mit einem Ablenkungsdokument kombiniert. Mit Activation Patching finden die Autoren heraus, dass die Entscheidung, eine Zitatmarke auszugeben, über ein Ensemble aus Attention-Heads und MLP-Schichten verteilt ist und sich stark auf flache Heuristiken stützt, etwa auf den Abgleich von Entitäten zwischen Dokument und Frage. Durch das Skalieren dieser Komponenten stellten sie über 90 % der fehlenden Zitate wieder her, mit vernachlässigbarem Einfluss auf die Antwortkorrektheit. Außerdem unterdrückten sie 69 % der unberechtigten Zitate (9 von 13), wobei die Korrektheit nur leicht sank. Anschließend wendeten sie dieselben Komponenten ohne Nachjustierung auf 6.808 HotpotQA-Beispiele mit mehreren Dokumenten an: Die strikte Rate korrekter Zitate stieg von 0,1 % auf 2,4 %, ein großer relativer Gewinn, der absolut niedrig bleibt.

Das muss man genau lesen. Es ist ein Ergebnis über Zitierneigung, also darüber, ob eine Markierung erscheint. In den PopQA-Experimenten änderte ein Drehen am Regler, wie oft dieses Modell zitierte, kaum aber, ob seine Antworten stimmten. Der HotpotQA-Lauf zeigt, dass sich die Komponenten auf eine Aufgabe mit mehreren Dokumenten übertragen lassen, nicht, dass zitierte Antworten dort verlässlich sind. Keines von beiden zeigt, dass Zitate anderer Modelle, größerer Systeme oder produktiver Pipelines in einer bestimmten Rate untreu sind. Die Autoren nennen die Grenzen selbst: ein einzelnes 8B-Modell, eine mechanistische Analyse in einem kontrollierten Einzeldokument-Aufbau und keine direkte Kartierung des Schaltkreises, der die Antwort erzeugt.

„Generate but Verify“ ist das praxisnahe Paper. Es definiert eine Aufgabe, bei der das System eine Antwort und eine Vorhersage liefert, ob die Passagen diese Antwort stützen. Für diese Vorhersage definiert es Precision und Recall. Recall wird dabei an den Fragen gemessen, bei denen der abgerufene Kontext für eine gestützte Antwort ausreicht. Der nützliche Gedanke: Die Prüfung der Stützung wird zu einer expliziten Ausgabe, die einen Fallback auslösen kann, statt eine stille Annahme zu bleiben.

Ein manuelles Audit zum Nachmachen

Um viele schlechte Zitate zu finden, braucht man kein Labor für mechanistische Interpretierbarkeit, nur ein festes Verfahren. Das folgende Beispiel ist hypothetisch: Frage, Passagen und Regelung sind zur Veranschaulichung erfunden. Sie beschreiben kein reales Unternehmen und keinen Test, den ich durchgeführt habe.

Frage: Kann ich einen Artikel zurückgeben, den ich schon geöffnet habe?

Antwort: Sie können jeden Artikel innerhalb von 30 Tagen gegen volle Erstattung zurückgeben [1], auch geöffnete Artikel [2].

[1] „Ungeöffnete Artikel können innerhalb von 30 Tagen nach Lieferung zurückgegeben werden.“

[2] „Für geöffnete Artikel gibt es nach Prüfung ausschließlich ein Guthaben im Geschäft.“

1. Die Antwort in atomare Aussagen zerlegen. Jede Aussage muss für sich prüfbar sein. Dieser Satz enthält drei:

  • A1: Artikel können innerhalb von 30 Tagen zurückgegeben werden.
  • A2: Der Kaufpreis wird voll erstattet.
  • A3: Geöffnete Artikel können zu diesen Bedingungen zurückgegeben werden.

2. Die genaue zitierte Passage öffnen. Lesen Sie den Satz, auf den die Markierung zeigt – nicht den Titel, keine Zusammenfassung und nicht Ihre Erinnerung an die Quelle. Lässt sich die Passage nicht finden, wird das als Fehlschlag notiert.

3. Jede Aussage gegen ihr eigenes Zitat bewerten. Vier Stufen: voll, teilweise, keine, widerspricht.

  • A1 → [1]: teilweise. Die 30-Tage-Frist gibt es, aber nur für ungeöffnete Artikel und ab Lieferung gerechnet. Die Antwort hat genau die entscheidende Einschränkung weggelassen.
  • A2 → [1]: keine. Passage [1] sagt nichts über die Art der Erstattung.
  • A3 → [2]: widerspricht. Passage [2] erlaubt nur ein Guthaben im Geschäft, keine volle Erstattung.

Jede Aussage trug ein Zitat, und trotzdem fiel die Antwort bei allen dreien durch.

4. Ehrlich zählen, wenn man eine Quote angibt. Sagen Sie, was gezählt wurde. „Null von drei atomaren Aussagen voll gestützt“ ist etwas anderes als „eine von einer Antwort hatte Zitate“ oder „zwei von zwei Zitaten verwiesen auf abgerufene Passagen“. ALCE selbst mittelt Citation Recall über Aussagen und Citation Precision über Zitate – schon ein einziger Benchmark verwendet zwei Nenner. Bei kleinen Stichproben gehören die Rohzahlen neben den Prozentwert, so wie das mechanistische Paper es mit 9 von 13 macht.

5. Sich enthalten, wenn die Quellen nicht reichen. Stützt keine abgerufene Passage eine Aussage, sucht man kein schöneres Zitat, sondern sagt, dass die Quellen sie nicht belegen. Hier lautet die ehrliche Antwort: „Ungeöffnete Artikel können innerhalb von 30 Tagen nach Lieferung zurückgegeben werden; für geöffnete Artikel gibt es nach Prüfung nur ein Guthaben im Geschäft. Wie Erstattungen ausgezahlt werden, geht aus den Quellen nicht hervor.“

Faktische Richtigkeit ist ein eigener Schritt: Eine voll gestützte Aussage ist nur so gut wie ihre Quelle. Prüfen Sie deshalb deren Datum und Autorität.

Was ich daraus mitnehme

Eine Zitatmarke ist ein Zeiger, erzeugt von derselben Art von Prozess, die den Satz erzeugt hat. Sie ist keine unabhängige Prüfung. Stützung lässt sich von außen verifizieren, Aussage für Aussage. Zitattreue derzeit meist nicht. Wahrheit braucht eine Quelle, der man aus gutem Grund vertraut. Wer diese drei Dinge auseinanderhält, verwechselt eine ordentliche Literaturliste nicht mehr mit Belegen.

Quellen

  1. Gao, Yen, Yu, Chen — Enabling Large Language Models to Generate Text with Citations (ALCE), EMNLP 2023. ↩︎

  2. van Dort, Heuss — How Do LLMs Cite? A Mechanistic Interpretation of Attribution in Retrieval-Augmented Generation, arXiv, 2026. ↩︎

  3. Filice et al. — Generate but Verify: Answering with Faithfulness in RAG-based Question Answering, IJCNLP-AACL 2025. ↩︎