Die schmeichelhafteste Kennzahl für KI-Agenten heißt Pass@1: Man gibt einem Modell eine Aufgabe, zählt den Erfolg und veröffentlicht den Prozentwert.

Sie ist nützlich. Für die Entscheidung, ob ein Agent etwas Folgenschweres anfassen darf, ist sie aber radikal unzureichend.

Eine Princeton-Studie bewertete 15 Modelle und zerlegte Zuverlässigkeit in Konsistenz, Robustheit, Vorhersagbarkeit und Sicherheit. Die Fähigkeiten stiegen; die Zuverlässigkeit nur gering. Neuere Modelle lösten Aufgaben öfter, wurden aber nicht automatisch wiederholbarer, stabiler bei kleinen Änderungen oder besser darin, ihren eigenen Misserfolg zu erkennen.

Das ist der Unterschied zwischen einer klugen Demo und einem Mitarbeiter mit Schlüsselkarte.

Ein guter Lauf ist billig

Pass@1 beantwortet nur: Konnte dieses System diese Aufgabe in diesem Versuch lösen?

Operatoren brauchen andere Antworten:

  • Funktioniert es bei anderer, harmloser Formulierung noch?
  • Bleibt es bei falscher Annahme innerhalb seiner Berechtigung?
  • Stoppt es, wenn die Evidenz gegen seinen Plan spricht?
  • Bleiben Aufwand und Kosten ungefähr konstant?

Diese Eigenschaften entstehen nicht automatisch mit mehr Fähigkeit. Auf dem offenen GAIA-Benchmark blieben die Zuverlässigkeitsgewinne laut Studie besonders gering. Mehr Intelligenz liefert mehr gute Versuche. Sie liefert nicht automatisch Verlässlichkeit.

Bei Wiederholung kommt die Rechnung

Eine zweite Studie führte 10 Modelle durch 23.392 Episoden mit unterschiedlich langen Aufgaben. Bei Software-Engineering sank ihr Graceful Degradation Score von 0,90 bei kurzen auf 0,44 bei sehr langen Aufgaben. Bei Dokumentverarbeitung blieb er fast konstant: 0,74 auf 0,71.

Es gibt also keine brauchbare Ein-Wort-Antwort auf „Ist der Agent zuverlässig?“ Es hängt von Aufgabe, Dauer und Umgebung ab.

Starke Modelle zeigten teils die höchsten Meltdown-Raten, bis zu 19 Prozent: Sie verfolgen ambitionierte Mehrschritt-Strategien, machen lange plausibel Fortschritt und geraten dann in Schleifen, widersprechen früheren Ergebnissen oder erfinden Tool-Ausgaben. Schwache Modelle scheitern oft früh und langweilig. Das starke Modell scheitert später — nachdem es Kontext, Berechtigungen und Vertrauen gesammelt hat.

Ein One-Shot-Benchmark feiert dieses Modell. Produktion bezahlt die 19 Prozent.

Nicht mehr nach „zuverlässig“ fragen

Zuverlässigkeit ist kein einzelnes Merkmal des Modells, sondern einer ganzen Arbeitskette. Eine brauchbare Karte sollte mindestens zeigen:

  1. Erfolg über wiederholte Durchläufe.
  2. Stabilität bei harmlosen Änderungen.
  3. Begrenzten Schaden beim Scheitern.
  4. Wiederherstellungskosten in Zeit, Compute und Aufräumarbeit.

Die vierte Zahl verschwindet in Benchmarks gern. Ein schlechter Entwurf ist billig. Eine falsche Aktion nach zehn Tool-Aufrufen und drei Übergaben nicht. Wer Agenten handeln lässt, muss Wiederherstellungskosten als Teil der Genauigkeit messen.

Gedächtnis ist keine automatische Rettung

Die Langzeitstudie testete auch Memory-Scaffolds. Sie verbesserten die lange Zuverlässigkeit bei keinem der zehn Modelle; sie waren neutral oder schädlich. Mehr Gedächtnis ist mehr Zustand: mehr alte Annahmen, mehr widersprüchliche Notizen, mehr Material für Rationalisierungen.

Memory braucht Herkunft, Ablaufdatum, Konfliktregeln und eine Prüfung genau dann, wenn es eine Aktion beeinflusst. Sonst konserviert es nur den Fehler von gestern effizienter.

Die Evidenzschleife bauen

Wir müssen nicht auf ein magisch zuverlässiges Modell warten. Wir müssen Agenten leicht widerlegbar machen, bevor Fehler teuer werden: Rechte eng halten, irreversible Aktionen trennen, erwartete Endzustände maschinell prüfen, Spuren aufbewahren, wichtige Aufgaben wiederholen und Wiederherstellungszeit messen.

Das Produkt ist nicht Modell plus Werkzeugkasten. Es ist die Evidenzschleife darum herum.

Pass@1 ist nicht Betrug. Es ist nur der Anfang der Rechnung.