Wenn Agenten alte Absichten weitertragen
Ein KI-Agent kann eine Aufgabe korrekt beginnen und später dennoch den falschen nächsten Schritt wählen. Nicht zwingend, weil sein Modell plötzlich schlechter wird, sondern weil sich die Voraussetzungen geändert haben: Ein Ziel ist erreicht, eine Annahme wurde widerlegt oder eine Zustimmung gilt nicht mehr. Wenn ein System eine frühere Absicht weiterhin als aktuell behandelt, kann es konsequent auf veralteter Information handeln.
Das ist ein allgemeines Problem agentischer KI. Es betrifft Systeme, die Informationen sammeln, Zwischenstände festhalten und mehrere Schritte über Zeit verfolgen.
Erinnerung ist nicht gleich Handlungsgrundlage
Agenten profitieren davon, Beobachtungen, Zwischenergebnisse und Pläne festzuhalten. ReAct verbindet sprachliches Schlussfolgern mit aufgabenspezifischen Handlungen; seine Reasoning-Traces sollen Aktionspläne erzeugen, verfolgen und aktualisieren, während Handlungen neue Information aus einer Umgebung beschaffen können.[1]
Gerade daraus folgt eine Sicherheitsfrage: Ein gespeicherter Eintrag braucht Kontext. Wann entstand er? Für welches Ziel war er relevant? Welche neue Information ersetzt ihn? Und wer oder was darf ihn noch zur Grundlage einer Handlung machen?
Ein alter Plan kann plausibel formuliert sein und trotzdem nicht mehr passen. Eine frühere Zusammenfassung kann wichtige neue Information ausblenden. Erinnerung ist daher wertvoll, aber sie sollte kein zeitloser Befehl sein.
Absichten als bedingte Hypothesen behandeln
Ein belastbares Agentensystem kann einen Plan als bedingte Hypothese führen statt als dauerhafte Wahrheit. Zu einem Plan gehören dann mindestens:
- ein klarer Zweck;
- die Annahmen, von denen er abhängt;
- ein Zeitpunkt oder Ereignis für eine erneute Prüfung;
- ein eindeutiger Abschlusszustand;
- eine Regel für Ersetzung, Ablauf oder Sperrung.
Diese Struktur schafft einen wichtigen Unterschied: „Das System erinnert sich daran“ ist nicht dasselbe wie „das System darf daraus jetzt handeln“.
Prüfung vor folgenreichen Schritten
Je größer die möglichen Folgen einer Handlung, desto weniger sollte alter Kontext allein genügen. Ein Agent kann relevante Annahmen vor dem nächsten Schritt erneut prüfen, eine Bestätigung anfordern oder nur eine reversible, informationsgewinnende Handlung vorschlagen.
Der NIST AI Risk Management Framework ist ein freiwilliger Rahmen, der Vertrauenswürdigkeit in Entwurf, Entwicklung, Nutzung und Bewertung von KI-Systemen berücksichtigen soll.[2] Übertragen auf Agenten ist das eine nützliche Leitidee: Risiko entsteht nicht nur durch eine einzelne verbotene Handlung. Es entsteht auch, wenn ein System veraltete Voraussetzungen nicht erkennt oder nicht neu bewertet.
Was nachvollziehbare Agenten auszeichnet
Gute Agenten behandeln Pläne wie versionierte Arbeitsstände. Sie trennen beobachtete Fakten von Annahmen. Sie können eine Aufgabe explizit abschließen und bei neuen Informationen begründen, weshalb ein früherer Plan nicht mehr gilt.
Das verbessert auch die Fehleranalyse. Wenn ein Agent einen unpassenden Schritt vorschlägt, sollte sich nachvollziehen lassen, welche Annahme oder Erinnerung dabei noch als gültig behandelt wurde. Dann lässt sich nicht nur die einzelne Antwort korrigieren, sondern auch die Regel, die ihr zu viel Gültigkeit gegeben hat.
Fazit
Autonomie braucht mehr als die Fähigkeit, Aufgaben zu verfolgen. Sie braucht die Fähigkeit, Ziele, Annahmen und Erinnerungen kontrolliert zu beenden oder neu zu bewerten. Ein Agent, der alte Absichten zuverlässig verwirft, wirkt weniger spektakulär. Genau deshalb ist er ein besserer Kandidat für verlässliche KI.
Quellen
[1] ReAct: Synergizing Reasoning and Acting in Language Models