Mein Agent ruft Tools auf. Jeder einzelne Durchlauf. Manchmal ist der Aufruf korrekt. Manchmal ist es die richtige Absicht am leicht falschen Ort, schwimmend im Text des Modells, wo die Runtime nicht hinschaut. Manchmal beschreibt das Modell, die Arbeit getan zu haben, ohne ein Tool aufgerufen zu haben, und die Beschreibung liest sich perfectly.

Monatelang war die Lösung, Chat-Modelle in jede Rolle zu strecken: Routing, Gate, Ranking, Aktion-Auswahl, Triaging. Sie funktionieren, weil man sie per Prompt JSON produzieren lassen kann. Sie funktionieren, weil man JSON aus ihrem Text extrahieren kann. Sie funktionieren, bis sie es nicht mehr tun, und dann verbringt man drei Tage mit dem Debugging einer Prompt-Drift, die niemand reproduzieren kann.

Im Oktober 2026 ist die Kategorie der Entscheidungsmodelle — speziell gebaute Modelle, die Wahrscheinlichkeiten über typisierte Fragen statt freien Text ausgeben — vom Forschungs-Curiosity zu echter Infrastruktur geworden. Cloudflare veröffentlichte Clef und Clef-flash. Amazon veröffentlichte Strands Decider. Jev, der Kategoriengründer, veröffentlichte Jev-2 alongside Jev-Flash. Alle drei sprechen dieselbe API. Alle drei fressen Chat-Modelle das Brot bei Routing-Aufgaben.

Was ein Entscheidungsmodell eigentlich macht

Ein Chat-Modell nimmt Text rein, Text raus. Ein Entscheidungsmodell nimmt einen Zustand (JSON, Text, bis zu 4 Bilder oder Video), eine Liste von typisierten Fragen, und gibt eine Wahrscheinlichkeit für jede erlaubte Antwort zurück. Kein Prosatext. Kein Parsing. Kein «vielleicht wollte das Modell delete_file aufrufen».

Cloudflares Clef-flash 9B nimmt einen Zustand, eine Liste von typisierten Fragen mit Kriterien pro Option, und gibt kalibrierte Wahrscheinlichkeiten zurück. Ein einzelner Forward-Pass. Ein Logit pro Option. Das Modell erzeugt überhaupt keinen Text — es routed durch einen Joint-Schema-Head.

Jev-Flash macht dasselbe, ist aber proprietär und API-only. Strands Decider von Amazon ist ebenfalls Apache-2.0-Open-Weights, ebenfalls Entscheidungs-Klasse, ebenfalls Jev-API-kompatibel.

Der Unterschied zu einem Chat-Modell ist nicht die Architektur — alle sind Transformer. Der Unterschied ist das Trainingsziel und der Output-Head. Entscheidungsmodelle sind post-trainiert auf Routing-Aufgaben mit label-smoothed Cross-Entropy und Brier Loss für Kalibrierung. Das Ergebnis: Sie hallucinieren keine Antwort-Optionen. Sie produzieren keinen Prosatext, wenn man eine Zahl will. Sie brauchen kein Prompt-Engineering, um im Format zu bleiben.

Die Benchmarks

Cloudflare hat Clef gegen Jev auf 10 Entscheidungsbenchmarks verglichen. Das sind Cloudflares eigene Zahlen, also nehmen Sie sie als Best-Case-Vergleich:

Benchmark Clef 27B Clef-flash 9B Jev
BFCL (case exact) 98.47 98.76 95.75
BANKING77 (macro-F1) 94.20 90.93 79.74
CLINC150+OOS (macro-F1) 97.43 66.77 89.27
API-Bank (Genauigkeit) 91.93 93.11 88.19
Heimgeräte (case exact) 82.95 97.73 52.27
When2Call (Genauigkeit) 72.37 65.58 80.97
BRIGHT Retrieval (nDCG@10) 45.91 39.26 47.52

Clef führt bei Tool-Klassifizierung und Intent-Erkennung. Jev führt bei Urteils-Aufgaben — When2Call (ruft das Modell ein Tool auf, fragt es nach, oder lehnt es ab?) und BRIGHT (reasoning-heavy Retrieval). Clef-flash ist am schnellsten, fällt aber bei Out-of-Scope-Erkennung durch (CLINC150: 66.77 vs. 97.43 für Clef).

Der Independent-Test, der für Agenten-Bauer am wichtigsten ist: ein autonomer Coding-Agent, der 42 echte Entscheidungen über Computer-Use-Actions, Subagent-Supervision und Inbox-Triage durchläuft. Jev erreichte 71,4 %. Clef-flash erreichte 66,7 %. Sie stimmten bei 35 von 42 Vorhersagen überein. Wo sie divergierten, scheiterten sie tendenziell aus denselben Gründen — die zwei Modelle sind sich eher darüber einig, welche Aufgaben mehrdeutig sind, als darüber, welche Antwort korrekt ist.

Die Latenz ist die andere Achse. Clef-flash lieferte 38,8 ms Median auf einem H200. Jev zeigte 524,1 ms Median auf der API. Für den lokalen Nutzer, der Clef-flash auf einem RTX-3090 laufen lässt, meldete der Independent-Test 315 ms komplett lokal ohne Batching — immer noch konkurrenzfähig mit einem schnellen API-Aufruf, aber der Privacy-Gewinn ist real: Log-Tails, Dateipfade und Nachrichteninhalte verlassen das Netzwerk nie.

Warum das für lokale Agenten zählt

Ich lasse seit Monaten Agenten auf Chat-Modellen für das Routing laufen. Es funktioniert. Aber es laufen auch doppelt so viele Parameter, wie nötig sind, es produziert unnötigen Output, und wenn der Kontext lang wird, driftet es im Format.

Entscheidungsmodelle beheben das. Ein 9B-Modell, das Tool-Routing macht, produziert keinen Text, verbraucht weniger VRAM als ein Chat-Modell für denselben Job, und hat kalibriertes Vertrauen — man kann eine Schwelle setzen und das Modell bei Unsicherheit auf ein Fallback zurückgreifen lassen.

Der Tradeoff ist, dass Entscheidungsmodelle kein Reasoning machen. Sie schreiben keinen Code. Sie fassen nicht zusammen. Sie routen. Clefs GPQA-Diamond-Score ist 48,0 gegenüber Jevs 78,3; MMLU-Pro ist 65,9 gegenüber 82,7. Man würde ein Entscheidungsmodell nie als primäres Agenten-Modell laufen lassen. Aber als Routing-Layer auf jedem Modell — lokal oder Cloud — ist es die Infrastruktur, die man bisher mit Prompt-Hacks laufen liess.

Die Open-Weights-Frage

Sowohl Clef (27B) als auch Clef-flash (9B) sind Apache 2.0 auf Hugging Face. Strands Decider ist ebenfalls Apache 2.0. Jev ist proprietär und API-only. Das zählt, weil die Routing-Layer im Hot-Path des Agents sitzt — jeder Durchlauf geht durch sie. Wenn man sie lokal unter EU-Datenresidenz hosten kann, ist das ein Compliance-Gewinn. Wenn man auf eigenen Domain-Daten fine-tunen muss, erlauben Open-Weights das ohne Vendor-Vertrag.

Clef benötigt etwa 54 GB VRAM in bf16. Die Community-GGUF-Quantisierungen enthalten nicht den Decision-Head, also braucht man PyTorch und die custom model file. Für eine einzelne GPU läuft Clef-flash (9B) mit 18 GB in bf16, was auf eine 24-GB-Karte passt. Das volle 27B-Modell braucht eine zweite GPU oder CPU-Offloading.

Das Fazit

Die Entscheidungsmodelle sind längst keine Research-Demo mehr. Cloudflare, Amazon und Jev haben sich auf dieselbe API-Form geeinigt, und die Benchmarks zeigen klare Differenzierung:

  • Clef-flash 9B: am schnellsten, am kleinsten, ideal für High-Volume-Routing auf Consumer-GPUs. Verliert bei Nuance.
  • Clef 27B: höchste Genauigkeit bei Routing-Aufgaben, benötigt ernsthafte Hardware.
  • Jev: immer noch am besten bei Urteils-Aufgaben (When2Call, BRIGHT). API-only. Teurer.
  • Strands Decider: Open-Weights, Apache 2.0, Amazon’s Beitrag in diesem Raum.

Wenn Sie heute einen lokalen Agenten betreiben, verwenden Sie wahrscheinlich ein Chat-Modell für das Routing. Es funktioniert. Aber es läuft auch doppelt so viele Parameter, wie nötig sind, produziert unnötigen Text und driftet im Format, wenn der Kontext lang wird. Ein Entscheidungsmodell ist eine dedizierte Routing-Layer, die eine Sache gut macht: gegeben einen Zustand und eine Menge von Fragen, kalibrierte Wahrscheinlichkeiten zurückgeben.

Die Agent-Pipe wird modularer. Das Chat-Modell reasoned. Das Entscheidungsmodell routet. Das Memory-System merkt sich. Jede Schicht hat ihr eigenes Leistungsprofil, und das ist der Punkt — man hört auf, jedes Modell alles machen zu lassen.