Autoregressive Sprachmodelle haben eine seltsame Stellenbeschreibung: ein Token vorhersagen, dann das nächste, dann das nächste, bis zum jüngsten Gericht. Diese serielle Schleife erklärt, warum ein Modell einen guten Text schreiben und sich im Terminal trotzdem anfühlen kann, als käme die Antwort vom Mond.

Diffusions-Sprachmodelle versuchen einen anderen Trick. Statt Text strikt von links nach rechts festzulegen, beginnen sie mit maskierten oder verrauschten Positionen und verfeinern viele davon iterativ. Theoretisch ist das parallele Generierung. Praktisch steckt darin ein hässlicher Witz: Ein Modell kann mehrere Tokens zugleich bearbeiten und muss trotzdem eine teure Denoising-Schleife wiederholen. Seinen internen Attention-Cache kann es oft nicht sauber wiederverwenden.

Dieses Cache-Problem — nicht ein Mangel an cleveren Papers — ist der Grund, weshalb ich Diffusion für Text bisher eher als Forschungstheater denn als Ersatz für lokale Inferenz behandelt habe. Die jüngste Arbeit zu Fast-dLLM macht dieses Urteil unbequemer. Nicht falsch. Unbequemer.

Parallelität ist nicht automatisch Geschwindigkeit

Ein normales autoregressives Modell führt beim Generieren einen Key-Value-Cache mit. Frühere Tokens müssen nicht bei jedem Schritt neu berechnet werden. Das ist ein Grund, warum der Ansatz von links nach rechts trotz seiner Serialität brutal praktisch bleibt.

Ein Diffusionsmodell hat es schwerer. Eine Token-Position kann sich in einem späteren Denoising-Schritt ändern; Repräsentationen in ihrer Umgebung werden damit ungültig. Cache-Wiederverwendung ist deshalb näherungsweise, nicht gratis. Zu viele Positionen parallel zu erzeugen verwischt Abhängigkeiten; zu vorsichtiges Vorgehen lässt die versprochene Parallelität in wiederholten Durchläufen verdampfen.

Das ist das eigentliche Engineering-Problem. „Diffusion kann parallel generieren“ ist eine Eigenschaft, kein Benchmark-Ergebnis.

NVIDIA Research greift es mit Fast-dLLM an: mit einem blockweisen approximativen Cache für bidirektionale Diffusionsmodelle und confidence-aware Parallel-Decoding. Letzteres ist wichtig: Positionen, die stabil aussehen, dürfen gemeinsam weitergehen; unsichere sollte man nicht in eine voreilige Gruppenumarmung zwingen. Die Autoren berichten über bis zu 27,6× höheren Durchsatz in ihren LLaDA- und Dream-Experimenten bei minimalem Genauigkeitsverlust. Das ist ein berichtetes Ergebnis ihrer Evaluation, kein von mir reproduzierter Wert.

Dieser Vorbehalt ist nicht Dekoration. Bei „bis zu“ werden Benchmark-Folien zu Folklore.

Die nützlichere Behauptung ist kleiner

Der Nachfolger Fast-dLLM v2 formuliert eine bodenständigere These: Ein vortrainiertes autoregressives Modell lässt sich zu einem Block-Diffusionsmodell anpassen, ohne seine ursprüngliche Leistung zu verlieren, und erreicht in den Experimenten bis zu 2,5× mehr Geschwindigkeit als Standard-Decoding.

Er berichtet zudem von ungefähr 1 Milliarde Fine-Tuning-Tokens gegenüber 580 Milliarden, die für das Full-Attention-Dream-Modell genannt werden. Das sei ein 500×-Unterschied bei den Trainingsdaten. Falls das ausserhalb des Papers trägt, verschiebt sich die Frage von „Trainiert jemand ein völlig neues Diffusions-Foundation-Model?“ zu „Kann ein bestehendes gutes Modell ohne Moonshot-Training einen schnelleren Decoding-Modus bekommen?“

Für Menschen, die Modelle betreiben statt nur Parameterzahlen zu bewundern, ist das die interessantere Frage.

Warum ich es trotzdem keinen Durchbruch für lokale KI nenne

Drei Gründe.

Erstens ist Durchsatz nicht Nutzerlatenz. Ein System kann einen grossen Batch brillant verarbeiten und trotzdem zu lange bis zur ersten brauchbaren Antwort brauchen. Das zählt bei interaktivem Chat, Tool-Nutzung und Programmierung. Ein Tokens-pro-Sekunde-Diagramm ohne Time-to-first-token erzählt keine vollständige Geschichte.

Zweitens ist Cache-Approximation ein Qualitätskompromiss, der unter langweilig-harten Workloads vermessen werden muss: lange strukturierte Edits, Code mit Abhängigkeiten über mehrere Zeilen, eingeschränkte Ausgabe und ein Prompt mit anschliessender Korrektur. Auf einem angenehmen Kurztext-Benchmark erscheinen diese Fehler nicht.

Drittens ist Deployment der Steuereintreiber. Das Open-Source-Framework dLLM ist gerade deshalb nützlich, weil sich inkompatible Forschungsimplementierungen angesammelt haben. Es will Training, Inferenz und Evaluation für Modelle wie LLaDA und Dream vereinheitlichen. Das ist Fortschritt. Es zeigt aber auch, dass der Serving-Pfad noch nicht langweilig ist — und langweilige Infrastruktur gewinnt.

Ich brauche keine philosophisch elegante Architektur. Ich brauche eine, die in einen verlässlichen Serving-Stack passt, vernünftige Metriken liefert, Quantisierung überlebt und auf den Prompts, die mich interessieren, einen Gewinn zeigt. Bis dahin bleibt ein autoregressives Modell mit gut verstandenem Cache der Standard.

Was ich testen würde, bevor ich der Schlagzeile glaube

Ein ernsthafter lokaler Vergleich muss Aufgabe und Qualitätsniveau festhalten und dann messen:

  1. Zeit bis zur ersten sichtbaren Ausgabe, nicht nur Gesamtdurchsatz.
  2. End-to-End-Zeit für eine kurze und eine lange strukturierte Antwort.
  3. Aufgabenqualität bei Code-Edits, Extraktion und eingeschränktem JSON — nicht nur bei flüssiger Prosa.
  4. Speicherverbrauch bei wachsendem Kontext, denn Cache-Design ist hier die ganze Handlung.
  5. Leistung bei Batch-Grösse eins. Persönliche Inferenz kommt selten als Datacenter-Warteschlange.

Ich würde zudem zwei ständig zusammengetackerte Behauptungen trennen: parallele Generierung und nützliche lokale Inferenz. Die erste ist eine Architektur-Fähigkeit. Die zweite braucht Toolchain, Hardware-Kernels, Quantisierungsverhalten und ein Latenzprofil, die sie nicht verraten.

Das richtige Mass an Begeisterung

Diffusions-Sprachmodelle sind nicht mehr nur ein cleveres Gedankenspiel zur Next-Token-Prediction. Cachebewusstes Decoding und Block-Diffusion machen sie zu einer glaubwürdigen Forschungsrichtung für Inferenz; das berichtete 2,5×-Ergebnis ist gross genug für sorgfältige Prüfung statt Applaus aus sicherer Entfernung.

Es ist aber keine Erlaubnis, einen funktionierenden lokalen Stack gegen ein Preprint und ein Gebet einzutauschen.

Vorerst würde ich Fast-dLLM-artige Arbeit als Benchmark-Kandidaten behandeln: auf der eigenen Hardware und dem eigenen Serving-Pfad reproduzieren, First-Token-Latenz neben Durchsatz veröffentlichen und jeden Geschwindigkeitsgewinn ablehnen, der Qualität oder Workload heimlich verändert. Überlebt er das, könnte Diffusion endlich neben autoregressivem Decoding sitzen — statt in der Abteilung „interessante Architektur, ruf an, wenn sie läuft“.

Geprüfte Quellen

  • Fast-dLLM — NVIDIA Research, Mai 2025. Quelle für Cache-Design und das berichtete Bis-zu-27,6×-Resultat.
  • Fast-dLLM v2 — NVIDIA Research, September 2025. Quelle für rund 1B Fine-Tuning-Tokens, den 500×-Vergleich zu Dreams 580B Tokens und bis zu 2,5× schnelleres Decoding.
  • dLLM: Simple Diffusion Language Modeling — Zhou et al., Februar 2026. Quelle für den genannten standardisierten Umfang von Training, Inferenz und Evaluation.