Les modèles autorégressifs ont une fiche de poste absurde : prédire un jeton, puis un autre, puis un autre, jusqu’à la fin des temps. Cette boucle sérielle explique pourquoi un modèle peut écrire une explication correcte tout en donnant à un terminal interactif l’allure d’une liaison avec la Lune.

Les modèles de langage à diffusion tentent autre chose. Au lieu de fixer le texte strictement de gauche à droite, ils partent de positions masquées ou bruitées puis en raffinent plusieurs de manière itérative. En théorie, c’est de la génération parallèle. En pratique, la blague est moins drôle : le modèle travaille sur plusieurs jetons à la fois, mais répète une coûteuse boucle de débruitage et réutilise mal son cache d’attention interne.

C’est ce problème de cache — pas l’absence de papiers ingénieux — qui m’a fait classer la diffusion textuelle dans le théâtre de la recherche plutôt que parmi les remplaçants de l’inférence locale. Les travaux récents autour de Fast-dLLM rendent ce jugement moins confortable. Pas faux. Moins confortable.

Le parallélisme n’est pas automatiquement de la vitesse

Un modèle autorégressif normal transporte un cache clé-valeur pendant la génération. Les jetons antérieurs n’ont pas besoin d’être recalculés à chaque étape. C’est une raison pour laquelle l’approche de gauche à droite reste brutalement pratique malgré son caractère sériel.

Un modèle de diffusion vit plus difficilement. Une position peut changer lors d’une étape ultérieure ; les représentations voisines deviennent alors invalides. Réutiliser le cache est donc approximatif, pas gratuit. Générer trop de positions en parallèle brouille les dépendances ; jouer la prudence fait évaporer le parallélisme promis dans des passages répétés.

Voilà le vrai problème d’ingénierie. « La diffusion peut générer en parallèle » est une propriété, pas un résultat de benchmark.

Fast-dLLM de NVIDIA Research l’attaque avec deux éléments : un cache approximatif par blocs pour les modèles de diffusion bidirectionnels et un décodage parallèle conscient de la confiance. Les positions stables peuvent progresser ensemble ; les positions incertaines ne devraient pas être forcées dans une accolade prématurée. Les auteurs annoncent jusqu’à 27,6× de débit supplémentaire sur leurs expériences LLaDA et Dream, avec une perte de précision minimale. C’est leur résultat d’évaluation, pas une mesure que j’ai reproduite.

Cette réserve n’est pas décorative. Les « jusqu’à » sont l’endroit où les diapositives de benchmark deviennent du folklore.

L’affirmation utile est plus modeste

Le successeur Fast-dLLM v2 avance une proposition plus concrète : adapter un modèle autorégressif préentraîné en modèle de diffusion par blocs, préserver ses performances, et obtenir jusqu’à 2,5× d’accélération face au décodage autorégressif standard dans leurs expériences.

Les auteurs indiquent aussi environ 1 milliard de jetons de fine-tuning, contre 580 milliards cités pour le modèle Dream à attention complète : un écart de 500× selon eux. Si cette recette tient hors du papier, la bonne question passe de « qui entraînera un nouveau modèle de diffusion géant ? » à « un bon modèle existant peut-il obtenir un mode de décodage plus rapide sans entraînement pharaonique ? »

C’est bien plus intéressant pour les gens qui exploitent des modèles que pour ceux qui admirent des comptes de paramètres.

Pourquoi je ne parle toujours pas de révolution locale

Trois raisons.

D’abord, le débit n’est pas la latence perçue. Un système peut traiter un gros lot brillamment et attendre trop longtemps avant le premier résultat utile. La distinction compte pour le chat interactif, les outils et le code. Un graphe de jetons par seconde sans délai avant le premier jeton est incomplet.

Ensuite, l’approximation du cache est un compromis de qualité qui doit être caractérisé sur des charges ennuyeusement difficiles : longues modifications structurées, code avec dépendances lointaines, sortie contrainte, puis correction du prompt. Ce ne sont pas les failles qui apparaissent dans un benchmark de prose agréable.

Enfin, le déploiement est le percepteur. Le framework open source dLLM est utile précisément parce que le domaine a accumulé des implémentations de recherche incompatibles. Il vise à normaliser entraînement, inférence et évaluation pour LLaDA et Dream. C’est du progrès. C’est aussi la preuve que le chemin de serving n’est pas encore ennuyeux — et l’infrastructure ennuyeuse gagne.

Je n’ai pas besoin d’une nouvelle architecture philosophiquement élégante. J’en veux une qui entre dans une pile de serving fiable, expose des métriques saines, survit à la quantification et montre un gain sur les prompts qui m’importent. Jusque-là, un modèle autorégressif avec un cache compris reste le défaut.

Ce que je testerais avant de croire le titre

Une comparaison locale sérieuse doit garder la tâche et le niveau de qualité fixes, puis mesurer :

  1. Le délai avant la première sortie visible, pas seulement le débit agrégé.
  2. Le temps de bout en bout pour une réponse courte et une réponse structurée longue.
  3. La qualité de tâche sur modifications de code, extraction et JSON contraint — pas seulement la prose fluide.
  4. La mémoire quand le contexte grandit, puisque le cache est toute l’histoire.
  5. Les performances avec un batch de un. Les usages personnels n’arrivent pas comme une file de centre de données.

Je séparerais aussi deux affirmations trop souvent agrafées ensemble : génération parallèle et inférence locale utile. La première est une capacité architecturale. La seconde exige une toolchain, des kernels matériels, un comportement de quantification et un profil de latence qui ne la trahissent pas.

Le bon niveau d’enthousiasme

Les modèles de langage à diffusion ne sont plus seulement un contre-factuel élégant à la prédiction du prochain jeton. Le décodage conscient du cache et la diffusion par blocs en font une direction crédible pour la recherche d’inférence ; le 2,5× rapporté mérite un examen attentif plutôt que des applaudissements à distance.

Mais ce n’est pas une autorisation de remplacer une pile locale qui fonctionne par un preprint et une prière.

Pour l’instant, je traiterais les travaux du genre Fast-dLLM comme des candidats de benchmark : les reproduire sur le matériel et le chemin de serving réellement utilisés, publier la latence du premier jeton à côté du débit, et rejeter tout gain qui modifie discrètement la qualité ou la forme de la charge. S’ils survivent, la diffusion aura peut-être enfin sa place à côté du décodage autorégressif — plutôt que dans la rubrique « architecture intéressante, appelez-moi quand cela tourne ».

Sources vérifiées

  • Fast-dLLM — NVIDIA Research, mai 2025. Conception du cache et résultat annoncé jusqu’à 27,6×.
  • Fast-dLLM v2 — NVIDIA Research, septembre 2025. Environ 1B de jetons de fine-tuning, comparaison 500× avec les 580B de Dream et accélération jusqu’à 2,5×.
  • dLLM: Simple Diffusion Language Modeling — Zhou et al., février 2026. Périmètre déclaré de standardisation de l’entraînement, de l’inférence et de l’évaluation.