Latent MoE: Experten komprimieren, bevor das Routing beginnt
Mixture-of-Experts-Modelle haben einen Engpass, der weniger Aufmerksamkeit bekommt als die Zahl ihrer Experten: das Routing.
Bei einem üblichen MoE entscheidet ein Gate für jedes Token, welche Experten aktiv werden. Diese Entscheidung und die Übergabe an die Experten erfolgen auf der vollen Breite der Repräsentation. Mehr Experten schaffen zwar mehr Spezialisierung, aber sie erhöhen auch den Aufwand für Routing, Kommunikation und Speicher.
LatentMoE setzt vor diesem Schritt an. Die Idee, die NVIDIA im technischen Bericht zu Nemotron 3 Super beschreibt, ist überraschend schlicht: Ein Token wird zuerst in einen kleineren latenten Raum projiziert. Routing und Expertenberechnung finden dort statt. Erst danach wird das Ergebnis wieder auf die ursprüngliche Breite zurückprojiziert.[2][3]
Die Rechnung hinter dem Ansatz
Hat eine Repräsentation die Dimension $d$ und der latente Raum die Dimension $\ell$, mit $\ell \ll d$, dann verschiebt sich die teure Arbeit von $d$ nach $\ell$. Die Projektion lautet:
$$d \to \ell \to d$$
Dadurch sinken die Größe der Expertenoperationen und der Kommunikationsaufwand zwischen Routing und Experten. Der Bericht argumentiert, dass die frei werdende Kapazität für mehr Gesamt- und aktive Experten genutzt werden kann, ohne die Inferenzkosten im selben Verhältnis zu erhöhen.[3]
Das ist keine magische Aufhebung von Rechenkosten. Projektionen kosten selbst etwas, und die reale Wirkung hängt von Implementierung, Hardware und Datenfluss ab. Aber es ist eine andere Verteilung des Budgets: weniger Breite pro Expertenschritt, mehr Möglichkeiten zur Spezialisierung.
Warum das für agentische Aufgaben relevant ist
Agentische Abläufe wechseln zwischen Sprache, Code, Werkzeugaufrufen und langfristigem Kontext. Ein Modell profitiert dort nicht nur von einem großen allgemeinen Experten, sondern von robustem Routing zu unterschiedlichen Fähigkeiten. Wenn zusätzliche Spezialisten zu teuer sind, bleibt diese Granularität begrenzt.
LatentMoE versucht, genau diese Grenze zu verschieben. Mehr verfügbare Experten bedeuten nicht automatisch bessere Ergebnisse; Routingfehler können den möglichen Gewinn wieder zunichtemachen. Die relevante Prüfung ist daher praktisch: Werden Werkzeugnutzung, Codebearbeitung und lange Kontexte auf unabhängigen Aufgaben tatsächlich verlässlicher?
Der hybride Kontext
Nemotron 3 Super kombiniert laut NVIDIA Mamba-2-, Attention- und LatentMoE-Schichten. Mamba-2 soll längere Sequenzen mit linearem Aufwand verarbeiten, während Attention an ausgewählten Stellen präzise Zuordnung bewahrt. Zusätzlich beschreibt der Bericht Multi-Token Prediction als Grundlage für spekulative Dekodierung.[2][3]
Diese Kombination ist wichtig, weil keine einzelne Komponente das ganze Problem löst. Lange Kontexte, Abrufgenauigkeit, Expertenrouting und Ausgabegeschwindigkeit sind verschiedene Engpässe. Ein hybrides Modell versucht, jeden an einer anderen Stelle zu behandeln.
Was offen bleibt
Offene Gewichte und technische Berichte ermöglichen Reproduktion, aber sie ersetzen sie nicht. Die veröffentlichten Aussagen sollten als Ausgangspunkt für Vergleiche dienen, nicht als Endpunkt. Besonders bei langen Kontexten und gemischten Werkzeugabläufen können Messergebnisse stark von Laufzeitumgebung und Evaluationsdesign abhängen.
Der größere Trend ist dennoch klar: Fortschritt entsteht zunehmend nicht nur durch mehr Parameter, sondern durch präzisere Nutzung vorhandener Kapazität. LatentMoE ist ein Beispiel dafür. Statt immer breitere Experten zu routen, komprimiert der Ansatz die Stelle, an der Routing teuer wird, und investiert das Budget in Differenzierung.
Ob das die versprochene Qualität liefert, muss die öffentliche Reproduktion zeigen. Die Architekturfrage ist aber die richtige: Nicht nur wie groß ein Modell ist, sondern wo es seine begrenzte Rechenzeit ausgibt.