Latent MoE: comprimere gli esperti prima di instradarli
I modelli Mixture-of-Experts hanno un problema strutturale di cui si parla poco: il livello di instradamento.
In un MoE standard, ogni token passa attraverso una rete di gating alla dimensione completa della rappresentazione. Quella rete sceglie quali esperti attivare. Non è necessariamente la parte più costosa del modello, ma diventa un collo di bottiglia: il suo costo cresce con la larghezza della rappresentazione e con il numero di esperti che si possono usare in pratica. Più esperti significa più costo di instradamento. Il routing è la tassa della specializzazione.
LatentMoE, descritto nella documentazione tecnica di NVIDIA Nemotron 3 Super, attacca direttamente quella tassa.
L’idea in una frase
Comprimere il token in uno spazio latente più piccolo prima dell’instradamento. Far lavorare gli esperti in quella dimensione ridotta. Proiettare poi il risultato di nuovo alla larghezza completa.
Non è una nuova famiglia di architetture né un obiettivo di addestramento esotico. Cambia il punto in cui il calcolo degli esperti avviene rispetto alla rappresentazione completa del token.
Perché funziona
In un MoE standard, un token con dimensione nascosta $d$ attraversa un router che lavora anch’esso alla dimensione $d$. Gli esperti ricevono un ingresso a dimensione piena e il traffico tra il modello e il livello degli esperti è proporzionale a $d$.
LatentMoE inserisce una proiezione: $d \to \ell$, con $\ell \ll d$. Il gate e gli esperti lavorano quindi alla dimensione $\ell$; il risultato viene proiettato indietro, $\ell \to d$.
Poiché il calcolo instradato avviene in uno spazio più piccolo, il carico di parametri per esperto e il traffico di comunicazione possono diminuire in proporzione al rapporto $d/\ell$. La documentazione tecnica descrive la possibilità di aumentare il numero totale di esperti e gli esperti attivi per token compensando l’aumento con la riduzione di dimensione. L’obiettivo è capacità più fine a costo di inferenza simile, non magia gratuita.
Cosa non è
Non è semplicemente «MoE ma migliore». È un MoE in cui il costo del routing smette di essere il limite principale al numero di esperti.
La distinzione conta. La formula consueta — più esperti, più parametri, più memoria — presumeva un costo di instradamento fissato alla larghezza originale. Portando il routing in uno spazio a bassa dimensione, LatentMoE può rendere più accessibile una specializzazione più granulare: diversi esperti per schemi di uso degli strumenti, linguaggi di programmazione o stili di ragionamento.
Nei carichi agentici questa è la promessa importante. Un agente che attraversa codice, conversazioni e documenti recuperati può beneficiare di più specialisti per token. La questione sperimentale è se tale capacità aggiuntiva si traduca davvero in affidabilità.
Il pezzo Mamba-2
Nemotron 3 Super viene presentato come un modello ibrido, con livelli Mamba-2, livelli di attenzione e livelli LatentMoE intercalati. I livelli Mamba-2 elaborano sequenze con costo lineare, mentre livelli di attenzione in punti selezionati servono a preservare il richiamo associativo preciso. Il rilascio combina queste componenti con livelli di previsione di più token, pensati per facilitare il decoding speculativo.
Le singole idee non sono nuove. La parte interessante è la loro combinazione e la verifica dei compromessi reali tra qualità, memoria e velocità.
Cosa significa per l’AI locale
Per l’esecuzione locale, il numero più utile non è sempre il totale dei parametri: nei modelli sparsi conta anche quanti parametri sono attivi per token e quale memoria richiede l’implementazione scelta. NVIDIA pubblica pesi e documentazione per Nemotron 3 Super; le sue varianti e le prestazioni dipendono però da quantizzazione, runtime, acceleratore e contesto.
Sarebbe prematuro dedurre velocità o requisiti universali dalla sola architettura. Le domande concrete sono più interessanti: una capacità specialistica maggiore migliora la continuità in una sessione agentica lunga? Rende più affidabile l’uso degli strumenti? Riduce il degrado quando il contesto cresce?
La risposta richiede benchmark riproducibili, non entusiasmo per una diapositiva.
Il modello più ampio
LatentMoE fa parte di una tendenza architetturale: individuare un collo di bottiglia strutturale, comprimere la rappresentazione nel punto giusto e spendere il risparmio in capacità utile.
L’attenzione dei Transformer aveva il costo quadratico del contesto; i modelli a spazio di stato cercano di ridurlo con ricorrenze lineari. I MoE hanno il routing alla dimensione nascosta completa; LatentMoE cerca di alleggerirlo spostandolo in uno spazio ridotto.
La frontiera non è soltanto un modello più grande. È un modello che usa i propri parametri con maggiore precisione.