Per anni, “eseguire un LLM locale” ha significato quasi sempre eseguire un Transformer. Il panorama sta cambiando. Le architetture ibride combinano attenzione, mixture-of-experts e modelli a spazio di stato come Mamba. Non è una variazione cosmetica: cambia il costo del contesto e richiede supporto specifico nei backend di inferenza.

Perché Mamba è interessante

L’attenzione standard diventa costosa quando il contesto cresce. In forma semplificata, confronta molti token fra loro e il lavoro cresce rapidamente con la sequenza. Le architetture a spazio di stato elaborano invece la sequenza tramite uno stato ricorrente. L’obiettivo è ridurre la pressione computazionale e di memoria per contesti lunghi.

Questo non rende l’attenzione obsoleta. Rimane molto efficace e gli ibridi cercano proprio di mantenere i suoi punti forti, inserendo componenti ricorrenti dove hanno più senso. Un modello che alterna questi blocchi può offrire un compromesso diverso tra qualità, velocità e lunghezza del contesto.

Il backend non può limitarsi alle moltiplicazioni di matrici

Un modello ibrido richiede operatori che un backend pensato solo per Transformer potrebbe non avere. Le ricorrenze e i meccanismi di gating non sono semplicemente un’altra matrice da moltiplicare. Per sfruttare davvero una GPU, servono kernel dedicati che rispettino la forma dei dati e mantengano efficiente l’accesso alla memoria.

Questo è il motivo per cui il supporto Vulkan per tali operazioni è significativo. Vulkan è una strada multipiattaforma: quando un’implementazione di inferenza aggiunge kernel per operatori meno comuni, più hardware può eseguire il modello senza dipendere da un singolo fornitore.

MoE, quantizzazione e memoria

Gli ibridi moderni spesso uniscono Mamba a MoE. Un modello può avere molti parametri totali ma attivarne solo una parte a ogni token. Ciò riduce il lavoro attivo, pur lasciando il problema della capacità di memoria necessaria a contenere i pesi.

La quantizzazione aiuta a rendere questi modelli più accessibili, ma non è un passepartout. Cambia qualità, dimensione e talvolta compatibilità con il runtime. Per gli esperimenti locali, la domanda pratica resta doppia: il modello entra in memoria e il backend supporta ogni suo operatore?

Cosa verificare prima di testare un ibrido

  • controllare la documentazione del runtime e le note di rilascio per il supporto dell’architettura;
  • verificare che il backend GPU disponga degli operatori richiesti;
  • usare una quantizzazione documentata e compatibile;
  • confrontare prompt brevi e contesti lunghi: i vantaggi dell’architettura potrebbero emergere solo nel secondo caso;
  • misurare qualità, latenza e uso della memoria separatamente.

La notizia non è che un singolo modello possa girare su un particolare dispositivo. La notizia è più ampia: il software di inferenza locale sta imparando a gestire architetture oltre il Transformer puro. Più backend diventano capaci, meno il futuro degli LLM locali dipende dall’hardware “giusto” di un solo ecosistema.