Un modello chiamato 24GB suggerisce un conto facile: comprare quella quantità di memoria, scaricare i pesi e avviare un agente. Nemotron 3.5 Bolt 74B-A9B 24GB GGUF di NVIDIA è un buon caso per capire perché il conto non basta. Il numero descrive un modello compresso con cura, non un budget universale per contesto, visione, decodifica speculativa e richieste concorrenti.

Ho controllato la scheda ufficiale e le dimensioni effettive dei file scaricabili. Non ho eseguito il modello né misurato prestazioni, memoria massima, qualità o compatibilità con una particolare macchina. Questo è un controllo del budget di deployment, non un benchmark inventato.

Cosa si scarica davvero

Bolt ha 74 miliardi di parametri totali e circa 9 miliardi attivi per token. Combina Mamba-2, Transformer e mixture of experts. Il GGUF nativo in IQ2 comprime molto i pesi: il file principale misura 22.018.326.528 byte. Il proiettore visivo separato misura 1.733.692.736 byte. Insieme fanno circa 23,75 GB decimali su disco. Il drafter LiLiCorr per la decodifica speculativa, facoltativo, aggiunge 998.242.560 byte: i tre file arrivano a circa 24,75 GB. Sono i byte dichiarati nei metadati dei repository ufficiali, non numeri di una mia esecuzione. Modello e proiettore · Drafter.

I byte su disco non coincidono con il picco nella memoria della GPU o del sistema. Mappatura dei file, offloading e backend determinano cosa risiede dove; convertire GB decimali in GiB binari cambia il numero visualizzato, non i byte necessari. La somma dei file da sola non prova né che una configurazione sia utilizzabile né che sia impossibile utilizzarla.

Il proiettore serve per immagini e video. Il drafter è opzionale: mira ad accelerare la generazione, non ad aumentare l’intelligenza del modello. Nessuno dei due è un costo obbligatorio per una sessione di solo testo. Ma togliere entrambi dal conto e promettere tutte le capacità pubblicizzate è un altro modo di barare con i numeri.

Il contesto consuma risorse

NVIDIA pubblicizza fino a 256K token di contesto e afferma di aver puntato a un’impronta inferiore a 24 GB con batch pari a uno e contesto di 128K, includendo alcuni stati di esecuzione. È un obiettivo tecnico concreto, non soltanto un’etichetta ingannevole. Le ricette locali pubblicate però precisano le condizioni: la ricetta da 28 GB usa 65.536 token, una sola sequenza simultanea, cache key/value quantizzata e un drafter separato. Esiste anche una ricetta da 32 GB per 262.144 token. Sono ricette del fornitore, non minimi misurati da me. Non dimostrano che una sessione testuale più breve non possa funzionare su una GPU da 24 GB. Istruzioni di deployment.

Ogni sequenza aggiuntiva richiede stato a runtime. Più contesto, richieste parallele, batch più grandi, visione e decodifica speculativa modificano memoria e latenza. Per un agente, una breve risposta in chat e una lunga indagine con chiamate agli strumenti possono gravare su risorse diverse pur usando lo stesso modello.

Anche A9B non è una misura della memoria: i parametri attivi descrivono approssimativamente il calcolo per token, non tutti i pesi da conservare e raggiungere. Un MoE con nove miliardi di parametri attivi non occupa automaticamente lo spazio di un modello denso da 9B.

Una tabella di benchmark non è il tuo benchmark

Nella scheda NVIDIA compaiono 50,98 per Bolt IQ2 su Terminal-Bench 2.1 e 44,38 per Qwen3.6-35B-A3B in BF16. È una comparazione del fornitore tra modelli e precisioni differenti, non un test locale alla pari. Non dimostra che Bolt supererà un agente esistente sui tuoi compiti o con il tuo vincolo di latenza. Userei i punteggi per decidere cosa provare, non per proclamare un vincitore. Tabella e metodo.

I pesi sono disponibili con licenza OpenMDW-1.1, non Apache-2.0 o MIT. L’uso è ampio ma soggetto a condizioni, incluse la conservazione degli avvisi nella redistribuzione e una clausola di risoluzione legata a determinate controversie. “Pesi aperti” indica disponibilità, non sostituisce la lettura della licenza e non garantisce il supporto corretto di architettura ibrida, template di chat, proiettore e drafter nel backend scelto.

Prima di sostituire un modello per agenti fisserei le stesse attività per Bolt e per la base esistente: risultati finali, latenza end-to-end inclusi gli strumenti, picco di memoria totale con il contesto e la concorrenza previsti, configurazione precisa. Separerei compiti testuali e multimodali; conterei errori e tentativi ripetuti. Senza questi dati, non c’è un verdetto di sostituzione misurato.

Mettere i pesi di un ibrido da 74 miliardi di parametri in circa 22 GB resta un risultato ingegneristico interessante. La compressione però non cancella le altre voci del conto. Davanti a “24GB” chiedo: 24 GB di quale risorsa, per quali file, con quale contesto e backend, per quante richieste simultanee? La risposta è il deployment; l’etichetta è solo l’inizio.