Un modèle baptisé 24GB suggère un calcul rapide : acheter autant de mémoire, télécharger les poids, démarrer un agent. Le Nemotron 3.5 Bolt 74B-A9B 24GB GGUF de NVIDIA montre pourquoi ce calcul est insuffisant. Ce nombre décrit un modèle soigneusement compressé, pas un budget universel pour le contexte, la vision, le décodage spéculatif et les requêtes simultanées.

J’ai vérifié la fiche officielle et la taille réelle des fichiers proposés. Je n’ai pas exécuté le modèle : je ne prétends avoir mesuré ni sa vitesse, ni sa mémoire maximale, ni sa qualité sur une machine donnée. Il s’agit d’un audit du budget de déploiement, pas d’un benchmark imaginaire.

Compter les fichiers avant de compter les performances

Bolt possède 74 milliards de paramètres au total, dont environ 9 milliards actifs par token. Il combine Mamba-2, Transformer et mélange d’experts. Sa version GGUF native en IQ2 comprime fortement les poids. Le fichier principal mesure 22 018 326 528 octets ; le projecteur visuel séparé, 1 733 692 736 octets. Ensemble, ils occupent environ 23,75 Go décimaux sur le disque. Le brouillon de décodage spéculatif LiLiCorr, facultatif, ajoute 998 242 560 octets : les trois fichiers totalisent environ 24,75 Go. Ces chiffres viennent des métadonnées des dépôts officiels, non d’une exécution locale. Modèle et projecteur · Brouillon LiLiCorr.

Les octets sur disque ne sont pas la mémoire GPU ou système maximale. Le mappage des fichiers, le déport de calcul et le moteur d’inférence déterminent ce qui réside où. Passer des Go décimaux aux Gio binaires change le chiffre affiché, pas les octets nécessaires. La somme des fichiers ne prouve donc ni qu’une configuration tient en mémoire, ni qu’elle n’y tient pas.

Le projecteur sert à la voie image/vidéo ; le brouillon est facultatif et vise à accélérer la génération, pas à rendre le modèle plus intelligent. Aucun n’est un surcoût obligatoire pour du texte seul. Mais ignorer ces fichiers tout en promettant toutes les capacités annoncées serait une autre manière de maquiller les comptes.

Le contexte n’est pas gratuit

NVIDIA annonce jusqu’à 256K tokens de contexte et dit avoir visé une empreinte inférieure à 24 Go avec un lot de un et un contexte de 128K, en tenant compte de certains états d’exécution. C’est un objectif technique réel, pas seulement une étiquette trompeuse. Mais les recettes locales publiées sont plus précises : la recette 28 Go utilise 65 536 tokens, une seule séquence simultanée, un cache de clés/valeurs quantifié et un brouillon séparé. Une recette 32 Go prévoit 262 144 tokens. Ce sont les configurations du fournisseur, pas des minima que j’ai mesurés. Elles ne prouvent pas qu’une exécution textuelle plus courte est impossible sur une carte de 24 Go. Instructions de déploiement.

Chaque séquence supplémentaire exige un état d’exécution. Allonger le contexte, traiter plusieurs demandes, augmenter le lot, utiliser la vision ou le décodage spéculatif modifie la mémoire et la latence. Pour un agent, une courte réponse de chat et une longue enquête avec appels d’outils peuvent mettre à contribution des ressources très différentes, malgré le même nom de modèle.

Le suffixe A9B n’est pas non plus une taille mémoire. Les paramètres actifs décrivent approximativement le calcul par token, pas l’ensemble des poids à stocker. Un mélange d’experts avec neuf milliards de paramètres actifs n’occupe donc pas automatiquement la mémoire d’un modèle dense de 9B.

Le tableau du fournisseur n’est pas mon résultat

La fiche NVIDIA rapporte 50,98 pour Bolt IQ2 sur Terminal-Bench 2.1 et 44,38 pour Qwen3.6-35B-A3B en BF16. La comparaison a été réalisée par le fournisseur entre des modèles et des précisions différents. Elle ne démontre pas que Bolt surpasse un agent existant sur vos tâches ou dans votre budget de latence. J’utiliserais ces scores pour choisir quoi tester, jamais comme résultats de mes propres essais. Tableau et protocole.

Les poids sont distribués sous OpenMDW-1.1, pas sous Apache-2.0 ou MIT. La licence autorise largement l’usage sous certaines conditions, dont la conservation des mentions lors d’une redistribution et une clause de résiliation liée à certains litiges. « Poids ouverts » décrit la disponibilité ; ce n’est ni une analyse de licence ni une garantie que votre moteur prend correctement en charge cette architecture hybride, son modèle de conversation, le projecteur et le brouillon.

Avant de remplacer un modèle d’agent, je fixerais les mêmes tâches pour l’ancien et Bolt. Je mesurerais les résultats finaux, la latence de bout en bout avec les outils, le pic de mémoire total au contexte et à la concurrence souhaités, et la configuration exacte. Je séparerais texte et multimodal ; je compterais échecs et tentatives répétées. Sans ce protocole, aucun verdict de remplacement n’est mesuré.

Faire tenir les poids d’un hybride de 74 milliards de paramètres dans environ 22 Go reste un travail d’ingénierie intéressant. La compression ne supprime simplement pas les autres postes du budget. Face à « 24GB », demandons : 24 Go de quelle ressource, pour quels fichiers, quel contexte, quel moteur et combien de requêtes simultanées ? C’est la réponse qui décrit le déploiement.