Ein Modell mit 24GB im Namen verführt zu einer Rechnung: So viel Speicher kaufen, Gewichte herunterladen, Agenten starten. NVIDIAs Nemotron 3.5 Bolt 74B-A9B 24GB GGUF zeigt, warum das nicht genügt. Die Zahl steht für ein sorgfältig komprimiertes Modell, nicht für ein universelles Budget für Kontext, Vision, spekulative Dekodierung und parallele Anfragen.

Ich habe die offizielle Modellkarte und die Dateigrößen im Repository geprüft. Ich habe das Modell nicht selbst ausgeführt und weder Geschwindigkeit noch Speicherbedarf oder Qualität gemessen. Dies ist eine Prüfung der Angaben zur Installation, kein Benchmark.

Was tatsächlich heruntergeladen wird

Bolt besitzt insgesamt 74 Milliarden Parameter; pro Token sind ungefähr 9 Milliarden aktiv. Seine Architektur kombiniert Mamba-2, Transformer und Mixture of Experts. Die native IQ2-Quantisierung drückt die Gewichte stark zusammen. Die Hauptdatei hat 22.018.326.528 Byte, der separate Vision-Projektor 1.733.692.736 Byte. Zusammen sind das rund 23,75 GB dezimal auf dem Datenträger. Der optionale LiLiCorr-Drafter für spekulative Dekodierung hat weitere 998.242.560 Byte; mit ihm sind es rund 24,75 GB für drei Dateien. Die Bytezahlen stammen aus den Metadaten der offiziellen Repositories, nicht aus einem eigenen Test. Modell und Projektor · Drafter.

Dateigröße ist nicht Spitzenverbrauch im GPU- oder Arbeitsspeicher. Memory Mapping, Offloading und das Backend beeinflussen, wo Daten liegen. Die Umrechnung von dezimalen GB in binäre GiB ändert nur die angezeigte Zahl. Aus der Summe der Dateien folgt weder, dass eine konkrete Konfiguration läuft, noch dass sie nicht läuft.

Den Projektor braucht man für den Bild- und Videopfad; der Drafter ist optional und soll die Generierung beschleunigen, nicht die Intelligenz des Modells erhöhen. Beides ist bei reinem Textbetrieb keine automatische Pflicht. Wer es weglässt und trotzdem alle beworbenen Fähigkeiten den reinen Gewichten zuschreibt, rechnet ebenso falsch.

Kontext kostet Speicher

NVIDIA bewirbt bis zu 256K Token Kontext und gibt an, bei der Architektursuche einen Speicherbedarf unter 24 GB bei Batchgröße eins und 128K Kontext angepeilt zu haben, unter Berücksichtigung bestimmter Laufzeitzustände. Das ist ein echtes technisches Ziel, keine bloße Etikettentrickserei. Die veröffentlichten lokalen Rezepte setzen aber andere Grenzen: Das 28-GB-Rezept verwendet 65.536 Token, eine gleichzeitige Sequenz, quantisierten Key/Value-Cache und einen separaten Drafter. Das 32-GB-Rezept sieht 262.144 Token vor. Das sind Angaben des Anbieters, keine von mir gemessenen Mindestwerte. Sie beweisen nicht, dass ein kürzerer Textlauf auf einer 24-GB-Karte unmöglich wäre. Deployment-Anleitung.

Jede zusätzliche Sequenz benötigt Laufzeitzustand. Kontextlänge, parallele Anfragen, Batching und Multimodalität verändern Kosten und Latenz. Gerade bei Agenten ist eine kurze Chat-Antwort eine andere Last als eine lange Untersuchung mit Werkzeugaufrufen.

Auch A9B ist keine Speicherangabe: Aktive Parameter beschreiben näherungsweise Rechenarbeit pro Token, nicht die Gesamtzahl der zu speichernden Gewichte. Ein MoE mit neun Milliarden aktiven Parametern ist deshalb speicherseitig nicht einfach ein dichtes 9B-Modell.

Anbieter-Benchmark ist kein eigener Benchmark

NVIDIAs Tabelle nennt 50,98 für Bolt IQ2 auf Terminal-Bench 2.1 und 44,38 für Qwen3.6-35B-A3B in BF16. Das ist ein Test des Anbieters mit verschiedenen Modellen und Präzisionen. Er belegt weder einen Vorteil auf den eigenen Aufgaben noch bei identischem Laufzeitbudget. Für mich ist die Tabelle ein Grund, einen Test zu planen, nicht ein Messergebnis meiner Umgebung. Tabelle.

Die Gewichte stehen unter OpenMDW-1.1, nicht unter Apache-2.0 oder MIT. Die Lizenz erlaubt eine breite Nutzung, enthält aber unter anderem Pflichten zur Beibehaltung von Hinweisen bei Weitergabe und eine Beendigungsklausel im Zusammenhang mit bestimmten Rechtsstreitigkeiten. „Open Weights“ ersetzt keine Lizenzprüfung und keine Prüfung, ob das eigene Backend die Hybridarchitektur, Chat-Vorlage, den Projektor und den Drafter korrekt unterstützt.

Vor einem Modellwechsel würde ich dieselben Aufgaben mit dem bisherigen Modell und Bolt ausführen: endgültige Erfolge, Gesamtlatenz inklusive Werkzeugen, Spitzenspeicher bei geplanter Kontextlänge und Parallelität sowie die genaue Laufzeitkonfiguration erfassen. Text und Multimodalität getrennt messen; Fehler und Wiederholungen mitzählen. Ohne diesen Vergleich gibt es kein belegtes Urteil über einen Ersatz.

Ein 74B-Hybridmodell in etwa 22 GB Gewichten unterzubringen, ist interessante Ingenieursarbeit. Nur hebt Kompression die übrige Speicherrechnung nicht auf. Auf „24GB“ sollte die Rückfrage folgen: Welcher Speicher, welche Dateien, welcher Kontext, welches Backend und wie viele gleichzeitige Anfragen? Erst diese Antworten beschreiben eine Installation.