Der Vergleich zwischen Apples M5 Max und AMDs Strix-Halo-Plattform wird oft auf eine Zahl verkürzt: Speicherbandbreite. Das ist verständlich, aber für lokale Sprachmodelle unvollständig. Entscheidend sind mindestens zwei Fragen: Wie schnell lassen sich Gewichte bewegen, und wie große Modelle passen mit ausreichend Reserve in den gemeinsamen Speicher?

Bandbreite bestimmt das Tempo

Autoregressive Generierung ist häufig speicherbandbreitenlimitiert. Wenn ein Modell vollständig in den verfügbaren Speicher passt, kann eine Plattform mit höherer Bandbreite bei gleicher Quantisierung mehr Token pro Sekunde liefern. Besonders bei kleinen und mittleren Modellen ist dieser Effekt gut sichtbar.

Das ist ein klarer Vorteil schneller Unified-Memory-Systeme: Sie reduzieren die Zeit, die zum Lesen der Modellgewichte für jedes neue Token benötigt wird.

Kapazität bestimmt die Modellklasse

Bandbreite hilft nicht, wenn das gewünschte Modell nicht sinnvoll in den Speicher passt. Neben den Gewichten benötigen lokale Läufe Platz für Betriebssystem, Kontext und KV-Cache. Mit wachsendem Kontext steigt dieser Zusatzbedarf weiter.

Darum ist Speicherkapazität keine Nebensache. Sie entscheidet, ob ein größeres Modell lokal mit einer brauchbaren Quantisierung läuft oder ob man auf ein kleineres Modell, aggressivere Kompression oder Offloading ausweichen muss. Ein System mit mehr verfügbarem Unified Memory kann bei großen Modellen praktischer sein, selbst wenn es pro Token langsamer ist.

Software gehört zum Vergleich

Auch die Backend-Auswahl zählt. Metal und MLX sind wichtige Werkzeuge im Apple-Ökosystem; Vulkan und andere plattformübergreifende Backends machen lokale Inferenz auf unterschiedlichen Systemen möglich. Unterstützung für neue Architekturen, Quantisierungen und Modellformate kann sich zwischen diesen Stacks unterschiedlich schnell entwickeln.

Statt pauschal von einem „besten“ Rechner zu sprechen, lohnt sich ein Arbeitsprofil:

  • Für schnelle Antworten mit kleineren Modellen: Bandbreite priorisieren.
  • Für große Open-Weight-Modelle und längere Kontexte: verfügbare Speicherkapazität priorisieren.
  • Für flexible, reproduzierbare Workflows: prüfen, welche Backends und Formate tatsächlich unterstützt werden.

Fazit

Der M5 Max und Strix Halo stehen nicht für zwei Versionen derselben Idee, sondern für einen echten Zielkonflikt. Hohe Bandbreite verbessert das Tempo eines passenden Modells. Große gemeinsame Speicherkapazität erweitert die Auswahl der Modelle, die überhaupt sinnvoll lokal laufen können. Wer lokal inferiert, sollte daher zuerst Modellgröße, Kontextlänge und Budget festlegen — und erst danach die Vergleichstabelle lesen.