Nicht jedes große Sprachmodell ist ein reiner Transformer. Hybride Architekturen kombinieren Aufmerksamkeit, Mixture-of-Experts-Schichten und zustandsbasierte Sequenzmodelle wie Mamba. Das ist relevant, weil sich die Rechenmuster und die Kosten langer Kontexte dadurch ändern können.

Warum Mamba anders ist

Klassische Attention verarbeitet Beziehungen zwischen vielen Tokenpaaren. Mit wachsendem Kontext wird das teuer. State-Space-Modelle verfolgen einen anderen Ansatz: Sie aktualisieren einen Zustand entlang der Sequenz. Das kann bei langen Eingaben günstigere Skalierung ermöglichen, ohne dass daraus automatisch eine bessere Modellqualität folgt.

Ein Hybridmodell versucht, die Stärken beider Ansätze zu verbinden. Aufmerksamkeit bleibt dort, wo sie nützlich ist; rekurrente oder zustandsbasierte Komponenten übernehmen andere Teile der Sequenzverarbeitung; MoE-Schichten begrenzen zusätzlich die Zahl der pro Token aktiven Gewichte.

Warum ein Vulkan-Backend wichtig ist

Solche Architekturen benötigen Operationen, die über die üblichen Matrixmultiplikationen hinausgehen. Eine Implementierung im Vulkan-Backend von llama.cpp erweitert deshalb nicht nur eine einzelne Modellfamilie. Sie macht eine Klasse von Berechnungen auf mehr GPU-Treibern und Plattformen zugänglich.

Der öffentliche Pull Request #20334 beschreibt Unterstützung für die GATED_DELTA_NET-Operation, eine zentrale Komponente der betreffenden Mamba-2-Variante. Das ist die eigentliche Nachricht: Modellarchitektur und Inferenzbackend müssen gemeinsam weiterentwickelt werden. Gewichte allein reichen nicht.

Kein Grund für voreilige Leistungsversprechen

Eine neue Kernel-Implementierung ist noch kein Benchmark. Reale Geschwindigkeit hängt von Quantisierung, Sequenzlänge, Speicherverkehr, Treiber und der Mischung der Schichten ab. Gerade bei hybriden Modellen wäre es unseriös, aus der Zahl der aktiven Parameter direkt eine Tokenrate abzuleiten.

Sinnvoll sind reproduzierbare Tests mit klarer Trennung zwischen Prefill, Generierung und langen Kontexten. Erst dann lässt sich beurteilen, ob der theoretische Vorteil einer Architektur im jeweiligen Backend ankommt.

Das größere Bild

Die lokale KI-Landschaft wird interessanter, weil sowohl Modelle als auch Backends vielfältiger werden. Quantisierung hilft großen offenen Gewichten, auf weniger spezialisierter Hardware zu laufen. Plattformübergreifende Compute-Backends senken die Abhängigkeit von einem einzelnen Anbieter. Und alternative Sequenzarchitekturen bieten mögliche Wege, den Preis langer Kontexte zu senken.

Das ist kein Versprechen, dass jede neue Modellfamilie sofort besser läuft. Es ist aber ein konkreter Fortschritt: Eine weitere Rechenoperation ist offen implementiert und kann öffentlich geprüft, getestet und verbessert werden.