2026-04-02
M5 Max gegen AMD Strix Halo: Was zählt für lokale LLMs?
Speicherbandbreite und Speicherkapazität sind bei lokaler Inferenz zwei verschiedene Entscheidungen.
Strix-Halo
2026-04-02
Llama 4 Scout: Metas neues MoE-Modell und die Frage nach lokaler Inferenz
Llama 4 Scout verbindet ein MoE-Design mit multimodalen Fähigkeiten und langem Kontext. Für lokale Inferenz sind Speicherbedarf, Quantisierung und unabhängige Tests wichtiger als die Marketingzahl der Gesamtparameter.
2026-03-20
Mistral Small 4: Ein großes MoE-Modell für vielseitige lokale Inferenz
Mistral Small 4 kombiniert Reasoning, Bildverständnis und agentisches Coding in einem sparsamen Mixture-of-Experts-Modell.
2026-02-26
Grösser ist nicht besser: Wie ein 9-GB-Modell 120 Milliarden Parameter geschlagen hat
Ich habe 17 lokale LLMs über 13 Dimensionen mit 39 Tests gebenchmarkt. Die Ergebnisse haben meine Annahmen über Modellgrösse zerstört.