2026-04-02
M5 Max gegen AMD Strix Halo: Was zählt für lokale LLMs?
Speicherbandbreite und Speicherkapazität sind bei lokaler Inferenz zwei verschiedene Entscheidungen.
Amd
2026-04-02
Llama 4 Scout: Metas neues MoE-Modell und die Frage nach lokaler Inferenz
Llama 4 Scout verbindet ein MoE-Design mit multimodalen Fähigkeiten und langem Kontext. Für lokale Inferenz sind Speicherbedarf, Quantisierung und unabhängige Tests wichtiger als die Marketingzahl der Gesamtparameter.
2026-03-20
Mistral Small 4: Ein großes MoE-Modell für vielseitige lokale Inferenz
Mistral Small 4 kombiniert Reasoning, Bildverständnis und agentisches Coding in einem sparsamen Mixture-of-Experts-Modell.
2026-03-14
Mamba trifft Vulkan: Hybride Sprachmodelle auf breiterer Hardware
Warum Vulkan-Unterstützung für Mamba-artige Operationen die lokale Inferenz erweitert.
2026-03-05
Lokale LLM-Geschwindigkeit sinnvoll vergleichen
Warum Prefill, Generierung, Kontext und Speicher getrennt gemessen werden müssen, wenn lokale Sprachmodelle verglichen werden.
2026-02-23
GPT-OSS 120B: Erste Benchmarks auf Consumer-AMD-Hardware
Echte Benchmarks von OpenAIs Open-Weight-120B-MoE-Modell auf einem Ryzen AI Max+ 395 mit 128 GB Unified Memory. Keine Cloud, keine A100s, nur Bare Metal.