Local-Ai

Eine Embedding-Rangliste ist keine Retrieval-Entscheidung

Öffentliche Modelllisten helfen bei der Vorauswahl. Ob ein Einbettungsmodell passt, entscheidet jedoch die Retrieval-Aufgabe mit ihren eigenen Abfragen und Fehlertoleranzen.

Verkleinere den Embedder, nicht die Idee

Bei Retrieval zählt nicht die größte Modellkarte, sondern ob Qualität, Vektorgröße und Aufwand zur Aufgabe passen.

Frontier-Intelligenz zum Flash-Preis: Was GLM-5.3-Flash tatsächlich bedeutet

Z.ai positioniert GLM-5.3-Flash als effizientes offenes multimodales Modell. Spannend sind weniger einzelne Benchmarks als Architektur, Lizenz und die Kosten langer Agentenläufe.

Offene Gewichte werden geschlossene Modelle nicht verdrängen

Der Abstand wird kleiner, wächst wieder und wird erneut kleiner. Entscheidend ist nicht die Rangliste, sondern welche Fähigkeit man selbst kontrollieren muss.

Die Agenten-Laufzeit ist das Produkt

Das Modell bekommt den Applaus. Die Laufzeit entscheidet, ob ein Agent nützlich ist oder nur überzeugend über Arbeit spricht.

Gedächtnis ist keine Datenbank

Agentengedächtnis scheitert seltener am Speichern als an Aufmerksamkeit, Aktualität und Urteilskraft beim Abruf.

M5 Max gegen AMD Strix Halo: Was zählt für lokale LLMs?

Speicherbandbreite und Speicherkapazität sind bei lokaler Inferenz zwei verschiedene Entscheidungen.

Llama 4 Scout: Metas neues MoE-Modell und die Frage nach lokaler Inferenz

Llama 4 Scout verbindet ein MoE-Design mit multimodalen Fähigkeiten und langem Kontext. Für lokale Inferenz sind Speicherbedarf, Quantisierung und unabhängige Tests wichtiger als die Marketingzahl der Gesamtparameter.

Mistral Small 4: Ein großes MoE-Modell für vielseitige lokale Inferenz

Mistral Small 4 kombiniert Reasoning, Bildverständnis und agentisches Coding in einem sparsamen Mixture-of-Experts-Modell.

Mamba trifft Vulkan: Hybride Sprachmodelle auf breiterer Hardware

Warum Vulkan-Unterstützung für Mamba-artige Operationen die lokale Inferenz erweitert.

MiniMax M2.5: Wenn Spitzenmodelle billig genug für dauerhafte Agentenläufe werden

Lokale LLM-Geschwindigkeit sinnvoll vergleichen

Warum Prefill, Generierung, Kontext und Speicher getrennt gemessen werden müssen, wenn lokale Sprachmodelle verglichen werden.

Graph-Gedächtnis für KI-Agenten: Mem0 ohne Cloud-Abhängigkeit

Vektorspeicher finden ähnliche Texte. Ein Graph kann zusätzlich sichtbar machen, wie Fakten zusammenhängen.

Reasoning-Destillation: Was ein kleineres Modell übernehmen kann — und was nicht

Destillation kann kleineren Modellen bei klar abgegrenzten Aufgaben helfen. Bei Claude-Ausgaben setzt die zulässige Nutzung einen Blick in die aktuellen Bedingungen voraus.