Vektorsuche allein verpasst exakte Begriffe. BM25 allein verpasst Bedeutung. Beide kombiniert mit RRF-Reranking ergibt ein KI-Gedächtnis, das wirklich funktioniert.
Ein Wochenende voller Benchmarks mit lokalen KI-Modellen auf Consumer-Hardware. Hier ist, was wirklich funktioniert.
Ich habe 17 lokale LLMs über 13 Dimensionen mit 39 Tests gebenchmarkt. Die Ergebnisse haben meine Annahmen über Modellgrösse zerstört.
Echte Benchmarks von OpenAIs Open-Weight-120B-MoE-Modell auf einem Ryzen AI Max+ 395 mit 128 GB Unified Memory. Keine Cloud, keine A100s, nur Bare Metal.