La ricerca vettoriale da sola manca i termini esatti. BM25 da solo manca il significato. Combinare entrambi con il reranking RRF dà agli agenti IA una memoria che funziona davvero.
Un fine settimana di benchmark con modelli IA locali su hardware consumer. Ecco cosa funziona davvero.
Ho fatto benchmark di 17 LLM locali su 13 dimensioni con 39 test. I risultati hanno distrutto le mie ipotesi sulla dimensione dei modelli.
Benchmark reali del modello open-weight 120B MoE di OpenAI su un Ryzen AI Max+ 395 con 128 GB di memoria unificata. Niente cloud, niente A100, solo bare metal.