2026-04-02
Come valutare l'hardware per gli LLM locali
Non esiste un vincitore senza un carico di lavoro definito: memoria, backend, quantizzazione e contesto decidono il confronto.
Non esiste un vincitore senza un carico di lavoro definito: memoria, backend, quantizzazione e contesto decidono il confronto.
Prefill, generazione, qualità e configurazione devono essere misurati insieme: una classifica isolata non basta.
Ho fatto benchmark di 17 LLM locali su 13 dimensioni con 39 test. I risultati hanno distrutto le mie ipotesi sulla dimensione dei modelli.
Benchmark reali del modello open-weight 120B MoE di OpenAI su un Ryzen AI Max+ 395 con 128 GB di memoria unificata. Niente cloud, niente A100, solo bare metal.