Come valutare l'hardware per gli LLM locali
Un confronto fra macchine per LLM locali diventa rapidamente una gara di numeri estratti da tabelle diverse. È un modo affidabile per ottenere una risposta sicura e poco utile.
Prima di scegliere hardware, definirei il modello, la quantizzazione, il contesto e il backend. Senza questi elementi non esiste un benchmark: esistono solo impressioni non confrontabili.
La memoria pone il primo limite
Un LLM locale richiede spazio non soltanto per i pesi, ma anche per il contesto e per le strutture usate durante l’inferenza. Se una configurazione non ospita il carico desiderato con margine sufficiente, un vantaggio teorico di velocità non risolve il problema.
Se due configurazioni ospitano il modello, il confronto cambia. Diventano rilevanti la velocità del backend scelto, la quantizzazione e il comportamento alla lunghezza di contesto realmente usata. Un prompt breve e una conversazione lunga non misurano lo stesso lavoro.
Il software non è un dettaglio
MLX si presenta come framework di array per il machine learning su Apple silicon e documenta un modello di memoria unificata. llama.cpp è invece un progetto di inferenza per LLM in C/C++. Sono fatti utili per scegliere una strada software, ma non sono un benchmark comparativo e non autorizzano a dedurre un vincitore hardware.
La verifica deve quindi seguire il percorso completo: modello, formato, backend, impostazioni e macchina. Cambiare uno solo di questi elementi può cambiare il risultato abbastanza da rendere ingannevole un confronto pubblicato senza metodo.
Un confronto che vale
Per ogni configurazione userei lo stesso modello, la stessa quantizzazione, lo stesso prompt e le stesse impostazioni. Registrerei velocità del prompt, velocità di generazione, memoria usata e qualità su un compito definito. Ripeterei la prova abbastanza volte da distinguere una tendenza da un caso fortunato.
Il verdetto non deve essere «questa macchina vince». Deve essere: «per questo modello, con questo contesto e questo backend, questa configurazione offre il compromesso migliore». È una conclusione più stretta, ma è l’unica che aiuta davvero a scegliere.