2026-04-02
Come valutare l'hardware per gli LLM locali
Non esiste un vincitore senza un carico di lavoro definito: memoria, backend, quantizzazione e contesto decidono il confronto.
Non esiste un vincitore senza un carico di lavoro definito: memoria, backend, quantizzazione e contesto decidono il confronto.
Le architetture ibride Mamba, MoE e attenzione richiedono nuovi kernel. Il supporto Vulkan amplia le opzioni per l'inferenza locale.
Prefill, generazione, qualità e configurazione devono essere misurati insieme: una classifica isolata non basta.
Come ho messo in piedi uno stack IA locale completo — testo, immagini e video — su una singola macchina senza alcuna dipendenza dal cloud. Tutto Vulkan, tutto coesistente, tutto gratis.