#inferenza
2 articoli
- 2026-10-17
I token al secondo sono due benchmark sotto lo stesso trench
Un solo numero di token al secondo nasconde l'elaborazione del prompt, il decoding e il carico di lavoro che conta davvero.
- 2026-10-12
I modelli linguistici a diffusione hanno un problema di cache. Finalmente diventa interessante.
I modelli linguistici a diffusione possono generare testo in parallelo, ma il denoising ripetuto costa caro. Nuovi lavori attenti alla cache rendono il compromesso interessante.