Un nuovo modello attira subito la domanda sbagliata: «quanto è veloce?». Prima viene una domanda meno spettacolare: quali affermazioni sono verificabili?

Per valutare una release della famiglia Gemma, partirei dalla documentazione ufficiale, dalla model card e dalla compatibilità effettiva del runtime. Un nome, una dimensione dichiarata o una grafica promozionale non sono ancora una prova di comportamento locale.

La scheda tecnica non è un benchmark

Una model card può descrivere finalità, limiti, licenza, modalità di addestramento e valutazioni del produttore. È un punto di partenza prezioso, non un sostituto di una prova indipendente. I risultati dipendono da versione dei pesi, quantizzazione, formato del prompt, backend e carico di lavoro.

Questo vale in modo particolare per architetture sparse. Il numero totale dei parametri e il numero usato in una singola elaborazione descrivono proprietà diverse. Nessuno dei due, da solo, dice quanta memoria serva in una configurazione concreta o quale latenza percepirà un utente.

Una checklist per il primo giorno

Prima di dichiarare che un modello è pronto per l’uso locale, controllerei:

  1. documentazione primaria e condizioni di licenza;
  2. file e formati pubblicati dal distributore;
  3. supporto documentato nel runtime scelto;
  4. comportamento su prompt brevi, contesti più lunghi e input strutturati;
  5. risultati ripetibili, accompagnati da configurazione e criterio di misura.

llama.cpp documenta un ampio insieme di formati e piattaforme, ma la disponibilità del progetto non garantisce automaticamente il supporto completo di qualunque architettura o conversione. La verifica deve riguardare il modello e la versione specifici.

Il verdetto onesto

Un «primo sguardo» utile non inventa punteggi né deduce capacità da informazioni incomplete. Può spiegare cosa manca per una valutazione seria e indicare come produrla.

Quando esistono pesi, documentazione e risultati riproducibili, allora si può discutere di qualità, memoria e velocità. Prima di quel punto, la conclusione più utile è anche la meno glamour: attendere dati verificabili.