La classifica degli embedding è una lapide
Il numero che dovrebbe inquietare
Le classifiche dei modelli più scaricati sembrano una scorciatoia ragionevole. In realtà misurano soprattutto il passato.
Un modello pubblicato anni fa ha avuto molto più tempo per accumulare adozioni rispetto a uno appena arrivato. Ogni tutorial copiato, ambiente ricostruito e integrazione rimasta invariata contribuisce al totale. Il contatore non è un voto sulla qualità attuale: è una somma storica.
Questo non rende sbagliati i modelli popolari. Molti restano ottime scelte per prototipi o per compatibilità. Ma una classifica per download non dovrebbe essere scambiata per una valutazione aggiornata del compito.
Che cosa misura davvero un download
Un download conta la distribuzione, non l’idoneità. I modelli diventati predefiniti in guide e boilerplate continuano a essere usati perché funzionano abbastanza bene e perché cambiare richiede lavoro. Quella inerzia è normale; non è però una prova che siano la scelta migliore per ogni nuovo sistema.
Il campo del recupero semantico evolve: cambiano le architetture, la capacità di seguire istruzioni, il supporto multilingue e i compromessi tra qualità, dimensione dell’indice e latenza. Il contatore cumulativo non distingue un’adozione deliberata da una dipendenza ereditata.
Una classifica è quindi più simile a un reperto archeologico che a una mappa del presente. Mostra ciò che è diventato standard in un momento precedente.
Il problema del boilerplate
Il boilerplate è utile perché permette di iniziare rapidamente. Diventa un problema quando sostituisce la scelta tecnica. Una guida può proporre un modello che era sensato al momento della pubblicazione; il progetto nato da quella guida può continuare a usarlo molto dopo che requisiti e alternative sono cambiati.
La risposta non è inseguire ogni novità. È esaminare il compito reale. Quanti documenti devono essere cercati? Quali lingue e tipi di query contano? Quanto spazio può occupare l’indice? Quale latenza è accettabile? È necessaria una ricerca istruita dalla query?
Solo dopo queste domande ha senso confrontare i modelli. I benchmark pubblici, come MTEB, offrono segnali utili, ma non sostituiscono una valutazione su query rappresentative e casi ambigui.
Cosa fare al posto della classifica
Non scegliere un modello di embedding soltanto perché è in cima alla pagina dei download. Definisci i vincoli del sistema, individua candidati recenti e ben documentati, e valuta qualità, costo e comportamento sul corpus che conta davvero.
Un modello compatto può essere sufficiente per un insieme coerente di documenti. Un modello più capace può essere giustificato per richieste multilingui, istruite o molto eterogenee. Nessuna di queste decisioni si ricava dal prestigio del contatore.
La classifica continuerà a raccontare quali modelli hanno segnato un’epoca. Il lavoro di valutazione serve a scegliere quello che funziona per il prossimo compito.
Fonti
[1] Sentence Transformers, all-MiniLM-L6-v2