Choisir un modèle d’embeddings à partir d’un classement est séduisant : un nombre donne l’impression d’une décision déjà prise. Mais un encodeur n’est pas une réponse générique. Il intervient dans un système de recherche où le corpus, les langues, les requêtes, la métrique et les contraintes de déploiement changent le résultat.

Les benchmarks ont un périmètre

MTEB a été créé précisément parce qu’évaluer des embeddings sur une seule tâche ne couvre pas leurs usages possibles. Le travail rapporte plusieurs familles de tâches et conclut qu’aucune méthode ne domine partout. C’est une leçon plus utile qu’un podium : la qualité dépend du problème mesuré.

Les cartes de modèles complètent ce tableau. Elles peuvent documenter la taille, les dimensions, les langues, le format d’entrée ou les recommandations du fournisseur. Les lire aide à éliminer des candidats incompatibles. Elles ne prouvent pas que le modèle retrouvera les documents importants pour un corpus particulier.

Commencer par le besoin

Avant une présélection, il faut expliciter :

  • les langues et la taille du corpus ;
  • la forme habituelle des requêtes ;
  • les contraintes de stockage et de latence ;
  • le type de recherche attendu ;
  • les exemples de résultats jugés utiles ou inutiles.

Ces éléments permettent de constituer un petit jeu de requêtes représentatives avec des documents attendus. On peut alors comparer les candidats à l’aide d’une métrique adaptée, mais aussi examiner les erreurs. Un score global peut masquer une faiblesse critique sur les requêtes les plus importantes.

La compatibilité est une propriété, pas une consolation

Un modèle compact bien intégré peut rester le choix rationnel pour un prototype ou une recherche simple. Un modèle plus récent peut justifier son coût si ses capacités correspondent mieux à la langue, au domaine ou à la taille de l’index. Aucun de ces choix n’est dévalorisé par l’existence de l’autre.

La décision d’architecture commence donc par la tâche, puis utilise les évaluations et la documentation comme instruments. Le classement peut aider à découvrir des candidats ; il ne devrait pas remplacer l’enquête qui établit lequel produit réellement une recherche utile.