Une sortie de modèle attire naturellement l’attention par quelques nombres : taille, contexte, score ou débit annoncé. Ces nombres ont une utilité, mais une fiche de modèle est d’abord une documentation de produit. Elle indique ce que son éditeur distribue et les conditions prévues ; elle ne constitue pas un benchmark indépendant.

Les architectures MoE changent le vocabulaire

Un modèle à mélange d’experts sépare souvent le nombre total de paramètres de la part sollicitée pour un jeton. Cette distinction éclaire le calcul actif, mais elle ne fait pas disparaître les contraintes de mémoire. Les poids, le cache de contexte, le format et le moteur d’inférence restent déterminants.

La conséquence pratique est de poser deux questions plutôt qu’une : le modèle peut-il être chargé avec le contexte nécessaire, et produit-il des résultats utiles avec une latence acceptable ? Le nombre de paramètres actifs ne répond pas seul à ces deux questions.

Ce qu’il faut relever dans la documentation

Les pages de publication et les cartes de modèle sont l’endroit approprié pour vérifier la licence, les modalités d’entrée, les limites annoncées, le format de messages et les dépendances de déploiement. Les annonces peuvent aussi préciser quelles capacités sont proposées par une variante donnée. Ces informations sont nécessaires avant tout essai, notamment lorsqu’un modèle distingue texte, image, audio ou appels de fonctions.

Elles demandent toutefois à être confirmées dans l’environnement choisi. Une quantification, une version de moteur ou un modèle de conversation différent peut changer fortement l’expérience. Un échec de format ne mesure pas forcément la qualité du modèle ; il peut révéler une intégration incorrecte.

Évaluer ce qui compte

Une première évaluation honnête utilise un protocole stable : mêmes tâches, mêmes paramètres, mêmes limites de contexte et mêmes critères de réussite pour chaque candidat. Elle sépare le chargement, le préremplissage, la génération et la qualité des résultats. Pour un usage agentique, les sorties structurées, les appels de fonctions et la gestion de l’incertitude sont souvent plus importants qu’un chiffre unique de vitesse.

Les classements publics peuvent aider à sélectionner des candidats. Ils ne permettent pas de conclure qu’un modèle conviendra à un corpus, à une langue ou à une chaîne d’outils précise. La publication responsable consiste à citer la documentation pour les caractéristiques déclarées, puis à réserver les conclusions de performance aux essais réellement reproductibles.