La distillation est souvent racontée comme une recette : demander à un grand modèle de répondre, puis entraîner un plus petit modèle sur ces réponses. La réalité est plus intéressante et plus limitée. C’est une famille de méthodes pour transférer des comportements observables ; ce n’est pas une preuve que le modèle élève possède les mêmes capacités internes que son enseignant.

Ce que la distillation transfère

Le travail fondateur de Hinton, Vinyals et Dean présente la distillation comme un transfert d’information depuis les sorties d’un modèle ou d’un ensemble vers un modèle plus compact. Dans les systèmes de langage, les données peuvent contenir des réponses, des préférences de style, des explications ou des exemples de format.

Un élève peut apprendre des régularités utiles : décomposer une consigne, adopter une structure stable ou respecter plus souvent une forme de sortie. Il reste contraint par son architecture, ses données de base et la qualité des exemples. Une réponse qui ressemble à une explication rigoureuse ne démontre pas, à elle seule, une amélioration générale du raisonnement.

Mesurer plutôt que projeter

L’évaluation doit comparer l’élève à une base pertinente sur un jeu de tâches défini à l’avance. Il faut préciser les prompts, le décodage, les outils éventuels et le critère de réussite. Une démonstration de quelques énigmes peut servir à explorer un comportement ; elle ne soutient pas une conclusion sur le code, les mathématiques ou la fiabilité à grande échelle.

Les tests utiles incluent aussi les échecs : réponses inventées, respect des contraintes, robustesse aux reformulations et capacité à reconnaître une information absente. Un distillat qui produit des explications plus longues n’est pas nécessairement meilleur ; il peut seulement être plus bavard.

Les droits font partie de la méthode

Les sorties d’un modèle ne sont pas des données sans contexte. Les fournisseurs publient des conditions qui peuvent encadrer l’utilisation des sorties, et ces textes évoluent. Avant de constituer un jeu d’entraînement à partir d’un produit tiers, il faut consulter les conditions en vigueur, les licences des données et les obligations applicables au lieu de déduire un droit de la seule accessibilité technique.

La leçon pratique est simple : traiter la distillation comme une expérience documentée. Définir la source des données, préserver un ensemble d’évaluation séparé, comparer avec une référence et publier les limites. Cela produit des résultats plus utiles que l’affirmation vague d’avoir reproduit le raisonnement d’un autre modèle.