Distillation

Explication detaillee

Les modeles de langage les plus performants sont des colosses. GPT-4, Claude 3 Opus, Gemini Ultra: ces systemes atteignent des tailles de plusieurs centaines de milliards de parametres, necessitant des fermes de serveurs couteuses et consommant une energie considerable. Cette centralisation technologique cree une dependance envers les fournisseurs cloud et exclut les applications necessitant une inference locale, rapide ou peu couteuse. La distillation repond a ce dilemme en comprimant l’intelligence du colosse dans un modele plus leger, deployable partout.

Le concept a ete formalise en 2015 par Geoffrey Hinton, Oriol Vinyals et Jeff Dean dans leur article fondateur Distilling the Knowledge in a Neural Network. L’idee est elegante: au lieu d’entrainer un petit modele sur des etiquettes dures (0 ou 1, 'chat' ou 'chien'), on l’entraine a reproduire les probabilites de sortie du grand modele. Si le modele enseignant attribue 70 pour cent de probabilite a 'chat', 25 pour cent a 'lynx' et 5 pour cent a 'chien', ces probabilites molles (soft targets) contiennent bien plus d’information que l’etiquette unique 'chat'. Elles revelent la structure des similarites entre classes que le petit modele peut apprendre.

La distillation en deux etapes est la strategie la plus courante. D’abord, le modele enseignant est entraine sur les donnees d’entrainement originales. Ensuite, le modele eleve est entraine sur les memes donnees, mais avec pour cible les predictions de l’enseignant. Une temperature elevee dans la fonction softmax de l’enseignant adoucit les probabilites, rendant les relations entre classes plus visibles pour l’eleve.

En 2019, Victor Sanh et son equipe chez Hugging Face appliquent cette idee aux transformers avec DistilBERT. En entrainant un BERT a 40 pour cent des parametres de l’original a imiter le BERT de base, ils obtiennent un modele 60 pour cent plus rapide, avec 97 pour cent des performances sur des benchmarks de comprehension du langage. Cette demonstration a declenche une vague de modeles distilles: TinyBERT, MobileBERT, DistilGPT-2, et plus recemment les versions destillees de Llama par des communautes open-source.

Pour les entreprises, la distillation offre une voie d’independance technologique. Plutot que de payer des API couteuses pour chaque requete, une entreprise peut distiller un grand modele proprietaire ou open-source en un modele leger execute sur ses propres serveurs. Le cout d’inference chute de plusieurs ordres de grandeur. La latence se reduit, permettant des applications temps reel. Et les donnees sensibles restent sur site, repondant aux exigences de conformite RGPD ou sectorielles.

La distillation s’applique au-dela de la simple compression. Le student peut etre architecturalement different de l’enseignant: un reseau convolutionnel peut distiller un transformer, un reseau recurrent peut apprendre d’un modele de diffusion. Cette flexibilite permet d’adapter le modele deploye aux contraintes materielles cibles: smartphone, microcontroleur, navigateur web.

Les limites sont reelles. La distillation ne peut pas creer de connaissances que l’enseignant ne possede pas. Si le grand modele ignore une subtilite juridique ou medicale, le petit modele l’ignorera aussi, probablement plus encore. De plus, les biais de l’enseignant sont transmis a l’eleve, parfois amplifies. Enfin, les methodes de distillation pour les taches generatives (traduction, resume, dialogue) sont moins matures que pour la classification.

La distillation trouve des applications au-dela de la simple compression. Elle permet la creation de modeles specialises a partir de generalistes. Un grand modele de langage peut etre distille en un expert juridique, un autre en expert medical, et un troisieme en expert financier, a partir du meme enseignant. Cette specialisation par distillation est plus rapide et moins couteuse que l’entrainement de modeles dedies depuis zero. Elle permet egalement de transferer des connaissances proprietaires: une entreprise peut distiller un modele interne en un modele client leger, sans exposer ses donnees d’entrainement sensibles.

Les benchmarks de distillation montrent que la qualite de l’eleve depend non seulement de sa taille, mais aussi de sa capacite architecturale a imiter l’enseignant. Des eleves trop simples ne peuvent capturer les nuances de l’enseignant, meme avec une distillation parfaite. Le choix de l’architecture de l’eleve est donc aussi critique que le processus de distillation lui-meme.