knowledge distillation

Explication detaillee

La distillation des connaissances incarne l’adage selon lequel le meilleur moyen d’apprendre est d’enseigner. Dans le contexte de l’intelligence artificielle, elle consiste a utiliser un grand modele, l’enseignant, pour guider l’entrainement d’un petit modele, l’eleve. L’idee, formalisee par Geoffrey Hinton, Oriol Vinyals et Jeff Dean en 2015, repose sur une observation subtile : un modele bien entraine ne se contente pas de predire la classe correcte avec confiance ; il attribute des probabilites aux autres classes qui refletent les ressemblances semantiques entre les concepts. Ces probabilites, qualifiees de soft targets, contiennent une information riche que les labels durs ne capturent pas.

Prenons un exemple concret. Un classificateur d’images face a une photo de chien Labrador predit peut-etre 70 pour cent de chien, 20 pour cent de chien Golden Retriever et 10 pour cent de chat. Le label dur indique simplement chien. Les soft targets revelent que le Labrador est plus proche du Golden Retriever que du chat. Cette structure de similarite, apprise par l’enseignant a partir de millions d’exemples, est transferee a l’eleve, qui apprend ainsi plus efficacement que s’il ne disposait que des labels durs.

Dans le contexte professionnel, la distillation des connaissances est devenue un outil indispensable pour le deploiement de l’intelligence artificielle. Les grands modeles de langage, les reseaux de vision et les modeles de reconnaissance vocale atteignent des performances remarquables mais necessitent des infrastructures couteuses. Un modele de 175 milliards de parametres ne peut pas fonctionner sur un smartphone. La distillation permet de creer des versions compressees qui conservent 95 pour cent des performances pour 10 pour cent du cout computationnel. C’est le pont entre la recherche et la production.

Les variantes de la distillation sont nombreuses. La distillation hors ligne utilise un enseignant deja entraine dont les predictions sont pre-calculees sur un dataset de transfert. La distillation en ligne entraine l’enseignant et l’eleve simultanement. La distillation auto-supervisee, ou l’eleve apprend de ses propres predictions passees, elimine le besoin d’enseignant explicite. La distillation de features transfere les representations intermediaires de l’enseignant, pas seulement les sorties finales. Chaque variante repond a des contraintes specifiques de ressources et de performances.

Les defis de la distillation incluent le choix de la temperature, qui controle l’adoucissement des distributions de probabilite. Une temperature elevee rend les soft targets plus uniformes et facilite le transfert des relations entre classes, mais risque de diluer l’information. Une temperature basse concentre la masse sur la classe dominante, approachant les labels durs. Le ratio entre la perte de distillation et la perte de supervision directe est un autre hyperparametre critique. Un eleve trop dependant de l’enseignant ne generalise pas bien aux exemples ou l’enseignant se trompe.

Les avancees recentes etendent la distillation aux modeles generatifs. La distillation de modeles de diffusion accelere l’echantillonnage en transferant la capacite d’un grand modele de diffusion vers un petit. La distillation de chain-of-thought transfere les capacites de raisonnement des grands modeles de langage vers des modeles plus compacts. La distillation de modeles de vision permet de deployer des detecteurs d’objets en temps reel sur des cameras de surveillance.

Dans l’industrie, la distillation est integree dans les pipelines de production des principaux acteurs. Google distille ses grands modeles de traduction pour les deploiements mobiles. Apple distille ses modeles de reconnaissance faciale pour fonctionner localement sur l’iPhone. Microsoft distille ses modeles de comprehension du langage pour les assistants Office.