Moe

Explication detaillee

Les modeles de langage modernes atteignent des tailles vertigineuses: 175 milliards de parametres pour GPT-3, 540 milliards pour PaLM, plus d’un billion pour certains modeles experimentaux. Cette croissance spectaculaire ameliore les capacites mais engendre un cout computationnel prohibitif. Chaque prediction necessite de parcourir l’integralite des parametres du reseau, consommant une energie et une memoire considerables. Le Mixture of Experts (MoE) propose une solution elegante: pourquoi activer tout le reseau pour chaque requete, quand seule une partie des competences est pertinente?

L’idee remonte a 1991 avec les travaux de Jacobs, Jordan et collaborateurs sur les reseaux de melange d’experts. Mais c’est en 2017 que Noam Shazeer et son equipe chez Google reinventent le concept a l’echelle des transformers modernes dans leur article Outrageously Large Neural Networks. L’architecture remplace chaque couche feed-forward dense du transformer par un ensemble de reseaux plus petits, les experts. Un mecanisme de routage, appele gating network, determine quels experts activer pour chaque token d’entree.

Le principe s’apparente a celui d’un grand hopital universitaire. Face a un patient, le medecin generaliste (le mecanisme d’attention) evalue la situation et oriente le cas vers les specialistes pertinents: cardiologue, neurologue, ou dermatologue. Il n’active pas l’ensemble des 500 practiciens de l’hopital pour chaque consultation. De meme, le modele MoE selectionne dynamiquement les experts les plus aptes a traiter chaque token, reduisant le cout de calcul tout en preservant une capacite de representation colossale.

En 2022, les Switch Transformers de Google poussent cette logique a l’extreme avec un trillion de parametres mais n’activant que 50 milliards par token. En 2024, Mixtral 8x7B de Mistral AI demontre qu’un MoE peut concurrencer des modeles denses beaucoup plus grands en n’activant que 2 de ses 8 experts a chaque couche. Cette efficacite remet en question l’idee selon laquelle la performance ne decoule que de la taille active du modele.

Pour les entreprises, le MoE offre un compromis attractif entre performance et cout d’inference. Un modele MoE de qualite superieure peut etre deploye avec une infrastructure moindre qu’un modele dense equivalent, reduisant les factures cloud. Cependant, la complexite du deploiement augmente: le routage doit etre equilibre pour eviter de surcharger certains experts, et la communication entre experts sur differents serveurs introduit une latence reseau.

Le MoE souleve egalement des questions d’interpretabilite. Quand un modele dense se trompe, il est difficile de comprendre pourquoi. Quand un modele MoE se trompe, on peut examiner quels experts ont ete actives et si le routage etait approprie. Cette granularite offre des leviers de diagnostic inexistants dans les architectures denses. Cependant, la specialisation des experts n’est pas toujours interpretable par l’humain: un expert peut se specialiser dans des patterns statistiques abstraits sans correspondance conceptuelle claire.

L’avenir des architectures MoE semble prometteur. Les travaux recents explorent le routing differentiable, le load balancing dynamique, et la composition de experts pre-entraines sur des domaines specifiques. On peut imaginer des modeles ou des experts juridiques, medicaux et financiers sont combines dans une meme architecture, selectionnes a la volee selon la nature de la requete.

Le succes de Mixtral 8x7B en 2024 a demontre que les architectures MoE pouvaient concurrencer les modeles denses bien plus grands avec une fraction des ressources actives. Cette preuve de concept industrielle a suscite un interet renouvele pour les MoE dans la communaute open-source. Des projets comme Qwen-MoE, DeepSeek-MoE et OpenMoE explorent differentes strategies de routage et de composition d’experts. Les entreprises commencent a envisager les MoE non seulement comme un moyen de reduire les couts, mais comme une architecture permettant de specialiser dynamiquement le traitement selon le domaine, la langue, ou le niveau de complexite de la requete.

La composition dynamique d’experts dans les MoE modernes permet des fonctionnalites avancees comme le routage conditionnel par langue ou par domaine. Un modele multilingue peut activer des experts specialises dans la morphologie de la langue de la requete, ameliorant la qualite des reponses pour les langues peu representees dans le corpus d’entrainement global.