Parameter Sharing

Explication detaillee

Le partage de parametres constitue l’un des principes les plus elegants et les plus efficaces de conception des reseaux de neurones. A l’oppose des reseaux entierement connectes, ou chaque connexion possede son propre poids unique, le partage de parametres contraint plusieurs connexions a utiliser la meme valeur. Cette contrainte, loin d’etre une limitation, est une regularisation puissante qui encode des priorites structurelles sur les donnees et reduit drastiquement la complexite du modele.

L’exemple le plus celebre est la convolution dans les reseaux de vision. Un filtre convolutif de 3x3 pixels est applique a toutes les positions de l’image en glissant la fenetre de reception. Le meme noyau de poids detecte un motif, comme un contour vertical, independamment de sa position dans l’image. Cette invariance par translation, encodee par le partage de parametres, est une propriete fondamentale de la vision. Sans elle, un reseau devrait apprendre separement a reconnaitre un chat dans le coin superieur gauche et dans le coin inferieur droit, multipliant absurdement le nombre de parametres necessaires.

Dans le traitement du langage naturel, le partage de parametres est omnipresent. Les reseaux recurrents partagent les memes poids a chaque pas de temps de la sequence, permettant de traiter des phrases de longueur variable avec un nombre fixe de parametres. Les transformers partagent les poids des projections de requete, cle et valeur entre toutes les positions du texte. Le token embedding, qui mappe chaque mot a un vecteur dense, partage les memes poids pour toutes les occurrences d’un meme mot dans le corpus.

Dans le contexte professionnel, le partage de parametres est un levier d’efficacite critique. Les modeles de vision pour la conduite autonome utilisent des convolutions partagees pour detecter les panneaux de signalisation, les pietons et les autres vehicules a toutes les positions de l’image. Les modeles de reconnaissance de la parole partagent les poids des filtres acoustiques pour reconnaitre les phonemes independamment de leur position temporelle. Les modeles de traduction partagent les poids des encodeurs et des decodeurs pour transferer les connaissances entre les langues.

Les variantes du partage de parametres explorent differents types de regularite. Le partage par groupe applique des poids differents a differentes parties de l’entree, comme les filtres de couleur separes dans les images RGB. Le partage hierarchique utilise des poids partages a differentes echelles, comme dans les pyramides de convolution. Le partage croise entre taches, ou multi-task learning, utilise des couches de representation partagees entre plusieurs objectifs. Le partage dans les reseaux siamesois utilise des poids identiques pour deux branches qui traitent des entrees differentes.

Les defis du partage de parametres incluent le choix de la granularite. Un partage trop large limite la capacite du modele a capturer des variations locales. Un partage trop etroit annule les benefices de regularisation. L’adaptation du partage de parametres a de nouvelles taches, comme dans le transfer learning, necessite parfois de degele certaines couches tout en gelant d’autres. La compression de modeles par factorisation de poids partages est un domaine de recherche actif.

Dans l’industrie, le partage de parametres est invisible mais omnipresent. Chaque convolution, chaque recurrence, chaque mecanisme d’attention en profite. Les frameworks de deep learning implementent ces operations de maniere hautement optimisee, exploitant le partage pour paralleliser les calculs sur GPU. Les architectures modernes, de ResNet a Transformer, sont baties sur cette fondation.