Neural Architecture Search

Explication detaillee

La recherche d’architectures neuronales represente l’automatisation ultime du cycle de conception en deep learning. Traditionnellement, la creation d’un reseau de neurones repose sur l’intuition, l’experience et une longue serie d’experimentations manuelles. Un ingenieur choisit une architecture de base, ajuste la profondeur, la largeur, les types de couches, les connexions de saut, les fonctions d’activation, et evalue les performances sur un jeu de validation. Ce processus, qualifie d’ingenierie de caracteristiques architecturales, est couteux en temps, en ressources de calcul et en expertise humaine.

La NAS remplace cette exploration manuelle par une recherche algorithmique. L’espace de recherche definit l’ensemble des architectures possibles : quels types de couches sont autorises, comment elles peuvent se connecter, quelles sont les contraintes de taille et de profondeur. La strategie de recherche determine comment explorer cet espace : par renforcement, par evolution genetique, par descente de gradient dans un espace continu, ou par prediction de performance. La fonction d’evaluation mesure la qualite de chaque architecture candidate, typiquement par un entrainement rapide et une evaluation sur un jeu de validation.

Les succes de la NAS ont ete spectaculaires. AutoML de Google a decouvert NASNet, une architecture de vision qui a surpasse les reseaux concus par des experts sur ImageNet. EfficientNet, optimise par NAS, a etabli de nouveaux records d’efficacite en combinant la recherche d’architecture avec le scaling compound des dimensions du reseau. MnasNet a optimise directement la latence sur mobile, produisant des modeles rapides et precis pour les smartphones.

Dans le contexte professionnel, la NAS transforme la productivite des equipes de machine learning. Une entreprise qui souhaite deployer un classificateur d’images sur son application mobile peut utiliser la NAS pour generer automatiquement un modele optimise pour sa contrainte de latence specifique, plutot que d’adapter manuellement un ResNet ou un MobileNet. Un laboratoire pharmaceutique peut rechercher l’architecture optimale pour predire l’affinite medicament-proteine. Une banque peut automatiser la conception de reseaux pour la detection de fraude.

Les defis de la NAS sont considerables. Le cout computationnel de la recherche peut etre astronomique : des milliers de GPU-jours pour explorer des espaces riches. Les biais de l’espace de recherche, qui privilegient certaines familles d’architectures, limitent la decouverte d’architectures radicalement nouvelles. Le surapprentissage sur le jeu de validation utilise pour l’evaluation peut produire des architectures qui ne generalisent pas. La transferabilite des architectures decouvertes d’un dataset a un autre n’est pas garantie.

Les avancees recentes visent a reduire le cout de la NAS. La recherche basee sur des predicteurs de performance evite d’entrainer chaque architecture en entier. La recherche differentiable, comme DARTS, relaxe l’espace discret des architectures en un espace continu ou la descente de gradient est applicable. La recherche basee sur les poids partages entraine un super-reseau qui contient toutes les architectures candidates, partageant les poids entre elles. Chaque approche compresse le temps de recherche de plusieurs ordres de grandeur.

Dans l’industrie, la NAS est integree dans les services de cloud machine learning. Google Cloud AutoML, Amazon SageMaker Autopilot et Microsoft Azure Machine Learning proposent des fonctionnalites de NAS. Les frameworks open-source comme AutoGluon, NNAGENet et Auto-PyTorch democratisent l’acces a ces outils.