Federated Averaging

Explication detaillee

Le federated averaging incarne une rupture fondamentale avec le paradigme classique de l’apprentissage automatique ou les donnees sont collectees, stockees et traitees dans un data center centralise. Dans le monde reel, les donnees les plus precieuses sont souvent les plus sensibles et les plus distribuees : les photos sur les smartphones, les dossiers medicaux dans les hopitaux, les transactions bancaires dans les agences. Le federated averaging permet d’entrainer des modeles globaux performants tout en laissant les donnees a leur place d’origine, ne transferant que les mises a jour des parametres.

L’algorithme, introduit par McMahan et ses collaborateurs de Google en 2017, fonctionne par iterations synchronisees. A chaque round, le serveur central envoie le modele global actuel a un sous-ensemble de clients selectionnes. Chaque client entraine ce modele sur ses donnees locales pendant quelques epochs, puis renvoie ses gradients ou ses poids mis a jour au serveur. Le serveur agrege ces mises a jour en les moyennant, eventuellement ponderees par la taille du dataset local de chaque client. Le modele global est mis a jour avec cette moyenne, et le cycle recommence.

Cette approche resout des problemes que l’apprentissage centralise ne peut pas aborder. Dans le secteur de la sante, les hopitaux ne peuvent pas legalement partager leurs dossiers patients entre eux, mais ils peuvent contribuer collectivement a un modele de diagnostic. Les banques ne divulguent pas leurs transactions clients, mais elles peuvent entrainer un modele anti-fraude commun. Les utilisateurs de smartphones n’envoient pas leurs conversations privées, mais leurs claviers predictifs s’ameliorent grace a un modele entraine collectivement.

Les defis du federated averaging sont multiples et complexes. L’heterogeneite des donnees, ou chaque client possede une distribution differente, ralentit la convergence et peut degrader la performance finale. L’heterogeneite des systemes, ou les clients ont des capacites computationnelles et des connexions variables, complique la coordination. Les attaques par exemples empoisonnes, ou un client malveillant envoie des mises a jour corrompues pour manipuler le modele global, menacent l’integrite du systeme. Et la confidentialite n’est pas absolue : des travaux ont montre que les gradients peuvent泄露 des informations sur les donnees d’entrainement.

Les variantes de l’algorithme abordent ces defis. FedProx ajoute une regularisation qui penalise l’eloignement du modele local par rapport au modele global, stabilisant la convergence sur des donnees heterogenes. SCAFFOLD utilise des controleurs de variance pour corriger le drift client. FedOpt applique des optimiseurs adaptatifs comme Adam ou Yogi au niveau du serveur. Les mecanismes de securite agregee, comme Secure Aggregation, utilisent la cryptographie pour que le serveur ne puisse voir que la somme des mises a jour, pas les contributions individuelles.

Les applications industrielles du federated averaging se multiplient. Google l’utilise pour le clavier Gboard, ameliorant les suggestions de mots et la reconnaissance d’emoji a partir des interactions locales des utilisateurs. Apple l’applique aux recommandations de Siri et a la detection de fraude dans Apple Pay. Des consortiums pharmaceutiques l’experimentent pour la recherche clinique collaborative sans partage de donnees brutes. Les telecommunications l’exploitent pour l’optimisation des reseaux mobiles a partir des metriques collectees sur les terminaux.

Les perspectives futures incluent l’integration de la confidentialite differentielle dans le federated averaging pour des garanties formelles, le developpement de l’apprentissage federé personnalise ou chaque client obtient un modele adapte a ses donnees, et l’extension a des scenarios asynchrones et decentralises sans serveur central.