Accueil › Glossaire › Federated Learning

Federated Learning (Apprentissage Fédéré)

Le federated learning (apprentissage fédéré) est un paradigme de machine learning distribué dans lequel plusieurs participants (appareils, organisations, hôpitaux, etc.) entraînent collaborativement un modèle partagé sans jamais transférer leurs données brutes, en échangeant uniquement les mises à jour du modèle (gradients ou paramètres) avec un serveur d’agrégation central.

Pourquoi le federated learning existe

Le machine learning classique centralise les données dans un seul endroit pour l’entraînement. C’est efficace techniquement mais problématique dans les contextes où les données sont sensibles (dossiers médicaux, transactions financières, données personnelles), réglementées (RGPD, HIPAA, PIPL chinoise) ou simplement trop volumineuses pour être transférées (IoT industriel, appareils mobiles).

Le federated learning résout ce trilemme en inversant le paradigme : au lieu d’envoyer les données vers le modèle, il envoie le modèle vers les données. Chaque participant entraîne le modèle localement sur ses propres données, puis partage uniquement les mises à jour du modèle (gradients, poids) avec un serveur central qui les agrège pour améliorer le modèle global. Les données brutes ne quittent jamais le système local.

C’est Google qui a formalisé l’approche en 2017 avec l’algorithme FedAvg (Federated Averaging). L’application initiale : améliorer les suggestions du clavier Gboard sur les smartphones Android en apprenant des habitudes de frappe de millions d’utilisateurs sans jamais collecter ce qu’ils tapent.

Comment ça fonctionne

Le cycle d’entraînement fédéré

1. Initialisation. Le serveur central crée un modèle global initial et l’envoie à chaque participant (client).

2. Entraînement local. Chaque client entraîne le modèle sur ses données locales pendant un certain nombre d’époques. Seules les données du client sont utilisées, elles ne sont pas partagées.

3. Envoi des mises à jour. Chaque client envoie ses mises à jour de modèle (gradients ou paramètres modifiés) au serveur central. Les données brutes ne transitent pas.

4. Agrégation. Le serveur agrège les mises à jour de tous les clients pour produire un nouveau modèle global amélioré. L’algorithme FedAvg calcule une moyenne pondérée des paramètres, pondérée par la taille du dataset de chaque client.

5. Redistribution. Le modèle global mis à jour est renvoyé aux clients. Le cycle recommence jusqu’à convergence.

Types de federated learning

Cross-device. Des millions de petits appareils (smartphones, IoT) participent à l’entraînement, chacun pendant de courts créneaux quand ils sont inactifs. C’est le modèle de Google pour Gboard. Les clients sont nombreux, peu fiables (ils peuvent se déconnecter à tout moment) et ont peu de données chacun.

Cross-silo. Un nombre réduit de participants puissants (hôpitaux, banques, entreprises) collaborent, chacun représentant une organisation entière avec des données conséquentes. C’est le modèle dominant en santé et en finance. Les participants sont stables, fiables, mais potentiellement concurrents.

Partitionnement des données

Horizontal (HFL). Les participants ont les mêmes features mais des utilisateurs différents. Exemple : plusieurs hôpitaux qui ont chacun des dossiers patients (mêmes variables) pour des patients différents. C’est le cas le plus courant.

Vertical (VFL). Les participants ont les mêmes utilisateurs mais des features différentes. Exemple : une banque et un retailer qui ont des données complémentaires sur les mêmes clients (historique bancaire + historique d’achats).

Federated Transfer Learning (FTL). Les participants ont peu de chevauchement en utilisateurs et en features. Le transfer learning compense le manque de données partagées.

Algorithmes d’agrégation

FedAvg (Federated Averaging). L’algorithme fondateur. Calcule la moyenne pondérée des paramètres de tous les clients. Simple, efficace, standard. Réduit la communication en permettant plusieurs époques locales avant agrégation.

FedProx. Extension de FedAvg qui ajoute un terme de régularisation pour gérer l’hétérogénéité des données entre clients (non-IID). Empêche les mises à jour locales de trop diverger du modèle global.

FedSGD. Chaque client calcule les gradients sur un seul batch et les envoie au serveur. Plus de communication que FedAvg mais convergence plus stable.

Agrégation sécurisée (Secure Aggregation). Les mises à jour des clients sont chiffrées de sorte que le serveur ne peut voir que l’agrégat, pas les contributions individuelles. Protège contre un serveur curieux.

Privacy et sécurité

Le federated learning est plus respectueux de la vie privée que l’entraînement centralisé, mais il n’est pas parfaitement sûr par défaut. Des attaques existent :

Gradient inversion. Un attaquant (ou un serveur malveillant) peut tenter de reconstruire des données d’entraînement à partir des gradients partagés. Des recherches ont montré qu’il est possible de récupérer des images ou du texte à partir des gradients bruts, surtout avec de petits batch sizes.

Model inference attacks. Un participant malveillant peut tenter d’inférer si un individu spécifique faisait partie des données d’entraînement (membership inference) ou d’extraire des propriétés sensibles des données des autres participants.

Data poisoning. Un client malveillant envoie des mises à jour corrompues pour biaiser le modèle global.

Pour contrer ces risques, le federated learning est renforcé par des techniques complémentaires de privacy-preserving ML :

Differential privacy (DP). Ajoute du bruit calibré aux gradients avant envoi, garantissant mathématiquement qu’aucune donnée individuelle ne peut être reconstruite. Les études montrent qu’un niveau de bruit de 30 % maximum préserve la sécurité avec un impact modéré sur la performance du modèle (accuracy de 94 %+).

Secure multiparty computation (SMPC). Permet aux participants de calculer conjointement des fonctions sans révéler leurs données individuelles.

Chiffrement homomorphe. Permet d’effectuer des calculs directement sur les données chiffrées. Puissant en théorie mais encore coûteux en calcul.

Trusted Execution Environments (TEE). Enclaves matérielles isolées qui protègent le modèle et les données pendant l’entraînement.

Défis techniques

Données non-IID (non-indépendantes et identiquement distribuées). C’est le défi numéro un. Les données de chaque client sont différentes en distribution, volume et qualité. Un modèle global qui performe bien en moyenne peut être médiocre pour certains clients. FedProx et la personnalisation locale atténuent ce problème.

Communication. Échanger les paramètres d’un modèle de plusieurs centaines de millions de paramètres à chaque round est coûteux en bande passante, surtout en cross-device avec des connexions mobiles. Les techniques de compression des gradients, de quantification et d’entraînement local prolongé (plus d’époques avant agrégation) réduisent les coûts.

Hétérogénéité des systèmes. Les participants ont des capacités de calcul et des vitesses de connexion très différentes. Un smartphone d’entrée de gamme et un serveur GPU ne traitent pas le même volume dans le même temps. Les stratégies d’échantillonnage adaptatif sélectionnent les clients en fonction de leur capacité.

Participants défaillants ou malveillants. En cross-device, des clients peuvent se déconnecter à tout moment. En cross-silo, un participant peut tenter de biaiser le modèle (data poisoning). Les mécanismes de Byzantine fault tolerance et de vérification par blockchain sont des réponses en développement.

Applications concrètes

Santé et recherche médicale

C’est le secteur d’adoption le plus avancé. L’initiative FeTS (Federated Tumor Segmentation) réunit l’Université de Pennsylvanie, Intel et plus de 70 institutions médicales sur six continents. Chaque participant entraîne localement sur ses propres images cérébrales. Le modèle global résultant a amélioré la précision de détection des tumeurs cérébrales de 33 % par rapport aux datasets publics, sans jamais partager une seule image de patient.

Siemens Healthineers collabore avec NVIDIA pour intégrer MONAI Deploy (framework d’IA médicale) dans ses plateformes d’imagerie, permettant aux hôpitaux de participer à des entraînements fédérés d’algorithmes de diagnostic.

Les agences réglementaires s’y mettent aussi : Swissmedic (l’agence suisse) propose le federated learning pour améliorer TRICIA, un outil IA d’évaluation des incidents liés aux dispositifs médicaux, en collaboration avec d’autres agences sans partager les rapports sensibles.

Clavier prédictif et NLP mobile

L’application fondatrice : Gboard de Google apprend des habitudes de frappe de chaque utilisateur pour améliorer les suggestions, la correction automatique et la reconnaissance vocale, sans jamais envoyer ce que vous tapez aux serveurs de Google. Apple utilise une approche similaire pour les suggestions de Siri et QuickType.

Finance et détection de fraude

Les banques ne peuvent pas partager les données de transactions de leurs clients (réglementation, concurrence). Le federated learning leur permet de collaborer sur des modèles de détection de fraude plus performants, entraînés sur des patterns de fraude diversifiés, sans exposer les données transactionnelles individuelles.

IoT et edge computing

Avec la croissance massive des appareils IoT (smart cities, véhicules autonomes, automatisation industrielle), le transfert de données vers le cloud devient impraticable (volume, latence, coût). Le federated learning sur l’edge permet l’entraînement distribué directement sur les appareils ou les gateways, combiné à la 5G pour la communication des gradients.

Secteur public et défense

Les agences gouvernementales traitent des données classifiées ou personnellement identifiables qu’elles ne peuvent pas partager entre départements. Le federated learning leur permet de collaborer sur des modèles de renseignement, de cybersécurité ou de santé publique sans compromettre la sécurité des données.

Frameworks et outils

Flower et NVIDIA FLARE dominent l’écosystème open source et ont annoncé leur intégration en mars 2025 pour combiner la flexibilité de Flower avec la sécurité enterprise de FLARE. Pour les équipes qui débutent, Flower offre la courbe d’apprentissage la plus douce avec une communauté très active. Pour les déploiements en santé et en industrie sensible, NVIDIA FLARE est le choix de référence.

Federated learning vs entraînement centralisé

Verdict : le federated learning n’est pas une alternative universelle à l’entraînement centralisé. Si vous avez accès centralisé à des données propres et non sensibles, l’entraînement classique reste plus simple et plus performant. Le FL s’impose quand les données sont distribuées, sensibles, réglementées ou impossibles à centraliser. L’initiative FeTS en santé (33 % d’amélioration de précision grâce à la diversité des données) montre que le FL peut même surpasser les modèles centralisés entraînés sur des données publiques limitées.