Accueil › Glossaire › Reinforcement Learning

Reinforcement Learning (Apprentissage par renforcement)

Le reinforcement learning (RL) est un paradigme de machine learning dans lequel un agent apprend à prendre des décisions en interagissant avec un environnement, recevant des récompenses (rewards) positives ou négatives en fonction de ses actions, avec l’objectif de maximiser la récompense cumulée sur le long terme.

Contrairement au supervised learning (qui apprend à partir d’exemples étiquetés) et au unsupervised learning (qui cherche des patterns dans des données non étiquetées), le RL apprend par essai-erreur. L’agent n’a pas de dataset : il a un environnement, des actions possibles et un signal de récompense. C’est le paradigme qui a permis à DeepMind d’entraîner AlphaGo à battre le champion du monde de Go, à OpenAI d’aligner ChatGPT via RLHF, et à SpaceX d’optimiser la précision des atterrissages de fusées réutilisables. En 2026, le RL est devenu le pilier central de l’alignement des LLM, du raisonnement des modèles et de la robotique autonome.

Comment fonctionne le reinforcement learning

Le RL repose sur un cadre mathématique appelé processus de décision markovien (MDP). À chaque étape, l’agent observe l’état de l’environnement, choisit une action selon sa politique (policy), reçoit une récompense et observe le nouvel état. L’objectif est de trouver la politique optimale qui maximise la somme des récompenses futures pondérées (discounted cumulative reward).

Les composants fondamentaux

Agent : l’entité qui apprend et prend des décisions. Ce peut être un programme jouant aux échecs, un robot naviguant dans un entrepôt ou un LLM générant du texte.

Environnement : le monde dans lequel l’agent évolue. Ce peut être un jeu vidéo, un simulateur physique, un marché financier ou le flux de conversation d’un chatbot.

État (state) : la description de la situation actuelle de l’environnement telle que perçue par l’agent. Dans un jeu de Go, c’est la configuration du plateau. Pour un robot, c’est la lecture de ses capteurs.

Action : le choix que fait l’agent à chaque étape. Placer une pierre sur le plateau, tourner à gauche, générer le mot suivant dans une phrase.

Récompense (reward) : le signal numérique que l’environnement renvoie après chaque action. Positif pour les bonnes actions (+1 pour gagner une partie), négatif pour les mauvaises (-1 pour une collision). La conception de la fonction de récompense est l’un des aspects les plus critiques et les plus délicats du RL.

Politique (policy) : la stratégie de l’agent, c’est-à-dire la fonction qui associe un état à une action (ou à une distribution de probabilités sur les actions). L’apprentissage consiste à améliorer cette politique.

Le dilemme exploration-exploitation

C’est le défi central du RL. L’agent doit exploiter les actions qu’il sait être bonnes (exploitation) tout en essayant de nouvelles actions pour découvrir des stratégies potentiellement meilleures (exploration). Trop d’exploitation = l’agent stagne sur une solution sous-optimale. Trop d’exploration = l’agent ne capitalise jamais sur ce qu’il a appris. Trouver l’équilibre est un art autant qu’une science.

Les grandes familles d’algorithmes RL

Value-based : estimer la valeur des actions

Les méthodes value-based estiment une « fonction de valeur » qui prédit la récompense future attendue pour chaque couple (état, action). L’agent choisit ensuite l’action ayant la valeur la plus élevée.

Q-Learning : l’algorithme fondateur (Watkins, 1989). Il maintient un tableau Q(s,a) qui associe à chaque paire (état, action) la récompense future estimée. Fonctionne pour les environnements avec un nombre fini d’états et d’actions, mais ne passe pas à l’échelle pour les environnements complexes.

DQN (Deep Q-Network) : la percée de DeepMind (2013/2015). Remplace le tableau Q par un réseau de neurones profond qui approxime la fonction Q. Le DQN a permis de jouer à des dizaines de jeux Atari à un niveau surhumain directement à partir des pixels de l’écran. Innovations clés : experience replay (stocker et ré-échantillonner les expériences passées) et target network (réseau cible stabilisé).

Policy-based : optimiser la politique directement

Au lieu d’estimer les valeurs, les méthodes policy-based optimisent directement la politique (la fonction qui associe un état à une action). Elles sont mieux adaptées aux espaces d’actions continus (vitesse d’un moteur, angle d’un bras robotique) et aux espaces d’actions de grande dimension.

Policy Gradient : la méthode de base. On calcule le gradient de la récompense attendue par rapport aux paramètres de la politique et on met à jour dans la direction qui augmente la récompense. Variante classique : REINFORCE (Williams, 1992).

Actor-Critic : le meilleur des deux mondes

Les méthodes actor-critic combinent une politique (l’acteur, qui choisit les actions) et une fonction de valeur (le critique, qui évalue ces actions). L’acteur est mis à jour en utilisant le feedback du critique, ce qui réduit la variance des estimations et stabilise l’apprentissage.

A3C / A2C (Asynchronous Advantage Actor-Critic) : parallélise l’entraînement en exécutant plusieurs agents simultanément dans des copies de l’environnement.

SAC (Soft Actor-Critic) : ajoute un terme d’entropie qui encourage l’exploration, rendant l’algorithme plus robuste et stable. Populaire en robotique et en contrôle continu.

PPO (Proximal Policy Optimization) : l’algorithme le plus utilisé en pratique. PPO limite la taille de chaque mise à jour de la politique pour éviter les instabilités. Simple à implémenter, stable et performant. C’est l’algorithme utilisé par OpenAI pour RLHF dans le ChatGPT original.

Model-based : apprendre un modèle du monde

Les méthodes model-based construisent un modèle interne de l’environnement (un « world model ») qui prédit les états futurs et les récompenses. L’agent peut alors planifier en « imaginant » les conséquences de ses actions avant de les exécuter. C’est l’approche de MuZero (DeepMind) qui a maîtrisé Go, échecs, shogi et Atari sans même connaître les règles des jeux.

RLHF : le reinforcement learning au cœur des LLM

L’application la plus médiatisée du RL en 2026 est le RLHF (Reinforcement Learning from Human Feedback), la technique qui a transformé GPT-3 en ChatGPT et qui reste centrale dans l’alignement de tous les grands LLM (GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro).

Pipeline RLHF en trois étapes

Étape 1 : Supervised Fine-Tuning (SFT). Le LLM pré-entraîné est fine-tuné sur des exemples de réponses de haute qualité écrites par des humains. Cela lui donne un point de départ solide.

Étape 2 : Entraînement du modèle de récompense (Reward Model). Des annotateurs humains comparent des paires de réponses du LLM et choisissent la meilleure. Un modèle de récompense apprend à prédire ces préférences humaines.

Étape 3 : Optimisation RL. Le LLM est optimisé avec PPO (ou GRPO, DPO) pour produire des réponses que le modèle de récompense évalue favorablement. Une pénalité KL (divergence de Kullback-Leibler) empêche la politique de dériver trop loin du modèle SFT, ce qui stabilise l’entraînement et préserve les connaissances acquises.

Évolution du RLHF en 2025-2026

Le paysage des algorithmes d’alignement a considérablement évolué :

DPO (Direct Preference Optimization) : élimine le modèle de récompense explicite en optimisant directement la politique contre les données de préférence en une seule étape supervisée. Plus simple que le pipeline PPO en trois étapes, mais peut être moins expressif.

GRPO (Group Relative Policy Optimization) : introduit par DeepSeek, c’est l’alternative majeure à PPO en 2026. GRPO compare les réponses au sein d’un groupe plutôt que contre un modèle de récompense absolu. C’est l’algorithme derrière DeepSeek-R1 et sa percée en raisonnement.

RLVR (Reinforcement Learning with Verifiable Rewards) : la tendance la plus prometteuse. Au lieu de s’appuyer sur des préférences humaines subjectives, le RLVR utilise des récompenses vérifiables objectivement (tests unitaires pour le code, vérificateurs mathématiques, contraintes logiques). Cela permet de post-entraîner les LLM à grande échelle sur des tâches où la correction est automatiquement vérifiable, sans annotateurs humains. C’est la technique clé derrière les modèles de raisonnement (o1, DeepSeek-R1).

RLAIF (Reinforcement Learning from AI Feedback) : remplace les annotateurs humains par un LLM plus puissant qui juge les réponses. Réduit le coût et le temps de collecte des préférences, mais introduit les biais du modèle juge.

Applications du reinforcement learning

Jeux : le terrain d’essai historique

Le RL a prouvé sa puissance sur les jeux avant tout autre domaine. AlphaGo (DeepMind, 2016) a battu le champion du monde de Go. AlphaStar a atteint le rang Grand Master sur StarCraft II. MuZero a maîtrisé Go, échecs, shogi et Atari sans connaître les règles. GT Sophy (Sony AI) a battu les meilleurs pilotes humains sur Gran Turismo. Ces victoires ne sont pas anecdotiques : les algorithmes développés pour les jeux (MCTS, self-play, model-based planning) sont directement réutilisés en robotique et en planification industrielle.

Robotique

La robotique est le domaine où le RL a le plus de potentiel transformateur mais aussi le plus de défis pratiques. Le coût d’interaction avec le monde physique (un robot ne peut pas essayer 10 millions d’actions comme dans un jeu vidéo) limite l’application directe du RL. Les solutions en 2026 :

Sim-to-real transfer : entraîner l’agent en simulation (NVIDIA Isaac Sim, MuJoCo) puis transférer la politique sur le robot réel. NVIDIA connecte des supercalculateurs DGX (entraînement) à des serveurs Omniverse (simulation) puis aux modules Jetson AGX Thor (inférence sur robot).

Imitation learning : un humain démontre la tâche, et le robot apprend à reproduire le comportement via inverse reinforcement learning ou behavioral cloning, puis affine via RL. NVIDIA Isaac GR00T N1 utilise cette approche pour les robots humanoïdes.

Federated learning robotique : des flottes de robots apprennent collectivement et partagent leurs expériences, accélérant l’apprentissage sans centraliser les données.

Conduite autonome

Le RL est utilisé pour la prise de décision de haut niveau (quand changer de voie, comment naviguer une intersection) et la planification de trajectoire dans les véhicules autonomes. Les systèmes de conduite autonome de Tesla, Waymo et d’autres intègrent des composants RL, notamment pour les scénarios rares et complexes (négociation de priorité, réponse aux situations d’urgence) où les règles explicites sont insuffisantes.

Recommandation et finance

Netflix, Amazon et Spotify utilisent le RL pour optimiser leurs systèmes de recommandation, traitant la séquence de recommandations comme un problème de décision séquentielle (chaque recommandation influence l’engagement futur de l’utilisateur). En finance, le RL est appliqué à l’optimisation de portefeuille, au trading algorithmique et à la gestion des risques, bien que les problèmes de sample efficiency et de stabilité limitent encore les déploiements en production.

Santé

Le RL est exploré pour l’optimisation des traitements personnalisés (dosage de médicaments, planification de radiothérapie), où les décisions séquentielles (ajuster un traitement dans le temps) sont naturellement modélisées comme un problème RL. L’offline RL (apprendre à partir de données historiques de patients sans expérimenter sur de nouveaux patients) est une direction de recherche active.

Outils et frameworks

Gymnasium (ex-OpenAI Gym) : l’interface standard pour les environnements RL. Fournit des centaines d’environnements (jeux Atari, contrôle continu, navigation) avec une API unifiée. Maintenu par la Farama Foundation depuis le transfert d’OpenAI.

Stable Baselines3 : implémentations fiables et bien documentées de PPO, SAC, A2C, DQN et autres algorithmes en PyTorch. Le choix par défaut pour démarrer un projet RL.

RLlib (Ray) : framework RL distribué pour l’entraînement à grande échelle. Supporte le multi-agent RL, le parallélisme massif et l’intégration avec l’écosystème Ray (Tune, Serve). Utilisé en production par des entreprises comme Ant Group et ByteDance.

CleanRL : implémentations minimalistes et lisibles des algorithmes RL. Excellent pour l’apprentissage et la compréhension des algorithmes.

TorchRL (PyTorch) : bibliothèque RL officielle de PyTorch, avec des primitives modulaires pour les environnements, les politiques et les collecteurs de données.

NVIDIA Isaac Sim / Omniverse : simulateur physique GPU-accéléré pour l’entraînement RL en robotique. Permet d’entraîner des milliers d’instances de robots en parallèle.

OpenRLHF : premier framework open source haute performance pour l’entraînement RLHF de LLM de 70B+ paramètres, séparant les modèles Actor, Reward, Reference et Critic sur différents GPU.

Défis et limites du RL

Sample inefficiency : le RL nécessite typiquement des millions voire des milliards d’interactions avec l’environnement pour apprendre. C’est acceptable dans un simulateur (gratuit et rapide) mais prohibitif dans le monde réel (un robot physique ne peut pas tomber 10 millions de fois). L’offline RL et le model-based RL visent à résoudre ce problème.

Reward hacking : l’agent exploite des failles dans la fonction de récompense plutôt que d’accomplir la tâche visée. Exemple classique : un agent entraîné à marcher dans un simulateur apprend à tomber en avant de manière bizarre parce que cela maximise le score sans réellement « marcher ». En RLHF, un LLM peut apprendre à produire des réponses que le modèle de récompense évalue favorablement mais qui ne sont pas réellement utiles pour l’humain. La conception de récompenses robustes est un défi ouvert.

Instabilité d’entraînement : le RL est notoirement instable. De petits changements dans les hyperparamètres peuvent transformer un entraînement réussi en échec total. PPO a été adopté en grande partie pour sa stabilité relative, mais même PPO nécessite un tuning soigneux.

Sécurité : un agent RL en apprentissage peut prendre des actions catastrophiques pendant l’exploration. Un robot qui explore des mouvements dangereux, un système de trading qui teste des stratégies extrêmes. Le safe RL (RL avec contraintes de sécurité) est un domaine de recherche actif, avec des techniques comme le reward shaping, les pénalités de sécurité et les systèmes de supervision à deux niveaux.

Reproductibilité : les résultats de RL sont souvent sensibles aux seeds aléatoires, rendant la reproduction des résultats difficile. C’est un problème bien connu de la communauté scientifique RL.

Verdict

Le reinforcement learning est le paradigme de ML le plus puissant pour les problèmes de décision séquentielle, et le plus difficile à maîtriser. En 2026, il est devenu indispensable dans deux domaines majeurs : l’alignement des LLM (RLHF/GRPO/DPO/RLVR) et la robotique (sim-to-real, imitation learning). Son influence s’étend aux jeux, à la conduite autonome, à la recommandation et à la finance.

Pour les développeurs qui débutent : commencez par Stable Baselines3 + Gymnasium, entraînez un agent sur CartPole puis sur des environnements Atari, et comprenez PPO en profondeur (c’est l’algorithme que vous utiliserez le plus). Pour les développeurs LLM : comprenez le pipeline RLHF (SFT → Reward Model → PPO) et explorez les alternatives modernes (DPO pour la simplicité, GRPO pour le raisonnement, RLVR pour les récompenses vérifiables). Pour les roboticiens : investissez dans le sim-to-real (Isaac Sim, MuJoCo) et combinez imitation learning + RL fine-tuning.

Le RL n’est pas la solution à tout. Si vous avez un dataset supervisé de bonne qualité, le supervised learning sera plus simple, plus stable et plus reproductible. Le RL est le choix par défaut uniquement quand il n’existe pas d’alternative supervisée viable : quand l’agent doit apprendre par interaction, quand la récompense est la seule information disponible, ou quand le problème est intrinsèquement séquentiel.