Accueil › Glossaire › Inverse Reinforcement Learning

Inverse Reinforcement Learning (IRL)

L’Inverse Reinforcement Learning (IRL) est une technique de machine learning qui consiste à inférer la fonction de récompense qu’un agent expert optimise en observant son comportement, plutôt que de la définir manuellement. C’est le processus inverse du reinforcement learning classique : au lieu de « récompense → comportement », l’IRL fait « comportement → récompense ».

En RL classique, on donne à l’agent une fonction de récompense et il apprend un comportement optimal. En IRL, on observe un comportement expert (un humain qui conduit, un chirurgien qui opère, un joueur qui joue) et on en déduit la fonction de récompense implicite qui rendrait ce comportement optimal. Une fois la récompense apprise, un nouvel agent peut être entraîné par RL classique pour reproduire et même surpasser le comportement expert dans de nouvelles situations. L’IRL est particulièrement précieux quand la fonction de récompense est trop complexe ou trop subtile pour être définie manuellement, ce qui est le cas dans la majorité des applications robotiques et de conduite autonome réelles.

Pourquoi inverser le reinforcement learning ?

Le RL classique suppose que la fonction de récompense est connue et bien définie. Pour un jeu vidéo, c’est simple : le score du jeu est la récompense. Mais pour la plupart des tâches réelles, définir la récompense est le problème le plus difficile.

Comment récompenser un robot qui doit servir un café ? Il faut tenir compte de la vitesse (pas trop lent), de la sécurité (ne pas renverser, ne pas heurter des obstacles), du confort de l’utilisateur (ne pas passer trop près de son visage), de l’élégance du mouvement (pas de mouvements brusques) et d’une infinité de détails subtils que les humains gèrent intuitivement mais qui sont quasi impossibles à encoder dans une formule mathématique.

Comment récompenser un véhicule autonome ? Rouler vite mais pas trop, garder ses distances mais ne pas bloquer le trafic, être prévisible pour les autres conducteurs, respecter le code de la route mais savoir s’en écarter quand c’est nécessaire (ambulance, obstacle imprévu). Encoder toutes ces subtilités dans une fonction de récompense est un cauchemar d’ingénierie.

L’IRL contourne ce problème : au lieu de définir la récompense, on montre au robot comment un expert humain accomplit la tâche, et l’IRL en déduit la récompense implicite. C’est souvent plus facile de démontrer un comportement que de le spécifier mathématiquement.

IRL vs Imitation Learning vs Behavioral Cloning

L’IRL s’inscrit dans la famille plus large de l’apprentissage par démonstration (Learning from Demonstration), mais il se distingue clairement des autres approches :

Le behavioral cloning est le plus simple : on entraîne un modèle supervisé à prédire l’action de l’expert à partir de l’état. Cela fonctionne bien dans les situations proches de celles vues pendant la démonstration, mais échoue quand l’agent dérive vers des états non couverts (distribution shift). Un robot cloné qui dévie légèrement de la trajectoire ne sait pas comment revenir.

L’IRL est plus robuste : puisqu’il apprend la récompense sous-jacente (le « pourquoi » du comportement), un agent entraîné par RL avec cette récompense peut résoudre la tâche dans de nouvelles situations, même celles que l’expert n’a jamais rencontrées. Cependant, l’IRL est plus complexe et coûteux computationnellement.

Algorithmes IRL principaux

Maximum Margin IRL (Ng et Russell, 2000 ; Abbeel et Ng, 2004)

L’algorithme fondateur. L’idée : trouver une fonction de récompense sous laquelle la politique de l’expert obtient un retour supérieur à toute autre politique, avec la marge maximale. En d’autres termes, la récompense apprise doit rendre la politique observée « clairement la meilleure ». Abbeel et Ng (2004) ont introduit l’apprenticeship learning, où l’agent itère entre apprendre une politique optimale pour la récompense courante et ajuster la récompense pour qu’elle corresponde mieux aux démonstrations. Les démonstrations de cet algorithme incluent des acrobaties d’hélicoptère RC apprises à partir de pilotes experts.

Maximum Entropy IRL (Ziebart et al., 2008)

L’algorithme le plus influent. Maximum Entropy IRL (MaxEnt IRL) suppose que l’expert agit de manière probabiliste, avec une distribution de probabilité sur les trajectoires proportionnelle à l’exponentielle de la récompense cumulée. Les trajectoires de haute récompense sont plus probables, mais l’expert n’est pas nécessairement parfait. Le principe d’entropie maximale évite le surapprentissage en favorisant les distributions les plus « diversifiées » compatibles avec les démonstrations.

En pratique, MaxEnt IRL modélise la récompense comme une combinaison linéaire de features (caractéristiques de l’état) et apprend les poids qui maximisent la vraisemblance des trajectoires observées. C’est l’algorithme standard utilisé dans la plupart des applications IRL. Des recherches récentes (ICLR 2026) ont montré que MaxEnt IRL peut être réduit à deux problèmes de supervised learning standard (classification + régression itérative), simplifiant considérablement l’implémentation.

Deep IRL et réseaux de neurones

Les algorithmes IRL classiques supposent une récompense linéaire en features. Deep IRL (Wulfmeier et al., 2015) et ses extensions utilisent des réseaux de neurones profonds pour représenter la fonction de récompense, permettant de capturer des relations non linéaires complexes. Cela est essentiel pour les applications en haute dimension (images, données capteurs).

GAIL (Generative Adversarial Imitation Learning)

GAIL (Ho et Ermon, 2016) contourne le problème de l’inférence explicite de récompense en utilisant un framework adversariel : un discriminateur apprend à distinguer les trajectoires de l’expert de celles de l’agent, et l’agent s’entraîne à tromper le discriminateur. Le discriminateur joue implicitement le rôle de la fonction de récompense. GAIL est très efficace en pratique mais souffre de l’instabilité typique des méthodes adversarielles et ne fournit pas de récompense interprétable.

AIRL (Adversarial Inverse Reinforcement Learning)

AIRL (Fu et al., 2018) combine les avantages de GAIL (pas besoin de résoudre le RL en boucle interne) et du MaxEnt IRL (une récompense explicite et transférable). AIRL apprend simultanément une fonction de récompense et une politique, avec un discriminateur structuré de manière à permettre l’extraction d’une récompense interprétable. La récompense apprise par AIRL peut être transférée à de nouveaux environnements, ce que GAIL ne permet pas directement.

Le problème fondamental : l’ambiguïté de la récompense

Le défi central de l’IRL est que plusieurs fonctions de récompense différentes peuvent expliquer le même comportement observé. Un conducteur qui s’arrête à un feu rouge : est-ce parce qu’il valorise le respect des règles ? Parce qu’il évite les amendes ? Parce qu’il craint les collisions ? Toutes ces récompenses produiraient le même comportement observable.

Ce problème d’identifiabilité est fondamental et ne peut pas être entièrement résolu. Les approches pour le mitiger incluent : la régularisation (MaxEnt IRL préfère les solutions les plus « simples » via l’entropie maximale), l’incorporation de connaissances a priori sur les récompenses plausibles (Bayesian IRL), l’observation de l’expert dans des situations variées (plus de diversité = moins d’ambiguïté) et l’interaction active (poser des questions à l’expert ou créer des situations test).

Applications de l’IRL

Robotique

La robotique est l’application historique et toujours la plus active de l’IRL. Les cas d’usage couvrent un spectre large : manipulation d’objets (un robot observe un humain assembler des meubles), locomotion (un robot quadrupède apprend à marcher en observant des démonstrations), acrobaties d’hélicoptère (les travaux pionniers d’Abbeel et Ng) et interaction humain-robot (un robot assistant en cuisine infère les priorités implicites comme éviter de renverser, ne pas gêner l’utilisateur).

Des travaux récents utilisent l’IRL basé sur la vision : un robot observe des démonstrations vidéo humaines, détecte automatiquement les points clés visuels, apprend une fonction de coût dans l’espace latent, et utilise un contrôleur prédictif (TD-MPC) pour exécuter la tâche. Cette approche élimine le besoin de capteurs de mouvement sur l’expert humain.

Conduite autonome

Les véhicules autonomes utilisent l’IRL pour déduire les « règles implicites » que les conducteurs humains suivent : distances de sécurité adaptatives, manière de négocier les intersections, style de conduite fluide. L’IRL est plus robuste que le behavioral cloning pour la conduite, car la récompense apprise permet au véhicule de gérer des situations nouvelles (routes inconnues, conditions météo inédites) que le conducteur expert n’a pas explicitement démontrées.

Alignement IA et value alignment

Stuart Russell (co-auteur du livre de référence en IA) a promu l’IRL comme approche clé pour l’alignement de l’IA avec les valeurs humaines. L’idée : au lieu de programmer des normes morales explicites dans l’IA (quasi impossible), on observe le comportement humain et on utilise l’IRL pour inférer les valeurs sous-jacentes. Le robot apprend « ce qui est important pour les humains » en les observant agir, et aligne son propre comportement sur ces valeurs inférées.

Le RLHF (Reinforcement Learning from Human Feedback) utilisé pour aligner les LLM est conceptuellement une forme d’IRL : le modèle de récompense du RLHF apprend les préférences humaines à partir de comparaisons de réponses, ce qui est une variante de l’inférence de récompense à partir du comportement (les humains « démontrent » leurs préférences en choisissant la meilleure réponse).

Santé et finance

En santé, l’IRL est utilisé pour modéliser les décisions des médecins (protocoles de traitement, dosage médicamenteux) en inférant les critères implicites qui guident leurs choix. En finance, l’IRL peut modéliser le comportement des traders ou des investisseurs pour comprendre leurs objectifs implicites au-delà du simple profit.

Jeux vidéo et NPC

Les NPC (personnages non joueurs) dotés de comportements appris par IRL sont plus réalistes que ceux programmés par des règles explicites. En observant des joueurs humains, l’IRL infère les motivations et les styles de jeu, permettant de créer des adversaires ou des alliés qui se comportent de manière naturelle et adaptative.

Défis et limites

Ambiguïté de la récompense : le défi fondamental (décrit ci-dessus). Plusieurs récompenses peuvent expliquer le même comportement.

Qualité des démonstrations : l’IRL suppose que l’expert se comporte de manière (approximativement) optimale. Des démonstrations bruitées, incohérentes ou biaisées produisent des récompenses incorrectes. L’expert humain n’est pas toujours rationnel ni cohérent.

Coût computationnel : les algorithmes IRL classiques nécessitent de résoudre un problème RL en boucle interne (pour chaque candidat de récompense, trouver la politique optimale et la comparer aux démonstrations). Cela rend l’IRL beaucoup plus coûteux que le RL classique. GAIL et AIRL atténuent ce problème mais introduisent leurs propres complexités.

Scalabilité en haute dimension : dans les espaces d’états continus et de haute dimension (images, données capteurs), l’approximation par réseau de neurones est nécessaire mais ajoute de l’instabilité et des besoins en données.

Complexité temporelle des normes : l’IRL standard suppose que la récompense ne dépend que de l’état courant et de l’action. Mais beaucoup de normes humaines dépendent de l’historique (un même acte peut être bon ou mauvais selon le contexte temporel), ce que les modèles IRL standard ne capturent pas bien.

Interprétabilité : une récompense apprise par un réseau de neurones est une boîte noire. On ne peut pas facilement inspecter si la récompense est « correcte » au sens humain. C’est problématique pour les applications critiques (santé, justice, conduite autonome).

Verdict

L’Inverse Reinforcement Learning est l’une des idées les plus élégantes du machine learning : au lieu de dire au robot ce qu’il doit faire (récompense manuelle) ou de lui montrer comment faire (imitation), on lui apprend pourquoi l’expert fait ce qu’il fait (inférence de récompense). La récompense apprise est plus transférable, plus robuste et plus compacte qu’une politique imitée.

En 2026, l’IRL est mature en robotique (manipulation, locomotion, conduite autonome) et conceptuellement central en alignement IA (le RLHF est une forme d’IRL). Les algorithmes de référence sont MaxEnt IRL pour les cas classiques, GAIL pour l’efficacité pratique et AIRL pour la transférabilité de la récompense. Les recherches récentes simplifient l’implémentation (IRL réduit à classification + régression) et étendent le domaine à l’apprentissage en ligne et sous observabilité partielle.

Pour les praticiens : si votre problème a une récompense facile à définir, utilisez le RL classique (PPO, SAC). Si la récompense est trop complexe pour être spécifiée manuellement mais que vous avez des démonstrations d’expert, l’IRL est le bon outil. Si vous avez des préférences humaines (comparaisons de réponses), le RLHF (qui est de l’IRL appliqué aux LLM) est le standard. Et si vous voulez juste imiter un comportement sans vous soucier de la récompense, GAIL ou le behavioral cloning suffisent, avec les limitations de généralisation que cela implique.