Accueil › Glossaire › Imitation Learning

Imitation Learning (Apprentissage par Imitation)

L’imitation learning (IL) est un paradigme d’apprentissage automatique dans lequel un agent apprend à reproduire le comportement d’un expert à partir de démonstrations, sans avoir besoin d’une fonction de récompense explicite comme en reinforcement learning.

Plutôt que de définir manuellement les règles ou de laisser l’agent explorer par essai-erreur, on lui montre simplement « comment faire ». L’agent observe des paires état-action issues d’un expert (humain ou algorithme) et en déduit une politique de décision. C’est la même logique qu’un apprenti qui regarde un artisan travailler avant de reproduire ses gestes.

Cette approche est particulièrement utile quand la fonction de récompense est difficile à formuler (conduite automobile, manipulation robotique, stratégie de jeu complexe) ou quand on dispose déjà de données d’expert abondantes. En mars 2026, l’imitation learning connaît un regain d’intérêt massif grâce à la convergence avec la robotique fondationnelle, les modèles vision-langage (VLA) et les world models.

Pourquoi l’imitation learning existe

Le reinforcement learning classique demande de définir une fonction de récompense (reward function) qui indique à l’agent s’il fait bien ou mal. En théorie, c’est séduisant. En pratique, c’est souvent un cauchemar d’ingénierie :

Pour la conduite autonome, comment pondérer le confort des passagers face au respect strict des distances de sécurité ? Pour un robot chirurgical, comment quantifier la « bonne » pression d’un geste ? Pour l’alignement d’un LLM, comment exprimer mathématiquement qu’une réponse est « utile, honnête et inoffensive » ?

L’imitation learning contourne ce problème. Au lieu de spécifier la récompense, on fournit des exemples de bon comportement. L’agent doit trouver la politique (la règle de décision) qui reproduit le plus fidèlement possible les actions de l’expert dans les situations observées.

Les techniques fondamentales

Behavioral Cloning (BC)

Le behavioral cloning est la forme la plus simple d’imitation learning. On collecte un dataset de trajectoires d’expert (séquences d’observations et d’actions), puis on entraîne un modèle par apprentissage supervisé pour prédire l’action de l’expert à partir de l’observation courante. Concrètement, c’est de la classification ou de la régression : « étant donné cet état, quelle action l’expert aurait-il prise ? »

Le BC est simple à implémenter, rapide à entraîner et ne nécessite aucune interaction avec l’environnement. C’est pour ces raisons qu’il reste massivement utilisé, y compris dans les systèmes modernes. Le projet ALVINN de Carnegie Mellon, dès 1989, a été l’un des premiers à appliquer cette idée à la conduite autonome avec un réseau de neurones.

Le problème fondamental du behavioral cloning porte un nom : le distribution shift (ou dérive de distribution). Lors de l’entraînement, le modèle ne voit que les états visités par l’expert. Or, dès qu’il est déployé, la moindre erreur le conduit vers des états que l’expert n’a jamais rencontrés. À ce moment, le modèle n’a aucune donnée pour savoir quoi faire. L’erreur se propage, l’agent dévie de plus en plus, et la performance s’effondre. C’est l’erreur de composition (compounding error) : chaque petite erreur en entraîne une plus grande au pas suivant.

Pour donner un exemple concret : un réseau entraîné à conduire à partir de vidéos d’un conducteur humain n’a jamais vu ce qui se passe quand la voiture commence à dévier vers le bas-côté, parce que le conducteur humain ne dévie jamais. Résultat : dès que le véhicule s’écarte légèrement, le modèle ne sait pas corriger.

DAgger (Dataset Aggregation)

DAgger, proposé par Ross, Gordon et Bagnell en 2011, est la réponse directe au problème de distribution shift du behavioral cloning. L’idée est itérative :

On entraîne d’abord une politique initiale par behavioral cloning sur les démonstrations de l’expert. Ensuite, on laisse cette politique interagir avec l’environnement pour collecter de nouvelles observations. Pour chaque observation rencontrée par la politique apprenante, on demande à l’expert quelle action il aurait prise (on « labélise » les nouveaux états). On agrège ces nouvelles données avec le dataset existant et on ré-entraîne. On répète le processus sur plusieurs itérations.

L’avantage de DAgger est qu’il résout le distribution shift en entraînant le modèle sur les états qu’il visite réellement, pas uniquement ceux visités par l’expert. La garantie théorique est solide : l’erreur ne croît que linéairement avec l’horizon (le nombre de pas), alors qu’en BC pur, elle croît quadratiquement.

La limite de DAgger est qu’il exige un accès continu à l’expert pendant l’entraînement. L’expert doit être disponible pour labéliser les nouvelles observations à chaque itération. Pour un expert humain, c’est coûteux et fatigant. Plusieurs variantes tentent de réduire cette contrainte : HG-DAgger introduit un mécanisme de sécurité qui laisse l’expert reprendre le contrôle uniquement quand l’incertitude du modèle dépasse un seuil. MEGA-DAgger gère le cas de multiples experts imparfaits en filtrant les démonstrations dangereuses.

Inverse Reinforcement Learning (IRL)

L’inverse reinforcement learning (IRL) prend le problème différemment. Au lieu d’imiter directement les actions de l’expert, l’IRL cherche à retrouver la fonction de récompense qui explique le comportement observé. Une fois cette récompense reconstruite, on peut entraîner un agent par RL classique pour la maximiser.

L’intuition est puissante : si vous comprenez pourquoi l’expert agit comme il le fait (sa récompense implicite), vous pouvez généraliser à des situations que l’expert n’a jamais rencontrées. Le BC copie les gestes, l’IRL comprend les intentions.

Les algorithmes classiques d’IRL incluent MaxEntropy IRL (Ziebart et al., 2008), qui suppose que l’expert suit une politique de maximum d’entropie, et Feature Matching IRL (Abbeel et Ng, 2004), qui cherche une récompense dont la politique optimale reproduit les statistiques agrégées (feature expectations) de l’expert.

Le problème de l’IRL est sa complexité computationnelle. À chaque itération de mise à jour de la récompense, il faut résoudre un problème de RL complet (trouver la politique optimale pour la récompense courante). C’est une boucle interne coûteuse qui rend l’IRL lent sur des problèmes à grande échelle.

GAIL (Generative Adversarial Imitation Learning)

GAIL, proposé par Ho et Ermon à NeurIPS 2016, est sans doute l’avancée la plus influente en imitation learning de la dernière décennie. L’idée est de reformuler l’imitation comme un problème de correspondance de distributions, analogue aux GAN.

Le système entraîne simultanément un générateur (la politique apprenante, qui produit des trajectoires) et un discriminateur (un classifieur qui tente de distinguer les trajectoires de l’agent de celles de l’expert). La politique est optimisée pour tromper le discriminateur, ce qui la pousse à produire des trajectoires indiscernables de celles de l’expert.

GAIL évite la boucle coûteuse de l’IRL : au lieu de reconstruire explicitement la récompense puis de faire du RL, il apprend directement la politique par optimisation adversariale. En pratique, le signal du discriminateur sert de pseudo-récompense pour un algorithme de policy gradient comme PPO ou TRPO.

Les résultats sont remarquables. GAIL atteint le niveau de l’expert avec très peu de démonstrations (parfois une poignée de trajectoires) sur des tâches de contrôle continu complexes (locomotion humanoïde, manipulation). Il est efficient en données d’expert, même s’il nécessite beaucoup d’interactions avec l’environnement pendant l’entraînement.

Les limites de GAIL héritent de celles des GAN : instabilité d’entraînement, sensibilité aux hyperparamètres, risque de mode collapse. Des travaux récents comme C-GAIL appliquent la théorie du contrôle pour stabiliser la convergence.

AIRL (Adversarial Inverse Reinforcement Learning)

AIRL (Fu, Luo et Levine, 2018) combine le meilleur de l’IRL et de GAIL. Comme GAIL, il utilise un entraînement adversarial. Mais contrairement à GAIL, le discriminateur est structuré de manière à ce qu’on puisse extraire une récompense transférable après l’entraînement. Cette récompense peut ensuite être utilisée pour entraîner de nouvelles politiques dans des environnements modifiés, ce que GAIL ne permet pas directement.

Techniques modernes et état de l’art

Diffusion Policy

L’une des avancées majeures récentes est l’application des modèles de diffusion (les mêmes qui alimentent la génération d’images) à l’imitation learning. La Diffusion Policy, introduite par Chi et al. (2023), apprend à générer des séquences d’actions en débruitant progressivement un signal aléatoire, conditionnellement aux observations.

L’avantage principal est la capacité à modéliser des distributions d’actions multimodales. Quand plusieurs stratégies sont valides (contourner un obstacle par la gauche ou par la droite), le BC classique moyenne les deux et produit une action absurde (aller tout droit dans l’obstacle). La Diffusion Policy capture cette multimodalité naturellement.

En mars 2026, la 3D Diffusion Policy (DP3) étend cette approche aux observations en nuages de points 3D, particulièrement efficace pour la manipulation d’objets déformables en robotique.

Predictive Inverse Dynamics Models (PIDMs)

Publié en février 2026 par Microsoft Research, les PIDMs proposent une nouvelle perspective sur l’imitation learning. Au lieu de demander directement « quelle action l’expert prendrait ici ? », le modèle pose deux questions successives : « qu’est-ce qui devrait se passer ensuite ? » (prédiction de l’état futur) puis « quelle action mène à cet état futur ? » (modèle de dynamique inverse).

Ce découplage réduit considérablement l’ambiguïté sur l’intention de l’expert. Les résultats montrent que les PIDMs atteignent des performances comparables au BC classique avec seulement un cinquième des démonstrations requises, même quand les prédictions d’état futur sont imparfaites.

Vision-Language-Action Models (VLA)

Les modèles VLA représentent la convergence entre deep learning, vision par ordinateur, LLM et imitation learning. Des modèles comme RT-2 (Google DeepMind) et les foundation models robotiques sont pré-entraînés sur des données web massives puis fine-tunés sur des démonstrations robotiques.

L’intérêt est la généralisation : le modèle peut exécuter des instructions en langage naturel (« range les objets rouges dans la boîte ») même sur des objets qu’il n’a jamais vus, grâce aux connaissances sémantiques héritées du pré-entraînement linguistique. C’est une forme d’imitation learning à très grande échelle où les « démonstrations » incluent des vidéos web, des données de téléopération et des trajectoires simulées.

SPHINX : Imitation hybride par points saillants

SPHINX (Salient Point-based Hybrid Imitation and Execution) illustre la tendance vers des approches hybrides. Le modèle combine des observations de nuages de points 3D avec des images de caméra au poignet du robot. Il apprend à identifier des points saillants dans l’espace 3D (les endroits importants pour la tâche) puis bascule entre des mouvements à longue portée (waypoints) et des mouvements fins haute fréquence selon la phase de la tâche.

Les résultats sont significatifs : 86,7 % de réussite sur des tâches réelles, surpassant les meilleures baselines de plus de 40 % en moyenne.

Applications concrètes

Robotique industrielle et manipulation

C’est le domaine où l’imitation learning explose littéralement en 2026. Le système UR AI Trainer, dévoilé par Universal Robots et Scale AI à la conférence GTC en mars 2026, incarne cette tendance. Il s’agit d’un système « lab-to-factory » où un opérateur humain guide des robots « leaders » qui transmettent leurs mouvements à des robots « suiveurs ». Les données multimodales (mouvement, force, vision) sont capturées en temps réel pour entraîner des modèles VLA par imitation learning.

Parallèlement, un framework publié dans Nature Machine Intelligence (mars 2026) par l’équipe ROS-LLM connecte directement un LLM au Robot Operating System. Le robot apprend de nouvelles compétences atomiques par imitation (démonstration humaine), puis les raffine de manière autonome via des boucles d’optimisation automatisées. C’est l’approche « LLM comme cerveau + IL comme bras ».

Conduite autonome

L’imitation learning est au coeur des approches end-to-end pour la conduite autonome. Plutôt que de programmer manuellement la perception, la planification et le contrôle dans des modules séparés, ces systèmes apprennent directement à conduire à partir de vidéos et de données de capteurs d’un conducteur humain.

L’enjeu actuel est la gestion des cas limites (edge cases) : les situations rares mais critiques (piéton qui surgit, objet inconnu sur la chaussée) où les données d’expert manquent par définition. Les solutions combinent BC sur les données de conduite normale, DAgger en simulation pour les cas limites, et RL pour l’optimisation de la sécurité.

Alignement des LLM et RLHF

L’alignement des grands modèles de langage repose en partie sur l’imitation learning. Le RLHF (Reinforcement Learning from Human Feedback) utilisé par ChatGPT, Claude et Gemini commence par une phase de Supervised Fine-Tuning (SFT) qui est exactement du behavioral cloning : on montre au modèle des exemples de réponses idéales et il apprend à les reproduire.

La phase RLHF qui suit peut être vue comme une forme d’inverse reinforcement learning : un reward model est entraîné sur des comparaisons humaines pour retrouver la « récompense implicite » de ce qu’est une bonne réponse, puis le LLM est optimisé pour maximiser cette récompense.

Des travaux récents comme LLM-iTeach vont plus loin en utilisant un LLM comme expert interactif dans une boucle d’imitation learning pour la robotique, remplaçant l’expert humain par un expert synthétique généré par un modèle de langage.

Industrie et jumeaux numériques

Un cadre prometteur combine LLM, imitation learning et RL dans des jumeaux numériques industriels. Le LLM génère des stratégies de coordination multi-agents, ces stratégies sont clonées par imitation learning (phase offline), puis affinées par RL dans l’environnement simulé. Les résultats rapportés montrent une réduction du temps d’entraînement en ligne allant jusqu’à 96 % tout en maintenant des performances solides.

Jeux vidéo et simulations

Les PNJ intelligents, les bots de jeu et les agents de test automatisés utilisent l’imitation learning pour reproduire des comportements humains réalistes. Microsoft Research a démontré en février 2026 que les PIDMs permettent d’entraîner des agents performants dans des jeux vidéo visuellement riches, directement à partir de vidéos de gameplay humain, en temps réel à 30 images par seconde.

Comparaison des techniques d’imitation learning

Implémentation pratique

Outils et librairies

L’écosystème Python offre plusieurs librairies matures pour l’imitation learning :

imitation (HumanCompatibleAI) est la librairie de référence. Elle implémente BC, DAgger, GAIL, AIRL, SQIL et les comparaisons de préférences, le tout compatible avec Stable-Baselines3 et Gymnasium. C’est le point d’entrée recommandé.

robomimic (Stanford/NVlabs) se concentre sur l’imitation learning pour la manipulation robotique, avec des architectures d’encodage d’observations et des baselines BC/Transformer pré-implémentées.

LeRobot (Hugging Face) est un framework open source plus récent qui fournit des modèles pré-entraînés, des datasets et des pipelines d’entraînement pour l’IL en robotique, avec support natif des Diffusion Policies.

Exemple minimal de Behavioral Cloning

Voici un pipeline BC typique avec la librairie imitation et Gymnasium :

import numpy as np
import gymnasium as gym
from stable_baselines3 import PPO
from stable_baselines3.common.evaluation import evaluate_policy
from imitation.algorithms import bc
from imitation.data import rollout
from imitation.data.wrappers import RolloutInfoWrapper
from imitation.policies.serialize import load_policy
from imitation.util.util import make_vec_env

# Créer l'environnement
rng = np.random.default_rng(42)
env = make_vec_env(
    "seals:seals/CartPole-v0",
    rng=rng,
    n_envs=1,
    post_wrappers=[lambda env, _: RolloutInfoWrapper(env)],
)

# Charger un expert pré-entraîné
expert = load_policy(
    "ppo-huggingface",
    organization="HumanCompatibleAI",
    env_name="seals-CartPole-v0",
    venv=env,
)

# Collecter les démonstrations de l'expert
rollouts_data = rollout.rollout(
    expert, env,
    rollout.make_sample_until(min_episodes=50),
    rng=rng,
)
transitions = rollout.flatten_trajectories(rollouts_data)

# Entraîner par Behavioral Cloning
bc_trainer = bc.BC(
    observation_space=env.observation_space,
    action_space=env.action_space,
    demonstrations=transitions,
    rng=rng,
)
bc_trainer.train(n_epochs=10)

# Évaluer la politique apprise
reward, _ = evaluate_policy(bc_trainer.policy, env, n_eval_episodes=20)
print(f"Récompense moyenne : {reward}")

Pipeline DAgger

Le passage de BC à DAgger nécessite un expert accessible en temps réel. En pratique, cet expert peut être un planificateur algorithmique, un modèle pré-entraîné, ou un opérateur humain via une interface de téléopération :

import tempfile
from imitation.algorithms.dagger import SimpleDAggerTrainer

bc_trainer = bc.BC(
    observation_space=env.observation_space,
    action_space=env.action_space,
    rng=rng,
)

with tempfile.TemporaryDirectory(prefix="dagger_") as tmpdir:
    dagger_trainer = SimpleDAggerTrainer(
        venv=env,
        scratch_dir=tmpdir,
        expert_policy=expert,
        bc_trainer=bc_trainer,
        rng=rng,
    )
    # 2000 pas d'entraînement itératif
    dagger_trainer.train(total_timesteps=2000)

reward, _ = evaluate_policy(dagger_trainer.policy, env, 20)
print(f"Récompense DAgger : {reward}")

Défis et limites

Compounding error

Le problème fondamental du BC reste la propagation des erreurs. En théorie, pour un horizon T et une erreur par pas ε, l’erreur totale croît en O(εT²) pour le BC et en O(εT) pour DAgger. En pratique, sur des tâches à long horizon (centaines de pas), le BC seul échoue systématiquement sans augmentation de données ou régularisation.

Des travaux récents (2024-2025) nuancent cette vision : avec une loss logarithmique correctement calibrée, le BC peut atteindre une dépendance indépendante de l’horizon sous certaines conditions de « réalisabilité » (le modèle peut représenter exactement la politique de l’expert). Mais ces conditions sont rarement satisfaites dans la pratique.

Qualité des démonstrations

L’imitation learning est fondamentalement limité par la qualité de l’expert. Si l’expert est sous-optimal, le meilleur BC possible sera sous-optimal aussi. GAIL et les approches adversariales atténuent ce problème en extrayant un signal plus robuste, mais ne le résolvent pas complètement.

La question des experts imparfaits est un axe de recherche actif. MEGA-DAgger (2024) propose de filtrer automatiquement les mauvaises démonstrations et de résoudre les conflits entre experts multiples. L’approche « LLM-as-expert » utilise un grand modèle de langage pour générer des démonstrations synthétiques de qualité variable, puis sélectionne les meilleures.

Coût des données de démonstration

Collecter des démonstrations humaines est cher. Pour la robotique, chaque minute de téléopération demande un opérateur qualifié et un environnement physique. Les solutions convergent vers trois axes : la simulation (générer des démonstrations synthétiques dans des environnements virtuels comme Isaac Sim), les données web (utiliser des vidéos YouTube de personnes réalisant des tâches comme démonstrations), et les LLM comme experts (utiliser un modèle de langage pour générer des plans d’action convertis en démonstrations).

Transfert sim-to-real

Les politiques apprises en simulation doivent fonctionner dans le monde réel, malgré le gap visuel et physique entre les deux. Universal Robots explore la combinaison de données de téléopération réelles (via l’AI Trainer) avec des données synthétiques générées dans NVIDIA Omniverse pour maximiser la couverture des situations tout en maintenant la fidélité physique.

Imitation Learning vs autres paradigmes

Tendances et perspectives

Convergence IL + Foundation Models : les modèles fondationnels (LLM, VLM) deviennent à la fois la source d’expertise (en générant des démonstrations ou des plans) et le consommateur d’IL (en étant fine-tunés par SFT/RLHF). Cette boucle auto-renforçante accélère les progrès.

Données synthétiques et simulation : NVIDIA pousse massivement la génération de données de démonstration synthétiques via Omniverse et Isaac Sim. L’objectif est de rendre l’IL scalable sans dépendre de collectes humaines coûteuses.

One-shot imitation : la capacité à apprendre une nouvelle tâche à partir d’une seule démonstration, rendue possible par le pré-entraînement sur des datasets massifs et variés. Les modèles VLA comme RT-2 montrent déjà des capacités de généralisation zero-shot impressionnantes.

IL pour les agents autonomes : au-delà de la robotique physique, l’imitation learning s’applique aux agents IA logiciels qui interagissent avec des interfaces (navigateurs, applications). Les démonstrations humaines d’utilisation d’un logiciel entraînent des agents capables de reproduire et généraliser ces workflows.