Accueil › Glossaire › Simulation-to-Real

Simulation-to-Real (Sim-to-Real Transfer)

Le simulation-to-real (sim-to-real) est le processus de transfert d’une politique de contrôle robotique entraînée dans un environnement simulé vers un robot physique dans le monde réel, en minimisant la perte de performance due aux écarts entre simulation et réalité.

Entraîner un robot directement dans le monde réel est lent, coûteux et dangereux. Un robot qui apprend à marcher tombe des milliers de fois. Un robot qui apprend à manipuler des objets fragiles en casse beaucoup. En simulation, vous pouvez exécuter des milliers d’instances en parallèle sur GPU, accélérer le temps, et recommencer à zéro sans conséquence. Le problème : un comportement qui fonctionne parfaitement en simulation peut échouer dans le monde réel. Cet écart est appelé le « reality gap », et le sim-to-real transfer est l’ensemble des techniques pour le réduire.

Le reality gap : pourquoi c’est difficile

Un simulateur est, par construction, un modèle imparfait du monde réel. Aussi précis soit-il, il diverge de la réalité sur plusieurs axes.

Le fossé visuel (visual gap)

Les textures, l’éclairage, les ombres, les reflets et les couleurs diffèrent entre une scène simulée et le monde réel. Un réseau de perception entraîné uniquement sur des images de simulation peut ne pas reconnaître les mêmes objets dans un environnement physique avec un éclairage différent, des surfaces usées ou un arrière-plan encombré.

Le fossé dynamique (dynamics gap)

Les propriétés physiques des objets et du robot sont approximées en simulation. La friction réelle d’un sol varie selon l’humidité. La raideur d’un joint robotique change avec la température et l’usure. Le poids d’un objet n’est jamais exactement celui programmé dans le simulateur. Un objet souple (vêtement, câble, sac plastique) se comporte de manière radicalement différente en simulation par rapport au réel, car les modèles de déformation sont des approximations.

Le fossé sensoriel (sensor gap)

Les capteurs simulés (caméras, LiDAR, capteurs tactiles) sont idéalisés. Une caméra simulée ne produit pas de bruit, de flou de mouvement, de latence d’acquisition ou d’artefacts de compression. Un capteur de force simulé ne présente pas de dérive. Ces écarts peuvent rendre une politique parfaitement robuste en simulation complètement inutile sur le robot réel.

Jalons historiques du sim-to-real

Le sim-to-real n’est pas un concept nouveau, mais son efficacité a explosé récemment grâce à la convergence de trois facteurs : puissance GPU, simulateurs fidèles et foundation models.

Années 1990-2000 : les premiers transferts. Les premiers travaux de transfert simulation-réalité utilisaient des modèles physiques simplifiés et des politiques réactives. Les résultats étaient modestes car les simulateurs étaient trop sommaires et les politiques trop rigides pour absorber les écarts avec le réel. Le sim-to-real restait un sujet de niche académique.

2017-2018 : la percée domain randomization. OpenAI démontre en 2017 qu’un robot peut apprendre la manipulation dextre (résoudre un Rubik’s Cube avec une main robotique) entièrement en simulation en randomisant massivement les paramètres physiques et visuels. L’article « Sim-to-Real Transfer of Robotic Control with Dynamics Randomization » (Peng et al., 2018) formalise la randomization dynamique comme technique standard. Ces travaux prouvent que le sim-to-real à grande échelle est viable et ouvrent la voie à une adoption industrielle.

2020-2023 : GPU-accélération et parallélisme. NVIDIA Isaac Gym (devenu Isaac Lab) permet d’exécuter des milliers de simulations en parallèle sur GPU, réduisant le temps d’entraînement de jours à heures. Les jeux de données robotiques à grande échelle (Open X-Embodiment : 970 000+ épisodes sur 22 types de robots) fournissent des benchmarks standardisés pour évaluer le transfert. Google DeepMind démontre avec RT-2 que les données web combinées aux données robotiques améliorent la généralisation au monde réel.

2024-2025 : Cosmos et les world models. L’introduction de NVIDIA Cosmos Transfer change la donne : au lieu de randomiser les visuels en simulation, vous transformez les données simulées en photoréalisme via des modèles de diffusion. Les robotics foundation models (GR00T N1, π0, Gemini Robotics) intègrent nativement le sim-to-real dans leur pipeline d’entraînement. GR00T N1 démontre que la combinaison de données synthétiques et réelles améliore les performances de 40% par rapport aux données réelles seules.

Mars 2026 : Newton 1.0 et Isaac Lab 3.0. Le GTC 2026 marque un tournant avec le lancement de Newton 1.0 (moteur physique open source co-développé par NVIDIA, Google DeepMind et Disney Research), Isaac Lab 3.0 (entraînement à grande échelle sur infrastructure DGX), et le Physical AI Data Factory Blueprint (automatisation complète du pipeline de données d’entraînement). NVIDIA déclare que le sim-to-real est désormais une « compétence de base » pour tout développeur robotique. Plus de 250 000 développeurs robotiques dans le monde utilisent les outils Isaac.

Les techniques de sim-to-real transfer

Domain Randomization (DR)

La domain randomization est la technique la plus utilisée et la plus intuitive. Le principe : au lieu d’essayer de simuler le monde réel parfaitement, vous entraînez la politique sur des centaines de versions aléatoirement variées de la simulation. À chaque épisode d’entraînement, vous modifiez aléatoirement les paramètres de la simulation dans des plages raisonnables :

Randomization visuelle. Couleurs, textures, éclairage, position et orientation des objets, arrière-plans, effets de caméra. L’idée : si la politique a appris à reconnaître un objet sous des centaines de conditions d’éclairage différentes, elle fonctionnera aussi sous l’éclairage réel (qui n’est qu’une condition de plus parmi celles entraînées).

Randomization dynamique. Masse des objets, coefficients de friction, raideur des joints, retards d’actionneurs, amortissement. L’article fondateur « Sim-to-Real Transfer of Robotic Control with Dynamics Randomization » (Peng et al., 2018) a montré que des politiques entraînées sur des dynamiques randomisées peuvent s’adapter à des dynamiques très différentes de celles de l’entraînement, y compris les dynamiques du monde réel.

La DR fonctionne parce qu’elle force la politique à apprendre des comportements robustes qui ne dépendent pas de paramètres spécifiques du simulateur. C’est l’approche « si ça marche dans 1000 simulations différentes, ça marchera probablement dans le monde réel ».

System Identification (SysID)

L’approche complémentaire à la DR : au lieu de randomiser les paramètres, mesurez-les précisément et configurez le simulateur pour correspondre au robot réel. Vous calibrez la masse exacte du robot, la friction de chaque joint, le retard des actionneurs, les caractéristiques optiques de la caméra. C’est ce qu’on appelle l’identification système.

La combinaison optimale, validée par des études récentes, est d’utiliser le SysID pour les paramètres mesurables (masse, inertie, géométrie) et la DR pour les paramètres incertains ou variables (friction de contact, propriétés des objets manipulés, conditions d’éclairage).

Adaptation de domaine (Domain Adaptation)

L’adaptation de domaine utilise des techniques de transfer learning pour aligner les représentations internes de la simulation et du monde réel. Plusieurs variantes existent :

Adaptation adversariale. Un discriminateur est entraîné à distinguer les images simulées des images réelles, tandis que le générateur (ou l’encodeur) est entraîné à tromper le discriminateur. Résultat : l’encodeur visuel apprend des représentations invariantes au domaine. Des taux de réussite de 97,8% ont été rapportés en manipulation robotique avec cette méthode.

Transfert par modèles de diffusion. Les modèles de diffusion latente conditionnés (comme NVIDIA Cosmos Transfer) transforment des images de simulation en images photoréalistes dans l’espace latent, comblant le fossé perceptuel avec peu d’exemples d’adaptation. Cette approche améliore les métriques de gap perceptuel sim-to-real de plus de 40% et a été déployée avec succès sur de vrais véhicules autonomes.

Transfert progressif et curriculum

Au lieu de transférer directement de la simulation au réel, certaines approches utilisent un curriculum graduel. Le robot commence par des tâches simples en simulation, augmente progressivement la difficulté, puis passe à des simulations de plus en plus réalistes, et enfin au monde réel. Isaac Lab utilise cette approche pour la préhension dextre : l’entraînement commence avec des conditions simplifiées (gravité réduite, objets faciles) et augmente progressivement la complexité (friction variable, poids des objets modifié, conditions imprévisibles).

L’écosystème d’outils en mars 2026

NVIDIA Isaac Sim + Isaac Lab

NVIDIA Isaac Sim est le framework de référence pour la simulation robotique. C’est une application open source construite sur les bibliothèques NVIDIA Omniverse qui permet de concevoir, simuler, tester et entraîner des robots dans des environnements virtuels physiquement réalistes. Isaac Sim ingère des données de multiples sources (CAD, URDF, captures réelles via NuRec) et les convertit en USD (Universal Scene Description).

Isaac Lab 3.0, annoncé en early access au GTC 2026, est le framework d’apprentissage robotique construit sur Isaac Sim. Il permet l’entraînement parallèle de milliers d’instances de robots sur infrastructure DGX. Les capacités clés :

Entraînement par renforcement à grande échelle avec simulation GPU-accélérée. Génération de données synthétiques de mouvement via GR00T-Mimic. Intégration du moteur Newton 1.0 pour la simulation multiphysique. Workflows de grasping dextre avec curriculum automatisé. COMPASS pour la génération de données de navigation synthétiques.

Le pipeline sim-to-real complet avec Isaac : vous entraînez dans Isaac Lab, validez dans Isaac Sim, puis déployez sur le robot physique via Jetson Thor. GR00T N1.6 a démontré le transfert zero-shot de la simulation au monde réel pour la navigation humanoid, sans collecte de données réelles supplémentaires.

Newton 1.0

Newton est un moteur physique open source, GPU-accéléré, co-développé par NVIDIA, Google DeepMind et Disney Research, et géré par la Linux Foundation. Il est construit sur NVIDIA Warp et OpenUSD. Newton est optimisé pour la robotique et compatible avec les frameworks d’apprentissage comme MuJoCo Playground et Isaac Lab.

Newton 1.0 a été lancé au GTC 2026 avec des capacités de simulation multiphysique et un support amélioré pour la manipulation dextre complexe. Les cas d’usage concrets : Skild AI l’utilise pour entraîner des politiques d’assemblage de racks GPU (insertion de connecteurs, placement de cartes, serrage avec tolérances serrées). Samsung collabore avec Lightwheel pour simuler la manipulation de câbles dans des chaînes d’assemblage de réfrigérateurs.

MuJoCo

MuJoCo (Multi-Joint dynamics with Contact), développé par DeepMind (acquis en 2021), est un simulateur physique largement utilisé en recherche robotique. Rendu open source en 2022, il excelle dans la simulation de dynamiques de contact et de corps articulés. Google Gemini Robotics utilise MuJoCo dans son SDK pour permettre aux développeurs de tester les modèles VLA en simulation avant le déploiement.

NVIDIA Cosmos Transfer

Cosmos Transfer est un composant spécifique de la plateforme Cosmos qui comble le fossé visuel entre simulation et réalité. Il transforme des images ou vidéos générées par simulation en contenu photoréaliste, en préservant la structure spatiale (profondeur, segmentation, contours). La version 2.5 est 3,5x plus petite que son prédécesseur avec une meilleure fidélité physique et un meilleur alignement aux prompts. Les développeurs peuvent ajouter des conditions météorologiques, d’éclairage et de terrain différentes à leurs environnements simulés sur plusieurs caméras.

Autres outils

PyBullet. Simulateur physique léger et accessible, populaire pour le prototypage rapide et l’éducation. Moins réaliste qu’Isaac Sim mais beaucoup plus simple à mettre en place.

Habitat (Meta). Simulateur spécialisé pour la navigation et l’interaction dans des environnements intérieurs. Utilisé pour l’embodied AI dans des scènes domestiques.

AI2-THOR (Allen Institute). Environnement interactif pour la recherche en embodied AI avec des scènes d’intérieur photoréalistes.

Le pipeline sim-to-real moderne

Un workflow sim-to-real complet en 2026 suit généralement ces étapes :

Étape 1 : Capture et reconstruction. Vous capturez l’environnement réel (un entrepôt, une cuisine, un atelier) avec un smartphone ou un scanner 3D. NVIDIA Omniverse NuRec (neural reconstruction) reconstruit un jumeau numérique en OpenUSD de cet environnement.

Étape 2 : Peuplement et configuration. Vous ajoutez des actifs 3D (SimReady assets) physiquement précis dans la scène. Vous configurez le robot (URDF/MJCF), assignez les matériaux, activez la physique.

Étape 3 : Entraînement en simulation. Vous entraînez la politique robotique dans Isaac Lab avec du renforcement learning et/ou de l’imitation learning. Vous utilisez la domain randomization pour robustifier la politique. Vous générez des données synthétiques supplémentaires avec GR00T-Mimic et Cosmos.

Étape 4 : Augmentation par Cosmos Transfer. Vous transformez les données de simulation en données photoréalistes via Cosmos Transfer, multipliant la diversité et le réalisme du dataset d’entraînement.

Étape 5 : Validation en simulation. Vous testez la politique dans Isaac Sim dans des conditions variées (éclairage, disposition, objets) pour vérifier la robustesse avant tout déploiement physique.

Étape 6 : Déploiement sur le robot. Vous déployez la politique sur le robot physique via NVIDIA Jetson. Les premières exécutions sont supervisées. Le cycle de retour d’expérience (données réelles collectées pendant le déploiement) alimente l’amélioration continue du modèle.

Résultats concrets

Les chiffres de performance illustrent l’importance du sim-to-real :

Bonnes pratiques

Commencez par le SysID, ajoutez la DR ensuite. Mesurez tout ce que vous pouvez mesurer (masse, inertie, géométrie). Randomisez uniquement ce que vous ne pouvez pas mesurer précisément (friction de contact, propriétés des objets inconnus).

Utilisez Cosmos Transfer pour le gap visuel. Plutôt que de randomiser agressivement les visuels en simulation (ce qui peut dégrader l’entraînement), entraînez dans un simulateur propre puis utilisez Cosmos Transfer pour transformer les images en photoréalisme.

Validez systématiquement en simulation avant le réel. Isaac Sim permet de tester sous des centaines de conditions. Si la politique échoue sur 10% des scénarios simulés, elle échouera au moins autant dans le monde réel.

Collectez des données réelles de fine-tuning. Même avec un excellent pipeline sim-to-real, 20-100 démonstrations réelles de fine-tuning améliorent significativement la performance. Le sim-to-real pur (zero-shot) est possible pour certaines tâches mais pas universel.

Investissez dans le moteur physique. La qualité du sim-to-real dépend directement de la fidélité physique du simulateur. Newton 1.0, PhysX et MuJoCo sont les options les plus fiables. Les moteurs physiques génériques de jeux vidéo ne suffisent pas pour la robotique de précision.

Tendances émergentes

Real-to-sim-to-real. Le flux inverse (capturer le monde réel, le reconstruire en simulation, entraîner, puis redéployer) devient standard grâce à la reconstruction neurale (NuRec). Vous filmez votre usine avec un iPhone, Isaac Sim reconstruit le jumeau numérique, vous entraînez le robot dans ce jumeau fidèle, puis vous déployez.

World models comme bridge sim-real. Les world models (Cosmos, V-JEPA) apprennent un modèle interne de la physique qui est intrinsèquement indépendant du domaine (simulation ou réel). Au lieu de combler le gap, ils l’évitent en apprenant dans un espace de représentation abstrait.

Automated sim tuning. Des méthodes comme DROPO estiment automatiquement les distributions de randomization optimales à partir d’un petit dataset de trajectoires réelles, éliminant le réglage manuel des plages de DR.

Physical AI Data Factory. Le blueprint annoncé par NVIDIA au GTC 2026 automatise l’ensemble du pipeline : génération, augmentation et évaluation de données d’entraînement physique à grande échelle. Cosmos Evaluator (basé sur Cosmos Reason) score automatiquement la fidélité physique des données générées.