Accueil › Glossaire › Robotics Foundation Model

Robotics Foundation Model

Un robotics foundation model (modèle fondation pour la robotique) est un modèle d’IA pré-entraîné sur des données massives et hétérogènes (images, vidéos, texte, trajectoires robotiques) capable de contrôler directement un robot pour exécuter des tâches variées sans reprogrammation spécifique à chaque mission.

Là où les systèmes robotiques classiques nécessitaient un programme dédié par tâche et par environnement, les robotics foundation models transfèrent les capacités de raisonnement et de perception des grands modèles multimodaux vers le monde physique. Vous donnez une instruction en langage naturel (« range les livres sur l’étagère »), le modèle interprète la scène via ses caméras, planifie la séquence d’actions, et génère les commandes motrices pour le bras, la pince ou le corps entier du robot. C’est le même saut qualitatif que celui des LLM pour le texte, appliqué cette fois à la manipulation physique d’objets.

Pourquoi les robotics foundation models changent tout

Pendant des décennies, la robotique a fonctionné sur un principe simple mais limitant : un programme par tâche. Vous voulez qu’un bras robotique visse un boulon ? Vous codez la trajectoire exacte, la force de serrage, les conditions d’arrêt. Changez le boulon de taille, déplacez-le de 3 centimètres, et il faut reprogrammer. Cette rigidité explique pourquoi les robots industriels excellent en usine (environnement contrôlé, tâches répétitives) mais échouent dans un domicile ou un entrepôt où chaque situation est différente.

Les robotics foundation models renversent cette logique. Au lieu de coder des comportements spécifiques, vous entraînez un seul modèle sur des centaines de milliers d’heures de démonstrations robotiques, de vidéos humaines et de données synthétiques. Le modèle apprend les régularités physiques du monde : comment les objets se déplacent, comment une pince doit approcher un objet fragile, quelles forces appliquer pour plier un vêtement. Résultat : le même modèle, avec les mêmes poids, peut saisir un mug, ranger des courses ou assembler un kit, simplement en recevant une instruction différente.

Ce changement de paradigme est rendu possible par trois avancées convergentes :

L’architecture VLA : vision, langage, action

Le terme technique qui désigne la plupart des robotics foundation models actuels est Vision-Language-Action model (VLA). C’est une extension directe des modèles vision-langage (VLM) : là où un VLM prend une image et du texte pour produire du texte, un VLA prend une image et du texte pour produire des actions robotiques.

Concrètement, un VLA fonctionne ainsi : la caméra du robot capture une image de la scène. L’encodeur visuel (souvent un ViT pré-entraîné comme DINOv2 ou SigLIP) transforme cette image en embeddings. Ces embeddings visuels sont combinés avec l’instruction textuelle tokenisée (« ramasse la tasse rouge »). Le modèle de langage (Llama 2, PaLM-E, Gemma, etc.) traite l’ensemble et génère en sortie des tokens d’action, qui sont ensuite décodés en commandes motrices continues : déplacement en x/y/z, rotation, ouverture/fermeture de la pince.

Architecture single-model vs dual-system

Il existe deux grandes familles d’architectures VLA :

Single-model (modèle unique). Un seul réseau traite tout de bout en bout : perception visuelle, compréhension du langage, génération d’actions. C’est l’approche de RT-2, OpenVLA et π0. L’avantage est la simplicité et la faible latence (un seul forward pass). L’inconvénient : le modèle doit être suffisamment grand pour tout gérer simultanément.

Dual-system (double système). Inspiré des théories de Daniel Kahneman sur la cognition humaine, cette architecture sépare le raisonnement lent (System 2) du contrôle rapide (System 1). Le System 2 est un VLM qui analyse la scène, comprend l’instruction et planifie la séquence d’actions à haut niveau. Le System 1 est un modèle d’action rapide (souvent un modèle de diffusion transformer) qui traduit ce plan en mouvements moteurs précis et fluides à haute fréquence (50 Hz ou plus). C’est l’approche de GR00T N1 (NVIDIA) et de Helix (Figure AI).

Les modèles clés en mars 2026

Le paysage des robotics foundation models évolue à une vitesse comparable à celle des LLM. Voici les modèles qui comptent, classés par impact.

NVIDIA GR00T N1 / N1.7 / N2

GR00T (Generalist Robot 00 Technology) est le programme phare de NVIDIA pour la robotique généraliste. Le modèle GR00T N1, présenté lors du GTC 2025, a été le premier modèle ouvert de fondation pour les humanoïdes. Il utilise une architecture dual-system : un VLM Cosmos-Reason-2B (System 2) couplé à un diffusion transformer (System 1) pour la génération d’actions continues.

La version N1.6, disponible sur GitHub, est entraînée sur un mélange de données bimanuelles, semi-humanoïdes et d’un vaste dataset humanoïde. Elle supporte le post-entraînement (fine-tuning) pour des robots, tâches et environnements spécifiques avec seulement 20 à 40 démonstrations.

Au GTC 2026 (mars), NVIDIA a annoncé GR00T N1.7, version désormais disponible en early access avec licence commerciale, intégrant un contrôle de dextérité avancé pour les déploiements de production. Jensen Huang a également présenté un aperçu de GR00T N2, un modèle de nouvelle génération basé sur la recherche DreamZero et une architecture « world action model ». Selon NVIDIA, N2 permet aux robots de réussir de nouvelles tâches dans de nouveaux environnements plus de deux fois plus souvent que les meilleurs VLA existants, et il se classe premier sur les benchmarks MolmoSpaces et RoboArena. Sa disponibilité est prévue fin 2026.

L’écosystème NVIDIA autour de GR00T comprend Isaac Sim (simulation), Isaac Lab (entraînement par renforcement à grande échelle), NVIDIA Cosmos (génération de données synthétiques), Jetson Thor (puce embarquée pour robots) et un partenariat avec Hugging Face pour l’intégration dans LeRobot. Les entreprises adoptant GR00T incluent 1X Technologies, Agility, Figure AI, FANUC, KUKA, Universal Robots et YASKAWA.

Google DeepMind Gemini Robotics / 1.5

Google DeepMind a lancé Gemini Robotics en mars 2025, un VLA construit sur Gemini 2.0 qui ajoute les actions physiques comme nouvelle modalité de sortie. Le modèle se distingue par trois qualités : généralisation (il fonctionne dans des situations inédites), interactivité (il comprend le langage conversationnel et s’adapte aux changements en temps réel) et dextérité (origami, emballage de snacks dans un sac Ziploc, préparation de salades).

En juin 2025, Google a lancé Gemini Robotics On-Device, une version optimisée pour l’exécution locale sur le robot, éliminant la dépendance au cloud. Ce modèle s’adapte à de nouvelles tâches avec seulement 50 à 100 démonstrations et peut être transféré à différents robots (ALOHA, Franka FR3, Apptronik Apollo).

En septembre 2025, Gemini Robotics 1.5 a ajouté des capacités agentiques : le modèle « réfléchit » avant d’agir, peut appeler des outils externes comme Google Search pour obtenir des informations contextuelles, et exécute des missions multi-étapes de manière autonome. Gemini Robotics-ER 1.5 (Embodied Reasoning) sert de « cerveau » de haut niveau, tandis que le VLA exécute les actions physiques.

Physical Intelligence π0 / π0.5 / π0.6

Physical Intelligence (PI), startup fondée par des chercheurs de Google Brain et UC Berkeley (dont Sergey Levine, Chelsea Finn, Karol Hausman), développe π0 (pi-zero), un VLA basé sur le flow matching plutôt que la diffusion classique. Le modèle utilise un backbone PaliGemma (SigLIP + Gemma) d’environ 3 milliards de paramètres, couplé à un expert d’action de 300M paramètres.

π0 a été open-sourcé en février 2025 via le dépôt openpi. La version π0.5, publiée en avril 2025, a introduit la généralisation en environnement ouvert : le robot peut ranger une cuisine ou une chambre qu’il n’a jamais vue. La version π0.6, sortie en novembre 2025, utilise la méthode RECAP (RL with Experience & Corrections via Advantage-conditioned Policies) qui combine démonstration, corrections humaines et expérience autonome. Résultat : débit doublé sur des tâches comme l’insertion d’un filtre dans une machine à espresso ou le pliage de linge inconnu.

Physical Intelligence a levé 600 millions de dollars en Series B (fin 2025), mené par CapitalG (Alphabet), confirmant le potentiel commercial des robotics foundation models.

Google DeepMind RT-2 / RT-X

RT-2 (Robotic Transformer 2), présenté mi-2023, a défini le paradigme VLA. En co-fine-tunant un VLM pré-entraîné (PaLI-X ou PaLM-E) sur des données robotiques, Google DeepMind a montré qu’un seul modèle pouvait à la fois comprendre le langage, reconnaître des objets et contrôler un robot. RT-2 a introduit le chain-of-thought reasoning appliqué à la robotique : le modèle peut raisonner (« quel objet peut servir de marteau improvisé ? Un caillou ») avant d’agir.

RT-X, lancé en collaboration avec 33 laboratoires académiques, a démontré le transfert cross-embodiment : un modèle entraîné sur le dataset Open X-Embodiment (22 types de robots) surpasse de 50% les modèles spécialisés entraînés individuellement pour chaque robot. RT-2 et RT-X sont historiquement importants car ils ont ouvert la voie à tous les VLA actuels, même si les modèles plus récents les surpassent en performance.

OpenVLA (Stanford)

OpenVLA est un VLA open source de 7 milliards de paramètres développé par Stanford, UC Berkeley, Toyota Research Institute et Google DeepMind. Il combine un encodeur visuel dual (DINOv2 + SigLIP) avec un backbone Llama 2 7B, entraîné sur 970 000 trajectoires robotiques de l’Open X-Embodiment dataset.

Malgré ses « seulement » 7B paramètres, OpenVLA surpasse RT-2-X (55B paramètres) de 16,5 points en taux de réussite absolu sur 29 tâches et plusieurs types de robots. Il supporte le fine-tuning par LoRA sur un seul GPU A100 en 10-15 heures, et la quantization pour l’exécution sur des GPU grand public. La recette OFT (Optimized Fine-Tuning), publiée en mars 2025, a encore accéléré l’inférence de 25-50x.

Autres modèles notables

Helix (Figure AI). Premier VLA capable de contrôler tout le haut du corps d’un humanoïde (bras, mains, torse, tête, doigts) à haute fréquence. Architecture dual-system, entraîné sur ~500 heures de téléopération.

SmolVLA (Hugging Face). VLA compact (~450M paramètres) conçu pour fonctionner sur du matériel grand public. Entraîné entièrement sur LeRobot, un dataset communautaire. Performances comparables à des modèles bien plus gros (Octo, OpenVLA).

RFM-1 (Covariant). Robotics Foundation Model entraîné sur des données de manipulation réelles en production industrielle (entrepôts, logistique). L’un des rares modèles entraînés principalement sur des données de robots réels (pas de simulation), déployés chez des clients atteignant 1000 cycles réussis par heure.

GEN-0 (Generalist AI). Modèle pré-entraîné sur plus de 270 000 heures de données de manipulation réelles, collectées dans des milliers de foyers, entrepôts et lieux de travail. Le dataset croît de 10 000 heures par semaine.

Tableau comparatif des principaux modèles

Comment on entraîne un robotics foundation model

L’entraînement d’un robotics foundation model combine plusieurs sources de données et techniques dans un pipeline complexe.

Les données : le nerf de la guerre

Les données robotiques sont le principal goulot d’étranglement du domaine. Contrairement aux LLM qui disposent de billions de tokens textuels sur Internet, les données robotiques sont rares, coûteuses à collecter et spécifiques à chaque type de robot. Trois stratégies coexistent :

Données réelles par téléopération. Un opérateur humain contrôle le robot à distance (via un exosquelette, un joystick ou un système de réalité virtuelle) pendant que les caméras, capteurs et actionneurs enregistrent tout. C’est la méthode la plus fiable mais aussi la plus chère. Physical Intelligence collecte des données dans des foyers, boulangeries, laveries, entrepôts et usines. Generalist AI revendique plus de 270 000 heures de données réelles.

Données synthétiques par simulation. Des plateformes comme NVIDIA Isaac Sim génèrent des trajectoires dans des environnements virtuels physiquement réalistes. NVIDIA a produit 780 000 trajectoires synthétiques (l’équivalent de 9 mois de démonstrations humaines) en seulement 11 heures. Combinées aux données réelles, ces données synthétiques ont amélioré les performances de GR00T N1 de 40%. C’est l’approche sim-to-real poussée à l’échelle industrielle.

Données web (vidéos humaines). Des millions de vidéos YouTube montrant des humains effectuant des tâches quotidiennes sont utilisées pour le pré-entraînement. Le modèle apprend les affordances des objets (qu’est-ce qu’on peut faire avec une tasse ?) et la physique intuitive (comment les objets tombent, glissent, se plient) avant même de voir une seule trajectoire robotique. Le modèle NVIDIA Cosmos est spécifiquement conçu pour ce type de world model basé sur la vidéo.

Le pipeline d’entraînement typique

Un robotics foundation model suit généralement ces étapes :

Étape 1 : pré-entraînement du VLM backbone. Un modèle vision-langage (PaliGemma, Cosmos-Reason, Llama Vision) est entraîné sur des données image-texte du web pour acquérir une compréhension sémantique large.

Étape 2 : co-fine-tuning sur données robotiques. Le VLM est affiné conjointement sur un mélange de données robotiques (trajectoires réelles + synthétiques) et de données web, pour conserver ses capacités de raisonnement tout en apprenant à générer des actions. Les actions sont représentées soit comme des tokens discrets (style RT-2, OpenVLA), soit comme des distributions continues via flow matching ou diffusion (style π0, GR00T N1).

Étape 3 : post-entraînement / fine-tuning spécifique. Le modèle pré-entraîné est adapté à un robot spécifique, un ensemble de tâches ou un environnement donné. Avec GR00T N1, 20 à 40 démonstrations suffisent. Avec Gemini Robotics On-Device, 50 à 100. Cette efficacité de fine-tuning est critique pour l’adoption industrielle.

Étape 4 (optionnelle) : amélioration par RL. La version π0.6 de Physical Intelligence montre que l’apprentissage par renforcement peut encore améliorer un VLA post-entraîné. La méthode RECAP combine démonstrations initiales, corrections humaines en ligne et expérience autonome du robot pour doubler le débit et réduire les taux d’échec.

Défis techniques majeurs

La rareté des données robotiques

C’est le paradoxe fondamental : pour collecter des données, il faut déployer des robots. Pour déployer des robots, il faut des modèles performants. Pour des modèles performants, il faut des données. Les entreprises parient que le transfer learning depuis les VLM rendra les robots suffisamment compétents pour atteindre un déploiement à grande échelle, ce qui créera un cercle vertueux de collecte de données. Des recherches récentes suggèrent que les lois de mise à l’échelle (scaling laws) en robotique dépendent davantage de la diversité des environnements et des objets que du volume brut de démonstrations.

Le fossé simulation-réalité

Un modèle entraîné en simulation ne fonctionne pas toujours dans le monde réel. Les textures, l’éclairage, la dynamique de contact et les propriétés des matériaux différent entre le virtuel et le physique. Les techniques de domain randomization (variation aléatoire des paramètres de simulation) et les moteurs physiques de nouvelle génération comme Newton (développé par NVIDIA, Google DeepMind et Disney Research) réduisent cet écart, mais ne l’éliminent pas encore complètement.

Latence et exécution temps réel

Un robot doit réagir en millisecondes. Les gros VLA tournent typiquement dans le cloud, ce qui introduit une latence réseau incompatible avec le contrôle temps réel. La solution : des modèles embarqués (Gemini Robotics On-Device, SmolVLA) ou des architectures dual-system où le System 1 (action rapide) tourne localement tandis que le System 2 (raisonnement lent) peut fonctionner à distance. NVIDIA Jetson Thor est conçu spécifiquement pour exécuter des VLA directement sur le robot.

Sécurité et fiabilité

Un LLM qui hallucine produit du texte incorrect. Un robot qui hallucine peut blesser quelqu’un ou casser un objet. La sécurité des robotics foundation models est un domaine de recherche actif. Google DeepMind a développé un benchmark ASIMOV (nommé d’après les lois de la robotique d’Isaac Asimov) pour évaluer si les modèles reconnaissent les situations dangereuses. Ils ont également implémenté un mécanisme d’IA constitutionnelle pour la robotique, où le modèle s’autocritique par rapport à des règles de sécurité avant d’agir.

L’écosystème et les acteurs

Les robots humanoïdes comme plateforme cible

Les robotics foundation models et les robots humanoïdes se renforcent mutuellement. Un humanoïde peut théoriquement effectuer toute tâche humaine, mais uniquement si son « cerveau » IA est assez généraliste. Les foundation models rendent les humanoïdes économiquement viables car il n’est plus nécessaire de programmer chaque tâche séparément.

Les principaux acteurs humanoïdes adoptant des foundation models incluent : Tesla (Optimus, avec une ambition de 50 000 unités fin 2026 à un prix cible de 15 000-20 000 $), Figure AI (avec Helix), 1X Technologies (NEO Gamma, déployé avec GR00T N1), Agility Robotics (Digit), Apptronik (Apollo, partenaire officiel de Google DeepMind), et les chinois Unitree et Xiaomi.

Les applications industrielles concrètes

Les déploiements ne sont plus cantonnés aux laboratoires :

Logistique et entrepôts. Covariant déploie son RFM-1 pour le tri automatisé d’articles variés (cosmétiques, vêtements, alimentation) avec des taux de précision supérieurs à 99%.

Manufacture. FANUC, ABB, KUKA et YASKAWA intègrent les frameworks Isaac et Omniverse de NVIDIA pour le virtual commissioning (validation en simulation avant déploiement physique) de lignes de production complètes.

Énergie et construction. RoboForce, qui a levé 52 millions de dollars en mars 2026, déploie des robots fondés sur des foundation models dans l’installation solaire, les data centers et les mines.

Chirurgie. Les plateformes comme le Da Vinci 5 (Intuitive Surgical) intègrent progressivement des capacités d’autonomie IA, bien que les foundation models ne soient pas encore directement utilisés en contexte chirurgical critique.

Open source vs fermé : état des lieux

Contrairement au monde des LLM où les modèles fermés (GPT-5.4, Claude Opus 4.6) dominent en performance, l’écosystème des robotics foundation models penche fortement vers l’open source. GR00T N1.7 (NVIDIA) est entièrement ouvert avec licence commerciale. OpenVLA et ses variantes sont accessibles sur Hugging Face. π0 et π0.5 sont open-sourcés via le dépôt openpi. SmolVLA est intégré dans l’écosystème LeRobot de Hugging Face.

Cette ouverture s’explique par un facteur structurel : les données robotiques sont le vrai différenciateur, pas les architectures. Un modèle ouvert encourage l’adoption, ce qui génère des données de fine-tuning et de déploiement qui enrichissent l’écosystème de l’éditeur. NVIDIA, par exemple, a tout intérêt à rendre GR00T gratuit car cela pousse l’adoption de ses GPU, puces Jetson Thor et plateformes cloud DGX.

Les exceptions notables sont Gemini Robotics (accès restreint à des partenaires sélectionnés) et Helix (Figure AI, entièrement fermé), même si une réimplémentation open source (OpenHelix) existe.

Ce qui vient ensuite

Plusieurs tendances se dessinent pour la suite :

World models intégrés. Les prochains robotics foundation models intégreront des world models qui simulent les conséquences physiques d’une action avant de l’exécuter. GR00T N2 de NVIDIA est le premier modèle à adopter cette approche « world action model », et NVIDIA Cosmos 3 est décrit comme le premier world foundation model unifiant génération synthétique, raisonnement visuel et simulation d’actions.

Scaling laws pour la robotique. Generalist AI et d’autres commencent à observer des scaling laws prévisibles en robotique, similaires à celles qui ont gouverné le progrès des LLM. Plus de données d’interaction physique = meilleures performances, de manière prévisible et scalable.

Convergence hardware-software. Les puces dédiées (Jetson Thor), les moteurs physiques open source (Newton) et les simulateurs de nouvelle génération (Isaac Sim, MuJoCo) créent un stack complet et optimisé de bout en bout.

Données communautaires. Le partenariat NVIDIA-Hugging Face connecte 2 millions de développeurs robotiques NVIDIA avec 13 millions de builders IA Hugging Face. Le dataset physique IA open source de NVIDIA est déjà disponible sur Hugging Face. L’Open X-Embodiment continue de croître avec de nouveaux contributeurs.