Accueil › Glossaire › Scene Understanding

Scene Understanding

Le scene understanding (compréhension de scène) est la capacité d’un système d’IA à analyser une image ou une vidéo pour en extraire une interprétation complète : quels objets sont présents, où ils se trouvent, quelles sont leurs relations spatiales, et quel est le contexte global de la scène.

Qu’est-ce que le scene understanding ?

Prenez une photo d’une rue urbaine. Vous, en tant qu’humain, voyez instantanément les voitures, les piétons, les feux de circulation, le trottoir, le ciel, les bâtiments. Vous comprenez que les piétons marchent sur le trottoir, que les voitures roulent sur la chaussée, qu’un feu rouge signifie que les véhicules sont arrêtés. Tout cela en un coup d’oeil.

Le scene understanding vise à reproduire cette capacité chez la machine. Il ne s’agit pas simplement de détecter des objets isolés (« il y a une voiture »), mais de comprendre la scène dans son ensemble : quels sont les éléments présents, comment ils interagissent, quel est le contexte sémantique global, et comment l’espace est organisé en trois dimensions.

C’est un problème fondamentalement plus difficile que la classification d’images ou la simple détection d’objets. Le scene understanding combine plusieurs sous-tâches en une interprétation unifiée, exactement comme le cerveau humain assemble les indices visuels en une perception cohérente.

Concrètement, le scene understanding répond à plusieurs questions simultanément :

Les briques fondamentales du scene understanding

Le scene understanding n’est pas une tâche unique mais un ensemble de capacités complémentaires. Chacune apporte une couche d’information différente sur la scène. La tendance actuelle est à l’unification de ces couches dans des architectures uniques.

Segmentation sémantique : étiqueter chaque pixel

La segmentation sémantique attribue une classe à chaque pixel de l’image. Chaque pixel est étiqueté « route », « ciel », « bâtiment », « végétation », etc. C’est la couche la plus fondamentale du scene understanding.

La segmentation sémantique distingue deux types d’éléments dans une image. Les « stuff » sont les régions amorphes et non dénombrables comme le ciel, la route ou l’herbe. Les « things » sont les objets discrets et comptables comme les voitures, les personnes ou les animaux. La segmentation sémantique traite les deux, mais elle ne distingue pas les instances individuelles : si trois voitures sont côte à côte, tous leurs pixels sont étiquetés « voiture » sans différenciation.

Les architectures historiques incluent les Fully Convolutional Networks (FCN), DeepLab (avec ses convolutions dilatées), et plus récemment les approches basées sur les Vision Transformers. La métrique standard est le mean Intersection over Union (mIoU).

Segmentation d’instance : identifier chaque objet

La segmentation d’instance se focalise sur les objets dénombrables et identifie chaque instance avec un masque et un identifiant unique. Contrairement à la segmentation sémantique, elle sait que « voiture A » et « voiture B » sont deux objets distincts, même s’ils se chevauchent visuellement.

Le modèle de référence historique est Mask R-CNN (extension de Faster R-CNN avec une branche de prédiction de masque). Il détecte les objets, génère des bounding boxes, puis produit un masque de segmentation pixel-level pour chaque instance. La métrique standard est l’Average Precision (AP).

Plus récemment, SAM 2 (Segment Anything Model 2) de Meta AI a démocratisé la segmentation d’instance en proposant un modèle fondamental capable de segmenter n’importe quel objet dans une image ou une vidéo, sans entraînement spécifique à un domaine.

Segmentation panoptique : le meilleur des deux mondes

La segmentation panoptique, introduite par Alexander Kirillov et al. en 2018, unifie la segmentation sémantique et la segmentation d’instance dans une seule tâche. Le terme vient du grec « pan » (tout) et « optic » (vision) : voir tout dans une image.

Chaque pixel reçoit à la fois un label sémantique (sa classe) et un identifiant d’instance (quel objet spécifique). Les « stuff » (ciel, route, herbe) sont traités par segmentation sémantique classique. Les « things » (voitures, personnes) sont traités par segmentation d’instance. Le résultat est une carte unique où rien n’est laissé sans étiquette.

L’évolution des architectures panoptiques reflète les progrès du domaine :

La métrique d’évaluation dédiée est le Panoptic Quality (PQ), qui combine la qualité de segmentation et la qualité de reconnaissance dans un score unique. C’est une avancée par rapport aux métriques séparées (mIoU pour le sémantique, AP pour l’instance) qui ne capturaient pas la performance globale.

Estimation de profondeur : comprendre la 3D

L’estimation de profondeur prédit la distance de chaque pixel par rapport à la caméra. Cette information 3D est essentielle pour comprendre les relations spatiales dans une scène : savoir qu’un piéton est à 3 mètres devant la voiture est critique pour la conduite autonome.

Deux approches principales existent. L’estimation de profondeur monoculaire (MDE) utilise une seule image RGB et un réseau de neurones pour prédire la profondeur, ce qui est impressionnant car une seule image ne contient pas d’information de parallaxe. Des modèles comme Depth Anything V2 atteignent des résultats remarquables grâce au pré-entraînement à grande échelle. L’estimation stéréo utilise deux caméras (comme les yeux humains) pour calculer la profondeur par triangulation.

La recherche montre que combiner segmentation sémantique et estimation de profondeur dans un réseau multi-tâches améliore les deux performances : la sémantique donne des indices géométriques (un ciel est toujours « loin »), et la profondeur donne des indices sémantiques (les objets au même plan de profondeur sont souvent liés).

Classification de scène

La classification de scène catégorise l’image entière selon son contexte global : intérieur/extérieur, urbain/rural, cuisine/bureau/plage. C’est une tâche de haut niveau qui fournit un contexte utile pour les autres sous-tâches. Par exemple, savoir qu’une scène est un « croisement urbain » aide le modèle à attendre des voitures, des feux, et des passages piétons.

Le dataset Places365 est la référence pour cette tâche, avec 365 catégories de scènes et plus de 1,8 million d’images.

Scene understanding en 3D : la nouvelle frontière

Le scene understanding traditionnel opère en 2D (images plates). Mais le monde est en 3D, et comprendre une scène implique de plus en plus de reconstruire sa géométrie tridimensionnelle.

NeRF (Neural Radiance Fields)

Introduits par Mildenhall et al. en 2020, les NeRF représentent une scène 3D comme une fonction continue qui associe à chaque point de l’espace une couleur et une densité. À partir de quelques photos, un NeRF peut synthétiser de nouvelles vues de la scène jamais photographiées. C’est révolutionnaire pour la compréhension spatiale, mais l’entraînement et le rendu restent lents (plusieurs heures d’entraînement, rendu non temps réel).

3D Gaussian Splatting

Le 3D Gaussian Splatting (Kerbl et al., SIGGRAPH 2023) est l’approche qui transforme le scene understanding 3D. Au lieu d’utiliser un réseau de neurones comme les NeRF, il représente la scène avec des millions de « Gaussiennes 3D », chacune ayant une position, une taille, une orientation, une couleur et une opacité.

Les avantages sont considérables : l’entraînement prend 20 à 45 minutes (contre des heures pour les NeRF), et le rendu atteint plus de 100 fps en 1080p, permettant la navigation temps réel dans des scènes reconstruites. Le Gaussian Splatting est en train de devenir la méthode standard pour la reconstruction volumétrique et la synthèse de nouvelles vues.

En 2026, la convergence entre Gaussian Splatting et le scene understanding sémantique progresse rapidement. Les chercheurs combinent reconstruction 3D et segmentation sémantique pour créer des scènes 3D où chaque point est non seulement géométriquement précis mais aussi sémantiquement étiqueté. Le workshop « 3D Scene Understanding » à CVPR 2026 témoigne de cette tendance, avec un focus sur l’IA embarquée robuste pour la compréhension 3D dans des environnements réels.

Au-delà de la caméra RGB : les capteurs multimodaux

Le scene understanding ne se limite pas aux images RGB. Les systèmes les plus avancés fusionnent plusieurs types de capteurs pour une compréhension plus robuste.

LiDAR fournit des nuages de points 3D avec des mesures de distance précises. C’est le capteur de choix pour les véhicules autonomes et la robotique. Le dataset nuScenes combine 6 caméras, 1 LiDAR et 5 radars dans un suite capteur synchronisée.

Caméras de profondeur (RGB-D) fournissent une image couleur et une carte de profondeur simultanées. Le dataset NYUv2 (indoor) et KITTI-360 (outdoor) sont les références pour ce type de données.

Radar fonctionne dans des conditions où la vision échoue (nuit, brouillard, pluie). La fusion radar-caméra devient standard dans les systèmes ADAS (Advanced Driver-Assistance Systems).

Capteurs thermiques détectent la chaleur émise par les objets, utile pour la surveillance nocturne et les applications industrielles.

La tendance en 2026 est à la « densité d’annotation » : les datasets ne se contentent plus de bounding boxes simples, mais fournissent des masques pixel-perfect, des métadonnées 3D, des conditions météo, et des annotations multi-capteurs qui capturent l’intégralité d’une scène.

Architectures modernes pour le scene understanding

L’ère des Transformers

Les Transformers ont profondément transformé le scene understanding. Leur mécanisme d’attention leur permet de capturer le contexte global d’une scène, là où les CNN classiques étaient limités à des champs réceptifs locaux.

DETR (DEtection TRansformer) a été le premier à montrer qu’un Transformer pouvait remplacer toute la pipeline classique de détection (ancres, NMS, post-traitement) par une architecture end-to-end. MaskFormer et Mask2Former ont ensuite unifié toutes les tâches de segmentation (sémantique, instance, panoptique) dans une seule architecture basée sur la classification de masques.

Modèles fondamentaux de vision

La grande tendance est aux modèles fondamentaux pré-entraînés qui généralisent à de nouvelles tâches sans réentraînement. SAM 2 de Meta peut segmenter n’importe quel objet dans une image ou une vidéo en zero-shot. CLIP d’OpenAI connecte vision et langage, permettant de chercher des scènes par description textuelle. Florence de Microsoft couvre la détection, la segmentation, le captioning et le VQA dans une architecture unifiée.

Les modèles multimodaux actuels comme Gemini 3.1 Pro et GPT-5.4 intègrent nativement du scene understanding dans leurs capacités de vision. Vous pouvez leur soumettre une image et poser des questions complexes sur la scène (« Combien de personnes portent un chapeau ? », « Est-ce que la rue est sûre pour traverser ? »). C’est du scene understanding conversationnel, accessible sans aucune expertise technique.

Apprentissage multi-tâche

Le scene understanding bénéficie fortement de l’apprentissage multi-tâche : entraîner un seul réseau à faire simultanément la segmentation sémantique et l’estimation de profondeur améliore les deux tâches. La raison est intuitive : la sémantique donne des indices sur la géométrie (le ciel est toujours en haut et loin), et la géométrie donne des indices sur la sémantique (les objets à la même profondeur sont souvent liés).

Des architectures comme MTRAN (Multi-Task Residual Attention Network) utilisent un réseau partagé pour extraire des features globales, puis des branches spécialisées avec des modules d’attention pour chaque tâche. L’enjeu principal est l’équilibrage des pertes : éviter qu’une tâche domine l’entraînement au détriment des autres.

Applications concrètes

Conduite autonome

C’est l’application phare du scene understanding. Un véhicule autonome doit simultanément identifier la route, les voies, les piétons, les autres véhicules, les panneaux, les feux, estimer les distances, prédire les trajectoires, et prendre des décisions en millisecondes. La segmentation panoptique est particulièrement critique : elle fournit des masques pixel-level qui permettent des décisions de conduite bien plus précises que de simples bounding boxes.

Les datasets Cityscapes, nuScenes et KITTI-360 sont spécifiquement conçus pour ce domaine, avec des annotations denses couvrant des scènes urbaines dans des conditions variées.

Robotique

Les robots utilisent le scene understanding pour naviguer, manipuler des objets et interagir avec les humains. Un robot dans un entrepôt doit comprendre le layout spatial (allées, étagères, obstacles), identifier les objets à saisir, et planifier des trajectoires sûres. Le scene understanding 3D (via Gaussian Splatting ou LiDAR) est ici essentiel.

Réalité augmentée et VR

La réalité augmentée dépend du scene understanding temps réel pour ancrer correctement des objets virtuels dans le monde réel. Les wearables AR (lunettes connectées) nécessitent une compréhension de scène on-device, rapide et précise. Le 3D Gaussian Splatting ouvre des perspectives pour la VR en permettant la navigation temps réel dans des scènes photoréalistes reconstruites.

Surveillance et sécurité

Les systèmes de surveillance utilisent le scene understanding pour détecter des anomalies, identifier des comportements suspects, et monitorer les espaces publics. La segmentation panoptique permet de distinguer chaque personne individuellement dans une foule dense.

Imagerie médicale

La segmentation sémantique est cruciale en imagerie médicale : identifier les tumeurs dans un scanner, segmenter les organes dans une IRM, détecter les anomalies dans une radiographie. La précision pixel-level de la segmentation médicale peut directement impacter les décisions de traitement.

Agriculture de précision et télédétection

L’analyse de scènes aériennes (drones, satellites) permet de segmenter les parcelles agricoles, détecter les zones de stress végétal, cartographier les surfaces. Le scene understanding appliqué aux images satellites ouvre aussi des applications en urbanisme et en surveillance environnementale.

État de l’art et tendances 2026

Les modèles fondamentaux dominent. SAM 2, CLIP, et les Vision Transformers pré-entraînés à grande échelle ont changé la donne. Le scene understanding ne part plus de zéro : on fine-tune des modèles fondamentaux sur son domaine spécifique, ce qui réduit drastiquement le besoin en données annotées.

La 3D devient mainstream. Le workshop « 3D Scene Understanding » à CVPR 2026 illustre la convergence entre vision par ordinateur, graphisme 3D et robotique. L’accent est mis sur la compréhension 3D robuste en conditions réelles (pas juste en laboratoire), avec des modèles fondamentaux 3D et des représentations comme le Gaussian Splatting.

Le edge computing progresse. Le déploiement du scene understanding sur des appareils embarqués (smartphones, lunettes AR, drones, véhicules) est une priorité. La quantization, le pruning et la distillation permettent de faire tourner des modèles complexes sur du matériel limité.

Les données synthétiques montent en puissance. Virtual KITTI 2 et d’autres datasets synthétiques fournissent des annotations parfaites (depth, segmentation, optical flow) à faible coût. La combinaison données réelles + données synthétiques est devenue la norme pour entraîner des modèles de scene understanding robustes.

Le raisonnement spatial émerge. Les Video LLMs et les modèles multimodaux commencent à aller au-delà de la simple segmentation pour raisonner sur les scènes : comprendre les relations causales, prédire ce qui va se passer, répondre à des questions complexes sur le layout spatial. Le workshop CVinW (Computer Vision in the Wild) à CVPR 2026 met l’accent sur les agents multimodaux capables de « percevoir, raisonner et agir » dans des environnements dynamiques.

Défis et limites actuels

Le coût computationnel. La segmentation pixel-level de chaque frame exige des ressources GPU considérables. Pour du temps réel sur un appareil embarqué, il faut des optimisations agressives (quantization, pruning) qui dégradent la qualité.

L’annotation est un goulot d’étranglement. Annoter une image pixel par pixel pour la segmentation sémantique est 10 à 50 fois plus coûteux qu’annoter des bounding boxes pour la détection d’objets. Les données synthétiques et le self-supervised learning atténuent ce problème, mais ne l’éliminent pas.

La robustesse aux conditions réelles. Les modèles entraînés sur des images propres par beau temps peinent dans des conditions dégradées : nuit, pluie, brouillard, éblouissement. La fusion multi-capteurs (caméra + radar + LiDAR) est la solution technique, mais elle complexifie considérablement le système.

Les scènes occlusées. Les objets partiellement cachés restent un défi majeur. Un piéton à moitié derrière une voiture doit quand même être détecté et segmenté correctement. Les architectures actuelles progressent mais ne résolvent pas totalement ce problème.

Le passage du 2D au 3D. Malgré les progrès du Gaussian Splatting et des NeRF, le scene understanding 3D en conditions réelles et en temps réel reste un problème ouvert. Les applications critiques (conduite autonome, chirurgie assistée) demandent une fiabilité que les méthodes actuelles n’atteignent pas toujours.

Comment démarrer un projet de scene understanding

Le choix de votre approche dépend de votre cas d’usage et de vos contraintes.

Pour du prototypage rapide : utilisez un LLM multimodal comme Gemini 3.1 Pro ou GPT-5.4 via API. Envoyez une image, posez des questions sur la scène. C’est le moyen le plus simple de tester si le scene understanding répond à votre besoin, sans aucune infrastructure.

Pour de la segmentation standard : SAM 2 de Meta est le point de départ idéal. Il segmente n’importe quel objet sans fine-tuning. Pour de la segmentation sémantique spécifique à votre domaine, commencez avec un Mask2Former pré-entraîné sur COCO et fine-tunez sur vos données.

Pour de la conduite autonome ou de la robotique : optez pour une architecture multi-tâche qui combine segmentation panoptique et estimation de profondeur. Utilisez les datasets Cityscapes ou nuScenes pour le benchmarking. Prévoyez la fusion multi-capteurs si vous avez accès à du LiDAR.

Pour de la reconstruction 3D : le Gaussian Splatting est le choix par défaut. Des outils comme NeRFStudio et l’implémentation open source de Kerbl et al. permettent de démarrer rapidement. L’entraînement ne prend que 20 à 45 minutes sur un GPU moderne.

Pour du déploiement embarqué : YOLO26 d’Ultralytics offre des capacités de segmentation optimisées pour le temps réel sur GPU mobile. La distillation depuis un modèle lourd (SAM 2, Mask2Former) vers un modèle léger est une stratégie éprouvée.