Accueil › Glossaire › Visual Grounding

Visual Grounding (Ancrage Visuel)

Le visual grounding est la tâche qui consiste à localiser dans une image la ou les régions correspondant à une description en langage naturel. Donné le texte « le chat noir assis sur le canapé rouge », le modèle doit produire une bounding box (ou un masque de segmentation) encadrant précisément ce chat. C’est un problème fondamental d’alignement cross-modal entre vision et langage, au cœur des applications robotiques, d’accessibilité et d’agents interactifs.

Définition et enjeux

Le visual grounding simule une interaction humaine fondamentale : quand quelqu’un vous dit « passe-moi le livre bleu sur l’étagère du haut », vous devez comprendre la description textuelle, scanner la scène visuelle, et identifier l’objet précis parmi tous les objets visibles. C’est cette capacité de référence linguistique que le visual grounding cherche à reproduire chez les machines.

Formellement, étant donné une image I et une expression textuelle T décrivant une entité dans l’image, le modèle doit prédire la région R (bounding box ou masque) qui correspond à cette entité. La difficulté vient de l’ambiguïté : une image peut contenir plusieurs objets du même type, et c’est l’expression textuelle (ses attributs, ses relations spatiales, son contexte) qui permet de désambiguïser.

C’est un problème plus fin que la détection d’objets classique. Un détecteur d’objets trouve tous les « chats » dans une image. Le visual grounding trouve « le chat qui est à gauche de la fenêtre » parmi les trois chats de la scène. Il nécessite une compréhension conjointe du langage (attributs, relations) et de la vision (localisation, apparence).

Les variantes du visual grounding

Referring Expression Comprehension (REC)

La forme la plus classique : une expression textuelle décrit un seul objet, le modèle doit le localiser par une bounding box. Exemples : « the woman in the red dress », « the tallest building on the left ». Les datasets RefCOCO, RefCOCO+ et RefCOCOg sont les benchmarks standards.

Phrase Grounding (PG)

Variante où le texte est une phrase complète contenant plusieurs entités, et le modèle doit localiser chacune. Par exemple, pour « A man is throwing a ball to a dog », le modèle doit produire une box pour « man », une pour « ball » et une pour « dog ». Flickr30K Entities est le benchmark de référence.

Referring Expression Segmentation (RES)

Au lieu d’une bounding box, le modèle produit un masque de segmentation pixel-précis pour l’objet décrit. C’est une version plus fine de REC, utile pour l’édition d’images et la robotique où la forme exacte de l’objet compte.

Generalized Visual Grounding (GVG)

Concept émergent (depuis 2023) qui étend le visual grounding classique à des scénarios plus réalistes. Dans le VG classique, on suppose qu’il existe exactement un objet correspondant à l’expression. Le GVG gère trois cas : un objet (cas classique), plusieurs objets (« les personnes assises »), ou aucun objet (l’expression ne correspond à rien dans l’image). Cette généralisation est essentielle pour les applications réelles où les descriptions textuelles ne garantissent pas la présence de l’objet.

Grounded Captioning

L’inverse du grounding : le modèle génère une description textuelle de l’image et, pour chaque entité mentionnée, produit la bounding box correspondante. Cela crée des légendes « ancrées » dans l’image, où chaque mot est relié à sa région visuelle. Kosmos-2 (Microsoft) et Qwen2.5-VL supportent cette capacité.

Approches techniques

Approche deux étapes (two-stage)

L’approche historique, dominante jusqu’en 2020. D’abord, un détecteur d’objets (comme Faster R-CNN) génère un ensemble de propositions de régions (bounding boxes candidates). Ensuite, un module de matching compare chaque proposition avec l’expression textuelle et sélectionne la meilleure correspondance.

L’avantage : chaque étape est bien maîtrisée et entraînable séparément. L’inconvénient : le pipeline est lent (le détecteur génère des centaines de propositions), et la qualité dépend fortement du détecteur (si l’objet cible n’est pas dans les propositions, le modèle ne peut pas le trouver).

Approche une étape (one-stage)

Les méthodes récentes contournent le détecteur en prédisant directement les coordonnées de la bounding box à partir des features combinées image-texte. Les architectures Transformer (comme VGTR, TransVG) utilisent l’attention croisée pour fusionner les features visuelles et textuelles, puis une tête MLP régresse les coordonnées (x_centre, y_centre, largeur, hauteur).

Avantage : plus rapide et end-to-end, pas de dépendance à un détecteur externe. Inconvénient : peut être moins précis sur les petits objets ou les scènes complexes.

VLM avec grounding

La tendance la plus récente : les Vision Language Models (Qwen2.5-VL, Kosmos-2, Shikra) intègrent le grounding comme capacité native. Le modèle accepte une image et un prompt textuel, et génère en sortie les coordonnées de la bounding box sous forme de tokens textuels (par exemple, <box>[x1, y1, x2, y2]</box>).

L’avantage majeur : le grounding est traité comme une tâche de génération de texte, exploitant toute la puissance de raisonnement du LLM. Le modèle peut gérer des expressions complexes impliquant du raisonnement logique, spatial et contextuel, ce que les approches spécialisées gèrent mal.

Datasets et benchmarks

L’évaluation standard utilise la métrique Precision@0.5 : une prédiction est correcte si l’IoU (Intersection over Union) entre la bounding box prédite et la vérité terrain est supérieure à 0,5. C’est un seuil binaire qui ne capture pas la qualité fine de la localisation, et des travaux récents proposent des métriques plus nuancées.

Les modèles de pointe atteignent plus de 90 % Precision@0.5 sur RefCOCO testA (expressions faciles, objets saillants) mais les performances chutent sur RefCOCOg (expressions longues et complexes) et les scénarios zero-shot.

Applications concrètes

Robotique et agents incarnés. Quand un humain dit à un robot « prends la tasse bleue sur la table », le robot doit localiser cette tasse précise dans son champ visuel. Le visual grounding est la brique qui permet cette compréhension des instructions en langage naturel. Les Vision-Language-Action models (VLA) intègrent le grounding comme étape intermédiaire entre la compréhension et l’action.

Agents GUI et computer use. Les agents qui naviguent dans des interfaces graphiques (GPT-5.4 computer use, Claude computer use) utilisent le grounding pour localiser les éléments d’interface correspondant à des instructions textuelles : « clique sur le bouton Envoyer », « sélectionne le fichier budget.xlsx dans la liste ».

Édition d’images guidée par le texte. Les outils d’édition IA comme « supprime la personne en arrière-plan » ou « change la couleur du canapé en bleu » nécessitent d’abord de localiser l’objet ciblé, puis d’appliquer la modification. Le visual grounding est l’étape de localisation.

Accessibilité. Pour les personnes malvoyantes, le grounding permet de répondre à des questions spatiales sur une image : « Où est la sortie de secours ? », « Y a-t-il des marches devant moi ? ». Combiné avec de la synthèse vocale, il crée des assistants visuels interactifs.

Recherche de contenu visuel. Dans une base d’images ou de vidéos, le grounding permet de chercher non seulement les images contenant un objet, mais la localisation précise de cet objet. « Montre-moi les images où une personne porte un casque jaune » avec les bounding boxes correspondantes.

Imagerie médicale. Le grounding médical permet de localiser les anomalies décrites par un radiologue : « opacité dans le lobe supérieur droit », « nodule de 2 cm adjacent à la bifurcation bronchique ». Des travaux récents explorent le fine-tuning de VLM pour le grounding médical.

Évaluation et métriques

L’évaluation standard utilise la métrique Precision@0.5 : une prédiction est correcte si l’IoU (Intersection over Union) entre la bounding box prédite et la vérité terrain est supérieure à 0,5. C’est un seuil binaire qui ne capture pas la qualité fine de la localisation, et des travaux récents proposent des métriques plus nuancées.

Les modèles de pointe atteignent plus de 90 % Precision@0.5 sur RefCOCO testA (expressions faciles, objets saillants) mais les performances chutent significativement sur RefCOCOg (expressions longues et complexes) et dans les scénarios zero-shot. L’écart entre les performances sur RefCOCO (expressions courtes et directes) et RefCOCOg (expressions descriptives avec relations) révèle que la compréhension linguistique fine reste un goulet d’étranglement.

Pour le GVG (Generalized Visual Grounding), des métriques supplémentaires sont utilisées : Precision@(F1=1, IoU≥0.5) qui prend en compte les cas où il n’y a pas d’objet à localiser (le modèle doit prédire « rien »), et N-acc qui mesure la précision du nombre d’objets détectés.

Une limite reconnue de Precision@0.5 est son caractère binaire : un IoU de 0,49 est compté comme un échec, alors qu’un IoU de 0,51 est un succès, ce qui ne reflète pas la qualité perçue de la localisation. Des métriques continues comme l’IoU moyen ou des évaluations à seuils multiples (Precision@0.7, Precision@0.9) sont de plus en plus utilisées en complément.

Le visual grounding dans l’écosystème IA

Le visual grounding ne fonctionne pas en isolation. Il s’inscrit dans un réseau de tâches multimodales interconnectées :

Avec l’image captioning : le grounded captioning combine génération de descriptions et localisation des entités. Le modèle produit « Un homme en costume bleu parle au téléphone » et associe chaque entité (« homme », « costume bleu », « téléphone ») à sa bounding box.

Avec la segmentation : la Referring Expression Segmentation (RES) étend le grounding de la bounding box au masque pixel-précis. Des modèles comme EVF-SAM combinent BEiT-3 pour le grounding textuel et SAM (Segment Anything Model) pour la segmentation fine.

Avec le multimodal learning : le grounding est une compétence transversale qui améliore toutes les tâches multimodales. Un VLM qui sait « ancrer » ses mots dans les régions visuelles produit des descriptions plus fidèles, répond plus précisément aux questions visuelles, et hallucine moins.

Avec la robotique : les VLA models (Vision-Language-Action) utilisent le grounding comme étape intermédiaire entre l’instruction textuelle et l’action motrice. « Prends le verre rouge » → [grounding : localise le verre rouge] → [planification : mouvement du bras vers les coordonnées] → [exécution].

Défis actuels et directions de recherche

Compréhension des relations. Les expressions de grounding impliquent souvent des relations spatiales (« le verre à droite de l’assiette ») ou sémantiques (« la personne qui parle »). Les modèles actuels peinent avec les relations complexes impliquant plusieurs entités, surtout quand les objets sont visuellement similaires.

Raisonnement compositionnel. Une expression comme « le troisième livre en partant de la gauche sur l’étagère du milieu » nécessite du comptage, de l’ordonnancement spatial et une compréhension hiérarchique de la scène. C’est un point faible systématique, même pour les VLM les plus avancés.

Ambiguïté et expressions vagues. Les expressions du monde réel sont souvent imprécises. « La chose là-bas » ou « le truc à côté » sont parfaitement naturels en conversation mais difficiles à interpréter sans contexte supplémentaire. Le grounding généralisé (GVG) commence à adresser ces cas.

Haute résolution et giga-pixel grounding. Localiser un objet spécifique dans une image satellite de 10 000×10 000 pixels est un défi computationnel et perceptuel. Des travaux récents (GeoViS) explorent le grounding sur des images géospatiales en formulant la recherche comme un processus de décision markovien.

Grounding vidéo. Étendre le grounding à la vidéo ajoute la dimension temporelle : « la voiture qui tourne à droite à la 15e seconde ». Le video captioning et le audio-visual learning sont des domaines connexes.

Zero-shot grounding. Effectuer du grounding sans données de fine-tuning spécifiques est un axe de recherche actif. Des travaux récents (CVPR 2024) exploitent CLIP et ChatGPT pour décomposer les expressions en sous-requêtes et apparier les entités avec les régions visuelles, sans entraînement supervisé sur RefCOCO.