Accueil › Glossaire › Visual QA

Visual QA (Visual Question Answering)

Le Visual Question Answering (VQA) est une tâche d’IA multimodale qui consiste à répondre à une question posée en langage naturel à propos d’une image, d’une vidéo ou de tout autre contenu visuel. Le système doit combiner la compréhension visuelle et la compréhension linguistique pour générer une réponse correcte.

Qu’est-ce que le Visual QA ?

Imaginez que vous montrez une photo de rue à une IA et que vous lui demandez : « Combien de voitures rouges sont garées ? ». Pour répondre correctement, le système doit identifier les voitures dans l’image, filtrer celles qui sont rouges, vérifier qu’elles sont garées (et non en mouvement), puis les compter. C’est exactement ce que fait le Visual QA.

Le VQA se situe à l’intersection de la vision par ordinateur (deep learning visuel) et du traitement du langage naturel (NLP). C’est l’une des tâches les plus exigeantes de l’IA car elle nécessite simultanément la reconnaissance d’objets, la compréhension spatiale, le raisonnement logique, et parfois même des connaissances externes sur le monde.

La communauté académique considère le VQA comme une tâche « AI-complete », c’est-à-dire aussi difficile que l’intelligence artificielle générale elle-même. En 2025, la série de challenges VQA a d’ailleurs reçu le prix Mark Everingham pour avoir « stimulé un nouveau courant de recherche en vision et langage ».

Types de questions en VQA

Les questions posées à un système VQA couvrent un large spectre de complexité :

L’évolution du VQA : des architectures dédiées aux LLMs multimodaux

Première génération : architectures dédiées (2015-2020)

Le VQA a été formalisé comme tâche de recherche en 2015, avec le premier dataset VQA contenant environ 250 000 images, 760 000 questions et 10 millions de réponses. Les premières architectures suivaient un pipeline en trois étapes :

1. Extraction de features visuelles : un CNN pré-entraîné (VGGNet, puis ResNet) encode l’image en un vecteur de features.

2. Encodage de la question : un réseau récurrent (RNN, LSTM) encode la question textuelle en un vecteur.

3. Fusion et prédiction : les deux vecteurs sont fusionnés (concaténation, produit scalaire, ou réseau de fusion dédié) puis passés dans un classifieur qui prédit la réponse parmi un ensemble de réponses candidates.

Cette approche traitait le VQA comme un problème de classification : choisir parmi les N réponses les plus fréquentes du dataset. C’est efficace pour les questions simples, mais incapable de générer des réponses libres ou de raisonner sur des questions complexes.

Deuxième génération : mécanismes d’attention (2017-2022)

L’introduction des mécanismes d’attention a transformé le VQA. Au lieu de traiter l’image comme un vecteur unique, les modèles avec attention peuvent se « focaliser » sur les régions pertinentes de l’image en fonction de la question posée.

Si la question est « De quelle couleur est le chapeau ? », le mécanisme d’attention apprend à diriger le focus du modèle vers la zone du chapeau dans l’image, plutôt que de tenter de répondre à partir de l’image entière. Cette innovation a considérablement amélioré les performances.

Les architectures clés de cette période incluent les modèles basés sur des « scene graphs » (graphes de scène), qui représentent une image comme un graphe structuré où les objets sont des noeuds et leurs relations des arêtes. Cette représentation est particulièrement efficace pour les questions nécessitant un raisonnement sémantique multi-étapes.

Troisième génération : modèles vision-langage et LLMs (2022-aujourd’hui)

La révolution actuelle est portée par les grands modèles multimodaux qui traitent le VQA comme une forme de conversation naturelle. Plus besoin d’architectures spécialisées : un LLM multimodal reçoit une image et une question, et génère une réponse en texte libre.

Les modèles qui définissent cette ère :

Le passage aux LLMs multimodaux a fondamentalement changé la nature du VQA. Les réponses ne sont plus limitées à un mot ou à un choix parmi N options. Les modèles peuvent expliquer leur raisonnement, poser des clarifications, et traiter des questions ambiguës. Le VQA est devenu une forme de conversation visuelle.

Datasets de référence

L’évolution des datasets VQA reflète la maturation du domaine, de la simple reconnaissance à la compréhension profonde.

Datasets fondateurs

VQA v1 et v2 (Virginia Tech, 2015/2017) sont les datasets fondateurs qui ont lancé le domaine. VQA v2 corrige un biais majeur de v1 : il ajoute des paires d’images complémentaires pour qu’une même question ait des réponses différentes selon l’image, forçant le modèle à vraiment regarder l’image plutôt que de deviner la réponse à partir de la question seule.

GQA (Stanford) évalue le raisonnement compositionnel et spatial avec des questions générées automatiquement à partir de scene graphs. Les meilleurs modèles actuels atteignent environ 83 % de précision.

CLEVR utilise des scènes synthétiques (formes géométriques 3D) pour tester le raisonnement logique et spatial pur, sans ambiguïté visuelle.

Datasets spécialisés

OK-VQA (Outside Knowledge VQA) teste les questions qui nécessitent des connaissances externes à l’image. « Quel sport pratique-t-on sur ce terrain ? » exige de reconnaître visuellement le terrain ET de connaître les sports.

TextVQA et DocVQA évaluent la capacité à lire et comprendre du texte visible dans les images (panneaux, documents, captures d’écran). C’est une compétence critique pour les applications business.

VizWiz contient des questions posées par des personnes aveugles ou malvoyantes à propos de photos prises avec leur smartphone. Les images sont souvent floues, mal cadrées, ou partiellement occultées. C’est un test de robustesse en conditions réelles extrêmes.

Datasets vidéo

Le VQA s’étend aussi à la vidéo avec des datasets comme ActivityNet-QA (questions sur des activités dans des vidéos), NeXT-QA (raisonnement causal et temporel), et EgoSchema (vidéos en point de vue subjectif). Les meilleurs modèles open source (NVILA, Qwen3) atteignent 60-82 % de précision selon le dataset.

Datasets médicaux

Le Medical VQA est un sous-domaine en forte croissance. Les datasets VQA-RAD (radiologie), SLAKE-VQA (multimodalité médicale), PathVQA (pathologie), et PMC-VQA (227 000 paires image-question issues de PubMed Central) permettent d’entraîner des modèles capables de répondre à des questions cliniques sur des images médicales. Des modèles spécialisés comme Medical VLM-24B de John Snow Labs atteignent 82,9 % de précision moyenne sur les benchmarks médicaux OpenMed, avec des scores dépassant 90 % en biologie clinique et génétique médicale.

Comment fonctionne un système VQA moderne

Un système VQA moderne basé sur un LLM multimodal suit un pipeline conceptuellement simple, même si l’implémentation est techniquement sophistiquée.

Étape 1 : Encodage visuel

L’image est passée dans un encodeur visuel, typiquement un Vision Transformer (ViT) ou un encodeur de type CLIP. Cet encodeur transforme l’image en une séquence de tokens visuels, des représentations numériques denses qui capturent le contenu sémantique de l’image.

Étape 2 : Alignement vision-langage

Les tokens visuels sont projetés dans le même espace d’embedding que les tokens textuels via un module d’alignement (linear projection, Q-Former, ou cross-attention). C’est l’étape critique : elle permet au LLM de « comprendre » les informations visuelles comme s’il s’agissait de texte.

Étape 3 : Raisonnement et génération

Le LLM reçoit les tokens visuels alignés suivis de la question encodée, et génère la réponse token par token. Grâce à son pré-entraînement massif sur du texte, le LLM peut mobiliser ses connaissances du monde pour raisonner sur la question et produire une réponse en langage naturel fluide.

Les modèles comme BLIP-2 innovent en combinant un pré-entraînement contrastif (aligner images et texte dans le même espace) avec un objectif génératif (apprendre à produire du texte à partir d’images). Cette double approche donne des modèles capables à la fois de comprendre et de générer.

Applications concrètes du VQA

Accessibilité pour les personnes malvoyantes

C’est l’application fondatrice du VQA. Les personnes aveugles ou malvoyantes peuvent prendre une photo de leur environnement et poser des questions : « Est-ce que c’est du lait ou du jus d’orange ? », « Quel bus arrive ? », « Ce billet est-il de 10 ou 20 euros ? ». Le dataset VizWiz a été spécialement conçu pour ce cas d’usage. Les LLMs multimodaux actuels rendent cette application bien plus fiable qu’il y a quelques années.

Imagerie médicale

Le Medical VQA permet aux professionnels de santé d’interroger des images médicales en langage naturel : « Y a-t-il un nodule dans le lobe supérieur droit ? », « Cette lésion est-elle bénigne ou maligne ? ». Des architectures hybrides atteignent 90-93 % de précision sur VQA-RAD et SLAKE-VQA avec du fine-tuning efficace en paramètres (LoRA). Des modèles comme MedXChat combinent la génération de rapports radiologiques, le VQA clinique, et la synthèse d’images dans une architecture unifiée.

Éducation

Le VQA peut servir d’outil pédagogique interactif : les étudiants interrogent des images de cours, des diagrammes scientifiques, ou des cartes historiques. Des recherches récentes explorent aussi le VQA pour le monitoring en classe (analyse de vidéos pour comprendre le comportement des étudiants), avec des modèles comme VideoLLaMA3 et NVILA.

E-commerce et retail

Les clients posent des questions sur les produits en voyant des images : « Ce canapé existe-t-il en bleu ? », « Est-ce que ce sac a une poche extérieure ? ». Le VQA automatise ces interactions pour les plateformes de vente en ligne.

Analyse de documents

Le Document VQA est un sous-domaine en pleine explosion. Poser des questions sur des factures, des contrats, des formulaires numérisés, des captures d’écran, ou des infographies. C’est une compétence que les LLMs multimodaux actuels maîtrisent bien, grâce à leur capacité OCR intégrée.

Surveillance et analyse vidéo

Le Video VQA permet d’interroger des flux vidéo : « Combien de personnes sont entrées après 14h ? », « Le véhicule rouge a-t-il tourné à droite ou à gauche ? ». Combiné au video understanding, il devient un outil puissant d’analyse de contenu vidéo.

Métriques d’évaluation

Évaluer un système VQA est plus subtil qu’il n’y paraît. Plusieurs métriques coexistent :

VQA Accuracy (classique) : pour les datasets comme VQA v2, une réponse est considérée comme correcte si elle correspond à au moins 3 des 10 annotateurs humains. C’est une mesure de consensus humain.

Exact Match : correspondance exacte entre la réponse générée et la réponse attendue. Simple mais rigide (« un chien » et « le chien » sont considérés différents).

BERTScore : utilise les embeddings contextuels de BERT pour mesurer la similarité sémantique entre la réponse générée et la référence. Plus tolérant aux reformulations.

ROUGE-L : mesure la similarité structurelle basée sur la plus longue sous-séquence commune. Utile pour les réponses longues.

LLM-as-Judge : de plus en plus, un LLM puissant (GPT-5.4, Claude) est utilisé pour évaluer la qualité des réponses VQA, en jugeant leur pertinence, précision et complétude. C’est la tendance pour les évaluations en texte libre.

Défis et limites actuels

Les biais persistent. Malgré les progrès, les modèles VQA continuent de s’appuyer sur des raccourcis statistiques plutôt que sur un vrai raisonnement visuel. Un modèle peut répondre correctement à « De quelle couleur est la banane ? » sans vraiment regarder l’image, simplement parce que « jaune » est la réponse la plus fréquente dans les données d’entraînement.

Le raisonnement compositionnel est fragile. Les questions multi-étapes (« Y a-t-il plus de sphères rouges que de cubes bleus ? ») restent difficiles. Le modèle doit décomposer la question, identifier chaque élément visuel, compter séparément, et comparer. Les erreurs se cumulent à chaque étape.

Les hallucinations sont un risque majeur. Les LLMs multimodaux peuvent générer des réponses plausibles mais fausses. En médical, un modèle qui « hallucine » un diagnostic peut avoir des conséquences graves. Les benchmarks comme MedVH montrent que même les modèles de pointe peinent à résister aux questions piège contenant de fausses prémisses.

L’évaluation est imparfaite. Les métriques automatiques ne capturent pas toujours la qualité réelle d’une réponse. Une réponse techniquement incorrecte selon la métrique peut être plus informative et utile qu’une réponse « correcte » trop courte. L’évaluation humaine reste le gold standard, mais elle est coûteuse.

Le connaissance externe reste un goulot. Pour les questions nécessitant des connaissances au-delà de l’image (OK-VQA), les modèles doivent puiser dans leurs connaissances pré-entraînées. Combiner VQA avec du RAG (Retrieval-Augmented Generation) est une piste prometteuse pour injecter des connaissances actualisées.

Comment implémenter du VQA

Pour une utilisation immédiate : envoyez une image et une question à l’API Gemini 3.1 Pro, GPT-5.4, ou Claude Opus 4.6. C’est la manière la plus simple et la plus performante d’obtenir du VQA en production. Le coût est à l’usage (prix par token).

Pour du VQA spécialisé avec des données sensibles : déployez un modèle open source comme LLaVA 1.5 (7B) ou Qwen2.5-VL (7B) en local. Le fine-tuning avec LoRA (Low-Rank Adaptation) permet d’adapter le modèle à votre domaine avec des ressources limitées (un GPU de 15 Go de VRAM suffit).

Pour du Medical VQA : utilisez des modèles spécialisés comme Medical VLM-24B (John Snow Labs) ou fine-tunez LLaVA-Med sur vos données cliniques avec VQA-RAD et SLAKE-VQA. Les architectures hybrides avec LoRA atteignent 90+ % de précision sur ces benchmarks.

Pour du Document VQA : les LLMs multimodaux actuels excellent nativement sur les documents. Testez d’abord avec une API avant d’investir dans du custom. Si vous avez besoin de traiter des volumes massifs, des solutions spécialisées existent.