Accueil › Glossaire › Image Captioning

Image Captioning (Légende Automatique d’Images)

L’image captioning est la tâche de génération automatique d’une description textuelle en langage naturel pour une image donnée. Elle nécessite à la fois la compréhension visuelle (reconnaître les objets, leurs attributs et leurs relations) et la génération linguistique (produire une phrase syntaxiquement et sémantiquement correcte). C’est l’une des tâches fondamentales du multimodal learning, à l’intersection de la vision par ordinateur et du traitement du langage naturel.

Comment fonctionne l’image captioning

Générer la légende d’une image est un processus en deux temps qui reflète la manière dont un humain décrirait une photo. D’abord, il faut « voir » l’image : identifier les objets présents, leurs propriétés (couleur, taille, position) et leurs interactions (un homme qui lance un ballon, un chat assis sur un canapé). Ensuite, il faut « formuler » : traduire cette compréhension visuelle en une phrase naturelle et cohérente.

Techniquement, cela se traduit par un pipeline encodeur-décodeur : un encodeur visuel extrait les features de l’image, et un décodeur de langage génère le texte mot par mot, conditionné sur ces features visuelles.

L’évolution des approches

Ère CNN-RNN (2015-2020)

Les premières méthodes de deep learning pour l’image captioning combinaient un CNN (ResNet, VGG, Inception) comme encodeur visuel et un RNN (LSTM, GRU) comme décodeur de texte. Le modèle pionnier « Show and Tell » (Vinyals et al., 2015) utilisait un Inception CNN pour encoder l’image en un vecteur, puis un LSTM pour générer la légende mot par mot.

« Show, Attend and Tell » (Xu et al., 2015) a introduit le mécanisme d’attention visuelle : à chaque mot généré, le décodeur LSTM « regarde » les régions pertinentes de l’image. Pour générer le mot « chien », le modèle concentre son attention sur la région contenant le chien. Cette attention visuelle a été une avancée majeure, améliorant significativement la qualité et la pertinence des descriptions.

Les limites de cette ère : les LSTM peinent avec les dépendances longues (phrases de plus de 15-20 mots), les CNN captent mal les relations spatiales complexes entre objets, et les descriptions générées sont souvent génériques (« a man standing next to a dog »).

Ère Transformer (2020-2023)

L’arrivée des Transformers en vision a transformé l’image captioning. Les encodeurs visuels sont passés des CNN aux Vision Transformers, et les décodeurs des LSTM aux décodeurs Transformer autorégressifs.

Les modèles de cette génération incluent :

OSCAR (Microsoft, 2020). Utilise des tags d’objets comme « ancres » pour aligner les représentations visuelles et textuelles, améliorant la fidélité des descriptions.

VinVL (Microsoft, 2021). Améliore l’extraction de features visuelles en pré-entraînant un détecteur d’objets sur un dataset massif, fournissant des représentations visuelles plus riches au décodeur.

GIT (Microsoft, 2022). Simplifie l’architecture en utilisant directement un ViT comme encodeur et un décodeur Transformer pour la génération, sans module intermédiaire complexe. Atteint des performances compétitives avec BLIP-2 sur MS-COCO.

CoCa (Google, 2022). Contrastive Captioner combine un objectif contrastif (alignement image-texte, comme CLIP) et un objectif génératif (captioning) dans un seul modèle. Cette approche produit des représentations visuelles utilisables à la fois pour le retrieval et la génération.

Ère VLM (2023-présent)

La génération actuelle utilise des Vision Language Models complets. BLIP-2 (Salesforce, ICML 2023) connecte un encodeur visuel gelé à un LLM gelé via un Q-Former (un petit Transformer cross-attentif). Le Q-Former apprend à extraire les informations visuelles les plus pertinentes pour le LLM, qui génère ensuite la description.

Les VLM généralistes (GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro) font aussi du captioning, mais en tant que capacité parmi beaucoup d’autres. Leur avantage : ils génèrent des descriptions plus riches, plus longues et plus contextualisées que les modèles spécialisés, car ils s’appuient sur les connaissances du monde embarquées dans le LLM.

Les modèles d’image captioning de référence

Classement pratique sur MS-COCO. En termes de qualité brute sur MS-COCO Karpathy test split, le classement est approximativement : BLIP-2 ≥ GIT ≈ CoCa > BLIP > modèles CNN-RNN classiques. Les VLM généralistes (GPT-5.4, Claude) ne sont pas directement comparés sur MS-COCO car ils produisent des descriptions beaucoup plus longues et détaillées que le format attendu du benchmark.

Datasets de référence

MS-COCO Captions reste le benchmark dominant. La partition Karpathy (113 287 images d’entraînement, 5 000 de validation, 5 000 de test) est le standard de facto pour les comparaisons. Cependant, ses légendes courtes (~10 tokens) ne reflètent pas la richesse des descriptions que les modèles modernes peuvent produire.

Métriques d’évaluation

Évaluer automatiquement la qualité d’une légende est un problème en soi. Plusieurs métriques sont utilisées, chacune avec ses forces et faiblesses.

BLEU (Bilingual Evaluation Understudy). Mesure la précision des n-grammes de la légende générée par rapport aux références humaines. BLEU-4 (4-grammes) est le plus courant. Simple mais corrèle faiblement avec le jugement humain sur les légendes créatives.

METEOR. Améliore BLEU en prenant en compte les synonymes, la racinisation (stemming) et l’ordre des mots. Meilleure corrélation avec le jugement humain que BLEU.

CIDEr (Consensus-based Image Description Evaluation). Conçu spécifiquement pour le captioning. Mesure la similarité TF-IDF entre la légende générée et les références, en pondérant les mots rares plus fortement. C’est la métrique la plus utilisée pour le classement des modèles sur MS-COCO.

SPICE (Semantic Propositional Image Caption Evaluation). Convertit les légendes en graphes de scène (objets, attributs, relations) et compare les graphes. Capture mieux la fidélité sémantique que les métriques basées sur les n-grammes.

CLIPScore. Utilise le modèle CLIP pour mesurer la similarité entre l’image et la légende générée dans l’espace d’embedding. Avantage : ne nécessite pas de légendes de référence. De plus en plus utilisé comme métrique de filtrage et d’évaluation.

Applications concrètes

Accessibilité. Générer des descriptions alternatives (alt-text) pour les images web, permettant aux personnes malvoyantes de comprendre le contenu visuel via des lecteurs d’écran. C’est l’une des applications les plus directement utiles de l’image captioning.

Indexation et recherche. Les légendes automatiques enrichissent les métadonnées des bases d’images, améliorant la recherche textuelle dans les catalogues de photos, les bibliothèques numériques et les systèmes de gestion de contenu.

Imagerie médicale. Générer des rapports préliminaires à partir de radiographies, IRM ou coupes histologiques. Le captioning médical est un domaine de recherche actif, avec des modèles comme MedBLIP adaptant BLIP-2 à la terminologie radiologique. L’objectif n’est pas de remplacer le radiologue mais de lui fournir un premier jet à vérifier et compléter.

Génération de contenu. Les créateurs de contenu utilisent le captioning automatique pour générer des descriptions de produits, des légendes de réseaux sociaux, ou des métadonnées SEO pour les images.

Surveillance et sécurité. Décrire automatiquement les événements dans des flux vidéo de surveillance : « une personne traverse la rue », « un véhicule s’arrête devant le bâtiment ». C’est lié au video captioning, qui étend le captioning à la dimension temporelle.

Annotation de datasets. Le captioning automatique est utilisé pour annoter à grande échelle des datasets d’images, réduisant le besoin d’annotation humaine. Les datasets comme LAION-5B s’appuient sur les alt-texts du web (une forme de captioning implicite) complétés par des descriptions générées par des modèles.

Image captioning dédié vs. VLM généraliste

Une question légitime se pose : faut-il encore utiliser un modèle de captioning spécialisé (BLIP-2, GIT) quand un VLM comme Claude Opus 4.6 ou GPT-5.4 fait la même chose et bien plus ?

Avantages des modèles spécialisés. Ils sont plus légers (BLIP-2 OPT-2.7B tourne sur un GPU de 8 Go), plus rapides (inférence en quelques dizaines de millisecondes), et moins chers à déployer à grande échelle. Pour un pipeline de production qui doit captionner des millions d’images (enrichissement de base de données, génération d’alt-text, annotation automatique), un modèle spécialisé est le choix pragmatique.

Avantages des VLM généralistes. Ils produisent des descriptions plus riches, plus contextualisées et multilingues. Ils peuvent suivre des instructions complexes (« Décris cette image en te concentrant sur l’architecture du bâtiment », « Génère un alt-text accessible de 50 mots maximum »). Pour des tâches ponctuelles ou des usages nécessitant de la flexibilité, les VLM sont supérieurs.

L’approche hybride. De nombreuses équipes utilisent un modèle spécialisé (BLIP-2) pour le captioning en masse, puis un VLM (Claude, GPT-5.4) pour le contrôle qualité et l’enrichissement des descriptions les plus importantes. Cette approche combine efficacité et qualité.

Défis actuels

Hallucination d’objets. Les modèles « inventent » parfois des objets absents de l’image. Un modèle peut décrire un skateboard dans une scène de route de montagne, ou mentionner une personne dans un paysage vide. Ce problème est particulièrement prononcé avec les modèles entraînés sur MS-COCO, qui apprennent des co-occurrences statistiques (« route » → souvent « voiture », même si aucune voiture n’est présente).

Diversité des descriptions. Les modèles tendent à produire des descriptions « moyennes » qui reflètent la distribution la plus probable dans les données d’entraînement. Ils décrivent rarement l’ambiance, l’éclairage ou les émotions. Les approches par reinforcement learning (RL) et les VLM avec instructions détaillées améliorent la diversité.

Captioning multilingue. La majorité des modèles et datasets sont en anglais. Le captioning en français, arabe, chinois ou dans des langues à faibles ressources reste significativement moins performant, principalement par manque de données d’entraînement de qualité.

Biais. Les descriptions générées reflètent les biais des données d’entraînement : stéréotypes de genre (femmes associées à la cuisine, hommes au sport), sous-représentation de certaines cultures et géographies, descriptions différentes selon le ton de peau des sujets. Des travaux récents évaluent et corrigent ces biais, mais le problème reste ouvert.

Évaluation. Aucune métrique automatique ne capture pleinement la qualité d’une légende. BLEU et CIDEr favorisent les descriptions courtes et « sûres ». CLIPScore ne détecte pas les erreurs factuelles fines. L’évaluation humaine est coûteuse. La communauté cherche encore la métrique idéale.

Utiliser l’image captioning en pratique

Avec BLIP-2 via Hugging Face

from transformers import Blip2Processor, Blip2ForConditionalGeneration
from PIL import Image
import torch

processor = Blip2Processor.from_pretrained("Salesforce/blip2-opt-2.7b")
model = Blip2ForConditionalGeneration.from_pretrained(
    "Salesforce/blip2-opt-2.7b",
    torch_dtype=torch.float16,
    device_map="auto"
)

image = Image.open("photo.jpg").convert("RGB")

# Captioning inconditionnel
inputs = processor(images=image, return_tensors="pt").to("cuda", torch.float16)
generated_ids = model.generate(**inputs, max_new_tokens=50)
caption = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(caption)

# Captioning conditionnel (prompt guidé)
inputs = processor(
    images=image,
    text="Question: Describe this image in detail. Answer:",
    return_tensors="pt"
).to("cuda", torch.float16)
generated_ids = model.generate(**inputs, max_new_tokens=100)
detailed = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(detailed)