Accueil › Glossaire › Vision Language Model

Vision Language Model (VLM)

Un Vision Language Model (VLM) est un modèle d’IA multimodal qui combine un encodeur visuel (typiquement un Vision Transformer) et un modèle de langage (LLM) pour traiter simultanément des images et du texte. Contrairement aux modèles de vision classiques limités à un ensemble fixe de classes, un VLM accepte des images et des instructions en langage naturel, et génère des réponses textuelles contextualisées : descriptions, réponses à des questions visuelles, analyses de documents, ou raisonnement sur le contenu d’une scène.

Pourquoi les VLM ont changé la vision par ordinateur

La vision par ordinateur traditionnelle fonctionne avec des modèles spécialisés : un détecteur d’objets pour la détection, un classificateur pour la classification, un modèle OCR pour la reconnaissance de texte. Chaque modèle est entraîné sur un dataset étiqueté pour une tâche précise, avec un ensemble fixe de classes. Pour ajouter une nouvelle capacité, vous entraînez un nouveau modèle.

Les VLM renversent cette logique. Un seul modèle, instruit en langage naturel, gère toutes ces tâches et bien d’autres. Vous lui envoyez une image et un prompt textuel (« Décris cette image », « Combien de personnes sont assises ? », « Quel est le texte sur ce panneau ? »), et il génère une réponse textuelle. Pas besoin de changer de modèle ni de réentraîner : vous changez simplement le prompt.

Cette flexibilité a rendu les VLM incontournables. Les assistants IA modernes (GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro) sont des VLM : ils acceptent des images dans la conversation et raisonnent dessus en combinant compréhension visuelle et connaissances textuelles.

Architecture d’un VLM

La grande majorité des VLM suivent une architecture en trois composants, telle que décrite par NVIDIA et la communauté de recherche.

1. L’encodeur visuel

L’encodeur visuel transforme l’image en une séquence de vecteurs (tokens visuels) exploitables par le modèle de langage. C’est typiquement un Vision Transformer pré-entraîné, souvent issu de CLIP ou SigLIP.

Le processus : l’image est découpée en patches (par exemple 14×14 pixels pour ViT-L/14), chaque patch est projeté dans un espace d’embedding, puis la séquence de patches passe dans un encodeur Transformer. Les vecteurs de sortie capturent les features visuelles de l’image à différents niveaux d’abstraction.

L’encodeur CLIP est privilégié car ses représentations visuelles sont déjà alignées avec le langage (grâce à l’entraînement contrastif sur des paires image-texte). Cet alignement pré-existant facilite l’intégration avec le LLM.

2. Le connecteur de modalité (projector)

Les embeddings visuels et textuels n’ont pas les mêmes dimensions ni la même structure. L’encodeur visuel peut produire des vecteurs de 1 408 dimensions, tandis que le LLM attend des vecteurs de 4 096 dimensions. Le connecteur traduit les tokens visuels dans le « langage » du LLM.

Les approches varient en complexité :

Le choix du connecteur est un compromis entre simplicité et qualité. LLaVA a montré qu’une simple projection linéaire suffit pour obtenir des résultats compétitifs, à condition que l’encodeur visuel et le LLM soient de bonne qualité. Les modèles commerciaux utilisent des intégrations plus sophistiquées, optimisées end-to-end.

3. Le LLM décodeur

Le cœur du VLM est un large language model qui traite la séquence combinée de tokens visuels (transformés par le connecteur) et de tokens textuels (le prompt de l’utilisateur). Le LLM génère une réponse autoregressivement, token par token, en s’appuyant sur le contexte multimodal.

N’importe quel LLM peut servir de décodeur : Llama, Mistral, Qwen, ou les modèles propriétaires. La qualité du LLM détermine largement les capacités de raisonnement du VLM. Un petit LLM (7B paramètres) peut décrire une image, mais un grand LLM (70B+) raisonne mieux sur des questions complexes impliquant du comptage, de la logique spatiale ou des connaissances du monde.

Comment un VLM est entraîné

L’entraînement d’un VLM se déroule typiquement en deux à trois phases.

Phase 1 : Pré-entraînement du connecteur (alignment). L’encodeur visuel et le LLM sont gelés. Seul le connecteur est entraîné sur un grand dataset de paires image-texte (légendes d’images, descriptions). L’objectif : apprendre la « traduction » entre l’espace visuel et l’espace linguistique. Cette phase utilise des millions de paires et coûte relativement peu.

Phase 2 : Fine-tuning supervisé (instruction tuning). Le connecteur et (optionnellement) le LLM sont fine-tunés sur des données d’instructions multimodales : des triplets (image, question/instruction, réponse attendue). Par exemple : image d’un graphique + « Quel est le chiffre d’affaires du Q3 ? » + « Le chiffre d’affaires du Q3 est de 15,2 M€ ». Cette phase enseigne au VLM comment répondre de manière utile et structurée.

Phase 3 (optionnelle) : RLHF / DPO. Un alignement par feedback humain (ou par préférence directe) pour améliorer la qualité, la sécurité et la pertinence des réponses. Les modèles commerciaux (GPT-5.4, Claude) passent par cette étape de manière extensive.

Les VLM phares en 2026

Modèles propriétaires

GPT-5.4 (OpenAI). Le modèle multimodal le plus utilisé au monde. Accepte texte, images et audio. Capacités avancées de raisonnement visuel, OCR, analyse de documents, et computer use (pilotage d’interfaces graphiques). Disponible via ChatGPT et l’API.

Claude Opus 4.6 (Anthropic). Performances de pointe en raisonnement et en analyse de documents visuels. Fenêtre de contexte de 1 M tokens (y compris les tokens visuels), sans surcoût au-delà de 200K tokens. Disponible via claude.ai et l’API.

Gemini 3.1 Pro (Google). Nativement multimodal (texte, image, audio, vidéo), avec une fenêtre de contexte allant jusqu’à 1 M tokens. Scores très élevés sur les benchmarks de raisonnement (ARC-AGI-2 : 77,1 %). Disponible via Gemini et l’API Google AI.

Modèles open source

Qwen2.5-VL (Alibaba). L’un des meilleurs VLM open source. Utilise des couches convolutives 3D pour agréger les frames vidéo. Disponible en plusieurs tailles (3B, 7B, 72B). Les plus grands modèles rivalisent avec GPT-4o sur certains benchmarks.

InternVL3 (Shanghai AI Lab). Architecture ViT + LLM avec un connecteur optimisé. Performances compétitives avec les modèles propriétaires sur MMMU et MMBench.

LLaVA (Microsoft/Wisconsin). Le VLM open source qui a démocratisé le domaine. Architecture simple (ViT-CLIP + projection linéaire + Vicuna/Llama), facilement reproductible. LLaVA-NeXT et ses successeurs continuent d’améliorer les performances.

Llama 3.2 Vision (Meta). Intègre la vision directement dans l’architecture Llama via des couches de cross-attention, plutôt qu’un connecteur externe. Disponible en 11B et 90B paramètres.

SmolVLA (Hugging Face). Un VLM léger de seulement 450 M paramètres, conçu pour le déploiement edge et la robotique. Démontre que les capacités VLM sont accessibles même sur des appareils à ressources limitées.

Tâches résolues par les VLM

Visual Question Answering (VQA). Répondre à des questions sur une image : « Quelle couleur est le vélo ? », « Combien de fenêtres a le bâtiment ? ». C’est la tâche de référence pour évaluer la compréhension visuelle.

Image captioning. Générer une description textuelle d’une image. Les VLM produisent des descriptions plus riches et contextualisées que les modèles de captioning classiques.

OCR et analyse de documents. Lire du texte dans des images (panneaux, reçus, documents scannés), comprendre des tableaux, interpréter des graphiques. Les benchmarks DocVQA et TextVQA évaluent cette capacité.

Raisonnement visuel. Résoudre des problèmes nécessitant une combinaison de perception et de raisonnement : interpréter des diagrammes scientifiques, résoudre des problèmes de géométrie à partir de figures, analyser des graphiques financiers. Le benchmark MMMU évalue cette capacité au niveau universitaire.

Visual grounding. Localiser dans une image l’objet ou la région décrite par du texte (« le chat sur le canapé rouge »). Certains VLM (comme Qwen2.5-VL) produisent des bounding boxes en sortie.

Agents GUI et computer use. Les VLM sont de plus en plus utilisés comme agents capables de naviguer dans des interfaces graphiques : ils « voient » des captures d’écran et génèrent des actions (clics, saisie de texte). GPT-5.4 et Claude Opus 4.6 supportent cette capacité nativement.

Analyse vidéo. Les VLM qui acceptent la vidéo (Gemini, Qwen2.5-VL) peuvent résumer des vidéos, répondre à des questions temporelles (« Qu’est-ce qui se passe après que la personne ouvre la porte ? ») et comprendre des séquences d’actions.

Benchmarks d’évaluation

Sur MMMU-Pro, les meilleurs modèles atteignent 60-70 % de précision, tandis que les experts humains atteignent 88,6 %. L’écart illustre que le raisonnement visuel expert reste un défi ouvert.

Utiliser un VLM en pratique

Via une API commerciale

La manière la plus simple d’utiliser un VLM est via l’API d’un fournisseur. Avec Claude, GPT-5.4 ou Gemini, vous envoyez une image (en base64 ou par URL) et un prompt textuel, et recevez une réponse en retour.

# Exemple avec l'API Anthropic (Claude Opus 4.6)
import anthropic
import base64

client = anthropic.Anthropic()

# Encoder l'image en base64
with open("document.png", "rb") as f:
    image_data = base64.standard_b64encode(f.read()).decode("utf-8")

message = client.messages.create(
    model="claude-opus-4-6",
    max_tokens=1024,
    messages=[{
        "role": "user",
        "content": [
            {
                "type": "image",
                "source": {
                    "type": "base64",
                    "media_type": "image/png",
                    "data": image_data,
                },
            },
            {
                "type": "text",
                "text": "Décris ce document et extrais les informations clés."
            }
        ],
    }],
)
print(message.content[0].text)

Avec un VLM open source en local

from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    torch_dtype="auto",
    device_map="auto"
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct")

messages = [{
    "role": "user",
    "content": [
        {"type": "image", "image": "photo.jpg"},
        {"type": "text", "text": "Décris cette image."}
    ]
}]

text = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=[text], images=["photo.jpg"], return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(outputs[0], skip_special_tokens=True))

Limites des VLM

Hallucinations visuelles. Les VLM « inventent » parfois des détails absents de l’image. Un VLM peut affirmer voir un objet qui n’existe pas, ou mal interpréter un texte dans une image. Le taux d’hallucination typique est de 10-30 % sur des scènes complexes, selon les benchmarks.

Raisonnement spatial limité. Les VLM actuels ont du mal avec les relations spatiales précises (gauche/droite, dessus/dessous, devant/derrière). Les scores sur les benchmarks de raisonnement spatial plafonnent autour de 50-60 %.

Comptage. Compter des objets dans une image reste un point faible systématique. Les VLM confondent souvent les quantités au-delà de 5-6 objets.

Coût computationnel. Chaque image consomme de nombreux tokens (typiquement 576 à 4 096 tokens visuels selon la résolution). Cela augmente la latence et le coût par requête par rapport à du texte seul.

Biais. Les VLM héritent des biais de leurs données d’entraînement (paires image-texte du web). Ils peuvent produire des descriptions ou classifications biaisées en fonction du genre, de l’ethnicité ou de la géographie des sujets photographiés.

Tendances 2026

Modèles de raisonnement visuel. Gemini 3.1 Pro et Claude Opus 4.6 intègrent des modes « thinking » qui décomposent le raisonnement visuel étape par étape, améliorant significativement les performances sur les tâches complexes.

VLM compacts et edge. SmolVLA (Hugging Face, 450 M params), MobileCLIP (Apple), et les variantes compactes de Qwen2.5-VL montrent que les capacités VLM sont accessibles sur mobile et embarqué.

Agents multimodaux. Les VLM évoluent de l’analyse passive vers l’action : agents GUI qui naviguent dans des interfaces, robots pilotés par des VLA (Vision-Language-Action models), et assistants qui exécutent des tâches multi-étapes en s’appuyant sur la vision.

Open source rattrape le propriétaire. Qwen2.5-VL et InternVL3 rivalisent avec GPT-4o sur de nombreux benchmarks. L’écart se réduit, rendant les VLM de pointe accessibles au fine-tuning sur des données privées.