Accueil › Glossaire › Multimodal Learning

Multimodal Learning (Apprentissage Multimodal)

Le multimodal learning (apprentissage multimodal) est une branche du machine learning qui entraîne des modèles à traiter, intégrer et raisonner sur des données provenant de plusieurs modalités simultanément (texte, images, audio, vidéo, données tabulaires, signaux capteurs). Plutôt que de traiter chaque type de donnée isolément, les modèles multimodaux exploitent les relations et complémentarités entre modalités pour obtenir une compréhension plus riche et plus robuste.

Qu’est-ce qu’une modalité ?

En machine learning, une modalité désigne un type ou canal distinct de données. Les modalités les plus courantes sont le texte (langage naturel, code, documents structurés), les images (photos, illustrations, scans médicaux), l’audio (parole, musique, sons environnementaux), la vidéo (séquences d’images avec ou sans audio) et les données structurées (capteurs, tableaux, graphes).

L’humain est naturellement multimodal : vous comprenez une vidéo en combinant ce que vous voyez (images), ce que vous entendez (audio) et ce que vous lisez (sous-titres). Quand vous demandez « c’est quoi ce bruit ? » en pointant du doigt, vous combinez langage, geste et perception auditive. Le multimodal learning cherche à reproduire cette capacité d’intégration chez les machines.

L’enjeu n’est pas simplement de traiter plusieurs types de données en parallèle, c’est de capturer les interactions entre modalités. Le texte « le chat dort sur le canapé » et la photo correspondante sont plus informatifs ensemble que séparément : le texte ajoute le concept de sommeil (invisible dans une photo statique), l’image ajoute la couleur du chat et la forme du canapé (absentes du texte).

Les six défis fondamentaux

La taxonomie de référence en multimodal learning (Liang et al., ACM Computing Surveys 2024) identifie six défis techniques fondamentaux. Tout problème multimodal nécessite d’en résoudre au moins deux.

1. Représentation

Comment résumer des données hétérogènes (pixels, tokens, spectrogrammes) dans un format computationnel unifié ? Les modalités ont des structures radicalement différentes : le texte est séquentiel et discret, une image est une grille 2D continue, l’audio est un signal temporel. Le défi est de créer des représentations qui capturent à la fois les propriétés spécifiques à chaque modalité et les informations partagées entre elles.

Approches courantes : embeddings dans un espace partagé (CLIP), encodeurs spécialisés par modalité avec projection commune, représentations token-unifiées (tout convertir en tokens d’un vocabulaire commun).

2. Alignement

Comment mettre en correspondance les éléments de différentes modalités ? Par exemple, dans une paire image-texte, quel mot correspond à quelle région de l’image ? Dans une vidéo, quel segment audio correspond à quelle action visuelle ? L’alignement est essentiel pour le visual grounding, la synchronisation audio-visuelle et le retrieval cross-modal.

Approches : apprentissage contrastif (contrastive learning), attention croisée (cross-attention entre modalités), correspondance temporelle pour la vidéo/audio.

3. Raisonnement

Comment combiner les informations de plusieurs modalités pour produire des inférences correctes ? Le visual question answering (VQA) en est un bon exemple : pour répondre à « Combien de personnes portent un chapeau rouge ? », le modèle doit localiser les personnes (vision), identifier les chapeaux (vision), vérifier leur couleur (vision), compter (raisonnement), et formuler la réponse en texte (langage).

4. Génération

Comment produire une sortie dans une modalité à partir d’entrées dans une autre ? C’est le domaine du text-to-image (Stable Diffusion, Midjourney), de l’image captioning, du text-to-speech, du video captioning, et du text-to-3D.

5. Transfert

Comment transférer les connaissances d’une modalité riche en données vers une modalité pauvre en données ? Par exemple, utiliser des millions de textes pour améliorer un modèle de classification d’images qui n’a que quelques milliers d’exemples. Le zero-shot de CLIP est un cas extrême : le modèle transfère la compréhension textuelle vers la classification visuelle sans aucun exemple étiqueté.

6. Quantification

Comment mesurer la contribution de chaque modalité ? Toutes les modalités ne sont pas également utiles pour toutes les tâches. Un modèle de détection de sarcasme bénéficie énormément du ton de la voix (audio) combiné au contenu verbal (texte), mais peu de l’expression faciale seule. Quantifier ces contributions permet d’optimiser l’architecture et d’identifier les faiblesses du modèle.

Techniques de fusion multimodale

La fusion est le mécanisme par lequel les informations de différentes modalités sont combinées. On distingue trois grandes familles selon le moment où la fusion intervient dans le pipeline.

Early fusion (fusion précoce)

Les données brutes ou les embeddings de basse niveau de chaque modalité sont concaténés avant d’être traités par un modèle unique. Exemple : concaténer les patches d’image et les tokens de texte en une seule séquence, puis les passer dans un Transformer unifié.

Avantage : le modèle peut capturer les interactions fines entre modalités dès les premières couches. Inconvénient : complexité computationnelle élevée (la séquence combinée est longue), sensible au bruit dans une modalité, et peu robuste aux modalités manquantes.

Exemples : Gemini (Google), GPT-5.4 mode multimodal, Chameleon (Meta), Emu3.

Late fusion (fusion tardive)

Chaque modalité est traitée indépendamment par un encodeur spécialisé, puis les représentations de haut niveau sont combinées (concaténation, moyenne, vote, gating). La décision finale intègre les « opinions » de chaque encodeur.

Avantage : chaque encodeur est optimisé pour sa modalité, robuste aux modalités manquantes (un encodeur peut être ignoré), facile à déployer. Inconvénient : ne capture pas les interactions fines entre modalités, car chaque branche traite sa modalité en isolation.

Exemples : systèmes de véhicules autonomes combinant LiDAR + caméra + radar avec des réseaux séparés et une fusion finale.

Intermediate fusion (fusion intermédiaire)

Les encodeurs spécialisés produisent des représentations intermédiaires qui sont fusionnées via des mécanismes d’attention croisée (cross-attention), puis le traitement continue avec les features fusionnées. C’est le compromis le plus populaire dans les architectures récentes.

Avantage : combine la spécialisation des encodeurs avec la capacité de modéliser les interactions inter-modalités. Inconvénient : plus complexe à concevoir et à entraîner.

Exemples : BLIP-2 (Q-Former comme pont entre encodeur visuel et LLM), Flamingo (perceiver resampler), LLaVA (projection linéaire entre ViT et LLM), BEiT-3 (Multiway Transformer avec experts FFN par modalité).

Architectures multimodales clés

Modèles à double encodeur (contrastifs)

CLIP, ALIGN et SigLIP utilisent deux encodeurs séparés (image et texte) entraînés par objectif contrastif à produire des embeddings alignés dans un espace partagé. L’avantage est la vitesse (les embeddings sont pré-calculables) et le zero-shot. L’inconvénient est l’absence de fusion profonde : le modèle ne peut pas raisonner finement sur les relations entre régions d’image et mots spécifiques.

Modèles encodeur-décodeur

CoCa, GIT, et Pali combinent un encodeur visuel avec un décodeur autoregressif de langage. L’encodeur produit une représentation de l’image, le décodeur génère du texte en conditionnant sur cette représentation. Adapté au captioning, VQA génératif et OCR.

LLM avec entrée visuelle

L’approche dominante consiste à connecter un encodeur visuel pré-entraîné (souvent CLIP ViT) à un LLM existant via un module d’adaptation. LLaVA utilise une simple projection linéaire. BLIP-2 utilise un Q-Former (un petit Transformer cross-attentif). Flamingo utilise un perceiver resampler. Les LLM commerciaux multimodaux (GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro) intègrent cette capacité nativement.

Modèles unifiés (next-token prediction)

La tendance la plus récente : unifier toutes les modalités sous un seul objectif de next-token prediction. Emu3 (publié dans Nature, janvier 2026) convertit images, textes et vidéos en séquences de tokens discrets et les traite avec un seul Transformer autoregressif, sans diffusion ni architecture composite. Cette approche simplifie radicalement le pipeline et montre des performances compétitives avec les systèmes spécialisés.

Applications du multimodal learning

Chatbots et assistants multimodaux

Les assistants IA modernes sont nativement multimodaux. GPT-5.4, Claude Opus 4.6 et Gemini 3.1 Pro acceptent des entrées texte, image, et pour certains audio et vidéo. Vous pouvez envoyer une photo de votre écran d’erreur et demander « Qu’est-ce qui ne va pas ici ? ». Le modèle combine compréhension visuelle (lire le message d’erreur dans l’image) et raisonnement textuel (diagnostiquer le problème) pour produire une réponse utile.

Génération d’images et de vidéos

Les modèles text-to-image (Stable Diffusion, DALL-E 3, Midjourney) et text-to-video (Sora, Veo 3.1, Kling) sont des applications phares du multimodal learning. Le texte du prompt est encodé dans un espace partagé avec les images, puis un modèle de diffusion génère l’image conditionnée sur cette représentation textuelle.

Diagnostic médical

Le multimodal learning est particulièrement prometteur en médecine, où un diagnostic combine souvent l’imagerie (radiographies, IRM, coupes histologiques), le dossier patient (texte structuré, antécédents) et les données biologiques (résultats de laboratoire, génomique). Des modèles multimodaux peuvent intégrer ces sources pour améliorer la détection précoce de cancers, maladies cardiovasculaires et pathologies rétiniennes.

Véhicules autonomes

Un véhicule autonome fusionne en temps réel les données de multiples capteurs : caméras (vision), LiDAR (nuages de points 3D), radar (distances), GPS (localisation), et données cartographiques. La fusion multimodale robuste est critique : si un capteur est défaillant (caméra éblouie, LiDAR obstrué par la pluie), le système doit continuer à fonctionner en s’appuyant sur les modalités restantes.

Recherche cross-modale

Chercher des images par description textuelle (ou inversement), chercher des vidéos par audio, ou naviguer dans des archives multimédia en combinant texte et image. Les embeddings multimodaux (CLIP, SigLIP) permettent de comparer des données de modalités différentes dans un espace commun.

Robotique et agents incarnés

Les Vision-Language-Action Models (VLA) représentent la frontière du multimodal learning. Ces modèles combinent perception visuelle, compréhension linguistique (instructions) et génération d’actions motrices. L’objectif : des robots qui comprennent des instructions en langage naturel et agissent dans le monde physique en s’appuyant sur ce qu’ils voient et ce qu’on leur dit.

L’état de l’art en 2026

Le paysage multimodal a considérablement évolué. Voici les tendances dominantes.

Les LLM sont devenus nativement multimodaux. GPT-5.4, Claude Opus 4.6 et Gemini 3.1 Pro ne sont plus des « modèles de langage avec une extension visuelle » : la multimodalité est intégrée dès la conception. Ces modèles acceptent texte, images, et parfois audio/vidéo, et produisent des réponses qui combinent raisonnement textuel et compréhension visuelle.

La tokenization unifiée gagne du terrain. Emu3 (publié dans Nature début 2026) montre qu’un seul modèle autoregressif entraîné par next-token prediction sur des tokens visuels, textuels et vidéo peut rivaliser avec les systèmes spécialisés (diffusion pour la génération, encodeurs dédiés pour la perception). Cette simplification architecturale pourrait devenir le standard.

Le multimodal va au-delà de texte+image. Les modèles intègrent progressivement l’audio (GPT-5.4 en mode voice, Gemini), la vidéo (Gemini, Emu3), le code (Claude Opus 4.6 via Claude Code), et même les actions robotiques (RT-2, VLA models). La convergence vers des modèles « omnimodaux » s’accélère.

Le marché explose. Selon Grand View Research, le marché du multimodal AI est passé d’environ 1,73 milliard de dollars en 2024 à une trajectoire vers près de 11 milliards en 2030, avec un taux de croissance annuel composé de 36,8 %.

Limites et défis ouverts

Robustesse aux modalités manquantes. En production, une modalité peut être absente ou dégradée (caméra éblouie, audio bruyant, texte manquant). La plupart des modèles multimodaux voient leurs performances chuter significativement quand une modalité est retirée. Les techniques de modality dropout (masquage aléatoire de modalités pendant l’entraînement) et de fusion dynamique (gating basé sur la confiance) sont des pistes, mais pas encore matures.

Alignement fin entre modalités. Comprendre que le mot « rouge » dans une phrase se réfère au chapeau (et non à la robe) dans une image reste un défi de visual grounding. Les modèles actuels progressent, mais le raisonnement compositionnel (compter, localiser, comparer) reste fragile.

Biais multimodaux. Les biais ne sont pas seulement textuels : les associations image-texte du web renforcent des stéréotypes visuels (genre, ethnicité, géographie). Un modèle entraîné sur des données web associera plus facilement « CEO » à des photos d’hommes blancs qu’à d’autres profils.

Coût d’entraînement. Les modèles multimodaux à grande échelle nécessitent des ressources considérables. Entraîner GPT-5.4 ou Gemini 3.1 coûte des dizaines de millions de dollars en compute. Les alternatives plus légères (LLaVA, MobileCLIP) existent mais avec des compromis de performance.

Évaluation. Il n’existe pas de benchmark unique et fiable pour évaluer la compréhension multimodale dans toute sa richesse. Les benchmarks actuels (VQAv2, COCO captioning, Flickr30K retrieval) testent des aspects spécifiques mais ne capturent pas la compréhension holistique qu’on attend d’un système véritablement multimodal.