Accueil › Glossaire › Video Understanding

Video Understanding

Le video understanding (compréhension vidéo) est une branche de la deep learning et de la vision par ordinateur qui permet à une IA d’analyser, d’interpréter et de raisonner sur le contenu d’une vidéo en intégrant la dimension temporelle, et pas seulement image par image.

Qu’est-ce que le video understanding exactement ?

Quand vous regardez une vidéo de quelqu’un qui lance un ballon, vous ne voyez pas une série d’images fixes. Vous percevez un mouvement continu, vous anticipez la trajectoire, vous comprenez l’intention du geste. Le video understanding vise à donner cette même capacité aux machines.

Contrairement à la classification d’images, qui traite des clichés statiques isolés, le video understanding doit intégrer deux types d’informations simultanément :

Les features spatiales : ce qui se trouve dans chaque frame (objets, personnes, texte à l’écran, contexte visuel).

Les features temporelles : comment ces éléments évoluent au fil du temps (mouvements, séquences d’actions, transitions de scène, relations de cause à effet).

C’est cette combinaison spatio-temporelle qui rend le problème fondamentalement plus complexe que l’analyse d’image. Un modèle de video understanding ne se contente pas de reconnaître un objet, il comprend ce que cet objet fait, pourquoi il le fait, et ce qui va probablement se passer ensuite.

Concrètement, le video understanding englobe un spectre large de tâches :

Pourquoi la vidéo est fondamentalement différente de l’image

On pourrait penser qu’il suffit d’appliquer un modèle de vision par ordinateur frame par frame pour « comprendre » une vidéo. En réalité, cette approche échoue sur la majorité des tâches intéressantes. Et les recherches le confirment : selon une étude de Meta AI (Stanford), pour environ 40 % des classes d’actions dans UCF101 et 35 % dans Kinetics, l’information de mouvement n’est même pas nécessaire pour classifier. Mais pour le reste, le contexte temporel est indispensable.

Voici pourquoi la vidéo pose des défis uniques :

Le volume de données est massif. Une vidéo Full HD à 30 fps génère 30 images de 1920×1080 pixels par seconde. Même une courte vidéo de 10 secondes produit 300 frames. Le coût computationnel explose comparé à l’analyse d’une seule image.

Le mouvement porte du sens. Deux frames identiques d’une main en l’air ne vous disent pas si la personne salue, lance quelque chose, ou va frapper. C’est la séquence temporelle qui donne le sens. Le video understanding doit capturer ces dynamiques temporelles.

La causalité est temporelle. Un verre qui tombe, puis se brise au sol. Sans la dimension temporelle, vous avez deux images distinctes sans lien logique. Avec elle, vous avez une chaîne de cause à effet.

Les vidéos sont multimodales par nature. Une vidéo combine des pixels, du son, parfois du texte à l’écran, des sous-titres, de la musique. Un système de video understanding complet doit fusionner toutes ces modalités pour une compréhension holistique, exactement comme le fait un être humain.

Les architectures techniques du video understanding

L’évolution des architectures pour le video understanding reflète les grandes transitions de l’IA en général, des CNN vers les Transformers, puis vers les grands modèles multimodaux.

CNN 3D : les pionniers (2014-2020)

Les premières approches sérieuses ont étendu les réseaux de neurones convolutifs (CNN) en ajoutant une dimension temporelle. Au lieu de filtres 2D qui glissent sur une image, les CNN 3D utilisent des filtres 3D qui parcourent à la fois l’espace et le temps.

C3D (Convolutional 3D) a été l’un des premiers modèles à montrer que des convolutions 3D pouvaient capturer des features spatio-temporelles utiles. Le problème : l’information de mouvement se perdait rapidement dans les couches profondes du réseau (dès la couche pool5, la motion visible disparaissait).

I3D (Inflated 3D ConvNet) a pris une approche plus astucieuse : « gonfler » un réseau 2D pré-entraîné sur ImageNet (comme Inception) en 3D, en transformant les filtres 2D en filtres 3D. Cela permettait de bénéficier du transfer learning depuis les modèles image.

SlowFast Networks ont introduit l’idée de deux voies parallèles : une voie « lente » qui traite peu de frames à haute résolution spatiale (pour les détails visuels), et une voie « rapide » qui traite beaucoup de frames à basse résolution (pour la dynamique temporelle).

Approches Two-Stream

Avant les CNN 3D matures, l’approche dominante était le two-stream network : un réseau traitant les frames RGB (apparence) et un autre traitant le flux optique (mouvement). Les résultats étaient ensuite fusionnés. Cette architecture a longtemps été l’état de l’art, mais elle nécessitait le calcul coûteux du flux optique en pré-traitement.

Video Transformers : la révolution de l’attention (2021-aujourd’hui)

L’arrivée des Vision Transformers (ViT) a naturellement conduit à leur extension vidéo. Les mécanismes d’attention sont particulièrement adaptés au video understanding car ils peuvent pondérer l’importance de différentes frames ou régions, permettant au modèle de se focaliser sur les moments clés d’une longue vidéo.

Les architectures principales :

La question fondamentale posée par Bertasius et al. résume bien l’ère Transformer : « Is space-time attention all you need for video understanding? » La réponse est nuancée, mais les Transformers ont effectivement supplanté les CNN 3D sur la plupart des benchmarks.

Video LLMs : comprendre et raisonner (2023-aujourd’hui)

La génération la plus récente combine des encodeurs vidéo avec de grands modèles de langage (LLM) pour permettre un raisonnement en langage naturel sur le contenu vidéo. C’est le passage du « percevoir » au « comprendre et expliquer ».

Les modèles multimodaux actuels qui excellent en video understanding :

Gemini 3.1 Pro de Google accepte nativement des vidéos en entrée et peut les analyser dans leur fenêtre de contexte d’environ 1M de tokens. Il atteint 84,8 % sur le benchmark Video-MME (score annoncé par Google pour Gemini 2.5 Pro, les scores de Gemini 3.1 Pro étant encore plus élevés sur certains benchmarks).

GPT-5.4 d’OpenAI intègre des capacités de vision qui couvrent la vidéo, avec une fenêtre de contexte allant jusqu’à environ 1,05M tokens.

Claude Opus 4.6 d’Anthropic traite les images et documents visuels avec une fenêtre de 1M tokens (GA), bien que ses capacités vidéo natives soient plus limitées que celles de Gemini.

Twelve Labs : le spécialiste du video understanding

S’il existe un acteur qui incarne le video understanding en tant que spécialité, c’est Twelve Labs. Cette startup fondée en 2020 (siège à San Francisco et Séoul) construit des modèles fondamentaux dédiés à la compréhension vidéo.

Leur approche se distingue par deux modèles complémentaires :

Marengo est un modèle d’embedding multimodal qui capture le contexte visuel, audio et spatio-temporel d’une vidéo pour alimenter de la recherche sémantique. Il peut indexer une heure de vidéo en environ 15 minutes et la rendre recherchable dans plus de 100 langues.

Pegasus est un modèle de langage vidéo qui prend les embeddings de Marengo et génère des sorties textuelles (résumés, analyses, métadonnées structurées, réponses à des questions).

Twelve Labs a levé plus de 107 millions de dollars, avec des investisseurs comme NVIDIA, Samsung et Intel. En mars 2026, l’entreprise annonce le lancement prochain d’un « video agent » combinant Marengo et Pegasus, prévu pour le deuxième trimestre 2026. Parmi leurs clients et partenaires notables : Databricks, Snowflake, la NFL, et des municipalités pour la surveillance en temps réel.

Ce qui différencie Twelve Labs des solutions généralistes (Gemini, GPT-5.4) selon leur CEO Jae Lee : « Notre différenciation vient du fait que nous sommes video-first depuis le début. La vidéo n’est pas un add-on, elle mérite notre focus exclusif. »

Benchmarks : comment mesure-t-on le video understanding ?

Le video understanding dispose de ses propres benchmarks, qui testent des compétences très différentes de ceux utilisés pour les images ou le texte.

Benchmarks classiques (action recognition)

Kinetics (Google DeepMind) : un dataset massif de clips YouTube annotés couvrant 400 à 700 classes d’actions humaines. C’est la référence historique pour l’action recognition. Les versions successives (Kinetics-400, 600, 700) ont élargi la couverture.

UCF101 : 101 catégories d’actions avec plus de 13 000 clips. Plus ancien et plus petit que Kinetics, mais toujours utilisé comme baseline.

ActivityNet : se concentre sur la localisation temporelle d’activités dans des vidéos plus longues. Très utile pour tester la capacité à situer « quand » une action se produit.

HMDB51 : 51 classes d’actions avec des vidéos souvent difficiles (occlusions, angles variés).

Benchmarks modernes (Video LLMs)

Avec l’essor des LLMs multimodaux, de nouveaux benchmarks sont apparus pour évaluer la compréhension vidéo profonde, pas juste la reconnaissance d’actions.

Video-MME (accepté à CVPR 2025) est devenu la référence pour évaluer les LLMs multimodaux sur la vidéo. Il couvre 900 vidéos de durées variées (courtes à longues) et teste la compréhension multi-tâche (QA, captioning, grounding). OpenAI l’a qualifié de « mesure standard industrielle » pour les capacités de contexte long multimodal lors du lancement de GPT-4.1.

MVBench (CVPR 2024) évalue 20 tâches temporelles spécifiques qui ne peuvent pas être résolues avec une seule frame : séquence d’actions, prédiction d’actions, direction de mouvement, comptage d’actions, transition de scènes, etc. Son approche unique « static-to-dynamic » convertit des tâches statiques en tâches temporelles.

MotionBench (CVPR 2025) se focalise spécifiquement sur la compréhension fine du mouvement dans les vidéos, un domaine où même les meilleurs modèles actuels montrent des faiblesses.

LongVideoBench teste la compréhension de vidéos longues qui nécessitent de la mémoire à long terme et du raisonnement inter-segments.

Applications concrètes du video understanding

Sécurité et surveillance

C’est historiquement le premier cas d’usage massif. Les systèmes de video understanding permettent de détecter des anomalies en temps réel dans les flux de caméras de surveillance : intrusions, comportements suspects, accidents, chutes de personnes âgées. Twelve Labs travaille notamment avec des municipalités pour la détection de menaces en temps réel et la gestion du trafic.

Médias et divertissement

Les archives vidéo des médias représentent des pétaoctets de contenu souvent mal indexé. Le video understanding permet de rendre ces archives sémantiquement recherchables : retrouver une scène spécifique dans des milliers d’heures de rushes, générer automatiquement des résumés et highlights, créer des métadonnées exploitables pour la monétisation publicitaire.

Véhicules autonomes

La conduite autonome est un cas d’usage critique du video understanding. Les voitures autonomes doivent prédire les trajectoires des piétons et des autres véhicules en analysant les patterns de mouvement. L’analyse temporelle permet d’anticiper les collisions potentielles et d’exécuter des manœuvres complexes. C’est la raison pour laquelle Twelve Labs cible le marché de l’IA physique (Physical AI).

Sport analytics

Le video understanding transforme l’analyse sportive : reconnaissance automatique d’actions tactiques, tracking de joueurs, détection de moments clés pour les résumés de matchs, analyse de performance individuelle. La NFL fait partie des clients de Twelve Labs pour ce type d’application.

Santé et médecine

L’analyse de signaux de mouvement (démarche, posture, tremblements, patterns de récupération) dans les vidéos médicales ouvre des perspectives en diagnostic précoce et en suivi de patients. Le video understanding peut aussi assister les chirurgiens en analysant des vidéos d’opérations pour identifier les phases critiques.

Industrie et qualité

En manufacturier, le video understanding détecte des défauts subtils qui n’apparaissent que lors du mouvement d’une pièce sur une chaîne de production. L’avantage sur l’inspection image par image : capturer des déviations qui ne sont visibles qu’au fil du temps.

Éducation et accessibilité

Indexation sémantique de cours vidéo, génération automatique de sous-titres contextuels, résumé de conférences longues, recherche par concept dans une bibliothèque de vidéos éducatives.

État de l’art en mars 2026

Le paysage du video understanding évolue rapidement. Voici les tendances majeures qui définissent le domaine en ce moment :

Les Video LLMs deviennent des outils opérationnels. Ce ne sont plus des démos de recherche. On passe de « regarder ce que notre modèle peut faire avec une vidéo » à des déploiements réels de recherche, résumé, triage et explication de contenu vidéo à grande échelle.

Les world models mûrissent. La frontière entre comprendre et générer se brouille. Les « world foundation models » utilisent la compréhension vidéo pour simuler des environnements physiques, notamment pour la robotique, la conduite autonome et les jumeaux numériques. Comprendre la vidéo devient la base pour prédire « que se passe-t-il quand un agent agit ? ».

La contrôlabilité devient le KPI. Pour la génération vidéo conditionnée par l’action, la métrique clé est désormais la capacité à contrôler ce qui change et ce qui reste invariant. C’est l’intersection directe entre understanding et génération.

L’évaluation temporelle se standardise. Les benchmarks comme Video-MME et MVBench sont devenus des standards acceptés par l’industrie (utilisés par OpenAI, Google, Meta pour communiquer sur leurs modèles).

Le déploiement edge progresse. Grâce aux optimisations comme le Temporal Shift Module (TSM) et les outils comme NVIDIA TensorRT, le video understanding s’exécute de plus en plus sur des appareils embarqués, pas seulement dans le cloud.

Défis et limites actuels

Le coût computationnel reste prohibitif. Traiter de la vidéo HD en temps réel demande des FLOPS considérables, surtout avec des convolutions 3D ou des Transformers temporels. C’est un frein majeur pour les déploiements sur des appareils embarqués ou des flux temps réel à grande échelle.

La compréhension fine du mouvement est encore faible. MotionBench (CVPR 2025) a mis en évidence que même les meilleurs Video LLMs peinent à comprendre les mouvements fins et subtils. Les modèles sont meilleurs pour identifier « ce qui se passe » que pour comprendre « comment ça se passe exactement ».

Les vidéos longues restent un défi. Malgré des fenêtres de contexte de 1M tokens, maintenir une cohérence de compréhension sur une vidéo de plusieurs heures (un film, un match complet, une journée de surveillance) pousse les modèles à leurs limites. La compression d’information entraîne inévitablement des pertes.

Le biais d’apparence domine. Les recherches montrent que beaucoup de modèles « trichent » en se basant principalement sur l’apparence des objets dans la scène plutôt que sur le mouvement réel. Pour certaines classes d’actions, l’objet visible suffit à deviner l’action sans analyser le mouvement (un skateboard implique du skateboard, un chien implique de la promenade). C’est une faiblesse fondamentale que les architectures actuelles n’ont pas totalement résolue.

L’annotation est coûteuse. Annoter des vidéos pour l’entraînement supervisé est bien plus laborieux que d’annoter des images. Chaque clip nécessite des annotations temporelles précises (début/fin d’actions, trajectoires d’objets, relations causales), ce qui multiplie le coût humain.

Comment implémenter du video understanding

Si vous voulez intégrer du video understanding dans un projet, voici vos options principales, de la plus simple à la plus avancée.

Option 1 : APIs managées (le plus simple)

Twelve Labs API est la solution la plus spécialisée. Vous uploadez vos vidéos, l’API les indexe, et vous pouvez ensuite faire de la recherche sémantique, du QA, de la génération de résumés. Le pricing est basé sur l’usage (volume de vidéo indexée et requêtes). Plus de 30 000 développeurs l’utilisent.

Google Gemini API accepte des vidéos en entrée native. Vous pouvez envoyer une vidéo avec une question et obtenir une réponse en langage naturel. C’est plus généraliste que Twelve Labs, mais potentiellement suffisant pour des cas d’usage simples.

OpenAI GPT-5.4 API offre des capacités similaires via son support de la vision.

Option 2 : Modèles open source

Pour un contrôle total et un déploiement on-premise :

Ultralytics YOLO26 propose des capacités de tracking et d’analyse vidéo temps réel, optimisées pour le déploiement embarqué.

VideoChat2 est un baseline open source de Video LLM développé par l’équipe de MVBench.

Qwen2.5-VL et InternVL3 sont des modèles de vision multimodaux open source qui montrent de bonnes performances sur les benchmarks vidéo (60-80 % sur Video-MME et MVBench).

Option 3 : Pipeline custom

Pour les cas d’usage très spécifiques, vous pouvez construire votre propre pipeline :

1. Extraction de frames : échantillonnage uniforme (2 fps est un bon compromis) ou adaptatif selon votre cas d’usage.

2. Encodage visuel : un Vision Transformer pré-entraîné (ViT, CLIP) pour extraire les features de chaque frame.

3. Modélisation temporelle : un module d’attention temporelle ou un Transformer pour capturer les dépendances inter-frames.

4. Tête de tâche : classification, QA, génération de texte selon votre objectif.

5. Fine-tuning sur vos données spécifiques, si les performances des modèles pré-entraînés ne suffisent pas.

L’avenir du video understanding

Le video understanding est en train de devenir l’épine dorsale de l’IA physique. Plusieurs directions se dessinent clairement :

Convergence understanding/génération. Les meilleurs systèmes de génération vidéo (Veo 3.1, Sora 2) intègrent de plus en plus de compréhension vidéo pour produire du contenu physiquement cohérent. Et inversement, les systèmes de compréhension s’améliorent grâce aux capacités de simulation.

Video agents. Twelve Labs prévoit de lancer un video agent au Q2 2026. L’idée : des agents IA qui ne se contentent pas de comprendre la vidéo, mais qui peuvent agir en conséquence (déclencher des alertes, éditer du contenu, piloter des robots).

Temps réel. La génération et l’édition vidéo en temps réel progressent. Plusieurs labos ont démontré des générations de clips courts en moins de 10 secondes. L’objectif est de réduire le cycle génération-review-itération de minutes à secondes.

Multimodalité unifiée. Les embeddings multimodaux comme Gemini Embedding 2 annoncent un futur où texte, image, vidéo et audio sont traités dans un espace sémantique unique. Cela simplifiera radicalement les architectures de video understanding.