Accueil › Glossaire › Video Agent

Video Agent (Agent Vidéo)

Un video agent est un agent IA qui perçoit, analyse et agit sur des flux vidéo en temps réel ou enregistrés, en combinant la vision par ordinateur et des modèles vision-langage (VLM) pour extraire des insights, détecter des événements, répondre à des questions en langage naturel, et déclencher des actions automatisées.

Qu’est-ce qu’un video agent ?

Un video agent est un système IA autonome qui regarde, comprend et agit sur de la vidéo. La différence avec un simple système d’analyse vidéo : l’agent ne se contente pas de détecter des objets ou de classifier des scènes. Il raisonne sur ce qu’il voit, répond à des questions en langage naturel (« Montrez-moi tous les moments où un employé ne porte pas son casque »), et prend des décisions autonomes (déclencher une alerte, ajuster un paramètre de production, générer un rapport).

La vidéo est la modalité la plus riche et la plus exigeante en données. Un flux vidéo à 30 fps génère 30 images par seconde, chacune contenant potentiellement des dizaines d’objets, de mouvements et d’interactions. Contrairement à un vision agent qui travaille sur des images statiques ou des screenshots, le video agent doit aussi comprendre la dimension temporelle : le mouvement, la séquence d’événements, la causalité entre actions successives.

Deux familles d’usage dominent : l’analyse de flux en temps réel (surveillance, monitoring de production, trafic) et l’analyse de vidéos enregistrées (recherche dans des archives, résumé de réunions, analyse sportive, modération de contenu).

Architecture d’un video agent

Pipeline d’ingestion et d’analyse

L’architecture standard d’un video agent combine plusieurs couches technologiques :

1. Décodage et échantillonnage : le flux vidéo brut (encodé en H.264/H.265) est décodé en frames individuelles. L’agent n’analyse pas les 30 frames par seconde : il échantillonne à un taux adapté au cas d’usage (1-5 fps pour la surveillance, 15-30 fps pour l’analyse sportive). L’échantillonnage intelligent sélectionne les frames les plus informatives, réduisant le volume de traitement de 80 à 95%.

2. Computer vision classique : des modèles spécialisés (YOLO, RT-DETR) détectent les objets, les personnes, les véhicules dans chaque frame. Le tracking multi-objets (DeepSORT, ByteTrack) suit chaque entité à travers les frames successives et attribue un ID persistant. Cette couche produit des métadonnées structurées : positions, bounding boxes, masques de segmentation, IDs de tracking.

3. Vision Language Model (VLM) : le modèle multimodal reçoit les frames échantillonnées (avec les métadonnées CV) et raisonne en langage naturel. Les VLM apportent le grounding visuel, la compréhension contextuelle (ce n’est pas juste « une personne qui court » mais « un employé qui quitte précipitamment la zone de sécurité »), et la capacité de répondre à des requêtes en langage naturel.

4. RAG vidéo : pour les vidéos longues (archives, enregistrements de plusieurs heures), un système de RAG spécialisé indexe les embeddings visuels et les transcriptions audio. L’utilisateur peut chercher « montre-moi le moment où le CEO parle de la stratégie Q4 » dans des milliers d’heures d’enregistrement en quelques secondes.

5. Transcription audio : les video agents modernes analysent aussi la piste audio du flux vidéo (voix off, conversations, sons d’ambiance). La transcription automatique enrichit la compréhension contextuelle : le VLM sait non seulement ce qu’il voit mais aussi ce qui est dit.

Edge vs cloud

Le choix du déploiement est critique pour les video agents :

L’approche hybride est le standard en production : la computer vision tourne en edge (détection d’objets, tracking en temps réel, alertes immédiates), et les requêtes complexes en langage naturel sont envoyées au cloud (résumé de scène, analyse comportementale, réponse à des questions ouvertes). NVIDIA VSS supporte nativement ce mode, avec un déploiement du edge (Jetson Orin) au cloud (DGX, RTX PRO 6000).

Plateformes et outils de référence

NVIDIA AI Blueprint VSS (Video Search & Summarization)

NVIDIA VSS est la plateforme de référence pour les video agents d’entreprise, disponible en GA (General Availability) en 2026. Elle combine VLM, LLM et RAG avec des mécanismes d’ingestion, de retrieval et de stockage efficaces pour l’analyse vidéo en temps réel et archivée.

Les fonctionnalités clés : multi-live stream (analyse de plusieurs flux simultanément), burst mode ingestion (traitement accéléré de grandes quantités de vidéo), pipeline CV customisable (intégration de modèles de détection spécifiques), transcription audio, et recherche agentique sur des embeddings multimodaux. NVIDIA revendique un traitement 30 fois plus rapide que le temps réel sur son hardware optimisé.

VSS utilise le Set-of-Marks prompting pour enrichir les frames avec les métadonnées CV avant de les envoyer au VLM. Le VLM peut ainsi raisonner sur des objets individuels identifiés par leur ID de tracking, pas seulement sur la scène globale. C’est particulièrement utile pour les requêtes comme « que fait la personne #3 entre 14h00 et 14h15 ? ».

Twelve Labs : Marengo + Pegasus

Twelve Labs développe des modèles de compréhension vidéo natifs. Marengo analyse les scènes et l’audio pour permettre la recherche dans des données vidéo. Pegasus convertit les scènes analysées en texte (résumés, descriptions). L’entreprise prévoit de lancer un video agent combinant les deux modèles au Q2 2026, avec la capacité d’analyser des millions d’heures de vidéo en temps quasi-réel.

Le positionnement de Twelve Labs est unique : plutôt que de construire un agent généraliste, ils fournissent des modèles de compréhension vidéo spécialisés que d’autres frameworks d’agents peuvent intégrer. Leur roadmap vise le marché de la « Physical AI » : connecter la compréhension vidéo à des agents qui agissent dans le monde physique (robotique, drones).

Gemini, Mixpeek et LiveKit

Gemini 3.1 Pro est le modèle propriétaire le plus adapté à l’analyse vidéo native. Avec sa fenêtre de contexte de 1 million de tokens, il peut ingérer jusqu’à 2 heures de vidéo en un seul appel. La capacité de traiter texte, images, audio et vidéo nativement dans un seul transformer unifié donne à Gemini un avantage structurel pour les video agents par rapport aux approches cascade.

Mixpeek est une plateforme d’analyse vidéo IA orientée développeur. Elle combine extraction de features (via CLIP, Whisper), indexation multimodale, et recherche hybride (BM25 + vectoriel). L’API permet d’uploader, de processer et de chercher dans des bibliothèques vidéo en quelques lignes de code.

LiveKit gère le transport vidéo temps réel via WebRTC avec une latence sub-100ms. Combiné avec des modèles VLM (GPT-5.4, Gemini), LiveKit permet de construire des video agents interactifs où l’utilisateur discute en direct avec l’agent pendant que celui-ci analyse le flux vidéo. Les cas d’usage incluent la télémédecine (un agent traduit en temps réel pendant une consultation vidéo) et la maintenance à distance.

Cas d’usage en production

Sécurité et surveillance

Le cas d’usage historique, transformé par les video agents. Plutôt que de monitorer manuellement des dizaines d’écrans, le video agent analyse 100% des flux en temps réel : détection d’intrusions, comportements suspects (mouvement erratique, accès non autorisé), objets abandonnés, conformité EPI (port du casque, gilet). L’agent contextualise les événements (ce n’est pas juste « mouvement détecté » mais « une personne non autorisée est entrée dans la zone B3 à 02h47 ») et déclenche des actions (verrouillage, alerte, enregistrement haute résolution). Les aéroports utilisent ces systèmes pour surveiller plus de 10 000 caméras simultanément sans monitoring humain permanent.

Retail et analyse comportementale

Les video agents analysent le comportement des clients en magasin : temps d’arrêt devant les rayons (dwell time), parcours de visite (heatmaps de flux piétons), longueur des files d’attente, interactions avec les produits. Ces données permettent d’optimiser l’agencement du magasin, le staffing, et les promotions. Walmart a déployé l’analyse vidéo IA dans plus de 1 000 magasins pour détecter automatiquement les ruptures de stock en rayon.

Industrie et monitoring de production

Sur les lignes de production, les video agents détectent les défauts en temps réel, surveillent la conformité des procédures opérationnelles (SOP), et identifient les risques de sécurité (travailleur trop près d’une machine, absence d’EPI). L’intégration avec les systèmes MES et PLC permet des actions correctives automatiques : ralentir la ligne si un défaut est détecté, alerter un superviseur si une procédure n’est pas respectée.

Sport et coaching

La NBA utilise l’analyse vidéo IA pour détecter automatiquement les dunks, trois-points et actions défensives dans l’ensemble des matchs. Les coaches accèdent à des bibliothèques de clips indexées par type d’action, joueur et contexte tactique. Au-delà des highlights, les video agents analysent les patterns de jeu, les zones occupées, et les séquences stratégiques pour alimenter la préparation tactique.

Médias et recherche dans les archives

Les cabinets d’avocats cherchent dans plus de 10 000 heures de dépositions vidéo en quelques secondes. Les équipes média indexent et retrouvent des rushes par description en langage naturel (« interview en extérieur avec une femme portant un manteau rouge »). Les universités rendent des milliers d’heures de cours recherchables par contenu sémantique. Le RAG vidéo rend ces cas d’usage accessibles sans taggage manuel.

Chirurgie et formation médicale

Les video agents indexent les vidéos chirurgicales par type de procédure, anatomie et techniques utilisées. Les chirurgiens peuvent chercher « montrez-moi les cas de suture laparoscopique sur un organe similaire » dans des archives de milliers d’heures. L’analyse automatique des gestes chirurgicaux permet aussi d’évaluer la progression des résidents en formation.

Implémentation : pipeline d’un video agent

Voici l’architecture de base d’un video agent qui combine computer vision classique et VLM pour l’analyse de flux vidéo :

import asyncio
from dataclasses import dataclass, field

@dataclass
class DetectedObject:
    track_id: int
    label: str          # "person", "vehicle", "forklift"
    bbox: tuple         # (x1, y1, x2, y2)
    confidence: float

@dataclass
class FrameAnalysis:
    timestamp: float
    objects: list[DetectedObject]
    scene_description: str = ""
    alerts: list[str] = field(default_factory=list)

class VideoAgent:
    def __init__(self, cv_detector, tracker, vlm, alert_system):
        self.detector = cv_detector  # YOLO, RT-DETR
        self.tracker = tracker       # DeepSORT, ByteTrack
        self.vlm = vlm               # Gemini, GPT-5.4
        self.alerts = alert_system
        self.frame_buffer = []       # buffer pour le contexte temporel
        self.sample_rate = 5         # frames analysées par seconde

    async def process_stream(self, video_stream):
        """Boucle principale : ingestion → détection → raisonnement."""
        frame_count = 0
        async for frame in video_stream:
            frame_count += 1
            # Échantillonner (pas besoin de 30 fps pour l'analyse)
            if frame_count % (30 // self.sample_rate) != 0:
                continue

            # 1. Computer vision : détection + tracking (edge, temps réel)
            detections = self.detector.detect(frame)
            tracked = self.tracker.update(detections)

            objects = [
                DetectedObject(
                    track_id=t.id, label=t.label,
                    bbox=t.bbox, confidence=t.confidence
                ) for t in tracked
            ]

            analysis = FrameAnalysis(
                timestamp=frame.timestamp,
                objects=objects
            )

            # 2. Alertes rapides (règles, edge)
            for obj in objects:
                if obj.label == "person" and self._in_restricted_zone(obj.bbox):
                    analysis.alerts.append(
                        f"Personne #{obj.track_id} en zone restreinte"
                    )
                    await self.alerts.send(analysis.alerts[-1])

            # 3. Buffer pour contexte temporel
            self.frame_buffer.append(analysis)
            if len(self.frame_buffer) > 30:  # garder 30 frames
                self.frame_buffer.pop(0)

    async def query(self, question: str) -> str:
        """Répondre à une question en langage naturel sur le flux."""
        # Sélectionner les frames récentes pertinentes
        recent = self.frame_buffer[-10:]

        # Annoter les frames avec les objets détectés (SoM)
        annotated_frames = [
            self._annotate_frame(f) for f in recent
        ]

        # Envoyer au VLM avec la question
        response = await self.vlm.generate(
            messages=[{
                "role": "user",
                "content": [
                    *[{"type": "image", "source": f} for f in annotated_frames],
                    {"type": "text", "text": (
                        f"Voici les 10 dernières frames annotées du flux vidéo. "
                        f"Objets détectés : {[str(a.objects) for a in recent]}. "
                        f"Question : {question}"
                    )}
                ]
            }]
        )
        return response

    def _annotate_frame(self, analysis: FrameAnalysis):
        """Annoter le frame avec les IDs d'objets (Set-of-Marks)."""
        # Dessiner les bounding boxes avec les IDs de tracking
        # ... retourner l'image annotée
        pass

    def _in_restricted_zone(self, bbox: tuple) -> bool:
        """Vérifier si un objet est dans une zone interdite."""
        # ... logique de géofencing
        pass

Ce code illustre la séparation des responsabilités : la computer vision classique (détection + tracking) tourne en temps réel sur chaque frame échantillonné pour les alertes rapides, tandis que le VLM est appelé à la demande pour les requêtes en langage naturel. Le buffer de frames fournit le contexte temporel nécessaire au raisonnement sur les séquences d’événements. En production, ajoutez la gestion du multi-stream (plusieurs caméras simultanées), la persistance des analyses dans une base vectorielle pour le RAG vidéo, et la transcription audio via un modèle STT intégré au pipeline.

Défis et limites

Coût computationnel : la vidéo est la modalité la plus gourmande en ressources. Un frame vidéo peut consommer plusieurs centaines de tokens pour un VLM. Analyser un flux continu à 5 fps avec un modèle cloud coûte significativement plus cher que de l’analyse texte ou image. L’échantillonnage intelligent et le traitement edge sont essentiels pour contrôler les coûts.

Contexte temporel limité : les VLM actuels traitent bien les frames individuelles, mais leur compréhension des séquences temporelles longues reste imparfaite. Comprendre qu’un événement à t=5 minutes est causé par une action à t=2 minutes exige une mémoire contextuelle que peu de modèles gèrent nativement. Les architectures RAG vidéo avec tracking d’objets (IDs persistants entre frames) atténuent ce problème.

Bande passante réseau : transférer de la vidéo HD vers le cloud pour analyse consomme une bande passante considérable. Un flux 1080p à 30 fps représente environ 3-5 Mbps. Avec des dizaines ou centaines de caméras, le coût réseau devient prohibitif. C’est pourquoi le traitement edge (analyse locale, envoi des seuls résumés au cloud) est la norme en déploiement massif.

Vie privée et RGPD : l’analyse vidéo dans les espaces publics ou de travail pose des questions légales et éthiques majeures. Le RGPD exige le consentement, la minimisation des données, et la limitation de la rétention. Les systèmes doivent anonymiser les visages et les identifiants personnels, et ne conserver que les métadonnées analytiques (heatmaps, comptages) plutôt que les flux vidéo bruts.

Faux positifs en contexte dynamique : un video agent de surveillance peut confondre un reflet avec un intrus, ou interpréter un geste anodin comme suspect. Le taux de faux positifs augmente avec la complexité de la scène (éclairage variable, foules, conditions météo). Les systèmes production-grade combinent plusieurs stratégies de détection et exigent une validation multi-frame avant de déclencher une alerte.

Verdict

Le video agent est le type d’agent IA le plus exigeant techniquement mais aussi celui qui débloque la valeur la plus importante dans les organisations qui génèrent massivement de la vidéo : surveillance, industrie, retail, médias, sport. La combinaison VLM + computer vision classique + RAG vidéo permet enfin d’interagir avec des archives vidéo en langage naturel et de monitorer des flux en temps réel avec une compréhension contextuelle.

Pour un déploiement en entreprise, NVIDIA VSS est la plateforme la plus complète : edge-to-cloud, multi-stream, pipeline CV customisable, et GA en 2026. Pour la recherche et l’indexation de vidéos, Twelve Labs (Marengo + Pegasus) offre les modèles de compréhension vidéo les plus spécialisés. Pour l’analyse via un modèle généraliste, Gemini 3.1 Pro avec sa fenêtre de 1M tokens ingère nativement des heures de vidéo. Pour les video agents interactifs en temps réel, LiveKit fournit le transport WebRTC avec intégration VLM.

Le facteur critique : commencez par le edge pour la détection en temps réel (alertes, conformité, sécurité), et ajoutez le cloud pour les requêtes complexes en langage naturel (résumés, recherche dans les archives, analyse comportementale). L’approche hybride maximise le rapport coût/valeur.