Accueil › Glossaire › Vision Agent

Vision Agent (Agent Visuel)

Un vision agent est un agent IA qui utilise la perception visuelle (images, screenshots, flux vidéo) comme source principale d’information pour observer son environnement, raisonner sur ce qu’il voit, et exécuter des actions en conséquence.

Qu’est-ce qu’un vision agent ?

Un vision agent perçoit le monde à travers des images, exactement comme un humain utilise ses yeux pour comprendre une situation avant d’agir. Contrairement à un simple modèle de vision qui classifie une photo ou décrit une scène, un vision agent boucle en continu : il observe (screenshot ou image), raisonne (que dois-je faire ?), agit (clic, frappe clavier, commande), puis ré-observe pour vérifier le résultat. C’est cette boucle perception-action qui distingue l’agent du modèle.

Le vision agent se distingue des approches classiques d’automatisation par un point fondamental : il n’a pas besoin de connaître la structure interne de ce qu’il manipule. Un script Selenium a besoin des sélecteurs CSS du DOM pour cliquer sur un bouton. Un vision agent voit le bouton sur le screenshot et clique dessus, exactement comme un humain le ferait. Cela le rend résistant aux changements d’interface et capable d’opérer sur n’importe quelle application, y compris les logiciels legacy sans API.

En 2026, les vision agents couvrent deux grandes familles d’applications : l’automatisation d’interfaces graphiques (GUI automation, aussi appelée « computer use ») et l’inspection visuelle dans le monde physique (contrôle qualité industriel, imagerie médicale, surveillance).

Vision agents pour le GUI automation (computer use)

Le principe du computer use

Le computer use est la capacité d’un agent IA à contrôler un ordinateur comme un humain : regarder l’écran (screenshot), décider où cliquer ou quoi taper, exécuter l’action, puis reprendre un screenshot pour voir le résultat. La boucle se répète jusqu’à la complétion de la tâche.

Anthropic a lancé cette catégorie en octobre 2024 avec Claude Computer Use, le premier modèle majeur à offrir un contrôle autonome du bureau. Le fonctionnement : vous donnez une instruction en langage naturel, Claude prend un screenshot, identifie les éléments d’interface, génère les actions nécessaires (clics, frappes clavier), les exécute, puis reprend un screenshot pour vérifier. L’agent continue itérativement jusqu’à accomplir la tâche.

OpenAI a suivi avec Operator (janvier 2025), intégré ensuite directement dans ChatGPT comme « agent mode » (juillet 2025). Sur les benchmarks d’automatisation web début 2026, ChatGPT agent mode atteint environ 87% de taux de succès, contre environ 56% pour Claude Sonnet sur les mêmes tâches. L’écart s’inverse sur les tâches de génie logiciel, où Claude domine.

Les solutions open source

Plusieurs projets open source rivalisent avec les solutions propriétaires :

UI-TARS (ByteDance / Tsinghua, Apache 2.0) est le premier agent GUI open source à égaler ou dépasser les alternatives cloud. Son innovation : la perception purement visuelle. Pas de parsing HTML, pas d’arbre d’accessibilité, pas d’identifiants d’éléments. Le modèle traite les screenshots bruts comme seule entrée et génère des clics et frappes clavier. Disponible en 2B, 7B et 72B paramètres, avec une application Electron pour le contrôle desktop en langage naturel. L’avantage décisif : exécution 100% locale, sans coût par interaction, avec souveraineté complète des données.

ShowUI (Show Lab / NUS + Microsoft, CVPR 2025) introduit un mécanisme de « UI-Guided Token Selection » qui réduit la latence de 60% par rapport aux modèles séquentiels. Le modèle de 2B paramètres ingère un screenshot et une instruction, puis produit directement des actions exécutables (CLICK(x, y), TYPE("texte"), SCROLL(direction)). ShowUI a remporté le Outstanding Paper Award au workshop NeurIPS 2024 sur les agents open-world.

SpiritSight (CVPR 2025) résout le problème fondamental du grounding : localiser précisément les éléments d’interface dans un screenshot. Entraîné sur le dataset GUI-Lasagne (5,73 millions d’échantillons), il surpasse les autres méthodes sur les benchmarks de navigation GUI cross-platform. Disponible en 2B, 8B et 26B paramètres.

ScreenAgent suit une boucle planification-exécution-réflexion : l’agent décompose la tâche en sous-tâches (planification), exécute les actions sur le screenshot via VNC (exécution), puis évalue le résultat pour ajuster sa stratégie (réflexion). Cette capacité d’auto-évaluation le distingue des agents purement réactifs.

Fara-7B (Microsoft, expérimental) est un VLM de 7B paramètres conçu pour l’automatisation desktop locale. Il simule les entrées souris et clavier en observant les screenshots. C’est un prototype de recherche qui annonce la direction de Microsoft : un agent local intégré à Windows pour l’autonomie hors-ligne.

Comparatif des solutions GUI

Cloud vs local : le calcul économique

Le choix entre solutions cloud (Claude Computer Use, ChatGPT Agent Mode) et solutions locales (UI-TARS, ShowUI, Fara-7B) est un calcul économique qui dépend du volume et de la sensibilité des données.

Les solutions cloud offrent la puissance de raisonnement des modèles frontier (GPT-5.4, Claude Opus 4.6) et un déploiement immédiat, mais chaque screenshot envoyé coûte des tokens et traverse des serveurs distants. Pour une entreprise qui traite des données sensibles (bancaire, médical, gouvernemental), envoyer des screenshots de production à une API cloud est souvent un non-starter.

Les solutions locales éliminent le coût par interaction et garantissent la souveraineté des données. UI-TARS, une fois le modèle chargé, n’a aucune dépendance cloud, aucun coût marginal, et aucune donnée qui quitte la machine. Le trade-off : il faut un GPU capable (un modèle 72B exige un GPU de catégorie A100), et les capacités de raisonnement sont inférieures à celles des modèles frontier. Pour beaucoup d’entreprises, un modèle de 7B localement suffit largement pour les tâches GUI routinières, tandis que les tâches complexes sont redirigées vers le cloud.

L’approche hybride est le pattern qui émerge en production : les actions simples et répétitives (remplir un formulaire, naviguer dans un menu) sont traitées localement par un modèle compact, tandis que les décisions complexes (analyser un document, résoudre une ambiguïté) sont envoyées au modèle cloud. Ce routage intelligent réduit les coûts de 70 à 90% par rapport au tout-cloud, tout en maintenant la qualité sur les cas difficiles.

Vision agents pour l’inspection visuelle industrielle

De la machine vision classique au vision agent

L’inspection visuelle automatisée existe depuis des décennies dans l’industrie, mais les systèmes classiques (machine vision « rule-based ») sont rigides : chaque type de défaut doit être prédéfini, chaque variation d’éclairage ou de matériau doit être programmée manuellement. Un changement de produit ou d’environnement exige une reprogrammation complète.

Les vision agents modernes, alimentés par le deep learning, changent la donne. Plutôt que de suivre des règles prédéfinies, ils apprennent ce à quoi ressemble un produit « normal » et signalent tout ce qui dévie de cette norme, même des défauts jamais vus auparavant. C’est l’approche par détection d’anomalies, dominante en 2026.

Le marché de la machine vision est estimé à environ 20 milliards de dollars en 2024, avec une projection dépassant 41 milliards en 2030. Plus de 70% des fabricants prévoient de déployer l’inspection visuelle basée sur l’IA dans les 18 prochains mois, faisant de 2026 un point de bascule pour le secteur.

Le stack technique d’inspection

Un système d’inspection visuelle moderne intègre trois couches :

Imagerie haute résolution : caméras industrielles de 12MP à 45MP capturant plus de 100 unités par seconde, en scan linéaire (pour les matériaux en mouvement continu) ou en area scan (pour les objets stationnaires). L’éclairage structuré (dôme, coaxial, backlight) élimine les reflets et met en valeur les défauts de surface.

IA et deep learning : réseaux de neurones entraînés sur des images de produits conformes (apprentissage non supervisé) ou sur des exemples de défauts étiquetés (apprentissage supervisé). Les systèmes avancés détectent des anomalies sub-10 microns, soit l’échelle d’une bactérie.

Edge AI : en 2026, l’industrie a abandonné le traitement cloud lent au profit de l’edge computing. Le traitement se fait directement sur la ligne de production, avec des latences en millisecondes. Les GPU embarqués (NVIDIA Jetson) et les modèles optimisés permettent des décisions en temps réel sans dépendance réseau.

Acteurs clés de l’inspection visuelle IA

Autres domaines d’application

Imagerie médicale

Les vision agents analysent radiographies, IRM, scanners et images dermatologiques pour assister le diagnostic. Ils détectent des patterns que l’œil humain peut manquer : micro-calcifications sur une mammographie, lésions subtiles sur un scan cérébral, anomalies cellulaires en pathologie. L’agent ne pose pas de diagnostic (responsabilité médicale), mais signale les zones d’attention au praticien et priorise les cas urgents dans la file d’attente.

Retail et visual search

L’utilisateur prend en photo un produit qu’il a vu dans la rue, et le vision agent retrouve des produits similaires dans le catalogue de l’enseigne. La recherche visuelle dépasse la recherche textuelle pour les produits difficiles à décrire (motifs, formes, styles). Les agents de retail combinent vision (image du produit) et langage (préférences de l’utilisateur) pour des recommandations personnalisées.

Compréhension de documents

Les vision agents spécialisés dans les documents (document agents) extraient des données de formulaires, factures, contrats et scans. Claude Opus 4.6 atteint plus de 95% de précision sur l’extraction de formulaires et factures. L’avantage de l’approche vision par rapport à l’OCR classique : le modèle comprend le layout, les relations spatiales entre champs, et le contexte sémantique du document.

Architecture technique d’un vision agent

class VisionAgent:
    """Agent qui perçoit via screenshots et agit via mouse/keyboard."""

    def __init__(self, vlm, screen_capture, input_controller):
        self.vlm = vlm                    # Vision Language Model
        self.screen = screen_capture       # capture d'écran
        self.controller = input_controller # mouse + keyboard
        self.history = []                  # historique des actions

    async def execute_task(self, instruction: str, max_steps: int = 50):
        """Boucle perception-raisonnement-action."""
        for step in range(max_steps):
            # 1. Percevoir : capturer le screenshot
            screenshot = await self.screen.capture()

            # 2. Raisonner : envoyer au VLM avec l'instruction
            response = await self.vlm.generate(
                messages=[
                    {"role": "system", "content": self._system_prompt()},
                    {"role": "user", "content": [
                        {"type": "image", "source": screenshot},
                        {"type": "text", "text": (
                            f"Instruction : {instruction}n"
                            f"Historique : {self.history[-5:]}n"
                            f"Étape {step+1}/{max_steps}. "
                            f"Que faire maintenant ?"
                        )}
                    ]}
                ]
            )

            # 3. Parser l'action
            action = self._parse_action(response)

            if action.type == "DONE":
                return {"success": True, "steps": step + 1}

            # 4. Agir : exécuter l'action
            await self.controller.execute(action)
            self.history.append(action)

            # Pause pour laisser l'UI se mettre à jour
            await asyncio.sleep(0.5)

        return {"success": False, "steps": max_steps}

    def _parse_action(self, response: str):
        """Extraire l'action du response du VLM."""
        # CLICK(x, y), TYPE("text"), SCROLL(up/down), DONE
        # ... parsing logic
        pass

Ce code illustre la boucle fondamentale : capture de screenshot → envoi au VLM avec l’historique → parsing de l’action → exécution → rebouclage. La pause de 500ms entre les actions laisse le temps à l’interface de se mettre à jour avant le prochain screenshot. En production, ajoutez la gestion des erreurs, le timeout par étape, et la vérification visuelle du succès de chaque action.

Défis et limites

Fiabilité sur les tâches longues : les vision agents GUI atteignent 25 à 40% de complétion sur des workflows de 50 étapes en environnement réel, un progrès immense par rapport à 2024 mais encore insuffisant pour remplacer complètement l’humain. Les erreurs se cumulent : une mauvaise interprétation au step 10 peut invalider les 40 étapes suivantes. Un agent qui réussit chaque étape individuelle à 95% n’achève qu’environ 8% des workflows de 50 étapes (0.95^50 ≈ 0.08). C’est pourquoi les benchmarks par étape et par workflow complet donnent des résultats très différents. La recherche sur les mécanismes de récupération (détection d’erreur + retour en arrière) est un axe actif.

Latence du screenshot : chaque boucle perception-action exige un aller-retour : capture d’écran → envoi au modèle (souvent cloud) → réception de l’action → exécution. Pour les solutions cloud, comptez 500ms à 2s par action. Une tâche de 50 étapes prend donc entre 25 secondes et près de 2 minutes, ce qui est acceptable pour l’automatisation de back-office mais trop lent pour des interactions utilisateur temps réel. Les solutions locales (UI-TARS, Fara-7B) réduisent cette latence à quelques centaines de millisecondes mais exigent des GPU puissants.

Coût des tokens visuels : les screenshots haute résolution consomment plusieurs centaines de tokens par frame. Une tâche de 50 étapes coûte entre 0,50$ et 2$ avec Claude Computer Use. Pour des workflows à volume élevé (des milliers de tâches par jour), les modèles open source sur infrastructure propre deviennent économiquement nécessaires. L’optimisation de la résolution (redimensionnement + conversion en niveaux de gris avant envoi) réduit les coûts de 30 à 50%.

Fragilité visuelle : les changements d’interface (popup inattendu, rafraîchissement de page, animation CSS, notification système) peuvent désorienter l’agent. Contrairement à un script basé sur le DOM qui accède aux éléments par identifiant, un vision agent n’a aucun ancrage structurel : si l’écran change entre deux screenshots, le mapping de coordonnées peut échouer. Les agents les plus avancés (ScreenAgent) intègrent une phase de réflexion qui détecte les états inattendus et adapte la stratégie.

Sécurité et gouvernance : un agent qui contrôle souris et clavier de manière autonome est un vecteur de risque significatif. En environnement d’entreprise, le sandboxing (exécution dans un conteneur Docker ou une VM dédiée) est obligatoire. Claude Computer Use recommande de ne jamais le laisser accéder à des données sensibles sans supervision humaine. Pour l’inspection industrielle, les systèmes doivent générer des traces d’audit complètes (chaque image inspectée, chaque décision accept/reject, chaque modèle et version utilisés) pour la conformité réglementaire, particulièrement dans les secteurs pharmaceutique et aéronautique.

Données d’entraînement pour l’inspection : la qualité d’un système d’inspection visuelle dépend directement de la qualité des données d’entraînement. Les défauts rares (qui sont justement ceux qu’on veut détecter) sont par définition sous-représentés dans les datasets. Les approches par données synthétiques et par apprentissage non supervisé (entraîné uniquement sur des pièces conformes) contournent ce problème, mais chacune a ses limites : les données synthétiques peuvent ne pas capturer toute la variabilité réelle, et l’approche non supervisée peut générer des faux positifs sur des variations acceptables.

Verdict

Le vision agent est la catégorie d’agent IA avec l’impact pratique le plus immédiat en 2026. Côté GUI automation, Claude Computer Use et ChatGPT Agent Mode permettent d’automatiser des tâches sur n’importe quelle interface, y compris les applications legacy sans API. Côté inspection industrielle, les systèmes basés sur le deep learning et l’edge AI dépassent largement l’inspection humaine en vitesse, en cohérence et en précision.

Pour l’automatisation GUI, commencez par Claude Computer Use si vous avez besoin de fiabilité sur les tâches de génie logiciel, ou par ChatGPT Agent Mode pour l’automatisation web pure. Pour une exécution locale sans coût par interaction, UI-TARS est le meilleur choix open source. Pour l’inspection visuelle industrielle, Landing AI offre le démarrage le plus rapide (entraînement en heures, pas en semaines).

Le facteur limitant n’est plus le modèle, c’est la fiabilité sur les tâches longues. Un vision agent qui réussit chaque étape à 95% n’achève qu’environ 8% des workflows de 50 étapes. La recherche progresse vite (les taux ont doublé en un an), mais le human-in-the-loop reste indispensable pour les tâches critiques.