Accueil › Glossaire › Runway ML

Runway ML

Runway ML (ou simplement Runway) est une plateforme de création vidéo et d’image par intelligence artificielle fondée en 2018 à New York. Pionnière de la génération vidéo IA avec ses modèles Gen-2, Gen-3 Alpha et Gen-4, Runway permet de créer des vidéos à partir de descriptions textuelles, d’images ou de vidéos existantes, directement depuis un navigateur web. Avec plus de 630 millions de dollars levés et une valorisation de 5,3 milliards début 2026, Runway s’est imposée comme l’une des plateformes de référence pour les cinéastes, créateurs de contenu et studios de production explorant l’IA générative.

Histoire et évolution

Des origines à la génération vidéo

Runway a été fondée en 2018 comme un toolkit de machine learning pour les créatifs. L’entreprise a joué un rôle fondateur dans l’IA générative visuelle : elle a co-développé Stable Diffusion avec le laboratoire CompVis de l’université LMU de Munich et Stability AI en 2022. Mais là où Stability AI a misé sur l’open source, Runway a pivoté vers une plateforme cloud propriétaire centrée sur la vidéo.

Le tournant est venu avec Gen-2, lancé en 2023, qui a démontré pour la première fois qu’un modèle IA pouvait générer des vidéos cohérentes à partir de texte. Gen-3 Alpha (mi-2024) a marqué un saut majeur en fidélité, consistance temporelle et expressivité des personnages humains. Les modèles Gen-4, Gen-4 Turbo, Gen-4.5 et Aleph ont suivi, chacun poussant plus loin les capacités.

Runway a levé plus de 630 millions de dollars, avec un tour en février 2026 valorisant l’entreprise à 5,3 milliards de dollars. L’entreprise est aussi connue pour son « 48-Hour AI Film Challenge », un concours qui illustre les possibilités créatives de la génération vidéo IA.

Les modèles de génération

Gen-3 Alpha

Gen-3 Alpha, lancé en 2024, est le modèle qui a établi Runway comme acteur sérieux de la génération vidéo. Entraîné conjointement sur des vidéos et des images, il alimente les outils text-to-video, image-to-video et text-to-image de la plateforme. Caractéristiques principales :

Qualité : génération de vidéos très détaillées avec des changements de scène complexes, une large gamme de choix cinématiques et des directions artistiques précises. Les personnages humains sont expressifs avec une diversité de gestes et d’émotions.

Contrôles : Motion Brush (contrôle du mouvement zone par zone), Camera Control (direction et intensité du mouvement de caméra), et Keyframes (définition de frames de référence en début, milieu et fin de séquence).

Durée : clips de 5 ou 10 secondes, extensibles jusqu’à environ 20-26 secondes via la fonction d’extension (jusqu’à 3 extensions successives).

Gen-3 Alpha Turbo : variante plus rapide et moins coûteuse (5 crédits/seconde vs 10 pour Alpha), idéale pour l’itération rapide. Supporte les keyframes premier/milieu/dernier et l’extension en clips de 8 secondes.

Gen-4 et Gen-4.5

Gen-4 représente une évolution significative en consistance temporelle : un personnage marchant dans une scène maintient ses proportions et les détails vestimentaires d’une frame à l’autre. Le rendu de texte s’est aussi amélioré, bien qu’il ne soit pas encore fiable pour les interfaces ou les diapositives.

Gen-4 est conçu pour la persistance de personnages et de lieux quand il est guidé par une image d’entrée. Cependant, il ne supporte pas actuellement les keyframes (contrairement à Gen-3 Alpha).

Gen-4.5 pousse la fidélité du text-to-video encore plus loin, mais son coût en crédits élevé signifie que la plupart des utilisateurs le réservent aux rendus finaux plutôt qu’à l’expérimentation.

Aleph est le modèle le plus récent, positionné comme le plus avancé de la gamme pour l’édition et la génération vidéo cinématique.

Autres capacités

Act-Two : modèle de capture de performance qui anime des personnages à partir de mouvements faciaux et corporels.

Lip Sync et Text-to-Speech : synchronisation labiale et génération vocale, avec la possibilité de créer des voix custom sur le plan Pro.

Intégration Veo : Runway intègre aussi les modèles Veo 3 et Veo 3.1 de Google (avec audio), à 40 crédits par seconde.

Génération d’images : Gen-4 Image (1080p, 8 crédits) et Gen-4 Image Turbo (720p/1080p, 2 crédits).

La plateforme Runway

Tout fonctionne dans le navigateur. Aucune installation n’est nécessaire, aucun GPU local requis. L’interface propose des « Generative Sessions » pour la création vidéo/image, un éditeur vidéo intégré avec outils de masquage, correction colorimétrique, compositing et VFX, et un système de projets pour organiser le travail.

La plateforme supporte les prompts en langage naturel dans plusieurs langues, et offre des workspaces collaboratifs avec pools de crédits partagés pour les équipes. Une API est disponible pour les développeurs souhaitant intégrer la génération dans leurs propres produits.

Les limitations actuelles incluent l’absence d’application Android ou iPad (iOS uniquement en mobile), pas de logiciel desktop pour usage hors ligne, et l’impossibilité d’entraîner des modèles custom (le fine-tuning est réservé aux partenaires enterprise).

Pricing et système de crédits

Runway utilise un système de crédits par seconde de vidéo générée. Le coût varie selon le modèle utilisé :

API et intégration développeur

Runway propose une API REST qui permet d’intégrer la génération vidéo dans des produits tiers. Les développeurs peuvent appeler les modèles Gen-3, Gen-4 et Aleph programmatiquement pour automatiser la création de contenu vidéo. L’API utilise le même système de crédits que la plateforme web.

Les cas d’usage API incluent : la génération automatisée de vidéos marketing à partir de fiches produit, l’intégration dans des CMS pour la création de contenu éditorial, et les pipelines de production vidéo où Runway est un maillon d’une chaîne plus large (par exemple, génération de plans concept → revue humaine → production finale).

L’API est aussi disponible sur des plateformes tierces comme ImagineArt et Segmind, qui offrent parfois des tarifs ou des conditions d’utilisation différents de l’accès direct.

Bonnes pratiques de workflow

Maîtriser les coûts sur Runway nécessite une stratégie d’itération en deux phases. La première phase consiste à itérer rapidement avec les modèles Turbo (Gen-3 Alpha Turbo ou Gen-4 Turbo à 5 crédits/seconde) et en résolution standard pour explorer les prompts, les angles de caméra et le mouvement. Une fois la direction créative validée, la seconde phase utilise le modèle premium (Gen-4 ou Aleph) en haute résolution avec upscale 4K pour le rendu final.

Cette approche en deux temps peut réduire le coût total d’un projet de 50 à 70%. Sans cette discipline, il est courant de brûler l’intégralité de son allocation mensuelle en quelques heures d’expérimentation sur les modèles haut de gamme.

Les prompts descriptifs et cinématographiques produisent les meilleurs résultats. Précisez l’angle de caméra, le sujet, la scène, le style et le mouvement. Par exemple : « A close-up portrait of a woman lit by the side, the camera pulls back slowly revealing a dimly lit room » est nettement plus efficace qu’un prompt vague comme « a woman in a room ».

Le lien historique avec Stable Diffusion

Runway a joué un rôle fondamental dans le développement de Stable Diffusion en 2022, aux côtés du laboratoire CompVis et de Stability AI. Les recherches de Runway sur les modèles de diffusion latente ont contribué à l’architecture qui allait révolutionner la génération d’images IA. Cependant, après la publication open source de Stable Diffusion (portée principalement par Stability AI), les chemins ont divergé : Runway s’est concentrée sur la vidéo et le produit cloud propriétaire, tandis que Stability AI a poursuivi la voie open source pour l’image.

Aujourd’hui, les deux entreprises sont des concurrentes indirectes. Stable Video Diffusion (de Stability AI) est le concurrent open source des modèles Gen de Runway, bien que la qualité et les fonctionnalités de Runway restent très en avance pour les usages professionnels.

Cas d’usage

Cinéastes indépendants : création de trailers conceptuels, de plans d’ambiance et de séquences de science-fiction impossibles à tourner avec un budget réel. Le 48-Hour AI Film Challenge de Runway a démontré que des courts métrages entièrement générés par IA atteignent un niveau cinématique impressionnant.

Agences et studios : prévisualisation de spots publicitaires, établissement de plans de référence, et maquettes de produit avant un shooting réel. Le gain de temps est considérable dans les phases de storyboard et de pitch client.

Créateurs de contenu : génération de vidéos courtes pour les réseaux sociaux, clips d’illustration pour des vidéos YouTube, et effets visuels simples sans compétences VFX.

E-commerce : animation de photos produit, création de vidéos de démonstration et de contenus marketing à grande échelle.

Enterprise (via partenariats) : Runway collabore avec des organisations de divertissement et de médias pour créer des versions custom de Gen-3, offrant un contrôle stylistique plus fin sur les personnages et les narratifs.

Positionnement concurrentiel

Le marché de la génération vidéo IA est en pleine explosion, et Runway fait face à une concurrence croissante :

Sora 2 (OpenAI) : produit des clips de 20 secondes avec une meilleure cohérence narrative. Intégré dans ChatGPT pour les plans payants. Plus prédictible en termes de pricing (basé sur les tokens OpenAI plutôt que sur un système de crédits).

Kling 2.6 (Kuaishou) : peut générer jusqu’à 3 minutes de vidéo par génération, bien au-delà des 10 secondes de base de Runway. Fort en contenu cinématique asiatique.

Veo 3.1 (Google) : intégré dans l’écosystème Gemini et Google AI Studio. Disponible aussi via Runway elle-même (intégration Veo).

Pika : clips de 3-10 secondes avec un turnaround rapide et de bons effets créatifs. Positionnement plus accessible.

Stable Video Diffusion (Stability AI) : open source, gratuit en local, mais limité à des clips très courts (<4 secondes) et de qualité inférieure.

L’avantage de Runway est son interface intuitive, ses contrôles créatifs avancés (Motion Brush, Camera Control, Keyframes), et sa maturité produit (éditeur vidéo intégré, collaboration d’équipe). Les faiblesses restent les rendus de visages parfois étranges, les mains qui posent toujours problème (un défi partagé par tous les générateurs vidéo IA en 2026), et un système de crédits qui peut devenir coûteux pour les usages intensifs.

Limites techniques

Malgré les progrès remarquables, la génération vidéo IA présente encore des limites fondamentales que Runway partage avec ses concurrents. Les mouvements complexes de personnages (danse, sport, interactions physiques) produisent parfois du warping. Le rendu de texte lisible dans les vidéos n’est pas fiable. La physique (liquides, tissus, collisions) est approximative. Et les vidéos générées manquent de la cohérence narrative nécessaire pour des séquences longues sans intervention humaine significative.

Runway reste un outil de création assistée, pas un remplacement de la production vidéo traditionnelle. Son usage optimal est la prévisualisation, le concept art animé, les plans d’ambiance et les effets spéciaux ponctuels, intégrés dans un workflow de production plus large.

Sécurité et provenance

Runway intègre les standards de provenance C2PA (Coalition for Content Provenance and Authenticity) pour identifier les contenus générés par IA. Chaque vidéo créée sur la plateforme porte des métadonnées traçables qui permettent de vérifier son origine. Le système de modération visuelle interne filtre les contenus problématiques lors de la génération.

Ces mesures sont de plus en plus importantes dans un contexte où les deepfakes et les contenus synthétiques posent des risques de désinformation. L’EU AI Act exige que les contenus générés par IA soient identifiés dans certains contextes commerciaux et d’intérêt public, ce qui donne un avantage aux plateformes qui intègrent la provenance nativement.

Perspectives et futur de la génération vidéo IA

Le marché de la génération vidéo IA a atteint 614,8 millions de dollars en 2024, avec une projection de 2,56 milliards d’ici 2032 (croissance annuelle d’environ 20%). Runway est bien positionnée pour capturer une part significative de ce marché grâce à sa maturité produit et sa base utilisateurs établie.

Les évolutions attendues incluent la génération de séquences plus longues (au-delà de 20-30 secondes en une seule passe), un meilleur contrôle du mouvement des personnages, la résolution de la « vallée de l’étrange » pour les visages humains, et l’intégration audio native (déjà amorcée avec l’intégration Veo 3.1 et les fonctionnalités Text-to-Speech). L’objectif à long terme est de permettre la production de scènes cinématiques complètes, avec dialogue et mise en scène, directement à partir de scripts textuels.

Pour les professionnels de la vidéo, la question n’est plus de savoir si l’IA transformera la production vidéo, mais à quelle vitesse. Runway, avec sa valorisation de 5,3 milliards de dollars et son avance produit, est l’un des acteurs les mieux placés pour façonner cette transformation.