Accueil › Glossaire › Text-to-3D

Text-to-3D (Génération 3D à partir de Texte)

Le text-to-3D est la tâche de génération automatique de modèles 3D (meshes, NeRF, Gaussian Splatting) à partir de descriptions textuelles en langage naturel. C’est l’équivalent 3D de la génération text-to-image (Stable Diffusion, Midjourney), mais avec une dimension supplémentaire : l’objet généré doit être cohérent vu sous n’importe quel angle, avec une géométrie, des textures et un éclairage réalistes.

Le défi fondamental

La génération text-to-image a explosé grâce aux modèles de diffusion entraînés sur des milliards de paires image-texte. Transposer cette approche à la 3D semble naturel, mais se heurte à deux obstacles majeurs.

Pas de données 3D à grande échelle. Les datasets de paires texte-3D sont minuscules comparés aux datasets texte-image. Objaverse (~800 000 objets 3D) est le plus grand dataset public, mais c’est des ordres de grandeur en dessous des milliards de paires utilisées pour DALL-E ou Stable Diffusion. Entraîner un modèle de diffusion 3D nativement sur ces données ne suffit pas pour obtenir la qualité et la diversité des modèles 2D.

Pas d’architecture efficace pour la diffusion 3D. Les modèles de diffusion 2D débruitent des images (grilles de pixels régulières). Les données 3D sont plus complexes : nuages de points, meshes (graphes irréguliers), volumes (voxels cubiques). Concevoir une architecture de débruitage efficace pour ces représentations est un problème ouvert.

DreamFusion (Google, 2022) a contourné élégamment ces deux obstacles en utilisant un modèle de diffusion 2D pré-entraîné comme « professeur » pour guider l’optimisation d’un modèle 3D, sans aucune donnée 3D annotée.

DreamFusion et le Score Distillation Sampling

DreamFusion (Poole et al., 2022) est le travail fondateur du text-to-3D moderne. Son principe : plutôt que d’entraîner un modèle de diffusion 3D (ce qui nécessiterait des données 3D massives), utiliser un modèle de diffusion 2D (Imagen) comme source de supervision pour optimiser un NeRF (Neural Radiance Field).

Le processus fonctionne ainsi :

1. Initialiser un NeRF aléatoire (la scène 3D est du bruit).

2. Rendre le NeRF sous un angle de caméra aléatoire pour obtenir une image 2D.

3. Ajouter du bruit à cette image, puis demander au modèle de diffusion 2D de la débruiter, conditionné sur le prompt textuel (ex: « a hamburger »).

4. Calculer la différence entre l’image rendue et l’image débruitée. Cette différence indique « dans quelle direction » le NeRF doit être modifié pour ressembler davantage à ce que le modèle de diffusion « imagine » pour ce prompt.

5. Rétropropager ce gradient dans le NeRF pour l’optimiser.

6. Répéter pour des milliers d’angles de caméra différents.

Ce mécanisme est appelé Score Distillation Sampling (SDS). Il « distille » les connaissances du modèle de diffusion 2D dans la représentation 3D. Le NeRF converge vers une scène 3D dont les rendus 2D, vus sous tous les angles, sont jugés réalistes par le modèle de diffusion.

L’évolution des méthodes

Améliorations de SDS

Magic3D (NVIDIA, 2022). Utilise un processus en deux étapes : d’abord une optimisation basse résolution avec SDS sur un NeRF, puis un raffinement haute résolution sur un mesh texturé. Résultat : des modèles 3D de meilleure qualité en 40 minutes (vs. 1,5 heure pour DreamFusion).

ProlificDreamer (2023). Remplace SDS par VSD (Variational Score Distillation), qui modélise une distribution de scènes 3D plutôt qu’un seul point. Cela produit des textures plus détaillées et réduit les artefacts de sur-saturation typiques de SDS.

MVDream (2023). Entraîne un modèle de diffusion multi-vues qui génère simultanément des images sous 4 angles cohérents, améliorant la cohérence 3D et réduisant le problème Janus (un objet avec deux faces identiques, comme un personnage avec deux visages).

Approches feedforward (génération directe)

Les méthodes SDS optimisent un NeRF par scène pendant des dizaines de minutes. Les approches feedforward produisent un modèle 3D en une seule passe du réseau, en quelques secondes.

Instant3D (2023). Un réseau qui construit directement un triplane 3D à partir d’un prompt textuel, en moins d’une seconde. Utilise cross-attention, injection de style et transformation token-to-plane pour conditionner la sortie 3D sur le texte.

TRELLIS.2 (Microsoft). Modèle DiT (Diffusion Transformer) de 4 milliards de paramètres qui génère des assets 3D avec matériaux PBR (Physically Based Rendering) et textures 4K. Génération en 20 secondes à 4 minutes selon la résolution.

Hunyuan 3D (Tencent). Modèle open source capable de text-to-3D et image-to-3D, avec séparation automatique des parties (bras, jambes, roues) pour faciliter le rigging et l’animation.

Image-to-3D : un chemin alternatif

Plutôt que de passer directement du texte à la 3D, beaucoup de systèmes actuels passent par une étape intermédiaire : text → image 2D → modèle 3D. Le texte est d’abord converti en une ou plusieurs images 2D via un modèle de diffusion, puis ces images sont « soulevées » en 3D par un modèle de reconstruction (Zero-1-to-3, One-2-3-45, TripoSR). Cette approche en pipeline est souvent plus robuste que le text-to-3D direct.

Outils et plateformes commerciales

Le text-to-3D est passé de la recherche académique aux produits commerciaux utilisables. Voici les principales plateformes disponibles.

Les représentations 3D utilisées

Les modèles text-to-3D peuvent produire différentes représentations 3D, chacune avec ses avantages :

NeRF (Neural Radiance Field). Représentation implicite qui encode la scène comme une fonction continue (coordonnée 3D → couleur + densité). Très réaliste pour le rendu, mais difficile à éditer et incompatible avec les pipelines 3D classiques. Utilisé par DreamFusion.

Gaussian Splatting. Représente la scène comme des millions de gaussiennes 3D. Rendu très rapide et qualité élevée. DreamGaussian et GaussianDreamer l’utilisent comme alternative au NeRF pour le text-to-3D.

Mesh. Représentation classique de la 3D (sommets + faces). Compatible avec tous les logiciels 3D (Blender, Unity, Unreal). Les outils commerciaux (Meshy, Rodin) produisent des meshes avec textures UV et matériaux PBR, directement utilisables en production.

Triplane. Représentation intermédiaire qui encode la 3D via trois plans 2D orthogonaux. Efficace pour les réseaux feedforward qui doivent produire une sortie 3D rapidement (Instant3D, TRELLIS).

Nuage de points. Ensemble de points 3D avec coordonnées et attributs. Moins utilisé en text-to-3D mais présent dans certains pipelines de reconstruction.

Applications

Jeux vidéo et métavers. Générer rapidement des assets 3D (props, environnements, personnages) pour peupler des mondes virtuels. Un artiste peut décrire un objet en texte et obtenir un modèle 3D éditable en quelques secondes, accélérant considérablement le pipeline de création.

E-commerce et visualisation produit. Créer des modèles 3D de produits pour les configurateurs en ligne, la réalité augmentée (AR) et les visualisations interactives, à partir de simples descriptions textuelles ou de photos de produits.

Architecture et design d’intérieur. Prototypage rapide de mobilier, d’éléments décoratifs et de concepts architecturaux. Le text-to-3D permet aux designers de matérialiser des idées instantanément.

Impression 3D. Générer des modèles STL imprimables à partir de descriptions textuelles. Des pipelines complets (texte → modèle 3D → réparation mesh → export STL) sont disponibles via les API commerciales.

Cinéma et effets visuels. Pré-visualisation rapide de scènes et d’accessoires. Les modèles générés ne remplacent pas le travail d’artiste final mais accélèrent les phases de conception et d’itération.

Le pipeline text-to-3D en pratique

En production, le text-to-3D s’inscrit dans un workflow plus large qui va du prompt textuel au modèle 3D exploitable. Voici les étapes typiques.

1. Rédaction du prompt. Comme pour la génération d’images, la qualité du prompt détermine largement le résultat. Les prompts efficaces spécifient le sujet, les matériaux, le style et les proportions. « A low-poly medieval sword with a golden hilt and a blue gem on the pommel » donnera de meilleurs résultats que simplement « sword ».

2. Génération du modèle brut. Le modèle text-to-3D produit une géométrie avec des textures. Le temps de génération varie de 0,5 seconde (SF3D) à plusieurs minutes (Hunyuan 3D, TRELLIS.2) selon la qualité cible.

3. Post-traitement. Le modèle brut nécessite presque toujours un nettoyage : réparation du mesh (trous, faces inversées), optimisation de la topologie (réduction du nombre de polygones), application ou correction des matériaux PBR (albedo, normal map, roughness, metallic). Des outils comme les API de mesh repair ou Blender automatisent partiellement cette étape.

4. Retexturing (optionnel). Si les textures générées ne sont pas satisfaisantes, des outils de retexturing IA permettent d’appliquer de nouvelles textures à partir d’un prompt textuel ou d’une image de référence, sans modifier la géométrie.

5. Export et intégration. Le modèle final est exporté dans le format requis par l’application cible : GLB/GLTF pour le web et la réalité augmentée, FBX pour Unity et Unreal Engine, STL pour l’impression 3D, USDZ pour les applications Apple.

État de l’art en 2026

Le text-to-3D a considérablement mûri. Le marché est estimé à 2,47 milliards de dollars en 2025 avec une projection à 7,21 milliards en 2029. Plusieurs tendances se dessinent.

Les modèles à très grande échelle dominent. Rodin Gen-2 (10 milliards de paramètres) produit des résultats nettement supérieurs aux modèles plus petits. La tendance au scaling, observée en NLP et en génération d’images, s’applique aussi à la 3D.

La génération par parties (part-aware). Hunyuan 3D et PartCrafter génèrent des objets 3D avec une décomposition sémantique automatique (bras, jambes, roues séparés). Cela facilite le rigging, l’animation et l’édition post-génération.

Les matériaux PBR deviennent standard. Les meilleurs modèles produisent des textures PBR complètes (albedo, normal, roughness, metallic) plutôt que de simples couleurs. Ces matériaux réagissent correctement à l’éclairage dans les moteurs de jeu.

Le multi-modèle est la stratégie gagnante. Chaque modèle text-to-3D a des forces et faiblesses différentes. Les plateformes agrégateurs qui permettent de tester le même prompt sur plusieurs modèles (Meshy, Rodin, Tripo) et de choisir le meilleur résultat offrent la meilleure qualité effective.

Limites actuelles

Le problème Janus. Les modèles basés sur SDS tendent à produire des objets avec des détails dupliqués (un personnage avec deux visages, un animal avec deux têtes). Cela vient du fait que le modèle de diffusion 2D n’a pas de notion de cohérence 3D entre les vues. MVDream et les modèles multi-vues atténuent ce problème.

Qualité des textures. Les textures générées sont souvent floues, sur-saturées ou incohérentes entre les faces du modèle. Les meilleurs outils commerciaux (Rodin Gen-2 avec ses textures 4K) progressent rapidement, mais n’atteignent pas encore la qualité d’un travail d’artiste.

Géométrie approximative. Les détails géométriques fins (doigts, ornements, textes gravés) restent difficiles à reproduire. La plupart des modèles générés nécessitent un nettoyage manuel dans un logiciel de modélisation.

Contrôle limité. Le texte seul est un moyen de contrôle grossier pour la 3D. Il est difficile de spécifier des proportions précises, des poses exactes ou des détails architecturaux par du texte. Les approches hybrides (texte + image de référence + contraintes géométriques) offrent plus de contrôle.

Temps de génération variable. Les méthodes SDS nécessitent 30 minutes à 2 heures par objet. Les modèles feedforward (Instant3D, SF3D) descendent sous la seconde mais avec une qualité réduite. Le compromis vitesse/qualité reste un défi.