Accueil > Glossaire > Modele de Diffusion

Modele de Diffusion

Principe fondamental

Le modele de diffusion repose sur deux processus symetriques. Le processus forward (diffusion) ajoute progressivement du bruit gaussien a une image reelle, sur T etapes (typiquement T = 1000), jusqu’a obtenir du bruit pur. Le processus reverse (debruitage) est un reseau de neurones entraine a inverser chaque etape : il predit le bruit ajoute et le retire, reconstituant progressivement une image nette a partir de bruit aleatoire.

Concretement, a chaque etape t, le modele recoit une image bruitee x_t et predit le bruit epsilon qui a ete ajoute. La fonction de perte est simplement l’erreur quadratique moyenne (MSE) entre le bruit reel et le bruit predit. Cette simplicite d’entrainement contraste avec la complexite des GANs et explique en grande partie le succes des modeles de diffusion.

L’architecture la plus courante pour le reseau de debruitage est un U-Net augmente de mecanismes d’attention (souvent de la self-attention et de la cross-attention pour le conditionnement textuel). Des variantes plus recentes utilisent des architectures Transformer pures (DiT, Diffusion Transformer), comme dans DALL-E 3 et Flux.

DDPM : Denoising Diffusion Probabilistic Models

Le papier fondateur de Ho, Jain et Abbeel (2020) a pose les bases modernes des modeles de diffusion sous le nom DDPM. Le processus est formalise comme une chaine de Markov : chaque etape forward q(x_t | x_{t-1}) ajoute un peu de bruit selon un schedule predetermine (lineaire, cosinus, etc.), et le modele apprend la distribution reverse p_theta(x_{t-1} | x_t).

La contribution de DDPM etait de montrer qu’un objectif simplifie (prediction du bruit epsilon) suffisait pour obtenir des images de haute qualite, comparable aux GANs de l’epoque, sans les problemes d’instabilite d’entrainement. Le schedule de bruit (comment le bruit augmente a chaque etape) est un hyperparametre critique : un schedule cosinus produit generalement de meilleurs resultats qu’un schedule lineaire.

Approche score-based et SDEs

Parallelement aux DDPM, Song et Ermon ont developpe les Score-Based Generative Models (NCSN), qui apprennent le gradient du log-vraisemblance (le « score ») de la distribution des donnees bruitees a differents niveaux de bruit. Song, Sohl-Dickstein et al. ont ensuite unifie les deux approches dans un cadre base sur les equations differentielles stochastiques (SDEs).

Dans ce cadre unifie, le processus forward est decrit par une SDE continue, et le processus reverse par la SDE reverse correspondante. Le reseau de neurones apprend la fonction de score, qui guide le processus de debruitage. Cette unification a permis de developper des solveurs plus rapides (probability flow ODE) et de mieux comprendre la theorie sous-jacente.

En pratique, DDPM et les modeles score-based sont mathematiquement equivalents : un reseau entraine avec l’objectif DDPM peut etre utilise comme estimateur de score, et inversement. La distinction est principalement conceptuelle et notationelle.

Echantillonnage accelere

L’un des defauts majeurs des modeles de diffusion est la lenteur de l’inference. Un DDPM standard necessite typiquement 1000 etapes de debruitage pour generer une image. Plusieurs techniques accelerent ce processus.

DDIM (Denoising Diffusion Implicit Models), propose par Song et al. en 2021, reformule le processus de debruitage comme un processus deterministe (non markovien), permettant de sauter des etapes et de generer des images en 50 a 100 etapes seulement, avec une perte de qualite minimale.

Les solveurs ODE comme DPM-Solver et DPM-Solver++ exploitent la structure mathematique du processus pour reduire le nombre d’etapes a 10-25 tout en maintenant la qualite. Ce sont les solveurs utilises par defaut dans la plupart des implementations actuelles comme Stable Diffusion.

La distillation de modeles (consistency models, progressive distillation) permet d’entrainer un modele qui genere en 1 a 4 etapes. Latent Consistency Models (LCM) et SDXL Turbo sont des exemples concrets de cette approche, rendant la generation quasi-temps-reel possible.

Diffusion dans l’espace latent

Un avancement technique majeur est la Latent Diffusion (Rombach et al., 2022), qui effectue le processus de diffusion dans un espace latent compresse plutot que dans l’espace pixel. Un autoencoder (concretement un VAE) encode l’image en une representation latente de taille reduite, le modele de diffusion opere dans cet espace, puis le decodeur du VAE reconstruit l’image finale.

Cette approche reduit considerablement le cout computationnel : l’espace latent est typiquement 48x plus petit que l’espace pixel (par exemple, une image 512x512x3 est compresse en 64x64x4). C’est la base de Stable Diffusion, et cette technique est devenue le standard de l’industrie.

Conditionnement et guidage

Les modeles de diffusion sont particulierement flexibles pour le conditionnement. Le Classifier-Free Guidance (CFG), propose par Ho et Salimans, est la methode dominante. Pendant l’entrainement, le conditionnement (typiquement un prompt texte encode par un modele de type CLIP ou T5) est aleatoirement ignore avec une certaine probabilite. A l’inference, le modele genere simultanement une prediction conditionnelle et une prediction inconditionnelle, et la sortie finale interpole entre les deux avec un parametre de guidage (guidance scale).

Un guidance scale plus eleve (typiquement entre 7 et 15) produit des images plus fideles au prompt mais potentiellement moins naturelles. Un scale trop eleve provoque des artefacts de sur-saturation. Ce parametre est expose dans toutes les interfaces de generation d’images comme ComfyUI ou Automatic1111.

Au-dela du texte, le conditionnement peut inclure des images (pour l’img2img, l’inpainting), des poses humaines, des cartes de profondeur ou des contours (ControlNet). Cette flexibilite est un avantage majeur par rapport aux GANs.

Implementations phares en 2026

Diffusion vs GAN : pourquoi la diffusion a gagne

Les modeles de diffusion ont largement supplante les GANs comme methode de reference pour la generation d’images depuis 2022. Plusieurs raisons expliquent ce basculement.

La stabilite d’entrainement est un facteur determinant : les GANs souffrent de mode collapse (le generateur produit toujours les memes types d’images) et necessitent un equilibrage delicat entre generateur et discriminateur. Les modeles de diffusion s’entrainent avec un simple objectif MSE, sans dynamique adversariale.

La couverture de modes signifie que les modeles de diffusion capturent toute la diversite des donnees d’entrainement, la ou les GANs tendent a ignorer certains modes de la distribution. La qualite et la diversite des echantillons sont superieures a qualite d’entrainement equivalente.

La flexibilite de conditionnement via le classifier-free guidance et les mecanismes d’attention croisee permet un controle beaucoup plus fin de la generation qu’avec un GAN conditionnel.

Cela dit, les GANs restent pertinents pour des cas specifiques comme la generation temps-reel (StyleGAN), le super-resolution rapide, ou les applications ou la vitesse d’inference est critique.

Au-dela des images

Les modeles de diffusion se sont etendus a d’autres domaines. En generation video, Sora (OpenAI), Runway Gen-3, Veo 3.1 (Google) et Kling utilisent des architectures de diffusion adaptees aux sequences temporelles, generalement avec des Transformers spatiotemporels.

En generation audio, des modeles comme AudioLDM et Stable Audio appliquent la diffusion latente aux spectrogrammes mel pour generer de la musique et des effets sonores. En synthese vocale, des modeles comme Grad-TTS et Diff-TTS utilisent la diffusion pour produire du speech de haute qualite.

En generation 3D, des approches comme DreamFusion et Magic3D utilisent des modeles de diffusion 2D pre-entraines comme superviseurs (via Score Distillation Sampling) pour generer des objets 3D a partir de descriptions textuelles.

En biologie computationnelle, les modeles de diffusion sont utilises pour la generation de structures proteiques (RFdiffusion) et la conception de molecules, constituant une avancee significative dans la decouverte de medicaments.

Aspects techniques cles

Schedule de bruit

Le schedule de bruit definit comment la variance du bruit augmente au fil des etapes. Le schedule lineaire original de DDPM augmente beta_t lineairement de 0.0001 a 0.02. Le schedule cosinus (Nichol et Dhariwal, 2021) suit une fonction cosinus, preservant mieux l’information dans les etapes intermediaires et produisant de meilleurs resultats sur les images basse resolution.

Architecture U-Net vs Transformer

Le U-Net classique (avec residual blocks et attention layers) reste largement utilise, mais la tendance va vers les Diffusion Transformers (DiT). L’architecture DiT remplace le U-Net par un Transformer pur avec patching, ce qui scale mieux avec la taille du modele et la resolution. Flux et les versions recentes de Stable Diffusion (SD3) utilisent des architectures de type MM-DiT (Multi-Modal DiT).

Flow Matching

Le Flow Matching (Lipman et al., 2023) est une reformulation du processus de diffusion utilisant des flux de probabilite rectilignes plutot que des processus stochastiques. Cette approche simplifie l’entrainement et produit des trajectoires plus directes, permettant un sampling plus rapide. Stable Diffusion 3 et Flux utilisent le Flow Matching.

Limites actuelles

Malgre leurs succes, les modeles de diffusion presentent plusieurs limites. La vitesse d’inference reste inferieure aux GANs meme avec les techniques d’acceleration. La generation de texte dans les images, bien qu’amelioree avec Flux et Ideogram, reste un defi. La generation de mains, de doigts et d’anatomie complexe produit encore regulierement des artefacts, bien que les modeles les plus recents aient fortement progresse.

Le cout d’entrainement est considerable : entrainer un modele de diffusion a l’echelle de Stable Diffusion necessite des centaines de milliers de dollars en GPU. L’inference est egalement plus couteuse que pour un GAN, ce qui impacte le cout par image pour les services commerciaux.

Les questions de droit d’auteur concernant les donnees d’entrainement font l’objet de nombreux debats juridiques. Des datasets comme LAION-5B, utilises pour entrainer Stable Diffusion, contiennent des images protegees par le droit d’auteur, suscitant des poursuites judiciaires en cours en 2026.