Accueil › Stable Diffusion › ComfyUI

ComfyUI : guide complet de l’interface à nœuds

ComfyUI est une interface graphique open-source à nœuds (node-based) pour Stable Diffusion et les modèles de diffusion. Vous construisez visuellement votre pipeline de génération d’images en connectant des blocs fonctionnels. C’est l’interface la plus puissante et la plus flexible de l’écosystème, utilisée par la majorité des utilisateurs avancés et professionnels.

Le concept : pourquoi des nœuds ?

Dans une interface classique comme Automatic1111, vous remplissez des champs (prompt, paramètres, modèle) et cliquez sur « Generate ». Le processus interne est masqué. ComfyUI expose chaque étape de ce processus sous forme de nœud visuel que vous pouvez réarranger, dupliquer, modifier ou remplacer.

Chaque nœud représente une opération : charger un modèle, encoder un prompt, configurer un sampler, décoder une image latente, appliquer un LoRA, utiliser ControlNet. Les connexions (edges) entre les nœuds définissent le flux de données. L’ensemble forme un graphe acyclique dirigé (DAG).

Les avantages concrets de cette approche : la modularité (échangez un sampler ou un modèle sans toucher au reste), la reproductibilité (sauvegardez et partagez des workflows en JSON), la transparence (visualisez exactement ce qui se passe à chaque étape), l’efficacité (ComfyUI ne ré-exécute que les nœuds qui ont changé entre deux générations), et l’extensibilité (plus de 1 000 packages de nœuds communautaires).

Si vous avez utilisé des outils comme Blender (shader nodes), Unreal Engine (blueprints), ou Nuke (compositing), l’interface vous sera familière. Sinon, il y a une courbe d’apprentissage, mais elle est moins raide qu’elle n’y paraît.

Installation

Windows (méthode simple)

ComfyUI propose un installeur portable pour Windows qui inclut tout le nécessaire :

1. Téléchargez le package portable depuis la page Releases du dépôt GitHub.

2. Décompressez l’archive dans un dossier de votre choix.

3. Lancez run_nvidia_gpu.bat (NVIDIA) ou run_cpu.bat (CPU uniquement).

4. Le serveur démarre et ouvre automatiquement http://127.0.0.1:8188 dans votre navigateur.

5. Placez vos modèles (.safetensors) dans ComfyUI/models/checkpoints/, vos LoRA dans ComfyUI/models/loras/, et vos VAE dans ComfyUI/models/vae/.

Installation via comfy-cli (toutes plateformes)

Pour les utilisateurs avancés, comfy-cli est un outil en ligne de commande qui simplifie l’installation et la gestion :

pip install comfy-cli
comfy install

Fonctionne sur Windows, Linux et macOS. Gère automatiquement les dépendances Python et PyTorch.

macOS (Apple Silicon)

Les Mac M1/M2/M3/M4 sont supportés via MPS (Metal Performance Shaders). Clonez le dépôt, installez les dépendances via pip (PyTorch avec support MPS), et lancez python main.py. Les performances sont inférieures aux GPU NVIDIA dédiés mais largement utilisables, surtout sur les Mac avec 16 Go de mémoire unifiée ou plus.

Cloud

Si votre matériel local ne suffit pas, des services cloud proposent ComfyUI préconfiguré : ThinkDiffusion (service managé avec ComfyUI intégré), RunPod (templates ComfyUI disponibles), et Google Colab (notebooks communautaires).

Les nœuds essentiels

Un workflow ComfyUI de base (text-to-image) utilise cinq nœuds fondamentaux, connectés de gauche à droite :

Ces six nœuds couvrent 90 % des usages basiques. Tout le reste est de la spécialisation : LoRA (nœud Load LoRA entre le Checkpoint et le Sampler), ControlNet (nœuds dédiés pour le guidage par pose/contour), upscaling (nœuds Upscale Latent ou Upscale Image), inpainting (nœuds de masque et InpaintModelConditioning).

Construire votre premier workflow

Au premier lancement, ComfyUI affiche un workflow text-to-image par défaut. Si l’écran est vide, cliquez sur l’icône « Workflows » dans la barre latérale gauche, puis « Browse template » et sélectionnez « Image Generation ».

1. Dans le nœud Load Checkpoint, sélectionnez votre modèle (SDXL, SD 1.5, ou tout modèle placé dans le bon dossier).

2. Dans le nœud CLIP Text Encode (Prompt), tapez votre description. Dans le nœud négatif, tapez ce que vous voulez exclure.

3. Dans le nœud KSampler, réglez les paramètres : sampler (DPM++ 2M Karras recommandé), steps (20-30), CFG scale (4-7 pour SDXL, 7-12 pour SD 1.5), et la résolution dans le nœud Empty Latent Image (1024×1024 pour SDXL, 512×512 pour SD 1.5).

4. Cliquez sur « Queue Prompt » (ou Ctrl+Entrée) pour lancer la génération.

L’image apparaît dans le nœud Save Image en 10 à 60 secondes selon votre GPU. Si vous modifiez uniquement le prompt et relancez, ComfyUI ne ré-exécute que les nœuds affectés (CLIP Encode, KSampler, VAE Decode), pas le chargement du modèle. C’est l’un des grands avantages de performances de ComfyUI.

ComfyUI vs Automatic1111/Forge

Verdict : si vous débutez dans Stable Diffusion, commencez avec Forge (fork optimisé d’A1111) pour apprendre les bases. Une fois à l’aise avec les concepts (samplers, CFG, LoRA, ControlNet), migrez vers ComfyUI pour le contrôle et la flexibilité. La plupart des utilisateurs professionnels de Stable Diffusion ont fait cette transition. Pour les modèles récents comme Flux, ComfyUI est souvent le seul choix viable en local.

L’écosystème des custom nodes

La communauté ComfyUI a créé plus de 1 000 packages de nœuds personnalisés qui étendent les fonctionnalités de base. L’outil ComfyUI Manager (à installer comme extension) permet de découvrir, installer et gérer ces packages directement depuis l’interface.

Catégories de custom nodes les plus populaires :

ControlNet / Guidage. Nœuds pour le contrôle par pose (OpenPose), contour (Canny), profondeur (Depth), et segmentation. Essentiels pour le contrôle précis de la composition.

IP-Adapter. Transfert de style et de contenu à partir d’images de référence, similaire au Style Reference de Midjourney mais avec plus de contrôle.

AnimateDiff / Vidéo. Génération de vidéos par animation de frames. Permet de créer des clips courts à partir de prompts.

Upscaling. Nœuds pour le super-résolution (ESRGAN, SwinIR, etc.) intégrés dans le workflow.

Face Restore. CodeFormer, GFPGAN pour la correction automatique des visages déformés.

WAS Suite. Collection étendue de nœuds utilitaires (manipulation d’images, masques, texte, etc.).

Efficiency Nodes. Nœuds combinés qui regroupent plusieurs opérations en un seul bloc pour simplifier les workflows.

Pour installer ComfyUI Manager (fortement recommandé) : ouvrez un terminal dans le dossier ComfyUI/custom_nodes/, exécutez git clone https://github.com/ltdrdata/ComfyUI-Manager.git, puis redémarrez ComfyUI. Un bouton « Manager » apparaît dans l’interface, donnant accès à un catalogue de nœuds installables en un clic.

Structure des dossiers

Comprendre l’organisation des fichiers ComfyUI est essentiel pour gérer vos modèles et éviter les erreurs « modèle introuvable » :

ComfyUI/
├── models/
│   ├── checkpoints/     ← Modèles principaux (.safetensors)
│   ├── loras/           ← Fichiers LoRA
│   ├── vae/             ← VAE spécifiques
│   ├── controlnet/      ← Modèles ControlNet
│   ├── upscale_models/  ← Modèles d'upscaling (ESRGAN, etc.)
│   ├── embeddings/      ← Embeddings textuels
│   └── clip/            ← Modèles CLIP (pour Flux notamment)
├── custom_nodes/        ← Extensions et nœuds personnalisés
├── input/               ← Images d'entrée pour img2img/inpainting
├── output/              ← Images générées
└── main.py              ← Point d'entrée

Si vous migrez depuis A1111, vous pouvez créer des liens symboliques vers vos dossiers de modèles existants au lieu de dupliquer les fichiers (qui pèsent plusieurs Go chacun). Sous Windows, utilisez mklink /D, sous Linux/Mac ln -s.

Conseils pour les débutants ComfyUI

Commencez par les templates. Ne partez pas d’un canvas vide. Chargez les workflows templates intégrés (Image Generation, Image-to-Image) et modifiez-les progressivement. C’est la façon la plus efficace d’apprendre comment les nœuds interagissent.

Glissez-déposez des PNG. Quand vous voyez un résultat impressionnant en ligne, le PNG créé avec ComfyUI contient souvent le workflow complet en métadonnées. Glissez-le sur l’interface pour récupérer tout le pipeline et l’étudier.

Un nœud à la fois. Quand vous construisez un workflow, ajoutez un nœud, testez, puis ajoutez le suivant. Construire un pipeline complexe d’un coup et débuguer est frustrant. L’approche incrémentale est bien plus productive.

Groupez vos nœuds. Clic droit sur le canvas, « New Group » pour regrouper des nœuds liés. Nommez les groupes (« Prompt », « Sampler », « Post-Processing »). Cela maintient la lisibilité même dans les workflows complexes.

Le nœud Reroute. Quand vos connexions deviennent un plat de spaghetti, ajoutez des nœuds Reroute pour organiser visuellement les câbles. Ils ne font rien fonctionnellement mais améliorent la lisibilité.

Promptez différemment. Contrairement à Midjourney qui comprend le langage naturel, Stable Diffusion (via ComfyUI) réagit mieux aux mots-clés pondérés qu’aux phrases narratives. Structurez vos prompts comme des listes de descripteurs : portrait, young woman, red hair, freckles, natural lighting, 85mm, bokeh, detailed skin texture. Utilisez la syntaxe (mot:1.3) pour augmenter le poids d’un terme.

Ressources pour aller plus loin

L’écosystème ComfyUI est riche en ressources d’apprentissage :

Workflows partagés. Le dépôt ComfyUI_Workflows sur GitHub propose des workflows bien documentés organisés par catégorie (text-to-image, img2img, ControlNet, upscaling, inpainting). C’est la meilleure ressource d’apprentissage structurée.

Communauté. r/comfyui sur Reddit et le serveur Discord ComfyUI sont les deux points de rencontre principaux. Les utilisateurs y partagent des workflows, des solutions aux problèmes, et des découvertes de custom nodes.

Civitai. Au-delà des modèles et LoRA, Civitai héberge de plus en plus de workflows ComfyUI partagés par la communauté, souvent accompagnés d’exemples d’images et de paramètres recommandés.

Tutoriels vidéo. Les chaînes YouTube Sebastian Kamph, Aitrepreneur, et Olivio Sarikas proposent des tutoriels ComfyUI détaillés, des débutants aux workflows avancés. La chaîne officielle ComfyUI publie aussi régulièrement des démonstrations des nouvelles fonctionnalités et des custom nodes populaires.

Pour l’installation complète de Stable Diffusion (prérequis matériels, Python, GPU), consultez notre guide dédié. Et pour comprendre les différences avec l’interface classique, consultez notre page Automatic1111.

Workflows avancés

La puissance de ComfyUI apparaît dans les workflows complexes impossibles à réaliser dans A1111 :

SDXL avec refiner. Deux passes de génération : le modèle de base génère l’image en basse résolution, puis le modèle refiner améliore les détails et les textures. Deux nœuds KSampler chaînés avec des modèles différents.

Multi-LoRA stacking. Appliquez plusieurs LoRA simultanément avec des poids différents pour combiner des styles. Chaînez les nœuds Load LoRA en séquence.

ControlNet multi-guidage. Combinez pose + contour + profondeur dans un même workflow pour un contrôle maximal de la composition. Chaque guidage a son propre nœud ControlNet avec un poids ajustable.

Upscale progressif. Générez en basse résolution, puis upscalez en plusieurs passes avec des nœuds KSampler intermédiaires (Hires Fix avancé). Permet d’atteindre des résolutions très élevées sans exploser la VRAM.

Batch avec variations. Utilisez des nœuds de permutation pour générer automatiquement des séries d’images avec des variations de prompt, de seed, de style ou de modèle.

Optimisations de performance

ComfyUI est déjà optimisé par défaut (ré-exécution partielle, gestion mémoire intelligente), mais quelques ajustements améliorent encore les performances :

Modèles en fp16/bf16. Utilisez les versions half-precision des modèles quand c’est possible. Cela réduit la consommation VRAM de moitié avec un impact minimal sur la qualité.

xformers / SDP attention. Activé par défaut sur la plupart des configurations. Réduit la consommation mémoire des mécanismes d’attention de 20 à 30 %.

Model offloading. Pour les GPU à faible VRAM, activez --lowvram au lancement. ComfyUI décharge intelligemment les parties du modèle vers la RAM système entre les étapes.

Batch size 1. Générez une image à la fois pour minimiser la VRAM utilisée. Utilisez le nœud Repeat Latent Batch seulement si votre VRAM le permet.

Résolution native, puis upscale. Générez à la résolution native du modèle (1024×1024 pour SDXL), puis upscalez via des nœuds dédiés au lieu de générer directement en haute résolution.