Accueil › Glossaire › Face Swap

Face Swap : remplacer un visage par un autre grâce à l’IA

Le face swap (échange de visage) est une technique d’intelligence artificielle qui remplace le visage d’une personne dans une image ou une vidéo par celui d’une autre personne, en adaptant automatiquement l’éclairage, l’angle, l’expression et la texture de peau pour produire un résultat visuellement réaliste.

Qu’est-ce que le face swap ?

Le face swap consiste à prendre le visage d’une personne (la « source ») et à le transplanter sur le corps d’une autre personne (la « cible ») dans une image ou une vidéo. Le modèle IA doit accomplir plusieurs tâches simultanément : détecter et segmenter les visages, extraire les caractéristiques identitaires de la source, adapter ces caractéristiques à la pose et à l’expression de la cible, harmoniser l’éclairage et la couleur de peau, et fusionner le résultat de manière invisible.

Le face swap se distingue de la face editing (qui modifie les attributs d’un même visage sans changer l’identité) et de la face generation (qui crée un visage entièrement fictif). Le face swap implique toujours deux identités distinctes : on prend l’identité de A et on la place sur la photo/vidéo de B.

Le terme « deepfake » est souvent utilisé comme synonyme de face swap, bien qu’il englobe aussi d’autres manipulations faciales (reenactment, lip sync, puppeting). Le mot « deepfake » est lui-même un néologisme combinant « deep learning » et « fake », apparu fin 2017 quand un utilisateur Reddit a commencé à publier des face swaps de célébrités générés par IA.

Évolution de la technologie

Avant l’IA (2000-2017)

Avant le deep learning, le face swap nécessitait des compétences avancées en retouche photo (Photoshop) et des heures de travail manuel pour un seul visage. Les résultats étaient rarement convaincants. Les premières applications mobiles (Snapchat, MSQRD) ont introduit des « face filters » en temps réel à partir de 2015, mais il s’agissait d’effets ludiques plutôt que de substitutions réalistes.

L’ère des autoencoders (2017-2020)

Le tournant est venu avec l’application d’autoencoders au face swap. Le principe : deux décodeurs partagent le même encodeur. L’encodeur apprend une représentation compressée des visages. Le décodeur A reconstruit le visage A, le décodeur B reconstruit le visage B. Pour effectuer le swap, on encode le visage A et on le décode avec le décodeur B : le résultat a la structure et la pose du visage A mais l’identité du visage B.

DeepFaceLab et FaceSwap.dev sont nés de cette approche. L’entraînement nécessite des milliers d’images de chaque personne (typiquement extraites de vidéos) et plusieurs heures à jours de calcul sur GPU. La qualité s’est améliorée rapidement avec l’ajout de GAN discriminators, de losses perceptuelles, et de techniques de blending avancées.

L’ère du one-shot (2020-présent)

Les méthodes modernes permettent le face swap à partir d’une seule image source (« one-shot »), sans entraînement spécifique. SimSwap, FaceShifter et surtout InsightFace (avec le modèle inswapper_128) ont démocratisé cette approche. Le modèle InsightFace extrait un embedding d’identité à partir d’une seule photo source et l’injecte dans la cible en préservant la pose, l’expression et l’éclairage.

L’inswapper_128 d’InsightFace est devenu une référence en raison de sa simplicité d’utilisation, de sa vitesse (quelques secondes par image) et de sa qualité. Il est intégré dans de nombreux outils et workflows, y compris des extensions pour ComfyUI et Automatic1111.

Les modèles de diffusion sont la dernière évolution : des frameworks comme REFace combinent l’espace latent de StyleGAN2 avec un backbone de diffusion pour la synthèse finale, améliorant le réalisme de la fusion et la gestion de l’éclairage.

Techniques de face swap

Autoencoders à décodeurs partagés

L’approche fondatrice, toujours utilisée par DeepFaceLab. Deux jeux de données (vidéos de la personne A et de la personne B) sont utilisés pour entraîner un encodeur commun et deux décodeurs spécifiques. L’encodeur apprend à compresser les informations faciales dans un espace latent partagé. Chaque décodeur apprend à reconstruire le visage de sa personne à partir de cette représentation compressée.

Avantage : excellente qualité quand on dispose de suffisamment de données d’entraînement (les films de VFX utilisent cette approche). Inconvénient : nécessite un entraînement dédié pour chaque paire de personnes, ce qui prend des heures à des jours.

Approches GAN

Les architectures basées sur les GAN ajoutent un discriminateur pour forcer le réalisme. SimSwap utilise un framework encodeur-décodeur avec un module d’injection d’identité (ID Injection Module) et un discriminateur multi-échelle. FaceShifter propose une architecture à deux étapes : la première génère le visage fusionné à haute fidélité (AEI-Net), la seconde corrige les artefacts d’occultation (HEAR-Net) pour gérer les cas où le visage cible est partiellement caché (lunettes, mains, cheveux).

Approches 3D

Les méthodes récentes utilisent des modèles 3D morphables (3DMM) pour estimer la géométrie du visage cible, projeter l’identité source sur cette géométrie, puis re-rendre le résultat en 2D. Cette approche gère mieux les différences de pose extrêmes entre source et cible car la géométrie 3D fournit une correspondance physiquement correcte.

Approches par diffusion

REFace et DiffSwap combinent les embeddings d’identité avec des modèles de diffusion pour la synthèse finale. L’avantage : un meilleur blending (fusion) grâce au processus itératif de débruitage, et une meilleure gestion de l’éclairage via des modules de relighting basés sur Retinex. Un pipeline récent (2026) utilise un transfert d’éclairage en pré-traitement, un raffinement de texture dans l’espace W+ de StyleGAN2, et une synthèse finale par diffusion.

InsightFace (inswapper_128)

InsightFace est un framework de reconnaissance faciale qui inclut le modèle inswapper_128 pour le face swap one-shot. Le modèle extrait un embedding d’identité de 512 dimensions à partir du visage source, puis l’injecte dans le processus de génération conditionné par le visage cible. L’entraînement unique du modèle lui permet de fonctionner avec n’importe quelle paire source/cible sans ré-entraînement. C’est le moteur de nombreux outils grand public et workflows ComfyUI.

Outils et logiciels

Outils avancés

DeepFaceLab : L’outil open source le plus puissant et le plus complet pour le face swap vidéo. Interface en ligne de commande + scripts, entraînement par autoencoders avec multiples architectures de modèles (SAEHD, Quick96, Liae). Excellente qualité mais courbe d’apprentissage abrupte. Nécessite un GPU dédié (8 Go+ VRAM recommandés). Gratuit, disponible sur Windows.

FaceSwap.dev : Alternative open source à DeepFaceLab, avec une interface graphique (GUI) plus accessible. Utilise aussi des autoencoders mais avec un workflow plus guidé. Bon compromis entre contrôle et accessibilité pour les utilisateurs avec quelques connaissances techniques. Multi-plateforme (Windows, Mac, Linux).

Banuba SDK : SDK commercial pour le face swap en temps réel, intégré dans plus de 200 applications commerciales. Conçu pour les développeurs qui veulent intégrer le face swap dans leurs apps (streaming, appels vidéo, filtres AR). Temps réel sur mobile et desktop.

Outils grand public

Reface : L’application mobile la plus populaire pour le face swap casual. Moteur GAN en temps réel, résultats en quelques secondes. Idéal pour les memes, les GIF et le contenu viral. Plan gratuit avec watermark, premium à partir d’environ 4 $/mois. iOS et Android.

FaceMagic : Orienté TikTok et contenu court, avec des templates pré-fabriqués pour le face swap dans des scènes de films, clips musicaux et memes populaires. Rapide et ludique.

Bots Telegram : Plusieurs bots Telegram (comme FaceSwapper Bot) offrent le face swap directement dans l’application de messagerie : envoyez deux photos, recevez le résultat. Pratique et accessible, mais la qualité varie.

Comment fonctionne un face swap en pratique

Pipeline one-shot (InsightFace)

Le pipeline le plus accessible :

1. Détection faciale : Le modèle détecte et aligne les visages dans l’image source et l’image cible. L’alignement normalise la position, l’échelle et la rotation pour faciliter le transfert.

2. Extraction d’identité : Un réseau de reconnaissance faciale (ArcFace) extrait un vecteur d’embedding de 512 dimensions du visage source. Ce vecteur encode l’identité (traits distinctifs) indépendamment de la pose, de l’expression et de l’éclairage.

3. Synthèse : Le modèle inswapper génère un nouveau visage qui combine l’identité de la source avec la pose, l’expression et l’éclairage de la cible. Le résultat est un visage « hybride » qui ressemble à la source mais se comporte comme la cible.

4. Blending : Le visage généré est fusionné avec l’image cible originale en utilisant un masque de segmentation et des techniques de blending (Poisson blending, alpha blending) pour lisser les transitions aux frontières.

Pipeline DeepFaceLab (entraînement dédié)

Le pipeline professionnel pour la vidéo :

1. Extraction : Extraction de tous les visages de la vidéo source et de la vidéo cible (des milliers de frames). Les visages sont alignés et normalisés.

2. Entraînement : Un modèle autoencoder est entraîné sur les deux jeux de visages. L’architecture SAEHD (Styled Autoencoder High Definition) est le choix standard pour la meilleure qualité. L’entraînement prend de quelques heures (GPU haut de gamme, Quick96) à plusieurs jours (SAEHD haute résolution).

3. Conversion : Chaque frame de la vidéo cible est traitée : le visage cible est encodé, décodé avec le décodeur source, puis fusionné dans la frame originale.

4. Post-traitement : Ajustement des couleurs, du blending, et correction manuelle des frames problématiques (occlusions, mouvements rapides). Cette étape est cruciale pour un résultat professionnel.

Facteurs de qualité

La qualité d’un face swap dépend de plusieurs facteurs. Comprendre ces facteurs permet d’anticiper les résultats et de choisir le bon outil.

Similarité des angles : Un swap est plus réaliste quand la source et la cible ont des angles de vue similaires. Un visage source de face et un visage cible de profil produisent un résultat médiocre.

Éclairage : Les différences d’éclairage entre source et cible sont le défaut le plus visible. Les pipelines modernes (REFace, relighting Retinex) corrigent partiellement ce problème.

Résolution : Les visages basse résolution (moins de 128×128 pixels) donnent des résultats flous. Le standard actuel est 256×256 ou 512×512 pour les visages extraits.

Occultation : Les mains, lunettes, cheveux ou autres éléments couvrant partiellement le visage cible posent problème. FaceShifter (HEAR-Net) gère spécifiquement ce cas.

Mouvement (vidéo) : Les mouvements rapides créent du flou et des artefacts temporels. Le post-traitement (stabilisation, blending temporel) est essentiel pour les vidéos.

Applications légitimes

Cinéma et VFX

Le face swap par IA remplace progressivement les techniques de VFX traditionnelles (motion capture + rendu 3D) pour le rajeunissement numérique d’acteurs, les doublures de cascadeurs, et la résurrection numérique d’acteurs décédés. Metaphysic.ai a réalisé un face swap en direct lors d’America’s Got Talent, démontrant les capacités du rendu neural en temps réel. Les coûts sont une fraction des VFX traditionnels.

Marketing et publicité

Les marques utilisent le face swap pour personnaliser des publicités à grande échelle : adapter le visage d’un mannequin aux caractéristiques démographiques de l’audience cible. Les outils comme Banuba SDK permettent d’intégrer le « virtual try-on » dans les apps de e-commerce.

Protection de la vie privée

Le face swap peut servir d’outil d’anonymisation : remplacer les visages de personnes dans des vidéos de surveillance, des documentaires ou des témoignages pour protéger leur identité. C’est un usage croissant dans le journalisme et le secteur médical.

Applications thérapeutiques

La technologie est utilisée en thérapie d’exposition (par exemple, pour les phobies sociales) et dans des exercices d’empathie où le patient voit son visage transplanté dans des situations différentes.

Éducation et formation

Création de contenus éducatifs personnalisés, de présentateurs virtuels, et de simulations de formation où le visage de l’apprenant est intégré dans des scénarios.

Enjeux éthiques et risques

Contenus intimes non consentis (NCII)

Le risque le plus grave : la création de contenu intime non consenti (Non-Consensual Intimate Imagery) en transplantant le visage d’une personne sur du contenu explicite. Ce type de contenu représente une proportion significative de tous les deepfakes en circulation. C’est illégal dans la plupart des juridictions et constitue une forme de violence numérique.

Fraude et usurpation d’identité

Les face swaps en temps réel sont utilisés pour des escroqueries par visioconférence. Un cas marquant : un employé d’une entreprise a transféré environ 25 millions de dollars après un appel vidéo avec un faux directeur financier créé par deepfake. Les systèmes biométriques de vérification d’identité sont aussi vulnérables aux attaques par face swap.

Désinformation

Les face swaps de personnalités politiques peuvent créer de fausses déclarations visuellement convaincantes. La capacité de détection humaine des deepfakes de haute qualité est estimée à seulement 24,5 % selon certaines études, ce qui rend la vérification visuelle insuffisante.

Détection

La deepfake detection est un domaine de recherche actif. Les approches incluent : l’analyse fréquentielle (les GAN laissent des signatures dans le spectre de Fourier), la détection d’incohérences temporelles (clignements anormaux, micro-expressions), les réseaux de classification binaire (CNN entraînés sur des paires réel/fake), et l’analyse multimodale (incohérence entre audio et vidéo). Le DeepFake Detection Challenge (DFDC) de Facebook AI (100 000+ vidéos) est le benchmark de référence.

Face swap vs Face reenactment

Il est important de distinguer deux types de manipulation faciale souvent confondus :

Face swap : Remplace l’identité du visage (les traits, la forme, la texture de peau). Le résultat ressemble à la personne source. L’expression et la pose sont dictées par la cible.

Face reenactment (puppeting) : Garde l’identité du visage cible mais modifie son expression, sa pose ou ses mouvements de lèvres pour correspondre à une vidéo « pilote ». Le résultat ressemble à la personne cible mais avec les mouvements de la source. C’est la technique utilisée pour les « talking head » deepfakes où une personnalité semble dire quelque chose qu’elle n’a jamais dit.

Les deux techniques soulèvent des préoccupations éthiques similaires, mais le reenactment est souvent considéré comme plus dangereux pour la désinformation car il permet de mettre des mots dans la bouche de personnes réelles.

Concepts connexes

Le face swap fait partie d’un écosystème plus large de technologies de manipulation faciale. La face generation crée des visages fictifs (souvent utilisés comme visages sources pour des swaps anonymes). La face editing modifie les attributs sans changer l’identité. La deepfake detection tente d’identifier les manipulations. L’image restoration faciale (GFPGAN, CodeFormer) est souvent utilisée en post-traitement pour améliorer la qualité du visage fusionné. La face recognition fournit les embeddings d’identité utilisés par les modèles one-shot (ArcFace dans InsightFace). Les GAN et les modèles de diffusion sont les architectures sous-jacentes. Le watermarking IA et la norme C2PA sont les réponses techniques aux abus.