Accueil › Glossaire › Super-Résolution

Super-Résolution (Super-Resolution)

La super-résolution (SR) est un domaine de la vision par ordinateur qui vise à reconstruire une image haute résolution (HR) à partir d’une ou plusieurs images basse résolution (LR), en inversant le processus de dégradation (flou, bruit, sous-échantillonnage) grâce à des modèles de deep learning.

Comprendre la super-résolution

La super-résolution est l’un des problèmes fondamentaux du traitement d’image. Son objectif : récupérer les informations visuelles perdues lors de la capture ou la compression d’une image. Quand une caméra de surveillance capture une scène en 480p, quand un satellite observe la Terre à 10 mètres par pixel, ou quand un vieux scan photo numérise un tirage à faible résolution, les détails fins sont irrémédiablement perdus dans les données brutes. La super-résolution cherche à les reconstruire.

C’est un problème mathématiquement « mal posé » (ill-posed) : pour une même image basse résolution, il existe une infinité d’images haute résolution plausibles. Un pixel gris dans l’image LR pourrait correspondre à du béton, de la fourrure, de l’eau, ou n’importe quelle texture à l’échelle fine. Le rôle du modèle de super-résolution est de choisir la reconstruction la plus plausible en s’appuyant sur les informations de contexte et sur ce qu’il a appris pendant son entraînement.

Le terme « super-résolution » est le terme académique et scientifique. Dans l’écosystème de l’IA générative et de Stable Diffusion, on parle plus couramment d' »upscaling« . Les deux termes désignent la même famille de techniques, mais « super-résolution » englobe l’aspect théorique, les architectures de recherche, et les applications professionnelles (médical, satellite, sécurité), tandis qu' »upscaling » se concentre sur l’usage pratique de ces techniques pour agrandir des images.

SISR vs MISR : deux approches fondamentales

SISR (Single Image Super-Resolution)

La SISR est la branche la plus étudiée et la plus difficile de la super-résolution. Le modèle doit reconstruire une image HR à partir d’une seule image LR, sans aucune information complémentaire. Toute l’information manquante doit être « devinée » par le réseau en s’appuyant sur les patterns appris lors de l’entraînement.

C’est la SISR qui est utilisée dans les outils d’upscaling comme Real-ESRGAN, SwinIR, ou LDSR dans Stable Diffusion. Chaque image est traitée indépendamment, ce qui rend la technique applicable à n’importe quelle image sans prérequis.

La difficulté de la SISR augmente avec le facteur d’agrandissement. Un facteur 2× est relativement facile (le modèle a beaucoup de contexte). Un facteur 4× est le standard de l’industrie. Un facteur 8× ou plus devient extrêmement difficile car la quantité d’information à « inventer » dépasse largement l’information disponible dans l’image LR.

MISR (Multi Image Super-Resolution)

La MISR utilise plusieurs images de la même scène pour reconstruire une version haute résolution. Les images multiples peuvent provenir de prises de vue légèrement décalées (burst photography), de capteurs différents (imagerie satellite multi-bande), ou de frames successives d’une vidéo (video super-resolution).

L’avantage majeur de la MISR : chaque image apporte des informations complémentaires. Un léger décalage sub-pixel entre deux prises de vue révèle des détails que chaque image seule ne contient pas. Les méthodes MISR comme DeepSUM++ ou CoT-MISR exploitent cette redondance temporelle ou spatiale pour produire des résultats plus fidèles que la SISR.

Les applications typiques de la MISR incluent l’imagerie satellite (Sentinel-2 à différentes dates), la vidéo (frames consécutives avec mouvements naturels de caméra), et la photographie computationnelle (mode « Night Sight » de Google, qui combine plusieurs captures pour une image nette en basse lumière).

Évolution des architectures de super-résolution

L’histoire de la super-résolution par deep learning se découpe en quatre générations d’architectures, chacune apportant un saut qualitatif significatif.

Première génération : CNN (2014-2017)

SRCNN (Dong et al., 2014) a été le premier modèle à appliquer un réseau convolutif à la super-résolution, avec seulement 3 couches. Malgré sa simplicité, il a surpassé toutes les méthodes classiques. Les évolutions suivantes ont ajouté de la profondeur et des connexions résiduelles : VDSR (20 couches), EDSR (blocs résiduels optimisés), et RCAN (attention par canal). Ces modèles optimisent des métriques de fidélité comme le PSNR et le SSIM, ce qui produit des résultats mathématiquement proches de la « vérité terrain » mais souvent trop lisses perceptuellement.

Deuxième génération : GAN (2017-2021)

SRGAN (Ledig et al., 2017) a révolutionné le domaine en introduisant les GAN et la perceptual loss. Au lieu de minimiser uniquement la distance pixel-à-pixel (PSNR), SRGAN optimise aussi la qualité perceptuelle : les textures doivent « paraître réelles » même si elles ne sont pas pixel-perfect. Le résultat : des images nettement plus nettes et détaillées au prix d’une fidélité pixel légèrement réduite.

ESRGAN (Wang et al., 2018) a amélioré SRGAN avec les blocs RRDB (Residual-in-Residual Dense Blocks), une meilleure loss, et la suppression du batch normalization. Real-ESRGAN (2021) a étendu l’approche aux images réelles en modélisant des dégradations complexes (compression multiple, bruit, artefacts). C’est Real-ESRGAN qui est devenu le standard de facto pour l’upscaling dans l’écosystème IA générative.

Troisième génération : Transformer (2021-2023)

SwinIR (Liang et al., 2021) a appliqué l’architecture Swin Transformer à la super-résolution, capturant des dépendances longue portée que les CNN ne peuvent pas modéliser efficacement. Les transformers divisent l’image en patches et appliquent des mécanismes d’attention (self-attention dans des fenêtres glissantes) pour comprendre les relations entre zones distantes de l’image.

Les évolutions récentes incluent DAT (Dual Aggregation Transformer, 2023), qui agrège les features spatiaux et de canaux, SRFormer (2023), qui intègre attention spatiale et par canal de manière efficiente, et GRL (2023), un modèle hiérarchique opérant à l’échelle globale, régionale et locale. Ces modèles atteignent des scores PSNR/SSIM supérieurs aux GAN sur les benchmarks standard.

Quatrième génération : Diffusion (2022-présent)

Les modèles de diffusion appliqués à la super-résolution (LDSR, StableSR, DiffBIR) représentent la frontière actuelle. Ils traitent la super-résolution comme un processus de débruitage conditionné par l’image LR : l’image HR est progressivement reconstruite à partir de bruit, guidée par l’information de l’image basse résolution.

Les modèles de diffusion produisent des textures d’un réalisme inégalé car ils bénéficient de l’énorme base de connaissances visuelles acquise pendant le pré-entraînement (souvent des milliards d’images). La contrepartie : ils sont significativement plus lents que les GAN (minutes au lieu de secondes) et peuvent « halluciner » des détails sémantiquement incorrects (ajouter un objet qui n’existe pas).

Le modèle de dégradation : au cœur de la SR

Comprendre comment une image se dégrade est essentiel pour construire un bon modèle de super-résolution. La formule classique de dégradation est :

I_LR = (I_HR ⊗ k) ↓s + n

Où I_HR est l’image haute résolution originale, k est un noyau de flou (blur kernel), ↓s est le sous-échantillonnage d’un facteur s, et n est le bruit additif.

Super-résolution non-blind

Dans la SR non-blind, le modèle de dégradation est connu et fixe. L’image LR est créée par un bicubique downscale standard. C’est le cas le plus simple et c’est celui utilisé dans la plupart des benchmarks académiques. Les modèles entraînés en SR non-blind (EDSR, SwinIR standard) fonctionnent bien sur des images synthétiques mais échouent souvent sur des photos réelles dont la dégradation est inconnue.

Super-résolution blind

Dans la SR blind, le modèle de dégradation est inconnu. L’image LR peut avoir subi n’importe quelle combinaison de flou, bruit, compression JPEG, redimensionnement, et autres artefacts. C’est le cas des images du monde réel. Real-ESRGAN est un modèle de SR blind : il est entraîné avec des dégradations synthétiques variées et complexes (deux passes de dégradation incluant flou, bruit, compression, et filtres sinc pour simuler les artefacts de ringing), ce qui lui permet de gérer les images réelles.

La SR blind est plus difficile mais bien plus utile en pratique. C’est pourquoi Real-ESRGAN a supplanté ESRGAN (qui est non-blind) dans la plupart des applications.

Métriques d’évaluation de la super-résolution

L’évaluation de la qualité d’une image super-résolue est un sujet complexe car il existe une tension fondamentale entre fidélité et qualité perceptuelle.

Applications professionnelles de la super-résolution

Imagerie médicale

La super-résolution améliore la résolution des IRM, scanners CT et images d’échographie sans augmenter le temps d’acquisition ou la dose de radiation. Les détails anatomiques fins deviennent visibles, facilitant le diagnostic. L’enjeu critique : la fidélité. Un modèle qui « hallucine » un détail inexistant sur un scan médical peut mener à un diagnostic erroné. C’est pourquoi les Transformers (fidèles) sont préférés aux GAN (créatifs) en imagerie médicale.

Imagerie satellite et télédétection

Les satellites Sentinel-2 capturent des images à 10 mètres par pixel. La super-résolution (souvent MISR, utilisant les passages multiples du satellite) améliore cette résolution pour la surveillance agricole, la cartographie urbaine, et le suivi environnemental. Des travaux récents combinent l’attention par canal avec des modules d’amélioration haute fréquence pour mieux reconstruire les textures des paysages à partir d’images multi-spectrales.

Vidéosurveillance et forensique

Améliorer la résolution des flux vidéo de caméras de sécurité pour identifier des visages ou des plaques d’immatriculation. GFPGAN, spécialisé dans la restauration de visages, est souvent couplé avec Real-ESRGAN pour cette application. Les contraintes : temps réel, fidélité (pas d’hallucination), et admissibilité juridique des images améliorées.

Restauration de patrimoine visuel

Numérisation et amélioration de photos historiques, films anciens, et archives visuelles. La super-résolution redonne vie à des détails perdus par le temps, la dégradation chimique des supports, et la faible résolution des technologies de capture d’époque.

IA générative et upscaling

Dans l’écosystème Stable Diffusion, la super-résolution est utilisée systématiquement comme étape de post-traitement pour porter les images générées (512×512 ou 1024×1024) à des résolutions adaptées à l’impression ou à l’affichage haute résolution. Les modèles Real-ESRGAN et 4x-UltraSharp sont les plus utilisés. Consultez la page Upscaling pour le guide pratique complet d’utilisation dans les interfaces Stable Diffusion.

Jeux vidéo et rendu temps réel

NVIDIA DLSS (Deep Learning Super Sampling) et AMD FSR (FidelityFX Super Resolution) appliquent la super-résolution en temps réel au rendu 3D : le jeu génère une image à résolution réduite, le modèle SR l’upscale à la résolution d’affichage. Cela permet de maintenir des framerates élevés tout en affichant une image nette. DLSS utilise un réseau de neurones dédié exécuté sur les Tensor Cores des GPU NVIDIA, tandis que FSR utilise une approche algorithmique plus légère compatible avec tous les GPU.

Datasets et benchmarks de référence

La recherche en super-résolution s’appuie sur des datasets standardisés pour l’entraînement et l’évaluation :

Les images LR d’évaluation sont généralement créées par dégradation bicubique des images HR (SR non-blind). Pour la SR blind (Real-ESRGAN), des pipelines de dégradation plus complexes sont utilisés, incluant des combinaisons aléatoires de flou, bruit, compression et artefacts.

Tendances actuelles et perspectives

Modèles légers pour l’embarqué

Une tendance forte est la création de modèles SR légers capables de tourner sur des appareils mobiles et des systèmes embarqués. Des architectures comme ESDAN (2025) utilisent des modules d’attention efficaces et des techniques de sharpening pour maintenir des performances élevées avec un nombre réduit de paramètres. L’objectif : la super-résolution en temps réel sur smartphone.

Super-résolution par diffusion

Les modèles de diffusion continuent de progresser en SR, avec des approches comme DiffBIR et StableSR qui combinent la puissance des modèles de diffusion pré-entraînés avec des modules de conditionnement spécialisés pour la SR. La qualité perceptuelle est inégalée, mais le temps de traitement reste le principal frein à l’adoption.

Super-résolution vidéo

La SR vidéo est un cas MISR où les frames consécutives fournissent l’information complémentaire. Les modèles récents (BasicVSR++, RVRT) exploitent l’alignement de flux optique et l’attention temporelle pour produire des résultats supérieurs à la SISR frame-par-frame, avec une meilleure cohérence temporelle (moins de scintillement).

SR spécifique au domaine

Des modèles finement adaptés à des domaines spécifiques (satellite, médical, texte, visages) surpassent les modèles généralistes sur leurs tâches respectives. GFPGAN et CodeFormer sont des exemples de SR spécialisée visages. Des travaux récents explorent la SR spécialisée pour les scans Alzheimer, les images endoscopiques, et les images de surveillance.