Accueil › Glossaire › LoRA

LoRA (Low-Rank Adaptation)

LoRA (Low-Rank Adaptation) est une technique de fine-tuning efficace en paramètres qui gèle les poids d’un modèle pré-entraîné et injecte des matrices de décomposition de rang faible dans chaque couche du Transformer, réduisant le nombre de paramètres entraînables jusqu’à 10 000 fois tout en maintenant une qualité comparable au fine-tuning complet.

Le problème que LoRA résout

Le fine-tuning classique d’un grand modèle de langage consiste à réentraîner l’ensemble de ses paramètres sur un nouveau dataset. Pour un modèle comme GPT-3 (175 milliards de paramètres), cela implique de stocker et de mettre à jour 175 milliards de valeurs à chaque itération, ce qui exige des dizaines de GPU haut de gamme et des coûts prohibitifs. Pire encore, chaque fine-tuning produit un modèle complet de plusieurs centaines de gigaoctets, rendant le stockage et le déploiement de multiples versions fine-tunées impraticable.

Le même problème se pose pour Stable Diffusion. Le fine-tuning complet (Dreambooth) d’un modèle de diffusion prend des heures et produit un checkpoint de 2 à 7 Go. Si vous voulez 10 styles différents, vous stockez 20 à 70 Go de modèles. La communauté avait besoin d’une méthode pour personnaliser les modèles de manière efficace, rapide et légère.

LoRA résout ces deux problèmes simultanément en réduisant drastiquement le nombre de paramètres à entraîner, la mémoire GPU requise et la taille des fichiers produits, tout en obtenant une qualité de résultat comparable, voire supérieure, au fine-tuning complet.

Comment LoRA fonctionne (mathématiquement)

L’intuition fondamentale de LoRA repose sur une observation empirique : les mises à jour de poids pendant le fine-tuning occupent un sous-espace de faible dimension. Autrement dit, la matrice de changement des poids ΔW, bien qu’elle ait la même dimension que la matrice de poids originale W₀, peut être approximée avec précision par le produit de deux matrices beaucoup plus petites.

Formellement, pour une matrice de poids W₀ de dimension d × k, LoRA la décompose ainsi :

W = W₀ + ΔW = W₀ + B × A

Où B est une matrice de dimension d × r et A est une matrice de dimension r × k, avec r beaucoup plus petit que d et k (typiquement r = 4, 8, 16, 32 ou 64). Le rang r est l’hyperparamètre central de LoRA : il détermine la capacité d’adaptation. Pendant l’entraînement, W₀ est gelé (aucun gradient ne le traverse), et seuls B et A sont mis à jour par descente de gradient.

La matrice A est initialisée avec une distribution gaussienne aléatoire, et B est initialisée à zéro. Cela garantit que ΔW = B × A = 0 au début de l’entraînement : le modèle commence exactement comme le modèle pré-entraîné original, sans distorsion. Le facteur de mise à l’échelle α/r (alpha divisé par le rang) contrôle l’intensité de l’adaptation. La règle empirique courante est de fixer α = 2 × r.

Au moment de l’inférence, les matrices LoRA peuvent être fusionnées avec les poids originaux (W = W₀ + B × A), ce qui élimine toute latence supplémentaire. Le modèle déployé est identique en taille et en vitesse à l’original, mais avec un comportement modifié.

LoRA pour Stable Diffusion

L’adaptation de LoRA à Stable Diffusion a été réalisée par Simo Ryu (@cloneofsimo) début 2023, et a révolutionné la communauté de génération d’images IA. Les LoRA pour Stable Diffusion injectent des matrices de faible rang dans les couches d’attention croisée (cross-attention layers) du U-Net et optionnellement dans l’encodeur textuel CLIP.

Les avantages concrets pour la communauté Stable Diffusion sont majeurs. L’entraînement est 2× plus rapide que Dreambooth. Les fichiers résultants font entre 1 et 6 Mo (au lieu de 2 à 7 Go pour un checkpoint complet), ce qui les rend faciles à partager, télécharger et stocker. Et les LoRA sont empilables et combinables : vous pouvez mélanger un LoRA de style (par exemple « style aquarelle ») avec un LoRA de personnage (par exemple un personnage spécifique) et un LoRA de concept (par exemple « photographie cinématique ») en ajustant le poids de chacun.

Des milliers de LoRA créés par la communauté sont disponibles sur Civitai et Hugging Face, couvrant des styles artistiques, des personnages, des concepts visuels, des techniques photographiques, des textures et bien plus. Combinés avec ControlNet pour le conditionnement spatial, les LoRA forment le workflow standard de production d’images IA de qualité professionnelle.

Entraîner un LoRA pour Stable Diffusion

L’entraînement d’un LoRA Stable Diffusion se fait typiquement via Kohya_ss (interface graphique populaire), les scripts d’entraînement Diffusers de Hugging Face, ou des plateformes cloud comme Replicate. Le dataset nécessaire est étonnamment petit : 10 à 30 images de qualité suffisent pour un style, 20 à 50 pour un personnage. L’entraînement prend entre 15 minutes et 2 heures selon le hardware (un GPU de 8 à 12 Go de VRAM suffit). Les hyperparamètres clés sont le rang r (typiquement 8-32 pour SD), le learning rate (1e-4 pour le U-Net, 1e-5 pour l’encodeur texte) et le nombre de steps (500 à 2 000).

LoRA pour les LLM

Dans le domaine des LLM, LoRA est devenu la méthode de fine-tuning par défaut pour les équipes qui ne disposent pas de clusters de GPU massifs. La bibliothèque PEFT (Parameter-Efficient Fine-Tuning) de Hugging Face intègre LoRA nativement et permet de l’appliquer en quelques lignes de code. Des frameworks comme Unsloth optimisent encore davantage l’entraînement LoRA, atteignant des vitesses 4× supérieures avec 4× moins de VRAM.

L’application typique est l’adaptation d’un modèle fondation (LLaMA, Mistral, Qwen, DeepSeek) à un domaine spécifique (médical, juridique, financier) ou à un style de réponse particulier (ton formel, réponses structurées, personnalité de chatbot). Avec LoRA, un modèle 7B peut être fine-tuné sur un GPU de 14 Go de RAM, et un modèle 70B avec QLoRA (quantification 4-bit + LoRA) sur un seul GPU A100 80 Go.

QLoRA (Quantized LoRA) combine la quantification en 4 bits du modèle de base avec l’entraînement LoRA, réduisant encore la mémoire requise. C’est ce qui a rendu possible le fine-tuning de modèles de 65B paramètres sur un seul GPU consommateur, démocratisant radicalement l’accès au fine-tuning de LLM.

Hyperparamètres clés

Configurer LoRA correctement demande de comprendre quelques paramètres essentiels.

Le rang r contrôle le nombre de paramètres entraînables. Un rang faible (4-8) suffit pour des adaptations simples (style, ton). Un rang plus élevé (16-64) capture des adaptations plus complexes (nouveau domaine, nouvelles compétences). Au-delà de 64, les gains deviennent marginaux pour la plupart des cas d’usage.

Le facteur alpha (α) contrôle l’intensité de l’adaptation. La mise à jour effective est pondérée par α/r. La règle empirique est α = 2 × r. Selon le papier rsLoRA (rank-stabilized LoRA), la mise à l’échelle optimale théorique est α/√r plutôt que α/r, ce qui stabilise l’entraînement à des rangs élevés.

Le dropout LoRA est une régularisation qui met aléatoirement des activations à zéro pendant l’entraînement. En pratique, la plupart des implémentations le fixent à 0 car son bénéfice est marginal.

Les modules cibles déterminent quelles couches du modèle reçoivent les adaptateurs LoRA. Pour les LLM, on cible typiquement les couches d’attention (Q, K, V, O). Pour Stable Diffusion, on cible les couches d’attention croisée du U-Net et optionnellement l’encodeur CLIP.

Variantes et évolutions

LoRA a inspiré de nombreuses variantes et améliorations. QLoRA combine quantification 4-bit et LoRA pour un fine-tuning ultra-léger. DoRA (Weight-Decomposed Low-Rank Adaptation) décompose les poids en magnitude et direction pour une adaptation plus fine. rsLoRA stabilise l’entraînement à des rangs élevés via une mise à l’échelle en racine carrée. LoRA+ utilise des learning rates différents pour les matrices A et B. AdaLoRA alloue dynamiquement le rang par couche selon l’importance. Et ControlLoRA combine ControlNet et LoRA pour un contrôle spatial efficace en paramètres.

Dans l’écosystème Stable Diffusion, le concept de LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) regroupe des extensions comme LoHa (Hadamard product), LoKr (Kronecker product) et DyLoRA (rang dynamique), offrant des compromis différents entre taille de fichier, qualité et flexibilité.

Limites

LoRA n’est pas une solution universelle. La décomposition en rang faible implique une perte d’information par rapport au fine-tuning complet : certains ajustements fins peuvent être perdus, surtout à des rangs très bas. Pour des adaptations très spécialisées ou des domaines très éloignés des données de pré-entraînement, le fine-tuning complet peut encore être supérieur. Les LoRA sont spécifiques au modèle de base : un LoRA entraîné pour SD 1.5 ne fonctionne pas avec SDXL. L’empilement de nombreux LoRA simultanément peut produire des interférences et des résultats incohérents. Enfin, le choix des hyperparamètres (rang, alpha, modules cibles) reste empirique et demande de l’expérimentation.