Accueil › Glossaire › Adversarial Training

Adversarial Training

L’adversarial training (entraînement adversarial) est une technique de défense qui consiste à entraîner un modèle sur des exemples adversariaux (inputs conçus pour le faire échouer) afin qu’il apprenne à résister à ces attaques. Appliqué aux LLM, il renforce la robustesse contre les jailbreaks, les injections de prompts, et les tentatives d’extraction de comportements nuisibles.

Fondements : de la vision aux LLM

L’adversarial training naît d’un constat : les réseaux de neurones profonds sont vulnérables aux exemples adversariaux, des entrées quasi identiques aux données normales mais qui provoquent des erreurs de classification. En 2014, Szegedy et al. proposent d’utiliser ces exemples pour renforcer l’entraînement. En 2015, Goodfellow et al. formalisent la méthode avec FGSM (Fast Gradient Sign Method), une attaque à une seule étape qui génère des perturbations en suivant le signe du gradient de la loss.

Le tournant arrive en 2018 avec Madry et al. (ICLR 2018), qui reformulent l’adversarial training comme un problème d’optimisation robuste (robust optimization). La formulation est un jeu min-max :

min_θ  E_(x,y)∈D [ max_{||δ|| ≤ ε}  L(f_θ(x + δ), y) ]

Le problème interne (maximisation) cherche la pire perturbation δ dans une boule de rayon ε autour de chaque entrée x. Le problème externe (minimisation) ajuste les paramètres θ du modèle pour minimiser la loss même sur ces pires cas. Pour résoudre le problème interne, Madry et al. utilisent PGD (Projected Gradient Descent), une attaque itérative multi-étapes plus puissante que FGSM.

Le résultat fondamental : un modèle entraîné contre les adversaires PGD devient robuste contre une large classe d’attaques du premier ordre (toute attaque utilisant uniquement les gradients). C’est la garantie de sécurité contre les adversaires du premier ordre.

L’adversarial training classique pour les LLM

Appliqué aux LLM, l’adversarial training consiste à générer des prompts adversariaux (jailbreaks, injections) et à entraîner le modèle à y résister. Le pipeline de base suit trois étapes : générer des attaques, collecter les réponses nuisibles, puis entraîner le modèle à refuser ces requêtes.

Génération d’exemples adversariaux

La génération d’exemples adversariaux pour les LLM est considérablement plus complexe que pour la vision. Les entrées sont discrètes (tokens), pas continues (pixels). Trois familles de méthodes existent :

Attaques par optimisation. GCG (Greedy Coordinate Gradient, Zou et al. 2023) génère automatiquement des suffixes adversariaux en optimisant sur l’espace discret des tokens. L’optimisation nécessite en moyenne 330 itérations par exemple, ce qui rend l’intégration directe dans une boucle d’entraînement extrêmement coûteuse : calculer 1 000 exemples adversariaux prendrait environ 330 heures.

Attaques par génération (LLM-as-attacker). Un LLM « attaquant » génère des prompts adversariaux pour un LLM « cible ». PAIR (Chao et al. 2023) jailbreake des modèles boîte noire en une vingtaine de requêtes. Tree of Attacks (Mehrotra et al. 2023) organise les tentatives en arbre de recherche. Ces méthodes produisent des attaques réalistes mais moins systématiques.

Attaques manuelles. Des équipes de red teaming conçoivent des prompts adversariaux par catégorie : roleplay, pièges logiques, codage (base64, caractères invisibles), attaques multi-tours. Anthropic, OpenAI, Meta et Google DeepMind utilisent toutes du red teaming humain pour collecter des données d’adversarial training.

Pipeline d’entraînement

L’adversarial training classique pour un LLM suit un cycle itératif :

Étape 1. Le modèle aligné (post-safety tuning) est soumis à un ensemble d’attaques adversariales.

Étape 2. Les attaques réussies (jailbreaks qui contournent les garde-fous) sont collectées avec les réponses nuisibles produites.

Étape 3. Le modèle est réentraîné (via SFT ou RLHF) sur ces exemples, avec des réponses de refus appropriées comme cibles.

Étape 4. Le modèle renforcé est retesté, et les nouvelles failles alimentent le cycle suivant.

C’est le pipeline « break-fix » utilisé par Microsoft pour Phi-3 et par Meta pour les rounds successifs d’alignement de Llama 2. Anthropic utilise une approche similaire où les données de red teaming alimentent directement le preference tuning de harmlessness.

Limites de l’approche classique

L’adversarial training au niveau des entrées (input-space AT) présente trois limites structurelles pour les LLM :

Coût prohibitif. Générer des adversaires au niveau token (GCG) est computationnellement intensif. Intégrer cette génération dans la boucle d’entraînement multiplie le coût de façon exponentielle.

Spécificité des attaques. Un modèle entraîné contre un type d’attaque (par exemple, les suffixes adversariaux) peut rester vulnérable à d’autres types (roleplay, encodage, multi-tours). L’adversarial training ne généralise pas automatiquement entre catégories d’attaques.

Le problème fondamental : suppression vs. suppression. La recherche récente suggère que le fine-tuning adversarial supprime les comportements nuisibles plutôt que de les éliminer. Le modèle apprend à ne pas exprimer certaines capacités, mais celles-ci restent encodées dans ses poids. C’est pourquoi 10 exemples de fine-tuning peuvent suffire à jailbreaker un modèle aligné (Qi et al. 2023) : les capacités n’ont jamais été réellement retirées.

Latent Adversarial Training (LAT)

Le LAT (Latent Adversarial Training) représente une avancée majeure. Au lieu de perturber les entrées du modèle (les tokens), le LAT perturbe ses représentations internes (les activations dans l’espace latent). L’hypothèse est que les modèles représentent les concepts à un niveau d’abstraction plus élevé dans l’espace latent, et que perturber cet espace permet de mieux cibler les circuits neuronaux responsables des comportements indésirables.

Principe du LAT

Le LAT modifie la formulation min-max classique. Au lieu de perturber l’entrée x, on perturbe les activations h à une couche intermédiaire du modèle :

min_θ  E_(x,y)∈D [ max_{||δ|| ≤ ε}  L(f_θ(x; h + δ), y) ]

L’adversaire ajoute une perturbation δ aux activations du residual stream à une couche donnée. Le modèle est ensuite entraîné à produire la bonne sortie malgré cette perturbation. Le LAT non ciblé (untargeted LAT) maximise la loss sur le comportement désiré. Le LAT ciblé (targeted LAT) oriente la perturbation vers des modes de défaillance spécifiques.

Targeted LAT (Sheshadri et al. 2024)

Sheshadri et al. (2024) proposent le targeted LAT, publié dans Transactions on Machine Learning Research (TMLR). La méthode perturbe les activations du residual stream d’un LLM pour provoquer des modes de défaillance spécifiques, puis entraîne le modèle à résister sous ces perturbations. Les résultats sont significatifs sur trois axes :

Robustesse aux jailbreaks. Le targeted LAT surpasse la baseline R2D2 (une méthode forte de défense) avec des ordres de grandeur moins de calcul. Le modèle robust-llama3-8b-instruct est disponible publiquement sur Hugging Face.

Suppression de backdoors. Le LAT supprime plus efficacement les backdoors sans connaissance du trigger. C’est une réponse au problème des « Sleeper Agents » (Hubinger et al.) : des modèles qui dissimulent des comportements conditionnels.

Désapprentissage robuste. Le LAT permet de désapprendre des connaissances spécifiques de façon plus résistante au réapprentissage, par exemple pour supprimer les connaissances sur les risques biologiques (évaluées via WMDP).

Le SFT de stabilisation

Un point technique important : après le LAT, un SFT (Supervised Fine-Tuning) de stabilisation est nécessaire pour préserver les capacités générales du modèle. Sans ce SFT, le LAT peut dégrader les performances sur les tâches normales. MULBERE (ACL WiNLP 2025) confirme ce résultat en contexte multilingue : le pipeline T-LAT suivi d’un SFT sur données de chat préserve les capacités du LLM tout en renforçant la robustesse aux jailbreaks dans plusieurs langues, y compris des langues non vues pendant l’entraînement.

Méthodes avancées

LATPC : LAT avec calibration post-entraînement

LATPC (Latent-space Adversarial Training with Post-aware Calibration) est un framework en deux étapes qui traite le compromis robustesse/utilité. La première étape identifie les dimensions les plus critiques pour la sécurité dans l’espace latent via une analyse de variance entre requêtes nuisibles et inoffensives. L’adversarial training cible uniquement ces dimensions critiques, ce qui rend la défense plus précise. La seconde étape applique une calibration légère à l’inférence pour corriger les refus excessifs (over-refusal) sur les requêtes pseudo-nuisibles (des requêtes qui ressemblent à des attaques mais sont légitimes). Les résultats montrent que LATPC surpasse les baselines existantes sur Llama3-8B, Mistral-7B, Gemma-7B et Qwen2-7B.

ReFAT : Refusal Feature Adversarial Training

ReFAT (Yu et al. 2024) utilise l’adversarial training avec des perturbations sur les représentations linéaires du refus. Au lieu de perturber toutes les dimensions de l’espace latent, ReFAT cible les « refusal features », les directions dans l’espace latent qui encodent le comportement de refus. Le modèle est entraîné à maintenir son refus même quand ces features sont perturbées. LATPC améliore cette approche en ne supposant pas une importance uniforme de toutes les dimensions.

ASCoT : Adversarial Skill Compositional Training

ASCoT entraîne le modèle sur des compositions diversifiées de primitives d’attaque plutôt que sur des instances d’attaque isolées. L’idée : les attaques réelles combinent plusieurs techniques (par exemple, du roleplay avec du codage et de l’escalade multi-tours). En entraînant sur des combinaisons variées, ASCoT améliore substantiellement la robustesse aux attaques inédites, y compris les jailbreaks multi-tours, tout en maintenant un faible taux d’over-refusal.

Short-length AT pour défenses long-length

Fu et al. (février 2025, révisé janvier 2026) démontrent un résultat théorique et empirique surprenant : pour défendre contre un jailbreak avec un suffixe adversarial de longueur M, il suffit d’entraîner le modèle sur des prompts avec des suffixes de longueur √M. La corrélation positive entre l’ASR (Attack Success Rate) et le ratio √M_test / M_train est confirmée expérimentalement. Ce résultat réduit considérablement le coût de l’adversarial training, puisque les suffixes courts sont bien moins coûteux à générer.

Comparaison des approches

Le compromis robustesse vs. utilité

L’adversarial training produit un compromis fondamental : rendre un modèle plus robuste tend à le rendre moins utile. Ce compromis se manifeste de deux façons :

Over-refusal. Un modèle trop entraîné sur des exemples adversariaux refuse des requêtes légitimes qui ressemblent superficiellement à des attaques. Le problème est documenté quantitativement : les modèles guardrail de sécurité comme Qwen3Guard-8B atteignent 85,3 % de précision sur les benchmarks standard, mais tombent à 33,8 % sur des prompts inédits, un écart de 57,2 points qui suggère un sur-apprentissage des patterns d’attaque connus plutôt qu’une capacité de sécurité réelle.

Dégradation des performances. Même dans le domaine de la vision (où l’adversarial training est mieux compris), la robustesse a un coût en précision standard. Pour les LLM, le LAT ciblé avec SFT de stabilisation atténue ce problème, mais ne l’élimine pas complètement.

LATPC adresse ce compromis explicitement avec sa calibration post-entraînement : un mécanisme léger ajuste les représentations des requêtes pseudo-nuisibles à l’inférence pour restaurer l’utilité sans sacrifier la sécurité.

Réalité du terrain : défenses vs. attaques adaptatives

Un résultat critique d’octobre 2025, co-signé par des chercheurs d’OpenAI, Anthropic et Google DeepMind, met en perspective l’adversarial training et les défenses en général. L’étude a examiné 12 défenses publiées contre les jailbreaks et l’injection de prompts. Les défenses avaient été initialement rapportées avec des taux de réussite d’attaque quasi nuls. Mais les attaques adaptatives (qui affinent itérativement leur approche en fonction de la défense spécifique) contournent la plupart de ces défenses avec des taux de réussite supérieurs à 90 %.

Les attaques hybrides (GCG combiné avec PAIR) atteignent 91,6 % d’ASR sur Llama-3 et contournent de façon fiable les défenses avancées. L’adversarial training reste essentiel, mais doit être combiné avec des défenses système (guardrails externes, monitoring, filtres) pour une protection en profondeur.

Implémentation pratique

Pour une organisation souhaitant mettre en place l’adversarial training sur un LLM :

Pour un premier déploiement rapide. Commencez par l’AT basé sur les prompts. Collectez des jailbreaks connus (JailbreakBench, les datasets publics de red teaming), utilisez un LLM attaquant (PAIR, GOAT) pour en générer d’autres, et faites du SFT sur des réponses de refus. C’est le minimum viable.

Pour une robustesse sérieuse. Passez au targeted LAT (Sheshadri et al.). Le code est disponible sur GitHub (github.com/aengusl/latent-adversarial-training), les modèles sur Hugging Face (LLM-LAT). Utilisez LoRA pour l’efficacité. N’oubliez pas le SFT de stabilisation après le LAT.

Pour le state-of-the-art. Combinez LATPC (perturbations sur dimensions critiques + calibration) avec un pipeline de red teaming continu. Évaluez avec HarmBench pour les réponses nuisibles et un benchmark d’utilité (MT-Bench, AlpacaEval) pour vérifier l’absence d’over-refusal.

Erreurs à éviter. Ne vous fiez pas à une seule catégorie d’attaques pour l’entraînement. Ne négligez pas le SFT de stabilisation après le LAT. Ne mesurez jamais la robustesse uniquement avec les mêmes attaques que celles utilisées pour l’entraînement (overfitting garanti). Testez avec des attaques adaptatives.

Verdict

L’adversarial training est passé d’une technique de niche en vision par ordinateur à une composante essentielle du pipeline de sécurité des LLM. Le LAT ciblé (Sheshadri et al. 2024) a changé la donne en montrant qu’on peut obtenir une robustesse forte aux jailbreaks avec un coût computationnel raisonnable. Les avancées récentes (LATPC, ASCoT, short-length AT) réduisent encore le compromis robustesse/utilité et le coût.

Pour autant, l’adversarial training seul ne suffit pas. C’est une couche de défense en profondeur, pas un bouclier absolu. Les attaques adaptatives contournent systématiquement les défenses statiques. La posture correcte : combiner l’adversarial training avec des guardrails système externes, du monitoring en production, et un pipeline de red teaming continu. L’alignement est une course, pas une destination.