Accueil › Glossaire › DPO

DPO (Direct Preference Optimization)

Contexte et motivation

Le RLHF a revolutionne l’alignement des LLM, mais son pipeline est complexe. Il necessite trois etapes distinctes (SFT, reward model, PPO), quatre modeles en memoire simultanement (policy, reference, reward, critic) et un reglage d’hyperparametres delicat. L’etape PPO est notoirement instable et gourmande en ressources.

Publie en mai 2023 par des chercheurs de Stanford (Rafailov et al.), le DPO propose une reformulation mathematique elegante : au lieu d’entrainer un reward model puis d’optimiser une politique RL, on peut directement optimiser le modele de langage avec une simple fonction de perte de classification. Le resultat est mathematiquement equivalent au RLHF sous certaines hypotheses, mais l’implementation est radicalement plus simple.

Comment fonctionne le DPO

Intuition

L’idee cle du DPO repose sur une observation : il existe une correspondance analytique (closed-form) entre la politique optimale du RLHF et le reward model optimal. Au lieu d’entrainer le reward model explicitement puis d’optimiser la politique via PPO, on peut reformuler la fonction de perte du reward model directement en termes de politique. Le modele de langage lui-meme devient le reward model implicite.

Formulation mathematique

Dans le RLHF classique, la politique optimale sous contrainte KL s’ecrit en fonction du reward model et de la politique de reference. Le DPO inverse cette equation pour exprimer la recompense en fonction de la politique. En substituant dans la fonction de perte de Bradley-Terry du reward model, on obtient une perte qui ne depend que du modele de langage (policy) et du modele de reference, plus les donnees de preferences.

Concretement, pour chaque paire (prompt, reponse gagnante, reponse perdante), la perte DPO augmente la probabilite de la reponse gagnante et diminue celle de la reponse perdante, ponderees par le ratio entre la politique actuelle et la politique de reference. Le parametre beta controle la force de la contrainte KL implicite.

Pipeline simplifie

Le DPO reduit le pipeline d’alignement a deux etapes : (1) SFT sur des demonstrations humaines pour obtenir le modele de reference, (2) optimisation DPO directement sur les paires de preferences. Pas de reward model a entrainer, pas de PPO a stabiliser, pas de phase de generation RL. L’entrainement ressemble a un fine-tuning classique avec une fonction de perte specifique.

Avantages du DPO

Simplicite d’implementation

Le DPO s’implemente en quelques dizaines de lignes de code. La fonction de perte est une simple log-sigmoid appliquee a la difference de log-probabilites entre reponses gagnantes et perdantes. Pas besoin de coder un loop RL, de gerer la generation autoregressif pendant l’entrainement ou de synchroniser plusieurs modeles. Les librairies comme TRL (Transformer Reinforcement Learning de Hugging Face) proposent un DPOTrainer cle en main.

Stabilite de l’entrainement

L’entrainement DPO est aussi stable qu’un fine-tuning supervise. Il n’y a pas de phase de generation RL susceptible de diverger, pas de reward model qui peut etre exploite, et le gradient est calcule directement sur les donnees de preferences. Les hyperparametres principaux (learning rate, beta, nombre d’epoques) sont faciles a regler.

Efficacite computationnelle

En eliminant le reward model et l’etape de generation PPO, le DPO reduit considerablement la consommation GPU. Seuls deux modeles sont charges en memoire (policy et reference), contre quatre pour le RLHF. L’etape de generation autoregressif pendant le PPO (la plus couteuse) est completement eliminee.

Limites et critiques

Donnees statiques

Le DPO standard est une methode offline : il optimise sur un dataset fixe de preferences collectees avant l’entrainement. Le RLHF avec PPO est online : le modele genere des reponses, les fait scorer par le reward model et s’ameliore iterativement. Cette boucle online permet au RLHF de s’adapter a des distributions de prompts qui changent et d’explorer des reponses nouvelles.

Des variantes comme Iterative DPO et Online DPO comblent partiellement cet ecart en regenerant les paires de preferences a chaque iteration avec le modele courant. Ces approches hybrides offrent souvent de meilleurs resultats que le DPO offline pur.

Scalabilite aux tres grands modeles

Pour les modeles de plusieurs centaines de milliards de parametres, le RLHF avec PPO reste prefere par certains labos (OpenAI, Google). L’argument est que le reward model separe offre un signal plus riche et plus flexible, et que la boucle online PPO permet une exploration plus efficace a tres grande echelle. Le debat est ouvert et les resultats empiriques varient.

Sensibilite a la qualite des donnees

Le DPO est sensible a la qualite et a la coherence des paires de preferences. Des preferences bruitees, contradictoires ou biaisees degradent directement les performances. Le RLHF a un tampon : le reward model peut lisser le bruit des annotations. En DPO, le bruit impacte directement le modele.

Variantes et extensions

IPO (Identity Preference Optimization) modifie la fonction de perte pour eviter le surapprentissage sur les donnees de preferences. cDPO ajoute un terme de correction pour les labels bruites. RSO (Rejection Sampling Optimization) combine le DPO avec du rejection sampling pour ameliorer la qualite des donnees. ORPO (Odds Ratio Preference Optimization) fusionne l’etape SFT et l’etape d’alignement en une seule optimisation. KTO (Kahneman-Tversky Optimization) fonctionne avec des signaux binaires (bon/mauvais) au lieu de paires, ce qui simplifie encore la collecte de donnees.

SimPO (Simple Preference Optimization) elimine meme le modele de reference en utilisant la longueur de reponse comme normalisation implicite. SPPO (Self-Play Preference Optimization) genere ses propres paires de preferences via le self-play.

Adoption en production

Meta a utilise le DPO (et ses variantes) pour Llama 3. Mistral l’a integre dans son pipeline d’alignement. La communaute open source sur Hugging Face privilegie massivement le DPO grace a sa simplicite et a l’accessibilite des outils (TRL, datasets de preferences sur le Hub). Les startups et les equipes de recherche avec des ressources limitees beneficient le plus du DPO, car il democratise l’alignement des LLM.

Les datasets de preferences publics comme UltraFeedback, Nectar et HH-RLHF permettent d’entrainer des modeles alignes sans collecte de donnees proprietaire. Le DPO a ainsi accelere la democratisation de l’alignement.

Tendances 2026

L’Online DPO et l’Iterative DPO deviennent les standards. Le DPO multimodal s’etend aux modeles vision-langage. Le DPO pour le raisonnement est utilise pour entrainer des modeles a produire de meilleures chaines de pensee. La convergence entre DPO et RLHF se poursuit : les methodes hybrides (DPO avec exploration online, RLHF sans critic) brouillent les frontieres. Le GRPO de DeepSeek illustre cette convergence en simplifiant PPO de maniere analogue a ce que DPO a fait pour le reward model.