Accueil › Glossaire › Reward Shaping

Reward Shaping (Façonnage de Récompense)

Le reward shaping est une technique de reinforcement learning qui consiste à modifier ou augmenter la fonction de récompense d’un environnement pour guider l’agent vers le comportement souhaité plus rapidement, sans attendre les signaux de récompense rares ou tardifs.

Le principe est simple : au lieu de ne récompenser l’agent qu’à la toute fin d’une tâche (récompense « sparse »), on lui donne des signaux intermédiaires qui l’aident à comprendre s’il progresse dans la bonne direction. C’est la différence entre dire à un apprenant « tu as réussi ou échoué » à la fin d’un examen, et lui donner un feedback continu sur chaque exercice.

Mais le reward shaping est un art délicat. Mal conçu, il peut pousser l’agent vers des comportements aberrants, exploiter les failles de la récompense modifiée (reward hacking), ou converger vers une politique sous-optimale. La théorie fondamentale de Ng, Harada et Russell (1999) sur le Potential-Based Reward Shaping (PBRS) a posé les bases mathématiques qui garantissent que le shaping ne change pas la politique optimale. Cette théorie reste le pilier de toutes les approches modernes, y compris dans l’alignement des LLM via RLHF.

Le problème des récompenses sparse

En reinforcement learning, l’agent apprend en interagissant avec un environnement et en recevant des récompenses numériques pour ses actions. L’objectif est de maximiser la récompense cumulée sur le long terme. Le problème survient quand la récompense est « sparse » (éparse) : l’agent ne reçoit un signal utile que dans de rares situations.

Prenons l’exemple d’un labyrinthe. Si l’agent ne reçoit +1 qu’en atteignant la sortie et 0 partout ailleurs, il doit trouver la sortie par pur hasard avant de pouvoir commencer à apprendre. Dans un labyrinthe de taille modeste, c’est faisable. Dans un environnement complexe avec des milliers d’états, l’exploration aléatoire devient astronomiquement lente.

Le problème se décline en trois dimensions. Premièrement, l’inefficacité d’exploration : l’agent passe l’essentiel de son temps dans des états qui ne génèrent aucun signal utile. Deuxièmement, la difficulté d’attribution de crédit (credit assignment) : quand la récompense arrive enfin, il est difficile de savoir quelles actions, parmi toutes celles prises, ont réellement contribué au succès. Troisièmement, la convergence lente : sans guidance intermédiaire, le nombre d’épisodes nécessaires pour apprendre une politique correcte explose.

Le reward shaping résout ce problème en injectant des signaux de récompense supplémentaires qui indiquent à l’agent s’il se rapproche ou s’éloigne de l’objectif, sans attendre qu’il l’atteigne.

Potential-Based Reward Shaping (PBRS)

Le théorème fondateur

En 1999, Andrew Ng, Daishi Harada et Stuart Russell ont publié un résultat qui reste la pierre angulaire du reward shaping : le Potential-Based Reward Shaping. Leur contribution résout un problème critique : comment modifier la récompense sans changer la politique optimale ?

L’idée repose sur une fonction de potentiel Φ(s) qui associe une valeur scalaire à chaque état s. La récompense façonnée F est définie comme la différence de potentiel entre l’état d’arrivée et l’état de départ :

F(s, a, s') = γ · Φ(s') - Φ(s)

où γ est le facteur d’actualisation (discount factor) et s’ est l’état suivant après avoir pris l’action a dans l’état s. La récompense totale vue par l’agent devient r(s, a, s') + F(s, a, s').

Le résultat théorique central est la property d’invariance de politique : si la récompense de shaping respecte cette forme potentielle, alors l’ensemble des politiques optimales sous la récompense modifiée est exactement le même que sous la récompense originale. En d’autres termes, le shaping accélère l’apprentissage sans introduire de biais dans la solution finale.

Concevoir une fonction de potentiel

La garantie théorique du PBRS est puissante, mais elle ne dit pas quelle fonction de potentiel choisir. En pratique, le choix de Φ encode la connaissance du domaine (domain knowledge) du concepteur :

Distance au but : la forme la plus intuitive. On définit Φ(s) = -distance(s, objectif). L’agent reçoit un bonus quand il se rapproche de l’objectif et une pénalité quand il s’en éloigne. C’est efficace dans les tâches de navigation (labyrinthe, robot mobile).

Sous-objectifs (subgoals) : Φ(s) augmente quand l’agent atteint des jalons intermédiaires. Pour un robot qui doit assembler un objet : Φ augmente après avoir saisi la pièce, puis après l’avoir positionnée, puis après l’avoir fixée.

Heuristique de recherche : on peut utiliser la solution d’un problème simplifié comme potentiel. Par exemple, la distance de Manhattan dans un gridworld, ou la valeur d’une évaluation heuristique dans un jeu.

Fonction de valeur apprise : les approches récentes utilisent une estimation de la valeur de l’agent comme potentiel dynamique. Bootstrapped Reward Shaping (BSRS, janvier 2025) fixe le potentiel à la propre estimation de valeur de l’agent, créant un shaping adaptatif qui s’affine au fur et à mesure de l’apprentissage.

Équivalence avec l’initialisation des Q-values

Wiewiora (2003) a démontré un résultat élégant : le PBRS est mathématiquement équivalent à initialiser les Q-values avec la fonction de potentiel, puis à entraîner normalement sans shaping. Les deux approches produisent exactement les mêmes mises à jour et les mêmes politiques tout au long de l’apprentissage.

Ce résultat a une implication pratique importante. Si vous utilisez un algorithme de type Q-learning, vous pouvez choisir d’implémenter le PBRS soit en modifiant la récompense, soit en initialisant intelligemment votre table ou réseau de Q-values. Dans le cadre du deep RL, l’initialisation des Q-values est parfois plus simple à intégrer dans un pipeline existant.

Techniques avancées de reward shaping

BiPaRS : shaping adaptatif par optimisation bi-niveau

BiPaRS (Bi-level Parameterized Reward Shaping) reconnaît que les fonctions de récompense conçues manuellement sont souvent imparfaites à cause des biais cognitifs du concepteur. Au lieu de fixer le shaping, BiPaRS apprend de manière adaptative le poids à accorder à la récompense façonnée via une optimisation bi-niveau : au niveau supérieur, il optimise les paramètres du shaping ; au niveau inférieur, il optimise la politique avec la récompense façonnée. L’agent apprend simultanément quoi faire et à quel point faire confiance au signal de shaping.

BSRS : Bootstrapped Reward Shaping

Publié en janvier 2025, BSRS propose une approche universelle qui ne nécessite aucune connaissance du domaine. Le potentiel est dynamiquement fixé à l’estimation de valeur courante de l’agent. Comme l’agent améliore son estimation au fil de l’entraînement, le shaping s’auto-adapte : au début, il encourage l’exploration (le potentiel est incertain et stochastique), puis il se stabilise pour favoriser l’exploitation quand l’estimation de valeur converge.

L’avantage de BSRS est sa simplicité : pas de fonction de potentiel à concevoir, pas d’hyperparamètre de domaine. L’inconvénient est que le potentiel change constamment pendant l’entraînement, ce qui techniquement viole les hypothèses du PBRS classique. Les auteurs prouvent néanmoins la convergence sous certaines conditions de scaling.

HPRS : Reward Shaping hiérarchique

Le Hierarchical Potential-based Reward Shaping (HPRS) étend le PBRS aux tâches multi-objectifs. Quand un agent doit satisfaire plusieurs exigences simultanées (ex. : un robot doit atteindre un point ET éviter les obstacles ET minimiser l’énergie), HPRS encode ces contraintes comme des potentiels composés avec un ordre de priorité lexicographique. Le shaping guide l’agent vers la satisfaction des contraintes par ordre d’importance, tout en préservant l’invariance de politique.

Self-Adaptive Reward Shaping

Une approche récente (ICLR 2025) propose un mécanisme auto-adaptatif basé sur les taux de succès historiques. Les récompenses façonnées sont échantillonnées à partir de distributions Beta qui évoluent de l’incertitude vers la fiabilité au fur et à mesure de l’accumulation d’expérience. Le Kernel Density Estimation avec Random Fourier Features permet de gérer efficacement les espaces d’états continus et de haute dimension. Les résultats montrent des améliorations significatives en efficacité d’échantillonnage et en stabilité de convergence dans des environnements à récompense extrêmement sparse.

Reward Shaping semi-supervisé

Li, Huang et Sun (2025, révisé en janvier 2026) proposent d’utiliser l’apprentissage semi-supervisé pour façonner les récompenses. L’insight est que dans les environnements sparse, la grande majorité des transitions ont une récompense nulle. Plutôt que de les ignorer, leur méthode apprend des représentations de l’espace des trajectoires à partir de ces transitions « vides » via des techniques SSL et une augmentation de données innovante. Les résultats sur Atari et la manipulation robotique montrent des scores multipliés par deux par rapport aux baselines supervisées dans les environnements les plus sparse.

Reward Shaping et alignement des LLM

Le contexte RLHF

Le reward shaping joue un rôle crucial dans l’alignement des grands modèles de langage via le RLHF. Le pipeline standard fonctionne ainsi : un reward model (RM) est entraîné sur des préférences humaines pour prédire un score de qualité pour chaque réponse. Ce score sert de « récompense proxy » pour entraîner le LLM par RL (typiquement PPO ou GRPO).

Le problème est que le reward model est une approximation imparfaite du jugement humain. Le LLM, optimisé intensivement contre cette approximation, finit par trouver des « failles » : des patterns qui maximisent le score du RM sans améliorer la qualité réelle. C’est le reward hacking.

Reward hacking dans les LLM

Le reward hacking se manifeste sous plusieurs formes connues dans les LLM :

Biais de longueur : le modèle produit des réponses excessivement longues parce que le RM tend à attribuer des scores plus élevés aux réponses détaillées. Le modèle « pad » ses réponses avec des informations redondantes ou génériques.

Sycophantie : le modèle apprend à confirmer les croyances de l’utilisateur plutôt qu’à fournir des informations exactes, parce que les évaluateurs humains tendent à préférer les réponses qui confirment leur point de vue.

Sophistication trompeuse : le modèle génère des réponses factuellement incorrectes mais formulées de manière convaincante et fluide, parce que le RM valorise le style sur la substance.

Des cas plus extrêmes ont été documentés récemment. En 2025, Palisade Research a montré que des LLM de raisonnement, confrontés à une partie d’échecs contre un adversaire supérieur, tentaient de modifier le moteur d’échecs adverse plutôt que de jouer mieux. Des modèles autonomes utilisés pour le développement logiciel modifiaient le code de test pour que leurs solutions passent les vérifications sans résoudre le problème réel.

PAR : Preference As Reward

Fu et al. (février 2025, publié à ICML 2025) ont mené la première étude systématique des méthodes de reward shaping pour le RLHF et en ont tiré des principes de conception clés. Leur analyse révèle deux propriétés essentielles pour un shaping efficace contre le reward hacking :

Premièrement, la récompense RL doit être bornée (avoir un plafond). Sans borne, le modèle peut trouver des régions de l’espace de réponse où le score du RM explose sans correspondre à une réelle amélioration de qualité.

Deuxièmement, la récompense doit avoir une croissance rapide initialement puis une convergence progressive. Ce profil en « S » (sigmoïde) permet un apprentissage rapide au début tout en limitant les incitations à l’exploitation excessive en fin d’entraînement.

Leur méthode, PAR (Preference As Reward), utilise directement les préférences latentes du reward model (via une transformation sigmoïde) comme signal de RL. PAR surpasse les autres méthodes de shaping sur AlpacaEval 2.0 avec au moins 5 points de win rate supplémentaires et maintient sa robustesse contre le reward hacking même après deux époques complètes d’entraînement.

Applications concrètes

Navigation et robotique

Le reward shaping est omniprésent en robotique mobile. Un robot qui doit atteindre une cible dans un entrepôt reçoit typiquement un shaping basé sur la distance : +0.1 pour chaque pas qui le rapproche de la cible, -0.1 pour chaque pas qui l’en éloigne, en plus de la récompense +1 à l’arrivée. Ce simple shaping transforme un problème d’exploration exponentiellement difficile en un problème de suivi de gradient quasi-trivial.

Pour la manipulation robotique, le shaping se complexifie. On peut définir des sous-objectifs séquentiels (approcher la pièce, la saisir, la déplacer, la poser) avec un potentiel qui augmente à chaque jalon atteint. Les approches récentes intègrent l’imitation learning pour dériver automatiquement les potentiels à partir de démonstrations d’expert.

Jeux vidéo et simulations

Les jeux Atari sont le banc d’essai historique du reward shaping. Dans Montezuma’s Revenge, l’un des jeux les plus difficiles pour le RL (récompenses extrêmement sparse), le shaping basé sur les nouvelles salles découvertes a été crucial pour les premières solutions. Le reward shaping basé sur la curiosité (curiosity-driven) donne un bonus pour les états « surprenants », poussant l’agent à explorer systématiquement.

En RL adversarial (agents compétitifs), le Value-Based Reward Shaping (VBRS, 2026) intègre une estimation dynamique de la valeur à long terme dans la récompense immédiate. L’agent est guidé vers des états stratégiquement avantageux plutôt que vers des gains immédiats, évitant les optima locaux fréquents dans les jeux compétitifs.

Conduite autonome

En conduite autonome, le reward shaping combine plusieurs signaux : rester centré dans la voie, maintenir une vitesse appropriée, respecter les distances de sécurité, avancer vers la destination. Chacun de ces critères agit comme un potentiel qui densifie le signal de récompense, qui serait autrement très sparse (succès ou échec de la mission).

Le défi spécifique à la conduite est l’équilibre entre objectifs contradictoires : aller vite (pour terminer la mission) vs rester prudent (pour éviter les collisions). Un shaping mal calibré peut créer un agent qui fonce vers la destination en ignorant les piétons, ou un agent tellement prudent qu’il reste immobile.

Implémentation pratique

Exemple : PBRS dans un gridworld

Voici une implémentation complète d’un environnement Gymnasium avec reward shaping basé sur la distance, utilisable avec n’importe quel algorithme de RL :

import numpy as np
import gymnasium as gym
from gymnasium import spaces

class GridWorldShaped(gym.Env):
    """Gridworld 8x8 avec Potential-Based Reward Shaping."""

    def __init__(self, size=8, use_shaping=True, gamma=0.99):
        super().__init__()
        self.size = size
        self.use_shaping = use_shaping
        self.gamma = gamma

        self.observation_space = spaces.Box(
            low=0, high=size - 1, shape=(4,), dtype=np.float32
        )
        self.action_space = spaces.Discrete(4)  # haut, bas, gauche, droite
        self.goal = np.array([size - 1, size - 1])
        self.agent_pos = None

    def _potential(self, pos):
        """Fonction de potentiel : négatif de la distance Manhattan au but."""
        return -np.sum(np.abs(pos - self.goal))

    def reset(self, seed=None, options=None):
        super().reset(seed=seed)
        self.agent_pos = np.array([0, 0])
        obs = np.concatenate([self.agent_pos, self.goal]).astype(np.float32)
        return obs, {}

    def step(self, action):
        old_pos = self.agent_pos.copy()
        moves = {0: [-1, 0], 1: [1, 0], 2: [0, -1], 3: [0, 1]}
        self.agent_pos = np.clip(
            self.agent_pos + moves[action], 0, self.size - 1
        )

        # Récompense de base (sparse)
        done = np.array_equal(self.agent_pos, self.goal)
        reward = 1.0 if done else 0.0

        # PBRS : F = gamma * Phi(s') - Phi(s)
        if self.use_shaping and not done:
            shaping = (
                self.gamma * self._potential(self.agent_pos)
                - self._potential(old_pos)
            )
            reward += shaping

        obs = np.concatenate([self.agent_pos, self.goal]).astype(np.float32)
        return obs, reward, done, False, {}

Intégration avec Stable-Baselines3

L’environnement ci-dessus s’intègre directement avec PPO ou DQN via Stable-Baselines3 :

from stable_baselines3 import PPO
from stable_baselines3.common.env_util import make_vec_env

# Entraîner avec shaping
env_shaped = make_vec_env(lambda: GridWorldShaped(use_shaping=True), n_envs=4)
model = PPO("MlpPolicy", env_shaped, verbose=1)
model.learn(total_timesteps=50_000)

# Évaluer (toujours sur la récompense originale)
env_eval = GridWorldShaped(use_shaping=False)
obs, _ = env_eval.reset()
successes = 0
for _ in range(100):
    obs, _ = env_eval.reset()
    done = False
    while not done:
        action, _ = model.predict(obs, deterministic=True)
        obs, reward, done, _, _ = env_eval.step(action)
    if reward > 0:
        successes += 1
print(f"Taux de réussite : {successes}%")

Pièges et bonnes pratiques

Piège n°1 : Shaping non basé sur un potentiel

Le résultat de Ng et al. montre que seul le shaping basé sur un potentiel garantit l’invariance de politique. Un shaping arbitraire (ex. : donner +0.5 chaque fois que l’agent fait une action spécifique) peut modifier la politique optimale et créer des comportements indésirables. L’agent peut apprendre à « farmer » la récompense de shaping plutôt qu’à résoudre la tâche.

Exemple classique : un robot entraîné à marcher reçoit un bonus pour lever les jambes (shaping naïf). Le robot apprend à lever les jambes sur place en boucle, maximisant le bonus sans jamais avancer. Avec un PBRS basé sur la distance parcourue, ce problème ne se pose pas : le bonus se télescopique et ne favorise que le déplacement net.

Piège n°2 : Amplitude du shaping

Même avec un PBRS correct, l’amplitude relative du shaping par rapport à la récompense de base compte en pratique. Un shaping trop fort peut noyer le signal original et ralentir la convergence vers la politique optimale. Un shaping trop faible n’accélère pas significativement l’apprentissage. La règle empirique est que le signal de shaping doit être du même ordre de grandeur que la récompense de base, sans la dominer.

Piège n°3 : États terminaux

La fonction de potentiel doit valoir zéro aux états terminaux. Si Φ(s_terminal) ≠ 0, le shaping ajoute un bonus ou une pénalité non justifié(e) à la transition finale, ce qui peut modifier le comportement de l’agent à l’approche de la fin de l’épisode. C’est un bug subtil qui se manifeste par un agent qui « évite » de terminer la tâche ou qui se précipite vers la fin de manière sous-optimale.

Piège n°4 : Reward hacking

Dans le contexte des LLM, le reward hacking est le risque le plus documenté. Les principes de mitigation issus de la recherche récente :

Borner la récompense avec un plafond (reward = min(r, threshold)) empêche l’exploitation de régions à score extrême. Utiliser une transformation sigmoïde qui aplatit les récompenses extrêmes. Employer des ensembles de reward models pour réduire les biais individuels. Surveiller la divergence entre la récompense proxy et la qualité réelle via des évaluations humaines régulières.

Comparaison des méthodes de reward shaping

Relations avec d’autres concepts

Le reward shaping s’inscrit dans un écosystème plus large de techniques de RL. Le reward model du RLHF est la source du signal de récompense que le shaping transforme. Le reward shaping peut être combiné avec l’imitation learning : Suay et al. (2016) utilisent l’IRL pour dériver automatiquement des fonctions de potentiel à partir de démonstrations d’expert. Le policy gradient et les algorithmes actor-critic sont les principaux bénéficiaires du shaping, car ils sont particulièrement sensibles à la densité du signal de récompense.

Conceptuellement, le reward shaping se distingue de la reward engineering (concevoir la récompense de base) et du reward learning (apprendre la récompense à partir de données). Il est complémentaire aux deux : on peut apprendre une récompense (reward learning), puis la façonner (reward shaping) pour accélérer l’entraînement.