Accueil › Glossaire › Q-Learning

Q-Learning

Le Q-Learning est un algorithme de reinforcement learning model-free et off-policy qui apprend la valeur optimale de chaque paire (état, action) dans un environnement, sans nécessiter de modèle préalable de cet environnement, en mettant à jour itérativement une fonction Q à partir des récompenses observées.

Introduit par Christopher Watkins en 1989, le Q-Learning est l’un des algorithmes fondateurs du reinforcement learning. Son principe est simple : l’agent maintient un tableau (la Q-table) qui associe à chaque combinaison (état, action) une estimation de la récompense future cumulée. À chaque interaction avec l’environnement, l’agent met à jour cette estimation en utilisant l’équation de Bellman. Avec suffisamment d’exploration, les Q-values convergent vers les valeurs optimales, et la politique optimale consiste simplement à choisir, dans chaque état, l’action avec la Q-value la plus élevée. Le Q-Learning a ouvert la voie au DQN (Deep Q-Network) de DeepMind, qui a révolutionné le deep reinforcement learning en 2013.

Concepts fondamentaux

Qu’est-ce qu’une Q-value ?

La Q-value (Quality value) Q(s, a) représente la récompense future totale estimée que l’agent obtiendra s’il prend l’action a dans l’état s et suit ensuite la politique optimale. En d’autres termes, c’est une mesure de la « qualité » d’une action dans un contexte donné. Plus la Q-value est élevée, plus l’action est jugée profitable à long terme.

La politique optimale est triviale une fois les Q-values connues : dans chaque état, il suffit de choisir l’action dont la Q-value est maximale. Tout le travail du Q-Learning consiste donc à estimer correctement ces Q-values.

La Q-table

Dans la version tabulaire du Q-Learning, les Q-values sont stockées dans un tableau à deux dimensions : les lignes représentent les états, les colonnes les actions. Initialement, toutes les valeurs sont à zéro (ou à une valeur aléatoire). Au fil des interactions avec l’environnement, le tableau se remplit avec des estimations de plus en plus précises.

Par exemple, pour un robot navigant dans une grille 4×4 avec 4 actions possibles (haut, bas, gauche, droite), la Q-table contient 16 × 4 = 64 valeurs. C’est parfaitement gérable. Pour un jeu Atari avec des millions d’états possibles (chaque pixel de l’écran), la Q-table devient impraticable. C’est pourquoi le DQN remplace la table par un réseau de neurones.

L’équation de Bellman

L’équation de Bellman (Richard Bellman, 1957) est le fondement mathématique du Q-Learning. Elle exprime une relation récursive : la valeur d’une paire (état, action) dépend de la récompense immédiate plus la meilleure valeur future possible dans l’état suivant.

Formellement, la Q-value optimale satisfait :

Q*(s, a) = R(s, a) + γ × max_a' Q*(s', a')

Où R(s, a) est la récompense immédiate, γ (gamma, entre 0 et 1) est le facteur d’actualisation (discount factor) qui pondère l’importance des récompenses futures, s' est l’état suivant et max_a' Q*(s', a') est la meilleure Q-value dans l’état suivant.

Le facteur γ est crucial : un γ proche de 0 rend l’agent myope (il ne se soucie que des récompenses immédiates), tandis qu’un γ proche de 1 le rend prévoyant (il valorise fortement les récompenses futures). En pratique, des valeurs de 0,9 à 0,99 sont courantes.

Temporal Difference (TD) Learning

Le temporal difference est la technique d’apprentissage au cœur du Q-Learning. L’idée : au lieu d’attendre la fin d’un épisode pour mettre à jour les Q-values (comme dans les méthodes Monte Carlo), on les met à jour immédiatement après chaque action, en utilisant la différence entre la Q-value actuelle et une estimation améliorée basée sur la récompense observée et la Q-value de l’état suivant.

La règle de mise à jour du Q-Learning est :

Q(s, a) ← Q(s, a) + α × [R + γ × max_a' Q(s', a') - Q(s, a)]

Où α (alpha, entre 0 et 1) est le taux d’apprentissage (learning rate) et le terme entre crochets est l’erreur de temporal difference (TD error). Si le TD error est positif, l’action était meilleure que prévu. S’il est négatif, elle était pire. Le taux d’apprentissage α contrôle l’ampleur de la mise à jour : un α élevé apprend vite mais peut osciller, un α faible apprend lentement mais converge de manière plus stable.

L’algorithme Q-Learning étape par étape

Voici le déroulement complet de l’algorithme :

1. Initialisation : créer la Q-table avec des valeurs à zéro pour toutes les paires (état, action).

2. Observer l’état courant : l’agent observe dans quel état se trouve l’environnement.

3. Choisir une action (ε-greedy) : avec une probabilité ε (epsilon), l’agent choisit une action aléatoire (exploration). Avec une probabilité 1-ε, il choisit l’action ayant la Q-value la plus élevée (exploitation). La valeur de ε diminue généralement au fil du temps : beaucoup d’exploration au début, puis de plus en plus d’exploitation.

4. Exécuter l’action : l’agent exécute l’action dans l’environnement et observe la récompense R et le nouvel état s’.

5. Mettre à jour la Q-table : appliquer la règle de mise à jour TD avec l’équation de Bellman.

6. Répéter : retourner à l’étape 2 jusqu’à ce que l’agent atteigne un état terminal ou un nombre maximal d’étapes.

7. Itérer sur les épisodes : répéter les étapes 2-6 sur de nombreux épisodes. Les Q-values convergent progressivement vers les valeurs optimales.

Hyperparamètres et leur impact

En pratique, il est recommandé de réduire α au fil du temps (par exemple, α = 1/N(s,a) où N est le nombre de visites de la paire état-action) pour garantir la convergence mathématique. Le schedule de décroissance de ε est tout aussi important : une décroissance linéaire ou exponentielle de 1,0 vers 0,01 sur les premiers 80% des épisodes est un bon point de départ.

Du Q-Learning au Deep Q-Network (DQN)

Le Q-Learning tabulaire fonctionne parfaitement pour les environnements avec un nombre modeste d’états et d’actions (grilles, labyrinthes, jeux simples). Mais il souffre du « curse of dimensionality » : un environnement avec des millions d’états (jeux vidéo, robotique) rend la Q-table impraticable.

En 2013, DeepMind a résolu ce problème en remplaçant la Q-table par un réseau de neurones profond (un CNN dans le cas des jeux Atari). Le réseau prend l’état en entrée (les pixels de l’écran) et produit en sortie les Q-values pour chaque action possible. C’est le DQN (Deep Q-Network), qui a permis de jouer à des dizaines de jeux Atari à un niveau surhumain.

Deux innovations clés du DQN :

Experience Replay : au lieu d’apprendre uniquement de la dernière transition, le DQN stocke les transitions (s, a, r, s’) dans un buffer mémoire et les ré-échantillonne aléatoirement pour l’entraînement. Cela casse la corrélation temporelle entre les données consécutives et améliore la stabilité.

Target Network : un second réseau (copie du réseau principal, mis à jour périodiquement) est utilisé pour calculer la cible de l’équation de Bellman. Cela stabilise l’entraînement en évitant les oscillations causées par un target qui bouge à chaque mise à jour.

Variantes majeures du DQN

Double DQN : corrige le biais de surestimation (overestimation bias) inhérent au DQN. Le réseau principal sélectionne l’action, mais le target network évalue sa valeur. Résultat : des Q-values plus précises et des politiques plus stables.

Dueling DQN : sépare la Q-value en deux composantes : la valeur de l’état V(s) (est-il bon d’être dans cet état ?) et l’avantage de l’action A(s,a) (cette action est-elle meilleure que la moyenne ?). Cela permet une meilleure estimation dans les états où le choix de l’action a peu d’impact.

Prioritized Experience Replay : au lieu de ré-échantillonner uniformément dans le buffer, les transitions avec un TD error élevé (celles dont l’agent a le plus à apprendre) sont échantillonnées plus fréquemment.

Rainbow DQN : combine six améliorations du DQN en un seul algorithme (Double DQN, Prioritized Replay, Dueling, Distributional RL, Noisy Networks, multi-step learning). C’est l’état de l’art des méthodes Q-Learning deep.

Q-Learning vs SARSA

SARSA (State-Action-Reward-State-Action) est l’alternative on-policy au Q-Learning. La différence clé :

En pratique, Q-Learning est plus populaire car il converge vers la politique optimale indépendamment de la stratégie d’exploration. SARSA est préféré dans les scénarios où l’exploration elle-même comporte des risques (un robot qui explore près d’un précipice).

Applications du Q-Learning en 2026

Jeux et benchmarks : le Q-Learning tabulaire reste le point d’entrée pédagogique numéro un pour apprendre le RL (Frozen Lake, Taxi, CliffWalking sur Gymnasium). Le DQN et ses variantes sont utilisés sur les jeux Atari comme benchmark de performance.

Optimisation de datacenter : DeepMind a utilisé le deep RL (incluant des approches Q-Learning) pour optimiser la consommation énergétique des datacenters de Google, avec des économies significatives sur le refroidissement en apprenant la politique optimale de gestion des systèmes de climatisation à partir des données capteurs.

Systèmes de recommandation : les plateformes comme Netflix et Spotify modélisent la séquence de recommandations comme un problème de décision séquentielle. Le Q-Learning permet d’optimiser l’engagement à long terme (pas seulement le clic immédiat) en estimant la valeur future de chaque recommandation.

Robotique et contrôle : bien que les méthodes policy gradient et actor-critic dominent en contrôle continu, le Q-Learning deep reste utilisé pour les tâches de contrôle à actions discrètes (navigation, planification de trajectoire).

Finance : le Q-Learning est exploré pour l’optimisation de portefeuille et le trading algorithmique, où l’espace d’actions est naturellement discret (acheter, vendre, conserver) et le reward est le profit ou la perte.

Limites et quand ne pas utiliser le Q-Learning

Actions continues : le Q-Learning tabulaire ne gère que les actions discrètes. Pour les actions continues (vitesse d’un moteur, angle d’un bras robotique), il faut soit discrétiser l’espace d’actions (perte de précision), soit utiliser des méthodes comme SAC ou PPO qui gèrent nativement les espaces continus.

Overestimation bias : le Q-Learning standard surestime les Q-values car il utilise le max des estimations bruitées. Double DQN corrige ce problème, mais il reste un piège fréquent pour les débutants.

Sample inefficiency : comme tout algorithme RL, le Q-Learning nécessite beaucoup d’interactions avec l’environnement. L’experience replay améliore l’efficacité en réutilisant les données passées, mais le problème fondamental demeure.

Scalabilité : la Q-table croît en O(|S| × |A|). Pour les environnements à haute dimension (images, texte), il faut passer au DQN (approximation par réseau de neurones), ce qui introduit ses propres défis d’instabilité.

Verdict

Le Q-Learning est l’algorithme fondateur du reinforcement learning moderne. Même si les algorithmes de pointe en 2026 (PPO, SAC, GRPO) sont bien plus sophistiqués, comprendre le Q-Learning en profondeur (équation de Bellman, temporal difference, ε-greedy, convergence) est le prérequis pour maîtriser tout le domaine du RL. C’est le « Hello World » du reinforcement learning.

Pour les praticiens, le Q-Learning tabulaire reste pertinent pour les environnements à petit espace d’états (contrôle industriel discret, optimisation de flux simples). Le DQN et ses variantes (Double DQN, Rainbow) sont le choix par défaut pour les problèmes à actions discrètes en haute dimension (jeux, navigation). Pour les espaces d’actions continues, orientez-vous vers SAC ou PPO plutôt que de forcer une discrétisation.

Le Q-Learning a aussi une importance historique majeure : c’est le pont entre la théorie du reinforcement learning (Bellman, 1957) et le deep RL moderne (DQN, 2013 ; AlphaGo, 2016 ; RLHF, 2022). Chaque avancée du deep RL repose sur les fondations posées par l’algorithme de Watkins il y a plus de 35 ans.