Accueil › Glossaire › DQN

DQN (Deep Q-Network)

Le DQN (Deep Q-Network) est un algorithme de reinforcement learning qui combine le Q-Learning avec un réseau de neurones profond pour approximer la fonction Q, permettant à un agent d’apprendre des politiques optimales directement à partir d’entrées sensorielles brutes (pixels d’écran) dans des environnements à haute dimension.

Publié par Mnih et al. (DeepMind) en 2013 puis dans Nature en 2015, le DQN a été le premier algorithme de deep RL à démontrer des performances au niveau humain sur un large ensemble de tâches. En utilisant un réseau de neurones convolutif (CNN) alimenté directement par les pixels de 49 jeux Atari 2600, un seul algorithme avec des hyperparamètres identiques a atteint ou dépassé le niveau d’un testeur humain professionnel sur plus de la moitié des jeux. C’est l’article qui a lancé la révolution du deep reinforcement learning et qui a mis DeepMind (acquis par Google peu après) sur la carte mondiale de la recherche en IA.

Le problème que DQN résout

Le Q-Learning tabulaire fonctionne avec un tableau qui stocke la Q-value de chaque paire (état, action). Mais quand l’espace d’états est immense (un écran Atari de 210×160 pixels en couleur = des milliards de milliards d’états possibles), le tableau devient impraticable. La solution naturelle est d’approximer la fonction Q avec un réseau de neurones. Mais les tentatives précédentes de combiner réseaux de neurones et RL avaient échoué à cause de l’instabilité de l’entraînement.

Deux problèmes fondamentaux causaient cette instabilité :

Corrélation temporelle : les données d’entraînement consécutives sont fortement corrélées (l’état au temps t ressemble à l’état au temps t+1). Les algorithmes de gradient descent supposent des données indépendantes et identiquement distribuées (i.i.d.), ce qui n’est pas le cas en RL.

Non-stationnarité de la cible : dans le Q-Learning, la cible de la mise à jour (r + γ × max Q(s’, a’)) dépend elle-même du réseau Q en cours d’apprentissage. Quand le réseau change, la cible change aussi, créant une boucle de rétroaction instable.

DQN résout ces deux problèmes avec deux innovations : l’experience replay et le target network.

Les deux innovations clés

Experience Replay

Au lieu d’apprendre uniquement de la dernière transition, le DQN stocke chaque transition (s, a, r, s’) dans un buffer mémoire (replay buffer) de grande taille (typiquement 1 million de transitions). Pour chaque mise à jour, un mini-batch de transitions est échantillonné aléatoirement depuis ce buffer.

Ce mécanisme résout deux problèmes :

Décorrélation : en échantillonnant aléatoirement dans l’historique, les données d’un mini-batch ne sont plus temporellement corrélées. Chaque batch contient des transitions provenant de moments et de situations très différents, satisfaisant l’hypothèse i.i.d. du gradient descent.

Réutilisation des données : chaque expérience peut être utilisée pour plusieurs mises à jour, améliorant la sample efficiency. Sans replay, chaque transition ne sert qu’une seule fois.

L’experience replay impose une contrainte : l’algorithme doit être off-policy (capable d’apprendre à partir de données générées par une politique différente de la politique courante). Le Q-Learning est naturellement off-policy, ce qui en fait un candidat idéal.

Target Network (réseau cible)

Le DQN utilise deux réseaux de neurones identiques : le réseau principal (online network) qui est mis à jour à chaque étape, et le réseau cible (target network) qui est une copie figée du réseau principal, mise à jour périodiquement (toutes les 10 000 étapes dans le papier original).

La cible de la mise à jour Q est calculée avec le réseau cible, pas le réseau principal :

cible = r + γ × max_a' Q_target(s', a')

Comme le réseau cible est figé pendant des milliers d’étapes, la cible de la mise à jour est stable. Cela élimine la boucle de rétroaction instable où le réseau « poursuit » une cible qui bouge à chaque pas. Périodiquement, les poids du réseau principal sont copiés vers le réseau cible, et le cycle recommence.

Architecture du réseau

L’architecture CNN du DQN est relativement simple par rapport aux standards actuels :

Entrée : 4 frames empilées de 84×84 pixels en niveaux de gris. L’empilement de 4 frames permet à l’agent de percevoir le mouvement (vitesse et direction des objets). Le pré-traitement convertit l’image originale (210×160, couleur) en niveaux de gris et la redimensionne.

Couches convolutives : trois couches (32 filtres 8×8 stride 4, 64 filtres 4×4 stride 2, 64 filtres 3×3 stride 1), chacune suivie d’une activation ReLU. Ces couches extraient les features visuelles (positions des objets, patterns de mouvement).

Couches fully connected : une couche de 512 neurones, suivie d’une couche de sortie avec un neurone par action possible. Chaque sortie représente la Q-value estimée pour l’action correspondante.

L’agent choisit l’action dont la Q-value de sortie est maximale (exploitation) ou une action aléatoire (exploration, via ε-greedy). Pas de feature engineering, pas de connaissance préalable des règles du jeu. Le même réseau, avec les mêmes hyperparamètres, a appris 49 jeux différents.

L’algorithme DQN étape par étape

1. Initialisation : initialiser le réseau Q avec des poids aléatoires. Copier ces poids dans le réseau cible Q_target. Initialiser le replay buffer vide.

2. Observation : observer l’état courant s (4 frames empilées).

3. Sélection d’action (ε-greedy) : avec probabilité ε, choisir une action aléatoire. Sinon, choisir a = argmax_a Q(s, a). ε décroît de 1,0 à 0,1 sur le premier million de frames, puis reste constant.

4. Exécution et stockage : exécuter l’action a, observer la récompense r et le nouvel état s’. Stocker la transition (s, a, r, s’) dans le replay buffer.

5. Échantillonnage et mise à jour : échantillonner un mini-batch de 32 transitions aléatoires depuis le replay buffer. Pour chaque transition, calculer la cible : y = r + γ × max_a’ Q_target(s’, a’). Mettre à jour le réseau Q en minimisant la perte (y – Q(s, a))² via gradient descent.

6. Mise à jour du target network : toutes les 10 000 étapes, copier les poids de Q vers Q_target.

7. Répéter : retour à l’étape 2. L’entraînement original de DeepMind durait 50 millions de frames (environ 38 jours de jeu) par jeu.

Les variantes majeures du DQN

Depuis le DQN original, la communauté a développé de nombreuses améliorations qui, combinées, ont triplé les performances sur les jeux Atari.

Double DQN (Van Hasselt et al., 2016)

Le DQN standard souffre d’un biais de surestimation : le max dans la cible sélectionne systématiquement la Q-value la plus élevée, qui est souvent surestimée à cause du bruit des estimations. Double DQN sépare la sélection et l’évaluation : le réseau principal sélectionne la meilleure action, mais le réseau cible évalue sa Q-value.

cible = r + γ × Q_target(s', argmax_a' Q_online(s', a'))

Résultat : des Q-values plus précises et des politiques plus stables, avec un coût computationnel quasi nul.

Dueling DQN (Wang et al., 2016)

Le Dueling DQN modifie l’architecture du réseau pour séparer la Q-value en deux composantes : la valeur de l’état V(s) (« est-il bon d’être dans cet état ? ») et l’avantage de l’action A(s,a) (« cette action est-elle meilleure que la moyenne ? »). Q(s,a) = V(s) + A(s,a) – mean(A). Cette séparation permet au réseau de mieux estimer la valeur des états où le choix de l’action a peu d’impact, améliorant la qualité de la politique globale.

Prioritized Experience Replay (Schaul et al., 2015)

Au lieu d’échantillonner uniformément dans le replay buffer, les transitions avec un TD error élevé (celles dont l’agent a le plus à apprendre) sont échantillonnées plus fréquemment. L’agent concentre son apprentissage sur les transitions surprenantes ou mal prédites, améliorant la sample efficiency.

Rainbow DQN (Hessel et al., 2018)

Rainbow combine six améliorations du DQN en un seul algorithme : Double DQN, Prioritized Replay, Dueling, Distributional RL (C51), Noisy Networks (exploration par bruit dans les poids) et multi-step learning (retours sur n étapes au lieu d’une). Le résultat : une amélioration de 300% du score moyen sur Atari par rapport au DQN original. Rainbow reste en 2026 l’état de l’art des méthodes value-based sur les benchmarks Atari.

De R2D2 à Agent57

R2D2 (Recurrent Replay Distributed DQN) combine mémoire récurrente (LSTM), experience replay off-policy et entraînement distribué. Agent57 (DeepMind, 2020) a été le premier agent de deep RL à dépasser le score humain sur les 57 jeux Atari, y compris les quatre jeux « impossibles » (Montezuma’s Revenge, Pitfall, Solaris, Skiing) qui résistaient à tous les algorithmes précédents. Agent57 y est parvenu grâce à un mécanisme adaptatif d’exploration qui ajuste automatiquement le compromis exploration-exploitation en fonction du jeu.

L’impact historique du DQN

Le DQN n’est pas seulement un algorithme : c’est un tournant dans l’histoire de l’IA. Avant le DQN, le reinforcement learning était un domaine largement théorique avec des applications limitées à de petits environnements. Le DQN a démontré trois choses :

Le deep RL fonctionne : un réseau de neurones profond peut apprendre des comportements complexes directement à partir de pixels, sans feature engineering. Cette démonstration a ouvert la porte à AlphaGo (2016), qui a combiné le deep RL avec Monte Carlo Tree Search pour battre le champion du monde de Go.

La généralisation est possible : un seul algorithme, avec des hyperparamètres identiques, a appris 49 jeux différents. C’était un pas vers l’intelligence artificielle générale, et c’est ce qui a motivé Google à acquérir DeepMind pour environ 500 millions de dollars en 2014.

L’experience replay + target network stabilisent le deep RL : ces deux techniques sont devenues des standards réutilisés dans DDPG, TD3, SAC et de nombreux autres algorithmes. L’idée d’un replay buffer est même devenue centrale en dehors du RL (pré-entraînement de modèles, apprentissage continu).

Limites du DQN en 2026

Actions discrètes uniquement : le DQN nécessite de calculer Q(s, a) pour chaque action, ce qui impose un nombre fini d’actions. Pour les actions continues (robotique, contrôle), il faut passer à DDPG, SAC ou PPO.

Sample inefficiency : malgré l’experience replay, le DQN nécessite des dizaines de millions de frames pour converger. L’entraînement original durait 38 jours de temps de jeu par jeu.

Exploration limitée : l’ε-greedy est une stratégie d’exploration primitive. Les jeux nécessitant une exploration profonde (Montezuma’s Revenge, où les récompenses sont extrêmement rares) résistent au DQN standard. Des extensions comme Noisy Networks et l’exploration par curiosité intrinsèque ont partiellement résolu ce problème.

Overestimation bias : le max dans la cible Q surestime les valeurs. Double DQN corrige ce problème mais ne l’élimine pas complètement.

Dépassé par les méthodes policy-based : pour la plupart des applications pratiques en 2026 (RLHF, robotique, contrôle), les méthodes actor-critic (PPO, SAC) dominent. Le DQN reste pertinent comme benchmark et outil pédagogique, mais il n’est plus l’algorithme de choix pour les nouveaux projets.

Verdict

Le DQN est l’algorithme qui a lancé la révolution du deep reinforcement learning. Son article Nature de 2015 reste l’un des plus cités en IA, et ses innovations (experience replay, target network) sont des composants standard de pratiquement tous les algorithmes de deep RL modernes. La lignée DQN → Double DQN → Dueling → Rainbow → Agent57 montre une progression remarquable de performances sur les benchmarks Atari, culminant avec Agent57 qui surpasse l’humain sur les 57 jeux.

Pour les praticiens en 2026, le DQN est avant tout un outil pédagogique incontournable : l’implémenter from scratch sur Breakout ou Pong est le meilleur moyen de comprendre le deep RL en profondeur. Pour les projets de production, les méthodes actor-critic (PPO pour la polyvalence, SAC pour le contrôle continu) sont généralement préférées. Mais pour les problèmes à actions discrètes en haute dimension où l’off-policy et la sample efficiency importent (systèmes de recommandation, optimisation de flux), les variantes du DQN (Rainbow, R2D2) restent compétitives.

L’héritage du DQN dépasse le RL. L’idée qu’un réseau de neurones peut apprendre un comportement complexe directement à partir de données brutes, sans ingénierie de features, est devenue le principe directeur de l’IA moderne, des LLM aux modèles de vision. DeepMind a montré le chemin, et le monde a suivi.