Accueil › Glossaire › Dropout

Dropout

Le dropout est une technique de régularisation pour les réseaux de neurones qui consiste à désactiver aléatoirement une fraction des neurones à chaque étape d’entraînement, forçant le réseau à apprendre des représentations plus robustes et distribuées.

Inventé par Geoffrey Hinton et ses collègues en 2012 (et formalisé en 2014), le dropout est devenu l’une des techniques de régularisation les plus utilisées en deep learning. L’idée est élégante : si le réseau doit fonctionner même quand certains de ses neurones sont « en panne », il ne peut pas se permettre de dépendre d’un seul neurone ou d’un petit groupe de neurones pour ses prédictions. Il est obligé de distribuer l’information de façon redondante, ce qui le rend beaucoup plus robuste et moins susceptible de mémoriser le bruit du training set.

Comment fonctionne le dropout

Pendant l’entraînement

À chaque pas d’entraînement (chaque forward pass sur un mini-batch), chaque neurone d’une couche avec dropout a une probabilité p d’être « désactivé » (sa sortie est mise à zéro). Le réseau qui fait la prédiction est donc un sous-réseau aléatoire du réseau complet, différent à chaque pas. Concrètement, un masque binaire aléatoire est généré pour chaque couche, et les activations des neurones masqués sont multipliées par zéro.

Si vous avez une couche de 1 000 neurones avec un dropout de 0,5, en moyenne 500 neurones sont actifs à chaque pas. Mais ce ne sont pas les mêmes 500 à chaque fois : la sélection est aléatoire et change à chaque itération. Au fil de l’entraînement, le réseau apprend à fonctionner correctement quel que soit le sous-ensemble de neurones actifs.

Pendant l’inférence (prédiction)

À l’inférence, tous les neurones sont actifs (pas de masquage). Mais comme le réseau a été entraîné avec seulement une fraction des neurones actifs, les sorties sont en moyenne plus grandes que ce que le réseau a appris. Pour compenser, les poids sont multipliés par (1 – p) à l’inférence. En pratique, la plupart des frameworks utilisent l' »inverted dropout » : pendant l’entraînement, les sorties des neurones actifs sont divisées par (1 – p), ce qui normalise automatiquement les activations. Ainsi, aucune modification n’est nécessaire à l’inférence.

Pourquoi ça marche : trois intuitions

Entraînement d’un ensemble implicite. À chaque pas, un sous-réseau différent est entraîné. Un réseau de N neurones avec dropout génère 2^N sous-réseaux possibles. L’inférence avec tous les neurones actifs revient à approximer la moyenne des prédictions de tous ces sous-réseaux. C’est conceptuellement similaire aux méthodes d’ensemble (Random Forest, bagging) qui améliorent la généralisation en moyennant plusieurs modèles.

Prévention de la co-adaptation. Sans dropout, certains neurones peuvent se « spécialiser » pour corriger les erreurs d’autres neurones spécifiques. Cette co-adaptation crée une dépendance fragile : si l’un de ces neurones ne fonctionne pas correctement sur de nouvelles données, tout le circuit s’effondre. Le dropout casse ces dépendances en forçant chaque neurone à être utile indépendamment des autres.

Injection de bruit stochastique. Le dropout introduit du bruit aléatoire pendant l’entraînement, ce qui empêche le modèle de converger vers des solutions sur-ajustées au training set. Ce bruit agit comme un régulariseur qui lisse la surface de loss et guide l’optimizer vers des minima plus « plats » (qui généralisent mieux) plutôt que des minima « étroits » (qui sont spécifiques au training set).

Choisir le taux de dropout

Le taux p (probabilité de désactivation) est le seul hyperparamètre du dropout. Son choix dépend du type de couche et du problème.

Implémentation pratique

PyTorch

import torch.nn as nn

class Classifier(nn.Module):
    def __init__(self, input_dim, hidden_dim, num_classes):
        super().__init__()
        self.network = nn.Sequential(
            nn.Linear(input_dim, hidden_dim),
            nn.ReLU(),
            nn.Dropout(p=0.3),        # 30% dropout après la 1ère couche
            nn.Linear(hidden_dim, hidden_dim),
            nn.ReLU(),
            nn.Dropout(p=0.3),        # 30% dropout après la 2ème couche
            nn.Linear(hidden_dim, num_classes)
            # PAS de dropout avant la sortie finale
        )

    def forward(self, x):
        return self.network(x)

# Entraînement
model.train()   # Active le dropout
# ... boucle d'entraînement ...

# Inférence
model.eval()    # Désactive le dropout
with torch.no_grad():
    predictions = model(test_data)

TensorFlow / Keras

from tensorflow.keras import layers, models

model = models.Sequential([
    layers.Dense(256, activation='relu', input_shape=(input_dim,)),
    layers.Dropout(0.3),
    layers.Dense(256, activation='relu'),
    layers.Dropout(0.3),
    layers.Dense(num_classes, activation='softmax')
    # Keras gère automatiquement train/eval
])

En Keras, le dropout est automatiquement désactivé pendant model.predict() et model.evaluate(). Pas besoin de basculer manuellement entre les modes train et eval.

Variantes du dropout

Spatial Dropout (Dropout2D)

Pour les CNN, le dropout standard (qui masque des neurones individuels) n’est pas optimal car les activations voisines dans une feature map sont fortement corrélées : masquer un pixel n’a pas beaucoup d’effet si ses voisins transmettent la même information. Le Spatial Dropout masque des feature maps entières (des canaux complets), ce qui force le réseau à ne pas s’appuyer sur un seul filtre convolutif. C’est plus efficace que le dropout standard pour les architectures convolutives.

DropConnect

Au lieu de masquer des neurones (les sorties), DropConnect masque des connexions individuelles (les poids). Chaque poids a une probabilité p d’être mis à zéro à chaque pas. C’est une généralisation du dropout (le dropout est un cas spécial de DropConnect où toutes les connexions d’un neurone sont masquées ensemble). DropConnect offre une régularisation plus fine mais est plus coûteux en calcul.

Variational Dropout

Le dropout standard utilise un masque différent à chaque pas d’entraînement. Le Variational Dropout utilise le même masque pour toute la séquence dans un RNN, ce qui est plus adapté aux données séquentielles. L’idée : si un neurone est « en panne » au début de la séquence, il l’est pendant toute la séquence, ce qui oblige le réseau à trouver des chemins alternatifs cohérents dans le temps.

DropBlock

Extension du Spatial Dropout pour les CNN, DropBlock masque des régions contiguës (des blocs rectangulaires) dans les feature maps. Plus efficace que le dropout standard ou le Spatial Dropout pour les tâches de détection d’objets et de segmentation, car il force le réseau à ne pas s’appuyer sur des régions spatiales spécifiques.

Attention Dropout

Spécifique aux Transformers, l’attention dropout masque aléatoirement des positions dans la matrice d’attention. Cela empêche le modèle de toujours se concentrer sur les mêmes tokens et l’oblige à exploiter l’information de façon plus distribuée. C’est un composant standard de l’architecture Transformer (taux typique : 0,1).

Dropout vs autres régulariseurs

Quand utiliser (et ne pas utiliser) le dropout

Utilisez le dropout quand : Votre réseau de neurones overfitte (écart significatif entre training et validation). Vous avez un réseau avec de grandes couches fully connected (le cas classique). Vous ne pouvez pas augmenter la taille de votre dataset. Vous entraînez un Transformer ou un modèle attention-based.

N’utilisez pas (ou réduisez) le dropout quand : Votre modèle underfitte déjà (la training loss est élevée). Vous avez un très grand dataset et un modèle de taille modérée (l’overfitting est peu probable). Vous utilisez des modèles non neuronaux (arbres, SVM, régression). Vous entraînez un modèle très profond où le dropout ralentit excessivement la convergence.

Tendance récente. Certains modèles de fondation très grands (GPT-3 et successeurs) n’utilisent pas ou très peu de dropout pendant le pré-entraînement, compensant par la taille massive du corpus. Pour le fine-tuning sur des datasets plus petits, le dropout reste en revanche très utile.

Impact historique et adoption

Le dropout a été l’une des innovations qui ont rendu possible le deep learning moderne. Avant son introduction, les réseaux de neurones profonds overfittaient massivement sur les datasets de taille moyenne. Les chercheurs devaient se limiter à des architectures peu profondes ou utiliser des datasets énormes.

Le papier original (« Dropout: A Simple Way to Prevent Neural Networks from Overfitting », Srivastava et al., 2014) a été cité plus de 40 000 fois, ce qui en fait l’un des articles les plus influents de l’histoire du deep learning. Le dropout a été un composant clé d’AlexNet (2012), le réseau qui a déclenché la révolution du deep learning en remportant le défi ImageNet avec une marge spectaculaire.

Depuis, le dropout est intégré dans toutes les bibliothèques de deep learning (PyTorch, TensorFlow, JAX) et fait partie du vocabulaire de base de tout praticien ML. Ses variantes (Spatial Dropout, DropBlock, attention dropout) continuent d’être développées et adaptées aux nouvelles architectures.

Erreurs fréquentes

Oublier model.eval() à l’inférence. L’erreur la plus courante et la plus coûteuse. Le dropout actif pendant la prédiction produit des résultats aléatoires (différents à chaque appel). En PyTorch, toujours basculer en model.eval() avant la prédiction et en model.train() avant l’entraînement.

Appliquer du dropout sur la couche de sortie. Masquer aléatoirement des neurones de sortie n’a pas de sens : vous supprimez des classes entières de la prédiction. Le dropout s’applique aux couches cachées, jamais à la dernière couche.

Taux de dropout trop élevé. Un dropout de 0,8 ou 0,9 empêche presque tout apprentissage. Si votre training loss refuse de descendre, vérifiez le taux de dropout. Un taux de 0,5 est généralement le maximum utile, et 0,2 à 0,3 est un point de départ plus sûr.

Comparer des modèles avec et sans dropout sur la training loss. Le dropout augmente la training loss (c’est son rôle). Un modèle avec dropout qui a une training loss de 0,5 est probablement meilleur qu’un modèle sans dropout avec une training loss de 0,1, car le premier résiste à l’overfitting. Comparez toujours les modèles sur la validation loss, pas sur la training loss.

Utiliser le dropout standard dans les couches convolutives. Le dropout par neurone est inefficace dans les CNN à cause des corrélations spatiales. Préférez le Spatial Dropout ou le DropBlock pour les couches convolutives.