Accueil › Glossaire › GPT-2

GPT-2 : Le Modèle qui a Lancé l’Ère de la Génération de Texte

Contexte historique

GPT-2 s’inscrit dans la lignée des modèles GPT (Generative Pre-trained Transformer). Le premier GPT (GPT-1, 2018) avait montré que le pré-entraînement non supervisé suivi d’un fine-tuning supervisé pouvait donner de bons résultats sur des tâches NLP variées. GPT-2 a poussé cette idée beaucoup plus loin : un modèle 10 fois plus gros, entraîné sur un corpus 10 fois plus large, capable de réaliser des tâches sans aucun fine-tuning (zero-shot).

La publication de GPT-2 a été accompagnée d’une controverse médiatique : OpenAI a initialement refusé de publier le modèle complet (1,5B paramètres), invoquant des risques de désinformation. Seules les versions plus petites ont été publiées en premier, le modèle complet étant finalement libéré quelques mois plus tard. Cette décision a lancé un débat sur la publication responsable en IA qui reste d’actualité.

Architecture

GPT-2 utilise une architecture Transformer decoder-only, ce qui signifie qu’il ne contient que la partie décodeur du Transformer original. Chaque token ne peut « voir » que les tokens qui le précèdent (attention causale), ce qui fait de GPT-2 un modèle autorégressif : il génère du texte mot par mot, de gauche à droite.

Le tokenizer de GPT-2 utilise le Byte Pair Encoding (BPE) avec un vocabulaire d’environ 50 257 tokens. Ce tokenizer est devenu la base de ceux utilisés dans GPT-3, GPT-3.5 et les premières versions de GPT-4.

Données d’entraînement : WebText

GPT-2 a été entraîné sur WebText, un corpus de 40 Go de texte collecté à partir de liens partagés sur Reddit ayant reçu au moins 3 upvotes. L’idée était d’utiliser la curation sociale comme filtre de qualité : les contenus validés par la communauté Reddit sont généralement plus informatifs et mieux écrits que le web moyen.

WebText contenait environ 8 millions de documents et excluait Wikipedia (pour garder cette source comme benchmark). La communauté open source a ensuite recréé un corpus similaire, OpenWebText, disponible en téléchargement libre.

Capacités démontrées

GPT-2 a surpris par sa capacité à réaliser des tâches variées sans aucun entraînement spécifique (zero-shot) :

Génération de texte. Production de paragraphes cohérents, maintien du thème et du style sur plusieurs centaines de mots. La qualité a été jugée suffisante pour tromper des lecteurs humains dans certaines évaluations.

Résumé (zero-shot). En ajoutant « TL;DR: » à la fin d’un article, GPT-2 produisait des résumés raisonnables sans avoir été entraîné explicitement à cette tâche.

Traduction (zero-shot). Des capacités basiques de traduction émergeaient naturellement, bien qu’inférieures aux systèmes spécialisés.

Question answering. GPT-2 pouvait répondre à des questions factuelles en se basant sur les connaissances absorbées pendant le pré-entraînement, avec une précision modeste mais non triviale.

Héritage technique

GPT-2 a établi plusieurs principes qui sont devenus les fondations de tous les LLM actuels :

L’architecture decoder-only comme standard. Alors que BERT utilisait l’encodeur et T5 l’architecture complète encoder-decoder, GPT-2 a montré que le décodeur seul suffisait pour la génération. En 2026, GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro et la quasi-totalité des LLM majeurs utilisent des architectures decoder-only.

Le scaling comme stratégie. GPT-2 a montré que simplement augmenter la taille du modèle et des données d’entraînement améliorait les performances sur toutes les tâches. Cette observation a conduit aux « lois de scaling » formalisées plus tard par Kaplan et al.

Les capacités émergentes. Des capacités non explicitement entraînées (traduction, résumé, Q&A) émergeaient naturellement avec l’échelle. Ce phénomène est devenu central dans la recherche sur les LLM.

Le zero-shot comme paradigme. GPT-2 a initié l’idée qu’un modèle suffisamment grand pouvait résoudre des tâches sans exemples d’entraînement spécifiques, une idée poussée à son paroxysme par GPT-3.

GPT-2 en 2026

GPT-2 reste disponible en open source sur Hugging Face et continue d’être utilisé dans plusieurs contextes :

Enseignement. Avec 117M à 1,5B paramètres, GPT-2 est suffisamment petit pour être étudié, modifié et exécuté sur un laptop. C’est le modèle de référence pour apprendre l’architecture des LLM.

Recherche. De nombreux papiers utilisent GPT-2 comme modèle de base pour tester des techniques de compression, distillation, interprétabilité ou alignement, grâce à sa taille gérable.

Fine-tuning spécialisé. GPT-2 fine-tuné sur des corpus spécifiques (génération de code, dialogue, poésie) reste pertinent pour des applications de niche où un modèle petit et rapide est préféré.

Exécution locale. GPT-2 tourne sur un CPU standard, ce qui le rend adapté aux applications offline, embarquées ou sensibles en termes de confidentialité.