Accueil › Glossaire › Autorégressif

Autorégressif (Autoregressive)

Un modèle autorégressif génère une séquence élément par élément, chaque nouvel élément étant conditionné sur tous les éléments précédents. Dans le contexte des LLM, cela signifie que le texte est produit un token à la fois, chaque token dépendant de toute la séquence qui le précède. C’est le mode de fonctionnement de GPT, Claude, LLaMA, Mistral et de tous les LLM génératifs modernes.

Qu’est-ce que l’autorégressivité ?

Le terme « autorégressif » vient des statistiques, où un modèle autorégressif (AR) est un processus dans lequel la valeur courante dépend linéairement des valeurs passées. En séries temporelles, un modèle AR(p) prédit la valeur actuelle à partir des p valeurs précédentes. Les LLM appliquent ce même principe au langage, mais avec une différence majeure : la dépendance est hautement non-linéaire (via le mécanisme d’attention du Transformer) et porte sur l’intégralité de la séquence passée, pas seulement les p derniers tokens.

Concrètement, quand un LLM génère la phrase « Le chat dort sur le canapé », le processus se déroule ainsi :

Chaque étape nécessite un passage complet (ou partiel, avec le KV-cache) à travers le modèle. C’est fondamentalement séquentiel : le token 3 ne peut pas être généré avant le token 2, car il en dépend. Cette séquentialité est à la fois la force et la faiblesse principale du paradigme autorégressif.

Formulation mathématique

La génération autoréressive factorise la probabilité jointe d’une séquence en un produit de probabilités conditionnelles :

Cette factorisation est exacte grâce à la règle de la chaîne des probabilités. Il n’y a aucune approximation dans la décomposition elle-même. L’approximation vient du modèle qui estime chaque P(xᵢ | x₁, …, xᵢ₋₁), car aucun réseau de neurones ne peut représenter parfaitement ces distributions conditionnelles.

Les deux phases de l’inférence autoréressive

L’inférence d’un LLM autorégressif se décompose en deux phases distinctes avec des profils de performance très différents :

Phase 1 : Prefill (traitement du prompt)

Le prompt d’entrée (la question de l’utilisateur) est traité en une seule passe parallèle. Bien que le masque causal soit appliqué, tous les tokens du prompt sont traités simultanément car ils sont déjà connus. Le KV-cache est rempli pour chaque token du prompt. Cette phase est compute-bound : le goulot d’étranglement est la puissance de calcul du GPU.

Phase 2 : Decode (génération token par token)

Les tokens de réponse sont générés un par un, de manière autoréressive. Pour chaque nouveau token, le modèle effectue une passe, mais grâce au KV-cache, seul le calcul relatif au nouveau token est nécessaire (les clés/valeurs des tokens précédents sont en cache). Cette phase est memory-bandwidth-bound : le goulot d’étranglement est la vitesse de lecture des poids et du KV-cache depuis la mémoire GPU.

Le ratio de temps entre prefill et decode dépend de la longueur du prompt et de la réponse. Pour un prompt court et une réponse longue, le decode domine. Pour un prompt très long (document de 100K tokens) et une réponse courte, le prefill domine. Les frameworks de serving modernes (NVIDIA Dynamo, vLLM) optimisent les deux phases séparément.

Pourquoi l’autorégressif domine les LLM

Simplicité d’entraînement

L’entraînement d’un modèle autorégressif est remarquablement simple. L’objectif (Causal LM) consiste à prédire le prochain token à chaque position. Le texte brut fournit automatiquement les labels (le token suivant est le label). Pas besoin d’annotation humaine, pas de pipeline complexe. Cette simplicité permet d’entraîner sur des milliers de milliards de tokens issus du web.

Qualité de génération supérieure

La nature séquentielle garantit la cohérence : chaque token est conditionné sur tout ce qui précède, y compris les tokens déjà générés. Le modèle ne peut pas produire un token 5 qui contredit le token 3, car il voit le token 3 quand il génère le token 5. Les modèles non-autorégressifs, qui génèrent tous les tokens en parallèle, souffrent souvent de tokens incohérents entre eux car chaque token est généré indépendamment.

Universalité du paradigme

Le paradigme autorégressif s’applique à tout ce qui peut être tokenisé : texte, code, images (via tokenisation en patches), audio, vidéo, modèles 3D. La même architecture et le même objectif d’entraînement fonctionnent pour tous ces modaux. C’est cette universalité qui a permis l’émergence des modèles multimodaux : un seul Transformer autorégressif peut traiter et générer du texte, des images et de l’audio dans une séquence unifiée.

Capacités émergentes à grande échelle

À grande échelle, les modèles autorégressifs développent des capacités que leur objectif d’entraînement ne prédit pas directement : raisonnement en chaîne, traduction entre langues, résolution de problèmes mathématiques, programmation. Ces capacités émergentes sont l’un des résultats les plus surprenants de l’IA moderne. Un modèle entraîné « simplement » à prédire le prochain token développe des comportements qualitativement complexes quand il atteint une taille suffisante.

Le prix de la séquentialité

Lenteur inhérente de la génération

C’est la critique principale du paradigme autorégressif. Générer N tokens nécessite N passes séquentielles à travers le modèle (ou au minimum N lectures du KV-cache). Pour une réponse de 1 000 tokens avec un modèle de 70B paramètres, c’est 1 000 lectures séquentielles des poids du modèle depuis la mémoire GPU. La latence est proportionnelle à la longueur de la réponse, ce qui limite le throughput pour les applications temps réel.

Un article d’Apple Research (2025) souligne que les LLM autorégressifs sont « fondamentalement limités par leur nature séquentielle inhérente ». Cependant, les humains aussi « formulent leurs pensées au niveau de la phrase avant de les articuler mot par mot », suggérant que la séquentialité n’est pas intrinsèquement nécessaire.

Pas de révision possible

Un modèle autorégressif ne peut pas revenir en arrière. Une fois un token généré et ajouté à la séquence, il ne peut pas être modifié. Si le modèle commence une réponse dans une direction sous-optimale, il doit continuer avec ce contexte. Les humains, eux, révisent constamment : ils reformulent, corrigent, réorganisent. Cette limitation est partiellement contournée par les « reasoning models » (o1, DeepSeek-R1) qui génèrent une longue chaîne de pensée pouvant inclure des corrections internes, mais le paradigme reste fondamentalement unidirectionnel.

Redondance de calcul

Même avec le KV-cache, chaque nouveau token nécessite la lecture de tous les poids du modèle et de tout le KV-cache accumulé. Pour les longues séquences, ce coût croît linéairement. C’est ce qui rend les modèles autorégressifs memory-bandwidth-bound pendant le decode : le calcul effectif est faible, mais le volume de données à lire est énorme.

Accélérer la génération autoréressive

Plusieurs techniques contournent le goulot d’étranglement séquentiel sans abandonner le paradigme autorégressif :

Speculative decoding

Le speculative decoding utilise un petit modèle « brouillon » rapide pour prédire plusieurs tokens d’avance. Ces prédictions sont ensuite vérifiées en parallèle par le grand modèle. Si les prédictions sont correctes (ce qui arrive souvent pour du texte prévisible), plusieurs tokens sont validés en un seul passage du grand modèle. L’accélération typique est de 2 à 3×, sans aucune perte de qualité (les tokens validés sont identiques à ceux que le grand modèle aurait produit).

Multi-Token Prediction (MTP)

DeepSeek V3 utilise le MTP : le modèle est entraîné à prédire simultanément les N prochains tokens via des têtes de prédiction indépendantes. Le tronc partagé du Transformer calcule les représentations une seule fois, puis chaque tête prédit un offset différent. Combiné avec le speculative decoding, le MTP permet de valider plusieurs tokens par passage. Apple Research (2025) montre que les modèles autorégressifs « savent déjà » ce que seront les tokens futurs, et que cette connaissance peut être exploitée pour accélérer la génération.

Parallel decoding

Le parallel decoding regroupe plusieurs techniques qui génèrent des tokens en parallèle plutôt que séquentiellement. La méthode Medusa ajoute des « têtes » supplémentaires au modèle pour prédire plusieurs tokens simultanément, sans modèle brouillon séparé. Le speculative decoding classique est aussi une forme de parallel decoding (le modèle brouillon et le grand modèle travaillent en parallèle).

CALM : vers l’autorégressif continu

Le projet CALM (Continuous Autoregressive Language Models, 2025) propose un changement de paradigme : au lieu de prédire le prochain token discret, le modèle prédit le prochain vecteur continu. Un autoencodeur compresse K tokens en un seul vecteur, réduisant le nombre de pas autorégressifs d’un facteur K. C’est un compromis entre le parallélisme complet des modèles de diffusion et la séquentialité du Transformer classique.

Les alternatives au paradigme autorégressif

Les modèles de diffusion pour le texte (dLLM) sont l’alternative la plus prometteuse. Inspirés de Stable Diffusion pour les images, ils génèrent la réponse entière en parallèle via un processus de débruitage itératif. Mercury d’Inception AI revendique une inférence jusqu’à 10× plus rapide que les LLM autorégressifs traditionnels. Cependant, les dLLM restent expérimentaux pour le texte et n’ont pas encore atteint la qualité des meilleurs modèles autorégressifs.

L’autorégressif au-delà du texte

Le paradigme autorégressif s’étend désormais bien au-delà du texte. Tout ce qui peut être décomposé en une séquence ordonnée peut être modélisé autorégressivement :

Images. Les modèles comme DALL-E (version tokenisée) et Parti génèrent des images pixel par pixel ou patch par patch, de manière autoréessive. La tokenisation des images (via des autoencodeurs comme VQVAE) convertit les pixels en une séquence de tokens discrets compatible avec un Transformer autorégressif.

Audio et parole. Les codecs neuronaux (EnCodec, SoundStream) tokenisent l’audio en séquences de codes discrets, que des modèles autorégressifs comme AudioLM et MusicLM génèrent séquentiellement.

Code. La génération de code est naturellement autoréessive : les tokens de code sont générés séquentiellement, comme du texte. GPT-5.4 Codex, Claude Code et les assistants de programmation fonctionnent tous en mode autorégressif.

Multimodal. Les modèles multimodaux modernes (GPT-4o, Gemini) traitent texte, images et audio dans une séquence unifiée de tokens, tous générés autorégressivement. Un seul Transformer produit alternativement du texte et des tokens d’image/audio dans une boucle autoréessive unique.

Verdict

L’autorégressivité est le paradigme fondamental qui a rendu les LLM possibles. Sa simplicité (prédire le prochain token) combinée à ses propriétés de cohérence (chaque token voit tout le passé) en fait l’approche la plus robuste pour la génération de texte de haute qualité. Les limites de performance (lenteur séquentielle, pas de révision) sont réelles mais activement contournées par des optimisations comme le speculative decoding, le MTP et le KV-cache.

Les alternatives (modèles de diffusion, non-autorégressifs) progressent mais n’ont pas encore prouvé qu’elles peuvent égaler la qualité des meilleurs modèles AR à grande échelle. Le paradigme autorégressif continuera de dominer les LLM dans un futur prévisible, probablement augmenté de techniques de parallélisation partielle plutôt que remplacé par un paradigme fondamentalement différent.