Accueil › Glossaire › Inference

Inference IA : le processus de generation des reponses par les LLM

Entrainement vs Inference

Le cycle de vie d’un LLM se divise en deux phases distinctes. Le pre-entrainement consomme des millions de dollars en GPU pendant des semaines ou des mois pour apprendre les poids du modele. L’inference utilise ces poids appris pour generer des reponses en temps reel, requete par requete.

L’entrainement est un investissement ponctuel (ou periodique). L’inference est un cout recurrent qui augmente avec le nombre d’utilisateurs. Pour les fournisseurs comme OpenAI et Anthropic, l’inference represente la majorite de leurs couts operationnels et c’est pourquoi les tokens sont factures a l’utilisation.

Comment fonctionne l’inference d’un LLM

Phase 1 : Prefill (traitement du prompt)

Le modele traite l’integralite de votre prompt d’entree en parallele. Tous les tokens d’entree passent simultanement a travers les couches du transformer. Cette phase produit les representations internes (KV cache) qui seront utilisees pendant la generation.

La duree du prefill est proportionnelle a la longueur du prompt. Un prompt de 100 000 tokens prend significativement plus de temps qu’un prompt de 100 tokens. C’est la phase qui determine le TTFT (Time To First Token) : le temps entre l’envoi de la requete et l’apparition du premier token de la reponse.

Phase 2 : Decode (generation auto-regressive)

Le modele genere la reponse un token a la fois, de maniere sequentielle. Pour chaque nouveau token, le modele recalcule les probabilites en tenant compte de tous les tokens precedents (prompt + tokens deja generes). Le token selectionne est ajoute a la sequence, et le processus se repete jusqu’a ce que le modele genere un token de fin de sequence ou atteigne la limite max_tokens.

Cette phase sequentielle est le goulot d’etranglement de l’inference. C’est pourquoi les tokens de sortie coutent plus cher que les tokens d’entree : chaque token de sortie necessite un calcul de forward pass complet, alors que les tokens d’entree sont traites en parallele.

Metriques de performance de l’inference

La vitesse de generation varie considerablement selon le modele et le fournisseur. Les modeles compacts comme GPT-4o mini ou Claude Haiku generent 100 a 150 tokens par seconde. Les modeles larges comme GPT-4o ou Claude 3.5 Sonnet generent 30 a 80 tokens par seconde. Les modeles de raisonnement (o1, o3) ont une latence nettement superieure car ils executent un raisonnement interne avant la generation.

Le cout de l’inference

L’inference est le poste de cout principal pour toute application IA en production. Les fournisseurs facturent par million de tokens, avec un prix different pour les tokens d’entree et de sortie.

Pourquoi les tokens de sortie coutent-ils 2 a 5 fois plus cher ? Parce que chaque token de sortie necessite un calcul sequentiel complet (un forward pass du transformer), tandis que les tokens d’entree sont traites en parallele en un seul passage. Le cout de calcul GPU par token de sortie est donc bien superieur.

Les couts d’inference ont chute drastiquement entre 2023 et 2026. Le prix par million de tokens de sortie pour un modele de niveau GPT-4 est passe d’environ 60 $ en 2023 a environ 10 $ en 2026, soit une baisse de 80 % en trois ans. Cette tendance se poursuit grace a l’amelioration du materiel (GPU H100, H200) et des techniques d’optimisation logicielle.

Techniques d’optimisation de l’inference

Quantification

La quantification reduit la precision numerique des poids du modele (de float16 a int8 ou int4) pour accelerer le calcul et reduire la memoire necessaire. Un modele quantifie en 4 bits est environ 4 fois plus petit en memoire et 2 a 3 fois plus rapide, avec une degradation de qualite souvent imperceptible.

Les formats de quantification populaires incluent GPTQ, AWQ, GGUF (pour llama.cpp) et bitsandbytes. La plupart des modeles open source sont disponibles en versions quantifiees sur Hugging Face.

KV Cache

Le KV cache (Key-Value cache) stocke les representations intermediaires des tokens deja traites pour eviter de les recalculer a chaque nouveau token genere. Sans KV cache, generer le 100e token necessiterait de retraiter les 99 tokens precedents. Avec le KV cache, seul le dernier token est calcule. C’est une optimisation fondamentale qui est activee par defaut dans toutes les implementations modernes.

Batching continu

Le batching regroupe plusieurs requetes d’inference pour les traiter simultanement sur le GPU. Le batching continu (continuous batching ou iteration-level batching) optimise encore plus le processus en inserant de nouvelles requetes dans un batch en cours de traitement, maximisant l’utilisation du GPU.

Les frameworks de serving comme vLLM, TensorRT-LLM (NVIDIA) et SGLang implementent le batching continu et sont utilises par les fournisseurs d’API en production.

Speculative decoding

Le speculative decoding utilise un petit modele rapide pour generer plusieurs tokens candidats, puis le grand modele les verifie en parallele. Si les candidats sont corrects (ce qui arrive souvent pour les tokens previsibles), le grand modele « saute » plusieurs etapes de generation. Cette technique accelere l’inference de 2 a 3x sans aucune perte de qualite.

Inference locale vs cloud

L’inference locale avec Ollama ou llama.cpp permet d’executer des modeles open source (LLaMA 3, Mistral, Phi) sur votre propre materiel. Un modele 7B quantifie en 4 bits tourne confortablement sur un GPU de 8 Go de VRAM, et un modele 70B necessite 40 a 48 Go de VRAM.

Streaming : l’inference en temps reel

Le streaming envoie chaque token au client des qu’il est genere, au lieu d’attendre la fin de la generation complete. C’est ce qui permet l’effet « machine a ecrire » dans les interfaces comme ChatGPT et Claude. Le streaming ameliore la perception de vitesse (l’utilisateur commence a lire immediatement) sans accelerer la generation reelle.

FAQ