Accueil › Glossaire › Model Size

Model Size (Taille du Modèle)

La taille d’un modèle d’IA (model size) désigne le nombre total de paramètres (ou poids) qu’il contient. C’est la mesure la plus courante pour comparer les modèles entre eux. Un modèle de 7 milliards de paramètres (7B) est « plus petit » qu’un modèle de 70B, qui est lui-même « plus petit » qu’un modèle de 675B. Plus la taille est grande, plus le modèle peut stocker de connaissances et capturer de patterns, mais plus il coûte cher à entraîner et à exécuter.

Les catégories de taille en 2026

Il n’existe pas de classification officielle, mais le marché utilise des fourchettes implicites. Voici les catégories de facto avec les modèles représentatifs de chaque segment.

Relation entre taille et performance

Les scaling laws : plus gros = meilleur, mais jusqu’où ?

Les scaling laws (lois de mise à l’échelle), formalisées par les chercheurs d’OpenAI (Kaplan et al., 2020) puis raffinées par l’équipe Chinchilla de DeepMind (Hoffmann et al., 2022), décrivent une relation prévisible entre la taille du modèle, la quantité de données d’entraînement, le compute utilisé et la performance résultante.

La relation est logarithmique : doubler la taille du modèle ne double pas la performance. Les améliorations deviennent de plus en plus coûteuses à obtenir. Passer de 7B à 70B paramètres apporte un gain significatif. Passer de 70B à 700B apporte un gain mesurable mais proportionnellement plus faible. C’est la loi des rendements décroissants appliquée à l’IA.

Petit modèle spécialisé vs grand modèle généraliste

L’un des enseignements majeurs de 2025-2026 : un petit modèle bien fine-tuné peut surpasser un grand modèle généraliste sur une tâche spécifique. Gemma 3 4B (4 milliards de paramètres), entraîné par distillation depuis Gemini 2.0, rivalise avec Gemma 2 27B sur de nombreux benchmarks. Adaptive ML a fine-tuné un Gemma 3 4B pour SK Telecom qui surpasse des modèles propriétaires beaucoup plus grands sur la modération de contenu multilingue.

Cette réalité a des implications économiques directes : si votre cas d’usage est bien défini (classification, extraction d’entités, résumé dans un domaine spécifique), investir dans le fine-tuning d’un petit modèle est souvent plus rentable que de payer pour un modèle frontier via API.

La taille n’est qu’un facteur parmi d’autres

La performance d’un modèle dépend de trois facteurs principaux, pas seulement de sa taille :

1. Le nombre de paramètres (la « taille » du modèle)
2. La quantité et la qualité des données d’entraînement (mesurée en tokens)
3. Le compute total utilisé (mesuré en FLOPs)

Les recherches post-Chinchilla ont montré qu’on peut « sur-entraîner » un petit modèle (lui donner beaucoup plus de données que la proportion « optimale ») pour obtenir des performances proches d’un modèle plus grand, à condition d’accepter un coût d’entraînement plus élevé. C’est la stratégie adoptée par de nombreux éditeurs de SLM (Small Language Models) en 2025-2026.

L’architecture joue aussi un rôle crucial : un modèle MoE de 400B paramètres (17B actifs) et un modèle dense de 70B n’ont pas du tout les mêmes performances malgré un coût d’inférence comparable.

Taille et coût : les chiffres concrets

Coût d’entraînement

Le coût d’entraînement augmente de façon plus que linéaire avec la taille du modèle, car il faut aussi augmenter le volume de données et le nombre de GPU en parallèle.

L’exception notable : DeepSeek V3 a été entraîné pour environ 5,6 millions de dollars, une fraction du coût des modèles comparables. Cela illustre que le coût d’entraînement dépend autant de l’efficacité du pipeline (architecture MoE, optimisation du code, qualité des données) que de la taille brute du modèle.

Coût d’inférence

Le coût d’inférence (exécuter le modèle pour répondre à une requête) est directement lié au nombre de paramètres actifs. C’est ici que la distinction dense/MoE est cruciale.

Taille et mémoire : combien de GPU faut-il ?

La mémoire GPU (VRAM) requise dépend du nombre total de paramètres et de la précision numérique. Pour un modèle dense en FP16 (16 bits par paramètre), comptez environ 2 Go par milliard de paramètres. La quantization à 4 bits divise ce chiffre par 4.

Tendances de taille en 2026

La course aux paramètres bruts est terminée

En 2020-2023, la tendance était « plus gros = meilleur ». GPT-3 (175B) semblait gigantesque, puis GPT-4 a vraisemblablement dépassé le trillion de paramètres. En 2025-2026, la course s’est réorientée : l’accent est mis sur l’efficacité (faire mieux avec moins) plutôt que sur la taille brute.

Les preuves abondent. gpt-oss-120b (5,1B paramètres actifs) rivalise avec o4-mini d’OpenAI. Gemma 3 4B bat Gemma 2 27B. DeepSeek V3.2 offre des performances frontier avec un coût d’entraînement 10 à 100 fois inférieur aux estimations pour GPT-4. Le consensus de l’industrie est clair : la performance est le produit de la taille × la qualité des données × l’efficacité de l’architecture × la qualité du post-training, et non de la taille seule.

Stratification du marché

Le marché s’est structuré en tiers clairement définis :

Tier 1 (frontier) : GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro. Pour le raisonnement complexe, les tâches critiques, les agents autonomes. Coût élevé (> $5/M tokens output).

Tier 2 (open weights performants) : DeepSeek V3.2, Mistral Large 3, GLM-5, Qwen 3.5. Performance proche du frontier, coût 10 à 40 fois inférieur. Auto-hébergement possible.

Tier 3 (budget/volume) : Gemma 3 4B-27B, Ministral 8B-14B, gpt-oss-20b. Pour la classification, l’extraction, le routage, le résumé à haut volume. Coût quasi nul.

Les équipes les plus matures en 2026 utilisent les trois tiers simultanément, avec un routeur qui dirige chaque requête vers le modèle le plus adapté en termes de rapport qualité/coût.

L’essor des modèles edge et mobile

La catégorie « micro » (< 1B paramètres) connaît une croissance rapide, portée par la demande d'IA on-device. Gemma 3 270M tourne sur un téléphone avec moins de 1 % de batterie pour 25 conversations. Ministral 3B fonctionne sur des appareils à mémoire limitée. gpt-oss-20b (3,6B actifs) tourne avec 16 Go de mémoire. Ces modèles ne rivalisent pas avec les frontier pour le raisonnement complexe, mais ils excellent sur des tâches spécifiques après fine-tuning, et ils offrent des avantages majeurs en termes de latence, de confidentialité et de coût.

Comment la taille est-elle mesurée et communiquée ?

La convention est de compter tous les paramètres entraînables du modèle. Cela inclut les poids des connexions entre neurones, les biais, les paramètres de normalisation et les matrices d’embedding. La taille est exprimée en notation courte : 7B = 7 milliards, 70B = 70 milliards, 1T = 1 trillion (1 000 milliards).

Pour les modèles MoE, deux chiffres sont communiqués : les paramètres totaux (tous les experts) et les paramètres actifs (les experts utilisés par token). Mistral Large 3 est souvent décrit comme « 675B/41B » ou « 675B total, 41B active ». Quand un seul chiffre est donné sans précision, méfiance : il peut s’agir des paramètres totaux (impressionnant sur le papier) ou des paramètres actifs (représentatif du coût réel).

Taille et réglementation

La taille d’un modèle a des implications réglementaires directes. Aux États-Unis, l’Executive Order 14110 de l’administration Biden a introduit des obligations de reporting pour les modèles entraînés avec plus de 10²⁶ FLOPs de compute, ce qui correspond approximativement aux modèles frontier de plus de 100B paramètres. En Europe, le AI Act définit des obligations spécifiques pour les « modèles d’IA à usage général » (GPAI), avec des exigences renforcées pour les modèles présentant des « risques systémiques », un seuil initialement fixé à 10²⁵ FLOPs de compute d’entraînement.

La base de données Epoch AI, mise à jour en mars 2026, recense plus de 3 200 modèles d’IA avec leurs caractéristiques (compute, paramètres, taille du dataset, coût). C’est une ressource de référence pour suivre l’évolution des tailles de modèles et du compute d’entraînement au fil du temps.

Pour les entreprises, le point à retenir est que la taille du modèle que vous déployez peut déclencher des obligations de conformité, selon votre juridiction et le niveau de risque de votre application. Un modèle de 7B fine-tuné pour un usage interne a des obligations très différentes d’un modèle frontier déployé dans un produit grand public.

Verdict

La taille d’un modèle reste un indicateur utile de sa capacité potentielle, mais c’est un indicateur de plus en plus trompeur quand il est pris isolément. En 2026, l’efficacité (architectures MoE, distillation, données de haute qualité, post-training sophistiqué) compte autant, sinon plus, que la taille brute.

Pour choisir un modèle, ne partez pas de la taille. Partez de votre cas d’usage, de votre budget d’inférence et de vos contraintes matérielles. Un modèle de 4B bien fine-tuné sur votre domaine peut battre un modèle frontier de 675B sur votre tâche spécifique, pour un coût 100 fois inférieur. La bonne question n’est pas « quel est le plus gros modèle ? » mais « quel est le plus petit modèle qui résout mon problème avec la qualité requise ? ».