Accueil › Glossaire › Mixtral

Mixtral : l’architecture Mixture-of-Experts qui a lance Mistral AI

Qu’est-ce que Mixtral ?

Mixtral est le modele qui a mis Mistral AI sur la carte mondiale de l’IA. Lance sous licence Apache 2.0, il a demontre qu’un modele open-weight pouvait rivaliser avec les offres proprietaires de OpenAI et Google, tout en etant deployable localement par n’importe qui.

Le concept cle de Mixtral est le Mixture-of-Experts (MoE) : au lieu d’utiliser tous les parametres pour chaque token, le modele selectionne dynamiquement un sous-ensemble d’experts specialises. Cela permet d’avoir la capacite representationnelle d’un tres grand modele avec le cout d’inference d’un modele beaucoup plus petit.

Deux versions principales ont ete publiees : Mixtral 8x7B (decembre 2023, le premier modele MoE open-source grand public) et Mixtral 8x22B (avril 2024, la version amelioree). En mars 2026, ces modeles sont consideres comme legacy, remplaces par Mistral Large 3 et Mistral Small 4 qui reprennent et ameliorent l’approche MoE.

Architecture Mixture-of-Experts

L’architecture MoE de Mixtral fonctionne sur un principe simple : chaque couche du modele contient 8 reseaux d’experts. Pour chaque token traite, un mecanisme de routage selectionne les 2 experts les plus pertinents. Seuls ces 2 experts sont actives, les 6 autres restent inactifs.

Le resultat : Mixtral 8x22B a 141 milliards de parametres au total, mais n’en active que ~39 milliards par token. Cela lui permet d’etre plus rapide qu’un modele dense de 70B parametres tout en etant plus performant, grace a sa capacite totale beaucoup plus grande.

Avantages du MoE

La vitesse d’inference est comparable a un modele de 39B parametres (seuls les experts actifs consomment du calcul). La capacite de connaissance est celle d’un modele de 141B parametres (tous les experts stockent de l’information). Le cout par token est nettement inferieur a celui d’un modele dense equivalent en performance. Le modele se specialise naturellement : certains experts deviennent meilleurs sur le code, d’autres sur le raisonnement, d’autres sur les langues.

Inconvenients du MoE

L’empreinte memoire (VRAM) reste celle du modele complet (141B params a charger en memoire). Le routage peut etre sous-optimal sur certaines requetes, entrainant des variations de qualite. L’entrainement est plus complexe qu’un modele dense.

Mixtral 8x7B

Le premier Mixtral (decembre 2023) utilisait 8 experts de 7 milliards de parametres chacun, pour un total d’environ 47B parametres et ~13B actifs par token. A sa sortie, il surpassait LLaMA 2 70B sur la plupart des benchmarks tout en etant nettement plus rapide a l’inference.

Mixtral 8x7B a ete le premier modele MoE open-source accessible au grand public, et il a contribue a populariser l’architecture Mixture-of-Experts dans la communaute IA.

Mixtral 8x22B

Lance en avril 2024, Mixtral 8x22B a double la mise : 8 experts de 22B parametres chacun, pour 141B au total et ~39B actifs. Il a introduit un contexte de 64K tokens, le support du function calling natif et des performances nettement ameliorees en maths, code et raisonnement.

Mixtral 8x22B a surpasse des modeles comme Command R+ et LLaMA 2 70B sur de nombreux benchmarks de raisonnement et de connaissance. Il a egalement excelle en multilingue, surpassant nettement LLaMA 2 70B en francais, allemand, espagnol et italien.

Deployer Mixtral localement

Grace a la licence Apache 2.0, Mixtral peut etre deploye localement. Plusieurs options sont disponibles.

Ollama est la methode la plus simple : une seule commande ollama run mixtral:8x22b suffit pour telecharger et lancer le modele. vLLM et Text Generation Inference (TGI) sont recommandes pour les deploiements en production avec de la concurrence de requetes. HuggingFace Transformers permet un acces programmatique complet aux poids du modele.

Heritage de Mixtral dans l’ecosysteme IA

Mixtral a eu un impact considerable sur l’ecosysteme IA open-source. Il a demontre la viabilite du MoE pour les modeles open-weight, inspire d’autres projets (dont DeepSeek V3 et Qwen), et etabli Mistral AI comme un acteur credible face aux geants americains.

L’approche MoE initiee par Mixtral est desormais au coeur de toute la gamme Mistral : Large 3 (675B/40B), Small 4 (119B/6B) et les Ministral reprennent et ameliorent cette architecture. On retrouve egalement le MoE chez DeepSeek V3 (671B/37B actifs), Qwen 3.5 (397B/17B actifs) et Llama 4 Scout et Maverick.

Statut actuel (mars 2026)

Les modeles Mixtral 8x7B et 8x22B sont consideres comme legacy en mars 2026. Ils restent disponibles sur Hugging Face et via Ollama, mais Mistral AI recommande de migrer vers Mistral Large 3 ou Small 4 pour beneficier de performances superieures et d’un support actif.

Pour les nouveaux projets, Large 3 remplace Mixtral 8x22B pour les taches complexes, et Small 4 offre un meilleur rapport performance/cout pour les usages courants.

FAQ Mixtral