Accueil › Glossaire › Mixture of Experts Routing

Mixture of Experts Routing (Routage MoE)

Le mixture of experts routing (routage MoE) est le mécanisme par lequel un réseau gating (routeur) détermine, pour chaque token d’entrée, quel sous-ensemble d’experts (sous-réseaux spécialisés) doit le traiter, dans une architecture Mixture of Experts.

Dans un LLM classique (modèle dense), chaque token passe par tous les paramètres du réseau. Dans un modèle MoE (modèle sparse), chaque token ne traverse qu’un petit sous-ensemble d’experts, sélectionnés par le routeur. C’est cette sélection qui fait toute la différence : elle permet d’avoir un modèle avec des centaines de milliards de paramètres totaux tout en n’activant qu’une fraction à chaque inférence, réduisant drastiquement le coût de calcul.

Le routage est le composant le plus critique d’une architecture MoE. Un mauvais routage entraîne des experts sous-entraînés, une charge déséquilibrée entre les dispositifs matériels, et une dégradation de la qualité. Un bon routage assure que chaque token est traité par les experts les plus pertinents, que la charge est équilibrée, et que tous les experts contribuent utilement au modèle. En 2026, les stratégies de routage sont au cœur de l’architecture de modèles majeurs comme Mistral Large 3 (MoE ~675B params, ~40B actifs), DeepSeek V3.2, Mixtral, et Grok.

Pourquoi le routage est crucial

Rappel : l’architecture MoE

Dans un transformer classique, chaque bloc contient une couche d’attention suivie d’une couche feed-forward (FFN). Dans un modèle MoE, la couche FFN est remplacée par un ensemble d’experts, chacun étant un réseau feed-forward indépendant avec ses propres paramètres. Un routeur (gate network) est ajouté avant les experts pour déterminer lequel (ou lesquels) traite chaque token.

Le résultat : un modèle qui peut avoir des centaines de milliards de paramètres totaux mais qui n’en active qu’une fraction pour chaque token. Mistral Large 3, par exemple, a environ 675 milliards de paramètres totaux mais n’en active qu’environ 40 milliards par requête. Grok-1 a 314 milliards de paramètres mais n’en utilise que 25 % à la fois. Cette sparsité est ce qui rend les modèles MoE plus rapides à l’entraînement et à l’inférence par rapport à des modèles denses de capacité équivalente.

Le rôle du routeur

Le routeur est un petit réseau feed-forward qui prend en entrée la représentation du token (sa sortie de la couche d’attention) et produit un score pour chaque expert disponible. Ces scores sont transformés en probabilités via une fonction softmax, puis utilisés pour sélectionner un sous-ensemble d’experts. Les outputs des experts sélectionnés sont combinés, pondérés par les scores du routeur, pour former la sortie finale de la couche MoE.

Le routeur est entraîné conjointement avec le reste du modèle. Il apprend à identifier, pour chaque contexte d’entrée, quels experts sont les plus pertinents. L’étude MoE-Lens (ICLR 2025) a montré que les experts développent des spécialisations mesurables : certains experts traitent préférentiellement des tokens de domaines spécifiques (code, texte scientifique, langage conversationnel), bien que cette spécialisation soit plus syntaxique que sémantique (un expert ne se spécialise pas en « biologie » mais en certains patterns de tokens dans certains contextes).

Stratégies de routage

Token Choice (le token choisit ses experts)

C’est la stratégie la plus courante. Pour chaque token, le routeur calcule un score pour chaque expert et sélectionne les top-k experts avec les scores les plus élevés (typiquement k=1 ou k=2). Le token est ensuite envoyé à ces experts, et leurs outputs sont combinés proportionnellement aux scores.

Top-1 routing (Switch Transformer, 2022) : chaque token est envoyé à un seul expert. C’est le plus efficient en calcul, mais le constat initial était que le routage vers un seul expert rendait l’apprentissage du gate plus difficile. Le Switch Transformer a démontré que le top-1 fonctionne en pratique, à condition d’ajouter des mécanismes de load balancing.

Top-2 routing (Shazeer et al., 2017 ; Mixtral, DeepSeek) : chaque token est envoyé à deux experts. L’output final est la somme pondérée des deux outputs. C’est le standard de facto pour les modèles MoE de production en 2026. DeepSeekMoE utilise top-k=6 avec 64 experts par couche, offrant une granularité plus fine.

Le problème du token choice : les tokens choisissent indépendamment, ce qui peut créer un déséquilibre massif. Si beaucoup de tokens sélectionnent les mêmes experts, certains experts sont surchargés (et doivent « dropper » des tokens) tandis que d’autres sont sous-utilisés. Les architectures précédentes devaient sur-provisionner la capacité des experts de 2x à 8x pour éviter la perte de tokens.

Expert Choice (l’expert choisit ses tokens)

Proposé par Google Research (2022), l’expert choice inverse la logique : au lieu que chaque token choisisse ses experts, chaque expert choisit ses top-k tokens. Le routeur produit toujours une matrice de scores, mais la sélection se fait le long de la dimension des tokens (pas des experts).

Les avantages sont significatifs. Le load balancing est garanti par construction : chaque expert reçoit exactement le même nombre de tokens (k). Les tokens importants ou difficiles peuvent être traités par un nombre variable d’experts (un token complexe peut être sélectionné par plusieurs experts, un token simple par aucun). L’élimination de la perte de tokens et de la sur-provision rend le système plus efficient.

L’inconvénient principal : le nombre d’experts qui traitent un token donné est variable et non contrôlé directement, ce qui peut poser des problèmes pour les tokens importants qui ne sont sélectionnés par aucun expert.

Hash Routing

Le hash routing assigne les tokens aux experts via une fonction de hachage déterministe, sans réseau gating appris. L’avantage est la simplicité et la vitesse (pas de calcul de scores). L’inconvénient est l’absence d’adaptation : le routage ne prend pas en compte le contenu du token, seulement sa position ou un identifiant fixe. Cette approche est peu utilisée dans les LLMs modernes mais reste pertinente pour certains cas d’usage à faible latence.

Clustering Routing

Certaines approches utilisent le k-means clustering pour regrouper les tokens similaires et les router vers le même expert. L’idée est que des tokens similaires dans l’espace d’embedding bénéficient du même traitement expert. L’approche est plus coûteuse en calcul que le top-k classique mais peut améliorer la spécialisation des experts.

Assignation linéaire

Des méthodes basées sur l’assignation linéaire (Hungarian algorithm, Sinkhorn) maximisent l’affinité totale token-expert sous contrainte de capacité. Le résultat est un routage globalement optimal, mais le coût computationnel est plus élevé et la mise en œuvre distribuée est complexe.

Le problème du load balancing

Le load balancing est le défi central du routage MoE. Sans mécanisme de régulation, le routeur converge naturellement vers quelques experts « favoris » qui reçoivent la majorité des tokens, créant un cycle auto-renforçant : les experts les plus sollicités sont mieux entraînés, donc mieux scorés, donc encore plus sollicités.

Auxiliary Loss (perte auxiliaire)

La solution standard est d’ajouter une perte auxiliaire à la fonction de perte principale. Cette perte pénalise les routeurs qui envoient trop de tokens vers un même expert. DeepSeekMoE utilise deux pertes auxiliaires : une au niveau expert (empêche la concentration sur un seul expert) et une au niveau device (assure que la charge computationnelle est répartie sur le matériel). Malgré ces mécanismes, MoE-Lens a montré qu’une concentration naturelle émerge toujours : certains experts reçoivent significativement plus de tokens que la baseline uniforme.

Capacity Factor

Le capacity factor définit le nombre maximum de tokens qu’un expert peut traiter par batch. Si la capacité est dépassée, les tokens excédentaires sont « droppés » (ignorés par l’expert et renvoyés directement via la connexion résiduelle). Un capacity factor trop bas entraîne la perte de tokens ; trop haut, il gaspille de la mémoire et du calcul. Le réglage est un compromis délicat.

Approche Megablocks

Megablocks (2022) résout le problème de manière élégante : au lieu d’utiliser des multiplications matricielles par batch (qui supposent que chaque expert reçoit le même nombre de tokens), il exprime les couches MoE comme des opérations block-sparse qui s’adaptent naturellement aux assignations déséquilibrées. Résultat : aucun token n’est droppé, et l’exécution est efficiente sur le matériel GPU moderne.

Précision numérique du routeur

Un détail technique crucial : le routeur doit être calculé en haute précision (FP32) même quand le reste du modèle fonctionne en précision réduite (BF16, FP16). Le Switch Transformer a documenté que l’utilisation de BF16 pour le routeur causait une instabilité d’entraînement, à cause de la fonction exponentielle dans le softmax. La solution : précision sélective, avec FP32 pour le routeur et BF16 pour les experts. Cette approche ne dégrade pas la qualité et accélère le modèle global.

Le routage dans les modèles MoE actuels

Avancées récentes

MoE-Lens (ICLR 2025). Ce framework de Penn State, Maryland et Harvard analyse systématiquement le comportement des experts via trois méthodes : analyse de spécialisation (quelle fraction de tokens d’un domaine est routée vers chaque expert), décodage LogitLens étendu (quelles connaissances chaque expert écrit dans le flux résiduel), et validation quantitative. Le résultat clé : le pruning sélectif d’experts pourrait réduire le calcul de la couche MoE de jusqu’à 83 % tout en préservant la qualité de prédiction.

FasterMoE (2022). Analyse la performance des MoE en systèmes distribués et introduit un gate topology-aware qui sélectionne les experts en fonction de la latence réseau, pas seulement de la pertinence. Résultat : accélération de 17x dans les configurations distribuées.

Routage agentique. Les systèmes multi-agents IA empruntent le concept de routage MoE pour diriger les requêtes vers l’agent spécialisé le plus pertinent. Le principe est le même : un routeur évalue la requête et l’envoie à l’expert (agent) le mieux adapté.

Verdict

Le routage MoE est le mécanisme qui rend possible l’existence de modèles à centaines de milliards de paramètres utilisables en production. Sans routage efficace, les modèles MoE seraient soit trop lents (si tous les experts étaient activés), soit de mauvaise qualité (si le routage était aléatoire). En 2026, le top-2 token choice avec auxiliary loss reste la stratégie dominante, mais l’expert choice de Google et les approches block-sparse de Megablocks gagnent du terrain. Les recherches sur le pruning d’experts (MoE-Lens) et le routage topology-aware (FasterMoE) ouvrent la voie à des déploiements encore plus efficients.

Pour les praticiens, le routage MoE est un sujet technique avancé mais dont les implications sont directes : c’est la raison pour laquelle Mistral Large 3 peut offrir des performances comparables à GPT-5.4 à un coût d’API 3 à 5 fois inférieur. C’est aussi la raison pour laquelle DeepSeek V3.2 est si compétitif en rapport qualité/prix. Le routage est le levier économique fondamental des modèles MoE.