Accueil › Glossaire › Elo Rating System

Elo Rating System

L’Elo rating system est un système de classement qui attribue un score numérique à chaque joueur (ou modèle IA) basé sur ses résultats en comparaison pairwise, permettant d’estimer la probabilité de victoire entre deux participants et de produire un classement ordonné. Originellement conçu pour les échecs en 1960, il est devenu la méthode standard pour classer les LLMs via la Chatbot Arena.

Quand LMSYS a lancé la Chatbot Arena en 2023, il fallait un système capable de transformer des milliers de votes « A est meilleur que B » en un classement global cohérent. Le système Elo, utilisé par la communauté internationale des échecs depuis plus de 60 ans, offrait exactement cela : scalabilité, incrémentalité et prédictibilité. Avec plus de 6 millions de votes accumulés, le classement Elo de la Chatbot Arena est devenu le benchmark le plus cité pour comparer les LLMs. Quand OpenAI, Anthropic ou Google annoncent un nouveau modèle, c’est ce score qu’ils référencent.

Comment fonctionne le système Elo

La formule de base

Le système Elo repose sur une idée élégante. Chaque joueur (ou modèle) possède un score numérique qui représente sa force estimée. Avant un match, la probabilité de victoire est calculée à partir de la différence de scores. Si le modèle A a un score R_A et le modèle B un score R_B, la probabilité que A gagne est calculée par une fonction logistique : P(A gagne) = 1 / (1 + 10^((R_B – R_A)/400)). Un écart de 100 points correspond à un taux de victoire d’environ 64 % pour le modèle le mieux classé. Un écart de 200 points correspond à environ 76 %.

Après chaque match, les scores sont mis à jour. Le gagnant gagne des points, le perdant en perd. La magnitude de l’ajustement dépend de deux facteurs : le résultat réel par rapport au résultat attendu (battre un modèle mieux classé rapporte plus que battre un modèle moins bien classé), et le paramètre K qui contrôle l’ampleur des changements. Un K élevé rend le système réactif aux résultats récents ; un K faible le rend plus stable.

Propriétés du système Elo

Le système Elo a trois propriétés qui le rendent adapté au classement de LLMs. La scalabilité : il gère des dizaines (ou des centaines) de modèles sans nécessiter des matchs entre chaque paire possible. La incrémentalité : un nouveau modèle peut être évalué avec relativement peu de matchs, ce qui évite de recalculer tout le classement. Et l’ordre unique : le système produit un classement total où chaque modèle a une position définie par rapport à tous les autres.

Les limites du Elo classique pour les LLMs

Le système Elo standard a été conçu pour des joueurs d’échecs dont la force évolue avec le temps (un joueur s’améliore ou décline). Le paramètre K est calibré pour capturer cette dynamique. Or, dans le contexte des LLMs, deux différences fondamentales existent.

Premièrement, on dispose de l’historique complet de tous les matchs. En échecs, le Elo doit être calculé de manière décentralisée, au fil des tournois. Pour les LLMs, on peut traiter toutes les données d’un coup. Deuxièmement, la plupart des modèles sont statiques : leurs poids ne changent pas, donc leur performance ne devrait pas évoluer. (Exception : les modèles propriétaires hébergés via API, dont le comportement peut changer sans préavis lors de mises à jour.) Ces deux différences ont motivé la transition vers le modèle de Bradley-Terry.

La transition vers Bradley-Terry

Le modèle de Bradley-Terry (BT), développé en 1952, est un modèle statistique qui estime la « force » latente de chaque participant à partir de l’ensemble complet des comparaisons pairwise. Là où le Elo met à jour les scores séquentiellement après chaque match, le BT calcule les scores optimaux en une seule passe via estimation de maximum de vraisemblance (MLE).

Comme l’explique l’équipe LMSYS : « La transition du système Elo en ligne vers le modèle Bradley-Terry nous donne des scores significativement plus stables et des intervalles de confiance précis. » Le BT produit des intervalles de confiance bootstrap qui permettent de savoir si la différence entre deux modèles est statistiquement significative ou si elle est dans la marge d’incertitude. Un modèle avec peu de votes aura un intervalle de confiance large ; un modèle avec des milliers de votes aura un intervalle étroit.

En pratique, le BT est l’estimation MLE du modèle Elo sous-jacent en supposant un taux de victoire pairwise fixe. Les scores BT sont recalibrés sur une échelle similaire à l’Elo pour la lisibilité (les classements publiés par la Chatbot Arena sont des « Elo-like scores » calculés via BT). Le papier officiel de la Chatbot Arena (arXiv 2403.04132) documente en détail cette méthodologie.

Implémentation dans la Chatbot Arena

La Chatbot Arena implémente le système de classement avec plusieurs raffinements par rapport au Elo/BT de base.

Gestion des égalités : le modèle BT est étendu pour gérer les votes « match nul » en comptant une égalité comme un demi-gain et une demi-perte pour chaque modèle. Cela intègre les cas où l’évaluateur ne peut pas départager les deux réponses.

Échantillonnage actif : la Chatbot Arena ne sélectionne pas les paires de modèles au hasard. Un algorithme d’échantillonnage actif priorise les comparaisons qui réduiront le plus l’incertitude de classement, en particulier entre les modèles proches. Cela maximise l’efficacité : moins de votes nécessaires pour atteindre un classement fiable.

Leaderboards par catégorie : au-delà du classement général, la Chatbot Arena publie des classements par catégorie (coding, hard prompts, long context, vision, etc.). Un modèle peut dominer en conversation générale mais sous-performer en code, ce que le classement par catégorie révèle.

Multiples arènes : la plateforme s’est étendue au-delà du texte, avec des arènes dédiées à la vision (VisionArena), au text-to-video, et à la recherche (SearchArena). Chaque arène utilise le même mécanisme de classement BT/Elo-like adapté à sa modalité.

Comment interpréter les scores Elo

Les scores Elo de la Chatbot Arena ne sont pas des mesures absolues de qualité. Ce sont des estimations relatives de force basées sur les préférences d’une foule spécifique (les utilisateurs de la Chatbot Arena) sur des questions spécifiques (celles qu’ils ont choisies de poser). La compréhension correcte de ces scores est essentielle pour éviter les erreurs d’interprétation courantes.

Repères d’interprétation

Un score « élevé » commence au-dessus de 1250-1300. Les modèles dans cette zone démontrent un raisonnement avancé, des hallucinations minimales et un suivi d’instructions supérieur. Les modèles les plus performants en 2026 poussent vers la barre des 1400+.

Un écart de 100 points = ~64 % de taux de victoire. Si le modèle A a 1350 et le modèle B a 1250, A devrait gagner environ 64 % des matchs contre B. Un écart de 200 points porte ce taux à ~76 %.

Les intervalles de confiance comptent autant que le score. Deux modèles avec des intervalles de confiance qui se chevauchent ne sont pas significativement différents. Les modèles avec peu de votes ont des intervalles larges et un classement incertain.

Le classement par catégorie peut diverger du classement global. Un modèle excellent en poésie peut être médiocre en Python. Consultez toujours le leaderboard de la catégorie pertinente pour votre cas d’usage.

Au-delà de la Chatbot Arena

Du jeu d’échecs à l’IA

Arpad Elo, physicien américain d’origine hongroise, a développé son système de classement en 1960 pour la Fédération américaine des échecs, avant que la FIDE (Fédération internationale des échecs) ne l’adopte en 1970. Le système a ensuite été repris par de nombreux sports et jeux compétitifs (go, tennis de table, esports). Son adoption pour le classement de LLMs par LMSYS en 2023 marque une extension remarquable du concept : les « joueurs » ne sont plus des humains mais des modèles IA, et les « matchs » ne sont plus des parties d’échecs mais des comparaisons de réponses textuelles jugées par des humains. L’article fondateur d’Anthropic sur le RLHF (Bai et al., 2022) avait déjà adopté le système Elo pour classer les modèles, préfigurant l’usage de la Chatbot Arena.

Elo et RLHF

Le système Elo s’applique aussi à l’évaluation des reward models utilisés dans le RLHF. La méthode CHARM utilise les scores Elo de la Chatbot Arena pour calibrer les reward models et quantifier l’alignement entre les préférences du RM et les préférences humaines, via une métrique appelée « Mismatch Degree ». Cela crée un lien direct entre le classement de la Chatbot Arena et la qualité de l’alignement des modèles.

am-ELO : vers plus de stabilité

Des travaux récents (am-ELO, publié à OpenReview) proposent un framework plus stable pour l’évaluation en arène. Le problème : le système Elo classique souffre d’instabilité liée à l’incohérence des classements (transitivité non garantie) et au manque d’attention à la confiance statistique. am-ELO adresse ces limitations en intégrant des mécanismes de stabilisation spécifiques au contexte des LLMs. C’est un signe que le domaine continue d’évoluer au-delà du Elo/BT standard.

Usage en interne

Les équipes IA peuvent utiliser le système Elo/Bradley-Terry en interne pour comparer leurs propres versions de modèles, de prompts ou d’agents. Sebastian Raschka fournit des implémentations Python de référence pour les deux méthodes, directement applicables aux votes de préférence LLM. Le processus : collectez des votes pairwise (humains ou LLM-as-judge), formatez-les comme des paires (gagnant, perdant), et appliquez le BT pour obtenir un classement avec intervalles de confiance.

Verdict Polydesk

Le système Elo (et son successeur Bradley-Terry) est le ciment qui transforme des milliers de jugements « A est meilleur que B » en un classement exploitable. Sans lui, la Chatbot Arena ne serait qu’une collection de votes individuels. Avec lui, c’est le benchmark le plus fiable pour comparer les LLMs.

Pour les équipes IA : ne vous limitez pas à consulter le leaderboard. Le système Elo/BT est un outil que vous pouvez déployer en interne pour comparer vos propres modèles, prompts et agents sur vos données propriétaires. L’investissement est minimal (quelques centaines de comparaisons, un script Python) et le résultat est un classement statistiquement fondé, bien plus fiable que la comparaison de scores absolus calculés indépendamment.

Le point de vigilance : les scores Elo ne sont pas transférables entre arènes. Un score de 1350 sur la Chatbot Arena n’a pas la même signification qu’un score de 1350 sur votre arène interne. Les scores sont relatifs à la population de modèles évalués et à la distribution des questions posées. Comparez les modèles au sein d’une même arène, pas entre arènes.