Score Elo (Classement des modeles d’IA)
Origine du systeme Elo
Le systeme Elo a ete cree en 1960 par Arpad Elo, physicien et joueur d’echecs hongrois-americain. Son objectif etait de fournir un classement objectif des joueurs d’echecs, base sur leurs resultats reels plutot que sur des evaluations subjectives. La Federation Internationale des Echecs (FIDE) a adopte ce systeme en 1970, et il reste utilise aujourd’hui.
Le genie du systeme Elo reside dans sa simplicite mathematique et sa capacite a converger vers un classement fiable a partir de comparaisons par paires. Chaque match (comparaison) apporte une information incrementale qui affine les scores. Plus un modele accumule de comparaisons, plus son score est fiable.
L’adaptation du systeme Elo aux modeles d’IA a ete popularisee par l’equipe LMSYS (Large Model Systems Organization) de l’universite UC Berkeley en 2023 avec le lancement de Chatbot Arena. L’idee est elegante : au lieu d’utiliser des benchmarks automatiques, laisser des humains comparer les reponses de deux modeles anonymes et voter pour la meilleure. Ces votes sont ensuite convertis en scores Elo.
Comment le score Elo est calcule
Le calcul Elo repose sur deux concepts. D’abord, le score attendu : la probabilite qu’un modele batte un autre, calculee a partir de la difference de leurs scores actuels. Ensuite, la mise a jour : apres chaque comparaison, les scores sont ajustes en fonction de l’ecart entre le resultat reel et le resultat attendu.
La formule du score attendu pour le modele A face au modele B est : E(A) = 1 / (1 + 10^((Rb – Ra) / 400)), ou Ra et Rb sont les scores Elo actuels. Si deux modeles ont le meme score, chacun a 50% de chances de gagner. Si le modele A a 200 points de plus que B, son score attendu est d’environ 76%.
Apres chaque comparaison, le score est mis a jour : Ra_nouveau = Ra + K * (S – E(A)), ou S est le resultat (1 pour victoire, 0.5 pour egalite, 0 pour defaite) et K est un facteur de sensibilite (generalement entre 4 et 32). Un K eleve rend le classement plus reactif aux nouveaux resultats mais aussi plus volatil.
Exemple concret de calcul
Prenons deux modeles : Claude Sonnet (Elo 1250) et GPT-4o (Elo 1270). Le score attendu de Claude Sonnet est E = 1 / (1 + 10^((1270-1250)/400)) = 1 / (1 + 10^0.05) = 0.471, soit 47.1% de chances de victoire. Si Claude Sonnet gagne cette comparaison, son nouveau score sera 1250 + K * (1 – 0.471). Avec K = 16, cela donne 1250 + 16 * 0.529 = 1258.5. Son score monte car il a battu un adversaire legerement mieux classe. En parallele, le score de GPT-4o descend du meme montant.
Le score Elo sur Chatbot Arena
Sur Chatbot Arena, le processus est le suivant. Un utilisateur pose une question. Deux modeles anonymes generent chacun une reponse. L’utilisateur choisit la meilleure reponse (ou declare une egalite). Ce vote est converti en resultat de match et les scores Elo sont mis a jour.
Chatbot Arena utilise une variante appelee Bradley-Terry model qui est mathematiquement equivalente au systeme Elo mais mieux adaptee aux comparaisons par paires multiples. Les scores sont recalcules regulierement en utilisant l’ensemble des votes accumules, ce qui donne un classement stable et fiable.
En 2026, les scores Elo sur Chatbot Arena s’echelonnent approximativement de 900 (modeles anciens ou faibles) a plus de 1350 (modeles de pointe). Les modeles au sommet du classement sont generalement les versions les plus recentes de Claude, GPT-4o, Gemini et Grok, avec des scores tres proches les uns des autres.
| Modele | Score Elo (approx.) | Categorie |
|---|---|---|
| Modeles de pointe (Opus, GPT-4o, Gemini 2.5 Pro) | 1300-1370 | Premium |
| Modeles equilibres (Sonnet, GPT-4o-mini) | 1200-1300 | Equilibre |
| Modeles rapides (Haiku, Flash) | 1100-1200 | Rapide |
| Modeles open source (Llama, Qwen) | 1050-1250 | Variable |
| Modeles anciens (GPT-3.5) | 900-1050 | Legacy |
Comment interpreter les scores Elo
La difference de score entre deux modeles a une signification statistique precise. Un ecart de 100 points Elo correspond a un taux de victoire de 64% pour le modele le mieux classe. Un ecart de 200 points correspond a 76%. Un ecart de 400 points correspond a 91%. En pratique, les modeles du top 5 sont souvent separes de moins de 50 points, ce qui signifie que leurs performances sont tres proches.
Les intervalles de confiance sont essentiels pour interpreter un classement Elo. Un modele avec un score de 1280 +/- 15 (intervalle de confiance a 95%) n’est pas significativement different d’un modele a 1270 +/- 15. Chatbot Arena affiche ces intervalles, et il est recommande de les consulter avant de conclure qu’un modele est « meilleur » qu’un autre.
Le score Elo est relatif, pas absolu. Un score de 1300 ne signifie rien en soi : il n’a de sens que par rapport aux scores des autres modeles du meme classement. Si tous les modeles s’ameliorent uniformement, les scores restent stables meme si la qualite absolue a augmente.
Limites du systeme Elo applique a l’IA
Le systeme Elo suppose que la « force » d’un joueur (ou modele) est unidimensionnelle et constante. Or, un modele de langage n’a pas une force unique : il peut exceller en code et etre mediocre en ecriture creative. Le score Elo general est une moyenne qui masque ces variations. C’est pourquoi Chatbot Arena propose des scores Elo par categorie (code, math, creative writing, etc.).
Le biais des votants influence les resultats. Les utilisateurs de Chatbot Arena sont principalement des profils techniques anglophones. Leurs preferences ne refletent pas forcement celles d’un utilisateur moyen ou d’un public francophone. Les biais de presentation (ordre d’affichage des reponses, longueur des reponses) sont mitiges par des techniques d’anonymisation et de randomisation, mais pas completement elimines.
La qualite du prompt affecte le resultat. Un prompt simple (« dis bonjour ») ne discrimine pas entre les modeles, tandis qu’un prompt complexe (« ecris un algorithme de tri en Rust avec gestion d’erreurs ») cree de vrais ecarts. La distribution des types de prompts sur Chatbot Arena influence donc le classement final.
Questions frequentes sur le score Elo
D’ou vient le nom « Elo » ?
Le systeme porte le nom de son inventeur, Arpad Elo (1903-1992), un physicien et joueur d’echecs hongrois-americain. Il a concu ce systeme de classement dans les annees 1960 pour la Federation americaine des echecs. Ce n’est pas un acronyme.
Un score Elo plus eleve est-il toujours meilleur ?
En termes de preference humaine generale, oui. Mais le score Elo est une mesure unidimensionnelle d’un phenomene multidimensionnel. Un modele avec un Elo inferieur peut etre superieur sur votre cas d’usage specifique (code, ecriture, analyse). Consultez les classements par categorie et faites votre propre evaluation.
Combien de votes faut-il pour un score Elo fiable ?
Un minimum de 500 a 1 000 comparaisons est necessaire pour un score stable avec un intervalle de confiance raisonnable. Les modeles populaires sur Chatbot Arena accumulent des dizaines de milliers de votes, rendant leur score tres fiable. Les modeles recemment ajoutes ont des intervalles de confiance plus larges.
Le score Elo change-t-il dans le temps ?
Oui. Le score Elo d’un modele peut diminuer quand de nouveaux modeles plus performants entrent dans le classement et remportent des comparaisons contre lui. Le score d’un modele fixe tend donc a baisser naturellement au fil du temps, meme si sa qualite reste identique.
Chatbot Arena utilise-t-il exactement le systeme Elo des echecs ?
Non, c’est une variante appelee Bradley-Terry model, mathematiquement similaire mais mieux adaptee. Les scores sont recalcules periodiquement a partir de l’ensemble des votes via maximum likelihood estimation, plutot que mis a jour incrementalement apres chaque vote. Cela donne des scores plus stables et robustes.