Accueil › Glossaire › Code Generation

Code Generation (Génération de Code) par Intelligence Artificielle

La code generation IA est la capacité d’un modèle de langage à produire du code source fonctionnel à partir d’instructions en langage naturel, de spécifications, de contexte de codebase existant ou de descriptions de problèmes.

Définition et périmètre

La code generation IA va bien au-delà de l’autocomplétion de quelques lignes. Elle englobe un spectre complet de tâches de programmation assistée par LLM :

Les benchmarks de référence

L’évaluation de la code generation est plus objective que celle de l’écriture créative : le code fonctionne ou ne fonctionne pas. Les benchmarks exploitent cette propriété via l’exécution automatique de tests.

SWE-bench Verified

SWE-bench Verified est le benchmark de référence pour l’ingénierie logicielle autonome. Il contient 500 issues GitHub réelles provenant de dépôts Python populaires (Django, Flask, Requests, Matplotlib, etc.). Le modèle doit naviguer dans le codebase, localiser les fichiers pertinents et produire un patch qui fait passer les tests unitaires du projet.

Un score de 80 % signifie que le modèle a résolu de manière autonome 400 des 500 problèmes de software engineering. En mars 2026, les scores au sommet :

HumanEval

HumanEval, créé par OpenAI, est le benchmark historique de code generation. Il contient 164 problèmes de programmation avec des tests unitaires. Le modèle doit générer une fonction Python complète à partir d’une signature et d’un docstring. Plus simple que SWE-bench (fonctions isolées vs. repos entiers), il reste un indicateur utile de la compétence brute de génération de code.

Les scores actuels ont largement saturé le benchmark : les modèles de pointe dépassent 90 % (Claude Opus 4.6 à 95 %, Claude Sonnet 4.6 à 92,1 %). HumanEval ne discrimine plus entre les modèles de tête.

LiveCodeBench

LiveCodeBench adresse la limite principale de HumanEval : la contamination des données d’entraînement. De nouvelles questions de programmation compétitive sont ajoutées mensuellement depuis LeetCode et CodeForces, ce qui empêche la mémorisation. C’est le meilleur benchmark pour suivre l’évolution de la capacité de code generation au fil du temps.

Terminal-Bench

Terminal-Bench évalue la capacité des modèles à exécuter des tâches de développement dans un terminal : commandes bash, git, déploiement, DevOps. GPT-5.4 mène à 75,1 %, suivi de Gemini 3.1 Pro à 78,4 % sur la version 2.0. Ce benchmark est particulièrement pertinent pour les outils de coding agentique comme Claude Code ou Codex CLI.

SWE-bench Pro

SWE-bench Pro est une version plus difficile de SWE-bench, avec des issues plus complexes qui nécessitent une compréhension architecturale profonde. Les scores sont nettement plus bas : GPT-5.4 mène à 57,7 %, suivi de GPT-5.2 Codex à 56,4 %. Ce benchmark révèle la capacité des modèles à gérer des problèmes de software engineering réellement difficiles, pas seulement des bugs simples.

Modèles leaders pour la code generation

Claude Opus 4.6 / Sonnet 4.6 (Anthropic)

La famille Claude domine SWE-bench Verified. Opus 4.6 (80,8 %) excelle en résolution autonome de bugs et en compréhension de codebase. Sonnet 4.6 (79,6 %) offre un rapport qualité-prix remarquable : seulement 1,2 point de moins qu’Opus à un cinquième du prix. C’est le modèle recommandé pour la majorité des tâches de code generation en production.

L’écosystème Anthropic inclut Claude Code, un outil CLI de coding agentique qui combine le modèle avec un scaffold optimisé (outils d’édition, recherche, bash). Claude Code atteint des performances de pointe sur SWE-bench et représente la vision d’Anthropic du développeur augmenté.

GPT-5.4 / Codex (OpenAI)

GPT-5.4 se distingue par ses capacités agentiques (75,1 % Terminal-Bench, 75 % OSWorld-Verified) et son support natif du computer use. Sur SWE-bench Pro, GPT-5.4 Codex mène à 57,7 %, indiquant une forte capacité sur les problèmes complexes. L’architecture unifiée de GPT-5.4 fusionne raisonnement, code et outils dans un seul modèle, avec un contexte d’environ 1M tokens pour Codex.

Gemini 3.1 Pro (Google)

Gemini 3.1 Pro est le meilleur rapport qualité-prix pour la code generation : 80,6 % SWE-bench à 2 $/12 $ par million de tokens, soit 0,2 point de moins qu’Opus 4.6 pour 2,5 fois moins cher. Il mène Terminal-Bench 2.0 à 78,4 % et offre un contexte de 1M tokens pour analyser des codebases entières.

Modèles open source

MiniMax M2.5 (80,2 % SWE-bench à 0,30 $/1,20 $) est le premier modèle open source à atteindre les performances des modèles propriétaires de pointe. Kimi K2.5 (76,8 %) et GLM-5 (77,8 %) complètent le podium open source. Pour le self-hosting, DeepSeek V3.2 (72-74 %) tourne sur du matériel grand public.

Côté modèles spécialisés code, Codestral (Mistral), StarCoder et Qwen3-Coder offrent des performances compétitives en génération de fonctions, bien que les modèles généralistes de pointe les surpassent sur les benchmarks les plus exigeants.

Outils de code generation

Les modèles bruts sont rarement utilisés directement pour la code generation. Ils sont intégrés dans des outils qui ajoutent un contexte (le code autour du curseur, l’arborescence du projet, les dépendances) et un workflow (autocomplétion, chat, mode agent).

Pour un comparatif détaillé, consultez notre page Comparatif des assistants code IA.

Comment fonctionne la code generation

Les LLM génèrent du code de la même manière qu’ils génèrent du texte : par prédiction de token suivant, conditionné par le contexte. Mais plusieurs techniques spécifiques améliorent la qualité :

Fill-in-the-Middle (FIM). Le modèle reçoit le code avant et après le point d’insertion, et génère ce qui va au milieu. C’est la technique clé pour la complétion de code dans les IDE.

Retrieval-Augmented Generation. L’outil indexe le codebase du développeur et injecte les fichiers pertinents dans le contexte avant la génération. Cursor utilise cette approche avec sa fonctionnalité Docs et l’indexation automatique du projet.

Boucle agentique. Pour les tâches complexes, le modèle opère dans une boucle plan-execute-observe : il planifie les modifications, les implémente, exécute les tests, analyse les erreurs et itère. C’est le mode de fonctionnement de Claude Code, Codex et du mode Agent de Cursor.

Thinking mode. Les modes de raisonnement (extended thinking, chain-of-thought) améliorent significativement les performances en code generation. Sur SWE-bench, les variantes « high reasoning » des modèles surpassent systématiquement les variantes standard. Claude Opus 4.6 avec Thinking atteint 79,2 % sur SWE-bench dans l’évaluation Vals.ai.

Bonnes pratiques pour la code generation

1. Fournissez du contexte, pas juste une instruction. Plus le modèle comprend votre codebase (conventions, dépendances, patterns existants), meilleur sera le code généré. Utilisez des fichiers de contexte (.cursorrules, CLAUDE.md) pour documenter vos conventions.

2. Spécifiez avant de générer. La recherche (SANER 2026) montre qu’un workflow spec → tests → implémentation produit du code de meilleure qualité que le « throw a prompt and hope ». Décrivez le comportement attendu, faites générer les tests d’abord, puis le code.

3. Révisez systématiquement. Les modèles actuels produisent du code vulnérable 5 à 10 % du temps. La code review reste indispensable, même pour du code généré par les meilleurs modèles. Utilisez des outils de code review IA en complément.

4. Choisissez le bon modèle pour la tâche. Les modèles se spécialisent : Claude excelle en résolution de bugs et compréhension de repo, GPT-5.4 en tâches agentiques et terminal, Gemini en analyse de codebases massives avec sa fenêtre de 1M tokens. Certaines équipes utilisent un modèle pour la planification, un autre pour l’implémentation, un troisième pour la review.

5. Investissez dans le scaffold. Les résultats SWE-bench montrent que le scaffold (outils fournis, boucle de contrôle, stratégie de recherche) produit un écart de 20+ points. Un bon scaffold avec un modèle moyen surpasse un modèle excellent dans un scaffold basique.

Limites actuelles

Raisonnement architectural. Les LLM excellent dans la génération de fonctions et la correction de bugs, mais peinent encore avec les décisions architecturales de haut niveau : choix de patterns, structuration de microservices, arbitrages de design. Les problèmes « novel » (qui n’ont pas d’équivalent dans les données d’entraînement) restent difficiles.

Sécurité. Les modèles produisent du code contenant des vulnérabilités (injections SQL, XSS, gestion incorrecte des secrets) dans 5 à 10 % des cas. La code optimization automatique ne vérifie pas toujours la sécurité. L’analyse statique et la review humaine restent nécessaires.

Biais de benchmark. SWE-bench Verified se concentre sur des repos Python spécifiques. Les performances peuvent être différentes en JavaScript, Rust, Go ou dans des frameworks moins populaires. L’étude Verdent montre que simplifier les outils fournis au minimum ne change presque pas les scores SWE-bench, ce qui suggère un biais du benchmark vers des tâches résolubles avec des outils basiques.

Coûts. La code generation agentique (type Claude Code ou Codex) consomme beaucoup de tokens par tâche. Un budget de 5 à 50 $ par résolution d’issue complexe est réaliste pour les modèles premium. L’écart de prix entre les modèles est devenu le facteur de choix principal : MiniMax M2.5 à 0,30 $/1,20 $ offre des performances quasi identiques à Opus à 5 $/25 $.

Verdict

La code generation IA a franchi le seuil de l’utilité professionnelle. Avec ~80 % des issues GitHub réelles résolues de manière autonome par les meilleurs modèles, l’IA est devenue un partenaire de développement incontournable, pas un gadget. Le top du leaderboard est extrêmement serré (6 modèles dans un intervalle de 1,3 point sur SWE-bench), ce qui rend le choix du scaffold et des outils plus important que le choix du modèle.

Notre recommandation : Claude Sonnet 4.6 pour le meilleur rapport qualité-prix en production (79,6 % SWE-bench à 3 $/15 $). Gemini 3.1 Pro si vous avez besoin d’analyser des codebases massives (1M tokens de contexte à 2 $/12 $). Claude Opus 4.6 pour les tâches les plus exigeantes en raisonnement. Et investissez dans votre scaffold : Claude Code, Cursor ou Aider avec une configuration soignée feront plus pour votre productivité qu’un upgrade de modèle.