Accueil › Glossaire › Code LLM

Code LLM (Modèle de Langage pour le Code)

Un code LLM est un grand modèle de langage (LLM) entraîné principalement ou exclusivement sur du code source, de la documentation technique et des données associées (commits Git, issues GitHub, notebooks Jupyter), conçu pour générer, compléter, expliquer, déboguer, traduire et optimiser du code dans de multiples langages de programmation.

Un LLM généraliste (GPT-5.4, Claude Opus 4.6, Gemini) sait coder, car du code figure dans ses données d’entraînement. Un code LLM va plus loin : il est spécifiquement optimisé pour comprendre la syntaxe, la sémantique, les patterns et les bibliothèques de dizaines (voire centaines) de langages de programmation. Le résultat : des performances supérieures sur les benchmarks de code, une complétion Fill-in-the-Middle (FIM) native, une meilleure compréhension des dépendances entre fichiers, et une latence réduite car les modèles sont souvent plus compacts que les généralistes.

Qu’est-ce qui distingue un code LLM d’un LLM généraliste ?

Un LLM généraliste est entraîné sur un mélange de texte web, livres, articles et code. Un code LLM est entraîné sur un corpus majoritairement composé de code source. Cette spécialisation se traduit par plusieurs avantages concrets.

Fill-in-the-Middle (FIM). Les code LLM sont entraînés pour compléter du code au milieu d’un fichier (pas seulement à la fin). Vous avez un début de fonction et sa fin, le modèle génère la logique manquante. C’est essentiel pour l’autocomplétion dans un IDE, où le curseur se trouve rarement à la fin du fichier. Codestral de Mistral atteint 95,3% de précision en FIM.

Compréhension multi-fichiers. Les meilleurs code LLM comprennent les dépendances entre fichiers d’un projet : imports, interfaces, types partagés. Avec des fenêtres de contexte de 128K à 256K+ tokens, ils peuvent ingérer une partie significative d’un dépôt et produire du code cohérent avec l’architecture existante.

Agentic coding. La génération 2025-2026 de code LLM ne se contente plus de compléter du code : elle planifie des tâches multi-étapes, exécute des commandes shell, lit et modifie des fichiers, lance des tests, et itère sur les erreurs. C’est le mode « agent » utilisé par Claude Code, OpenAI Codex CLI, et Qwen Code.

Taille optimisée. Les code LLM open source sont souvent plus compacts que les généralistes, ce qui permet une exécution locale sur du matériel grand public. StarCoder2 existe en versions 3B, 7B et 15B. Codestral fait 22B. Qwen3-Coder-Next n’active que 3B paramètres sur 80B au total grâce à l’architecture Mixture-of-Experts (MoE).

Les modèles open source majeurs

Qwen3-Coder / Qwen3-Coder-Next (Alibaba)

Le modèle code open source le plus performant en mars 2026. Qwen3-Coder-Next utilise une architecture MoE hybride originale : 80B paramètres au total, mais seulement 3B activés par token (ratio 3:1 entre attention linéaire Gated DeltaNet et attention classique). Résultat : des performances comparables à Claude Sonnet 4.5 sur les benchmarks de code avec une fraction du coût computationnel.

Caractéristiques clés : contexte natif de 256K tokens (extensible à 1M via Yarn), support de 100+ langages, capacités agentiques avancées (planification multi-étapes, appel d’outils, récupération d’erreurs), compatible avec Claude Code, CLINE et les principaux scaffolds d’agents. Qwen Code, l’agent terminal associé, offre une expérience similaire à Claude Code avec un tier gratuit de 1000 requêtes/jour. Licence Apache 2.0 (usage commercial libre).

Sur les benchmarks : HumanEval 91% (version 32B), bat DeepSeek-V3 et Qwen3 232B sur les tâches de code agentique malgré seulement 3B paramètres actifs.

Codestral / Devastral (Mistral AI)

Codestral est le premier modèle code dédié de Mistral AI (22B paramètres, mai 2024). Il excelle en FIM (95,3% de précision), supporte 80+ langages, et est optimisé pour l’intégration IDE avec une inférence rapide. Son contexte de 32K tokens est suffisant pour la plupart des fichiers individuels mais limité pour l’analyse de dépôts entiers.

Devastral, plus récent, étend les capacités vers le coding agentique : planification multi-étapes, revue automatisée, traduction de code inter-langages. HumanEval ~81%, ce qui le place sous les meilleurs mais avec une latence parmi les plus faibles de sa catégorie.

StarCoder2 (BigCode / Hugging Face)

StarCoder2, développé par le projet BigCode (collaboration Hugging Face / ServiceNow), est entraîné sur des données ouvertes de GitHub (80+ langages, commits, issues, notebooks Jupyter). Disponible en 3B, 7B et 15B paramètres. Le modèle 15B est entraîné sur 1 trillion de tokens. StarCoder2 excelle en complétion, correction de bugs et documentation. Sa licence (BigCode OpenRAIL-M) permet l’usage commercial avec des restrictions d’usage responsable.

StarCoder2 est le choix privilégié pour le fine-tuning interne : de nombreuses équipes l’utilisent comme base pour créer des modèles adaptés à leur codebase propriétaire, à leurs conventions de nommage et à leurs frameworks internes.

DeepSeek-Coder-V2 (DeepSeek)

DeepSeek-Coder-V2 est un modèle MoE open source (16B/236B paramètres, 2,4B/21B actifs) entraîné sur 6 trillions de tokens. Il supporte 338 langages (vs 86 pour la V1) avec un contexte de 128K tokens. Sur HumanEval : ~90%, comparable aux modèles propriétaires. La version Lite (16B) est idéale pour le déploiement local sur 16 Go+ de RAM. Tarification API extrêmement basse (~0,28$/M tokens en input).

Code Llama (Meta)

Code Llama, basé sur Llama 2, reste utilisé mais est désormais dépassé en performance par les modèles plus récents. Il a joué un rôle historique en démontrant qu’un fine-tuning spécialisé sur du code améliore significativement un LLM généraliste. La famille Llama 4 (plus récente) intègre des capacités de code dans ses modèles généralistes plutôt que dans un modèle dédié.

Les modèles propriétaires

GPT-5.4 / Codex (OpenAI)

GPT-5.4 unifie les capacités GPT généralistes avec Codex dans un seul modèle. Le contexte va jusqu’à ~1,05M tokens dans l’API/Codex. OpenAI Codex CLI est l’agent terminal qui utilise GPT-5.4 pour le coding agentique. SWE-bench : parmi les meilleurs scores (avec le scaffold approprié). Le modèle GPT-OSS (20B/120B) est la version open-weights récente d’OpenAI, compatible avec l’exécution locale.

Claude Opus 4.6 / Sonnet 4.6 (Anthropic)

Claude n’est pas un code LLM dédié mais excelle en code grâce à son architecture et son entraînement. Claude Opus 4.6 atteint ~92% sur HumanEval, avec une capacité distinctive en debugging complexe et raisonnement architectural. Claude Code est l’agent terminal d’Anthropic pour le coding agentique, avec un contexte effectif de 200K tokens et des capacités de refactoring multi-fichiers. Disponible via l’abonnement Claude Pro (20$/mois), Max (100-200$/mois), ou Team (siège Premium à ~150$/mois pour Claude Code).

Gemini (Google)

Gemini 3.1 Pro intègre des capacités de code dans son modèle multimodal. L’intégration dans Android Studio et Firebase offre un avantage pour le développement mobile et cloud Google. Jules, l’agent de code asynchrone de Google, cible les tâches de maintenance et de correction automatisée.

Comparaison des principaux code LLM

Les outils et IDE qui consomment les code LLM

Un code LLM seul est un cerveau sans corps. C’est l’outil IDE qui fournit le contexte (fichiers ouverts, arborescence du projet, erreurs de compilation) et l’interface d’interaction.

Cursor

Cursor est l’IDE IA le plus populaire, basé sur VS Code. Il permet de basculer entre Claude, GPT et d’autres modèles. Sa philosophie : « vous conduisez, l’IA assiste ». Contexte effectif de 70-120K tokens. Forces : édition temps réel, polish, autocomplete contextuelle. Cursor est passé à un système de crédits en juin 2025, indexé sur le coût réel du modèle utilisé.

Claude Code

Claude Code est l’agent terminal d’Anthropic. Philosophie inverse de Cursor : « l’IA conduit, vous supervisez ». Contexte complet de 200K tokens. Forces : refactoring multi-fichiers, planification autonome, raisonnement architectural. Fonctionne aussi avec des modèles locaux (Qwen3-Coder, GLM-4.7) via Ollama depuis janvier 2026.

GitHub Copilot

GitHub Copilot utilise GPT-5.4 et propose l’autocomplete, le chat, l’Agent Mode, Copilot Edits et des agents de workspace. L’intégration native avec GitHub (issues, pull requests, code review) est son avantage distinctif. Compatible VS Code, Cursor, Windsurf et les IDE JetBrains.

Exécution locale : Ollama + Continue.dev

Pour exécuter un code LLM localement (confidentialité, zéro coût API), la combinaison Ollama (serveur d’inférence local) + Continue.dev (extension VS Code/JetBrains) est devenue standard. Ollama v0.14.0+ supporte l’API Anthropic Messages, permettant de connecter Claude Code directement à un modèle local. Le minimum hardware recommandé : 16 Go de RAM (suffisant pour des modèles quantifiés), 24 Go de VRAM GPU pour une expérience fluide sur des modèles agentiques.

Les capacités d’un code LLM

Un code LLM moderne couvre un spectre large de tâches :

Génération de code. Produire du code fonctionnel à partir d’une description en langage naturel. La capacité fondamentale de tout code LLM.

Complétion de code (autocomplete). Compléter une ligne ou un bloc en cours d’écriture, en tenant compte du contexte du fichier et du projet. La capacité FIM est critique ici.

Debugging. Identifier et corriger les bugs à partir d’un message d’erreur, d’un stack trace ou d’un comportement inattendu. Claude excelle particulièrement en trouvant la cause racine plutôt qu’en appliquant un pansement.

Explication de code. Décrire en langage naturel ce que fait un morceau de code, utile pour l’onboarding sur un projet existant ou la compréhension de code legacy.

Refactoring. Restructurer du code existant pour améliorer sa lisibilité, sa maintenabilité ou ses performances sans changer son comportement.

Code review. Analyser du code pour détecter des bugs potentiels, des violations de conventions, des problèmes de sécurité ou des améliorations possibles.

Génération de tests. Produire des tests unitaires et d’intégration pour couvrir un module de code donné.

Traduction de code. Convertir du code d’un langage vers un autre (Python vers JavaScript, Java vers Kotlin, etc.).

Documentation. Générer des docstrings, des README, de la documentation d’API à partir du code source.

Comment on entraîne un code LLM

L’entraînement d’un code LLM suit le même pipeline qu’un LLM généraliste, avec des spécificités liées aux données et aux objectifs.

Données d’entraînement. Les sources principales sont les dépôts publics GitHub (filtrage par licence, déduplication, nettoyage), Stack Overflow et forums techniques, documentation officielle des langages et frameworks, issues et pull requests GitHub, et notebooks Jupyter. StarCoder2 est entraîné exclusivement sur des données sous licence ouverte. DeepSeek-Coder-V2 utilise 6 trillions de tokens de code et de langage naturel.

Objectif FIM. En plus de la prédiction next-token classique, les code LLM sont entraînés avec un objectif Fill-in-the-Middle : on découpe aléatoirement un fichier en préfixe, milieu et suffixe, et le modèle doit prédire le milieu à partir du préfixe et du suffixe. C’est ce qui permet l’autocomplete contextuelle dans les IDE.

Fine-tuning instruction. Après le pré-entraînement, le modèle est affiné sur des paires instruction-réponse de code (ex : « Écris une fonction qui trie une liste » → code fonctionnel), souvent avec du RLHF ou du DPO pour aligner le modèle avec les préférences des développeurs.

Entraînement agentique. Pour les modèles agentiques (Qwen3-Coder-Next, Devastral), un entraînement supplémentaire sur des trajectoires d’utilisation d’outils (lecture/écriture de fichiers, exécution de commandes, navigation dans un dépôt) est nécessaire. Le modèle apprend à planifier, exécuter, observer les résultats et itérer.

Local vs cloud : le grand débat de 2026

La capacité à exécuter des code LLM localement a créé un vrai choix stratégique pour les développeurs et les entreprises.

Arguments pour le local. Confidentialité totale du code (critique pour les entreprises en secteurs régulés : finance, défense, santé). Zéro coût API (un investissement hardware initial, puis utilisation illimitée). Pas de dépendance à un fournisseur cloud. Pas de latence réseau. Possibilité de fine-tuner sur votre codebase propriétaire.

Arguments pour le cloud. Les modèles propriétaires (Claude Opus 4.6, GPT-5.4) restent supérieurs sur les tâches les plus complexes (architecture multi-fichiers, refactoring de legacy code). Pas d’investissement hardware. Mises à jour automatiques des modèles. Support entreprise.

La réalité hybride. De nombreux développeurs utilisent un modèle local pour les tâches quotidiennes (complétion, petites corrections, génération de tests) et basculent vers un modèle cloud pour les tâches complexes (architecture, debugging difficile). Claude Code supporte cette approche en permettant de pointer vers un serveur Ollama local pour les requêtes courantes.

Code LLM et vibe coding

Le vibe coding (terme popularisé par Andrej Karpathy) désigne la pratique de développer en décrivant ce qu’on veut en langage naturel et en laissant le code LLM générer le code. C’est le mode d’utilisation le plus « agentique » des code LLM, et il repose entièrement sur la qualité du modèle sous-jacent.

Les code LLM agentiques (Qwen3-Coder-Next, Claude Code, Codex CLI) permettent un vibe coding avancé : vous décrivez une feature, l’agent crée les fichiers, écrit le code, lance les tests, corrige les erreurs, et itère jusqu’à ce que tout passe. Le développeur supervise et guide plutôt qu’il ne code ligne par ligne.

Cette pratique transforme le profil des développeurs : la capacité à formuler des instructions claires (prompt engineering appliqué au code) devient aussi importante que la maîtrise d’un langage de programmation spécifique.