Accueil › Glossaire › StarCoder

StarCoder : le modele de code open-source du projet BigCode

Qu’est-ce que StarCoder ?

StarCoder est ne du projet BigCode, une initiative collaborative entre Hugging Face et ServiceNow pour creer des modeles de code veritablement ouverts et responsables. Contrairement a Code Llama (Meta) ou Codestral (Mistral), StarCoder met l’accent sur la transparence : le corpus d’entrainement (The Stack v2) est entierement documente, et les developpeurs dont le code a ete utilise peuvent demander son retrait.

La premiere version de StarCoder (mai 2023) a ete remplacee par StarCoder2 en fevrier 2024, avec des ameliorations substantielles en termes de performances, de corpus d’entrainement et de tailles de modeles.

StarCoder2 en detail

Tailles disponibles

Le fait marquant : StarCoder2-3B surpasse StarCoderBase-15B (la version precedente a 5x plus de parametres). Et StarCoder2-15B rivalise avec CodeLlama-34B, un modele plus de 2 fois plus gros. C’est la preuve que la qualite et la quantite des donnees d’entrainement comptent autant que la taille du modele.

The Stack v2

Le corpus d’entrainement, The Stack v2, est 4 fois plus grand que The Stack v1. Il couvre 619 langages de programmation et inclut des sources soigneusement selectionnees : repositories GitHub, pull requests, notebooks Kaggle, et documentation de code. Chaque source est filtree pour la qualite et la pertinence.

Architecture

StarCoder2 utilise un Transformer decoder-only avec Grouped Query Attention (GQA), un contexte de 16 384 tokens et une sliding window attention de 4 096 tokens. Les modeles sont entraines avec l’objectif Fill-in-the-Middle (FIM), qui leur permet de completer du code a n’importe quel point d’un fichier.

Cas d’usage

Autocomplete en IDE

Grace au FIM, StarCoder2 est directement utilisable pour l’autocomplete en IDE. Il comprend le contexte avant et apres le curseur pour proposer des completions pertinentes. Les modeles 3B et 7B sont suffisamment rapides pour une utilisation interactive en temps reel.

Generation de code

A partir d’un prompt en langage naturel ou d’un commentaire de code, StarCoder2 peut generer des fonctions, des classes et des modules complets. Le support de 619 langages le rend polyvalent pour les projets multi-langages.

Fine-tuning specifique

StarCoder2 est une base populaire pour le fine-tuning sur des bases de code proprietaires. Les entreprises peuvent adapter le modele a leur style de code, leurs conventions et leurs frameworks specifiques.

Recherche et education

Grace a la transparence totale du corpus (The Stack v2), StarCoder2 est privilegie dans les contextes de recherche et d’education ou la reproductibilite et l’ethique des donnees sont importantes.

Deploiement local

Les modeles StarCoder2 sont legers et faciles a deployer :

Le deploiement via Ollama ou HuggingFace Transformers est direct. StarCoder2-3B est particulierement interessant : avec seulement ~2 Go de VRAM en 4-bit, il tourne sur presque n’importe quel GPU moderne, y compris les GPU integres de certains laptops.

StarCoder2 vs Code Llama vs Codestral

StarCoder2 se distingue par sa transparence totale (corpus documente, opt-out disponible) et son efficacite (15B rivale 34B). Code Llama offre des tailles plus variees (jusqu’a 70B) et un ecosysteme Meta plus large. Codestral excelle en precision d’autocomplete (86,6 % HumanEval) et en integration enterprise.

Approche ethique

BigCode se distingue par son attention a l’ethique des donnees. Les developpeurs dont le code apparait dans The Stack v2 peuvent demander son retrait via un mecanisme d’opt-out. Le corpus est entierement documente, avec des informations sur les sources, les licences et les filtres appliques. Cette transparence est rare dans l’ecosysteme des modeles de code.

FAQ StarCoder