Accueil › Glossaire › Fine-Tuning

Fine-Tuning : adapter un modele IA a vos besoins specifiques

Qu’est-ce que le fine-tuning ?

Le fine-tuning part d’un principe simple : un LLM comme GPT-4 ou LLaMA a deja appris les structures du langage, la logique et une immense base de connaissances pendant son pre-entrainement. Le fine-tuning reprend ce modele et le re-entraine sur un petit dataset specialise pour lui apprendre un comportement specifique.

Imaginez un medecin generaliste (le modele pre-entraine) qui suit une formation de specialisation (le fine-tuning). Il ne reapprend pas l’anatomie : il affine ses competences dans un domaine precis.

Concretement, le fine-tuning modifie les poids du reseau de neurones en fonction de nouveaux exemples d’entree/sortie. Le modele apprend a reproduire les patterns presents dans vos donnees d’entrainement : un ton specifique, un format de reponse, un vocabulaire metier, des regles de decision propres a votre entreprise.

Quand faire du fine-tuning ?

Le fine-tuning n’est pas la reponse par defaut. C’est une decision qui se prend apres avoir epuise les alternatives plus simples. Voici les cas ou il se justifie :

Le prompt engineering plafonne. Vous avez optimise votre prompt pendant des semaines, mais le modele ne produit toujours pas le format, le ton ou la precision que vous attendez.

Le volume de tokens explose. Votre prompt systeme fait 3 000 tokens parce qu’il contient des dizaines d’exemples et de regles. Un modele fine-tune internalise ces regles, ce qui reduit la taille du prompt et les couts par requete.

La latence est critique. Chaque token du prompt ajoute du temps de traitement. Un modele fine-tune avec un prompt court repond plus vite qu’un modele generique avec un mega-prompt.

Vous avez un format proprietaire. Votre application requiert un JSON avec une structure tres specifique, ou un style d’ecriture qui ne correspond a aucun pattern standard du modele.

Des donnees sensibles sont impliquees. Plutot que d’envoyer des informations confidentielles dans chaque prompt (via RAG), vous pouvez fine-tuner un modele qui a internalise ces connaissances.

Les methodes de fine-tuning

Full fine-tuning

Le full fine-tuning met a jour tous les parametres du modele. C’est la methode la plus puissante mais aussi la plus couteuse en ressources. Pour un modele de 7 milliards de parametres, comptez au minimum 40 Go de VRAM GPU. Pour un modele de 70 milliards, il faut un cluster de GPU A100 ou H100.

Cette methode est reservee aux organisations qui disposent d’une infrastructure importante et d’un dataset consequent (plus de 10 000 exemples). Elle est courante chez les fournisseurs de modeles eux-memes (OpenAI, Anthropic, Google) et les grandes entreprises tech.

LoRA (Low-Rank Adaptation)

LoRA est la methode de fine-tuning la plus populaire en 2026. Au lieu de modifier tous les poids du modele, LoRA ajoute de petites matrices d’adaptation a certaines couches du reseau. Le modele original reste intact ; seules les matrices LoRA (qui representent moins de 1 % des parametres) sont entraines.

Avantages : beaucoup moins de VRAM requise (un modele 7B fine-tunable sur une seule carte GPU 24 Go), entrainement rapide, et possibilite de stocker et charger differentes adaptations LoRA pour differentes taches sans dupliquer le modele de base.

QLoRA (Quantized LoRA)

QLoRA combine LoRA avec la quantification : le modele de base est charge en precision 4 bits (au lieu de 16 bits) pour reduire la memoire necessaire, puis les adaptations LoRA sont entraines en 16 bits par-dessus. Un modele de 70 milliards de parametres devient fine-tunable sur une seule carte GPU 48 Go avec QLoRA.

PEFT (Parameter-Efficient Fine-Tuning)

PEFT est un ensemble de techniques (incluant LoRA) qui minimisent le nombre de parametres modifies pendant le fine-tuning. La bibliotheque PEFT de Hugging Face standardise ces approches et facilite leur mise en oeuvre.

Preparer son dataset de fine-tuning

La qualite du dataset est le facteur numero un de reussite d’un fine-tuning. Un petit dataset de haute qualite (500 exemples excellents) bat systematiquement un grand dataset mediocre (10 000 exemples bruyants).

Le format standard est le JSONL (JSON Lines), avec un objet par ligne contenant les messages de la conversation :

{"messages": [{"role": "system", "content": "Tu es un assistant juridique."}, {"role": "user", "content": "Qu'est-ce qu'une SAS ?"}, {"role": "assistant", "content": "Une SAS (Societe par Actions Simplifiee) est..."}]}
{"messages": [{"role": "system", "content": "Tu es un assistant juridique."}, {"role": "user", "content": "Difference entre SARL et SAS ?"}, {"role": "assistant", "content": "La SARL et la SAS different sur..."}]}

Regles d’or pour la preparation des donnees :

Diversite. Couvrez l’ensemble des cas d’usage que le modele devra gerer. Si vous fine-tunez pour du support client, incluez des questions faciles, difficiles, hors sujet et ambigues.

Coherence. Le style, le ton et le format des reponses doivent etre uniformes. Si une reponse utilise le tutoiement et une autre le vouvoiement, le modele sera inconsistant.

Qualite. Chaque exemple doit etre la reponse ideale que vous attendriez du modele. Faites relire les exemples par des experts du domaine.

Equilibre. Ne surrepresentez pas certaines categories. Si 80 % de vos exemples concernent le meme sujet, le modele sera biaise vers ce sujet.

Fine-tuning via les fournisseurs d’API

OpenAI propose le fine-tuning pour GPT-4o mini et GPT-4o. L’interface est simple : uploadez un fichier JSONL, lancez l’entrainement, et recevez un modele personnalise avec un identifiant unique. Cout : a partir de 3 $ par million de tokens d’entrainement pour GPT-4o mini.

Mistral AI permet le fine-tuning de ses modeles Mistral et Mixtral via La Plateforme. C’est une option interessante car les modeles Mistral sont egalement disponibles en open source, offrant une flexibilite maximale.

Google propose le fine-tuning de Gemini via Vertex AI, avec des options de tuning supervise et de RLHF. L’integration avec Google Cloud facilite le deploiement a grande echelle.

Together AI / Replicate / Modal. Ces plateformes cloud permettent de fine-tuner des modeles open source (LLaMA 3, Mistral, etc.) sans gerer l’infrastructure. Ideal pour les equipes qui veulent la flexibilite de l’open source sans la complexite de l’infra.

Fine-tuning en local avec des modeles open source

Fine-tuner un modele open source sur votre propre materiel offre un controle total sur les donnees et le modele. Les outils principaux :

Hugging Face Transformers + PEFT. La stack standard pour le fine-tuning Python. La combinaison Transformers + PEFT + TRL (Transformer Reinforcement Learning) couvre tous les cas d’usage.

Axolotl. Un wrapper qui simplifie considerablement le fine-tuning. Configuration en YAML, support LoRA/QLoRA natif, multi-GPU automatique.

Unsloth. Optimise pour la vitesse, Unsloth accelere le fine-tuning LoRA de 2 a 5x par rapport aux implementations standard, avec une consommation memoire reduite de 60 %.

# Fine-tuning LoRA avec Unsloth (exemple simplifie)
from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="meta-llama/Llama-3.1-8B-Instruct",
    max_seq_length=2048,
    load_in_4bit=True
)

model = FastLanguageModel.get_peft_model(
    model,
    r=16,  # rang LoRA
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_alpha=16,
    lora_dropout=0
)

Evaluer un modele fine-tune

Un fine-tuning reussi doit demontrer une amelioration mesurable sur votre tache cible sans degrader les capacites generales du modele. Mesurez :

La performance sur la tache. Comparez les sorties du modele fine-tune avec le modele de base + prompt optimise sur un jeu de test reserve (jamais utilise pendant l’entrainement).

La generalisation. Testez avec des entrees que le modele n’a jamais vues. Un modele qui recite ses donnees d’entrainement sans generaliser est en overfitting.

La regression. Verifiez que le modele n’a pas perdu des capacites generales (comprehension du langage, raisonnement logique) en se specialisant trop.

FAQ