Accueil › Glossaire › Instruction Following

Instruction Following

L’instruction following (suivi d’instructions) est la capacité d’un LLM à comprendre, interpréter et respecter précisément les consignes formulées dans un prompt utilisateur, qu’il s’agisse de contraintes de format, de longueur, de style, de contenu, ou de tâche à accomplir.

Qu’est-ce que l’instruction following exactement ?

L’instruction following ne se résume pas à « répondre à une question ». C’est la capacité du modèle à respecter l’ensemble des contraintes spécifiées dans un prompt, y compris celles qui ne concernent pas directement le contenu de la réponse. Quand vous demandez à un LLM « Écrivez un email de 200 mots maximum, en utilisant un ton formel, incluant les mots ‘stratégie’ et ‘innovation’, au format JSON », la tâche principale (écrire un email) ne représente qu’une partie du défi. Le modèle doit aussi respecter la contrainte de longueur (200 mots), de ton (formel), de contenu (mots-clés), et de format (JSON).

C’est cette dimension multi-contraintes qui rend l’instruction following complexe. Un modèle peut parfaitement comprendre la tâche demandée tout en échouant sur les contraintes annexes : produire 400 mots au lieu de 200, oublier un mot-clé, ou ignorer le format JSON. Les recherches récentes montrent que c’est sur ces « détails » que les LLM échouent le plus souvent.

Instruction following vs. instruction tuning

Les deux termes sont liés mais distincts :

Instruction tuning est la technique d’entraînement : le processus de fine-tuning supervisé sur des paires (instruction, réponse) qui enseigne au modèle à suivre des consignes.

Instruction following est la capacité résultante : la compétence mesurable du modèle à respecter les instructions après son entraînement.

L’instruction tuning est le moyen, l’instruction following est le résultat évalué. Un modèle peut avoir subi un instruction tuning de qualité mais avoir un instruction following médiocre si les données d’entraînement étaient insuffisamment diverses ou si les contraintes n’y étaient pas bien représentées.

Taxonomie des contraintes

Les benchmarks modernes classifient les contraintes d’instruction following en plusieurs catégories :

Contraintes de format

Structure de la sortie : JSON, Markdown, listes à puces, tableaux, majuscules, guillemets, numérotation. Par exemple : « Formatez votre réponse entière en JSON valide » ou « Encadrez chaque paragraphe de doubles crochets ». Ce sont les contraintes les plus faciles à vérifier automatiquement (un script Python suffit) mais parmi les plus souvent violées.

Contraintes de longueur

Nombre de mots, de phrases, ou de paragraphes. Par exemple : « Écrivez entre 450 et 500 mots » ou « Répondez en exactement 3 phrases. » Les modèles ont une tendance marquée à la verbosité et peinent à respecter des limites de longueur strictes, surtout les limites supérieures.

Contraintes de contenu

Inclusion ou exclusion de mots-clés, de phrases, ou de thèmes spécifiques. Par exemple : « Mentionnez le mot ‘IA’ au moins 3 fois » ou « N’utilisez jamais le mot ‘problème’. » Les contraintes d’exclusion (ne pas mentionner un mot) sont notoirement plus difficiles pour les LLM que les contraintes d’inclusion.

Contraintes de style et ton

Registre de langue (formel/informel), ton émotionnel, perspective narrative (première personne, troisième personne), etc. Ces contraintes sont plus subjectives et nécessitent souvent un LLM évaluateur plutôt qu’une vérification automatique.

Contraintes sémantiques

Contraintes qui requièrent une compréhension du sens : « Répondez comme si vous étiez un expert en finance », « Adoptez un point de vue critique », « Intégrez une analogie avec le sport ». Ces contraintes sont les plus difficiles à évaluer automatiquement.

Contraintes conditionnelles

Contraintes qui ne s’appliquent que sous certaines conditions : « Si la réponse dépasse 100 mots, ajoutez le mot-clé ‘résumé' » ou « Si l’utilisateur mentionne un budget, présentez les options sous forme de tableau. » Les benchmarks AgentIF (2025) montrent que ces contraintes conditionnelles, courantes dans les applications agentiques, posent des défis majeurs aux LLM actuels.

Comment mesure-t-on l’instruction following ?

IFEval : le benchmark de référence

IFEval (Instruction-Following Evaluation), proposé par Google Research en 2023, est devenu le benchmark standard pour l’instruction following. Son principe est simple et efficace : il se concentre sur des instructions vérifiables, c’est-à-dire des contraintes dont le respect peut être vérifié objectivement par un programme, sans jugement humain.

IFEval identifie 25 types de contraintes vérifiables et construit environ 500 prompts, chacun contenant une ou plusieurs contraintes. Exemples de contraintes IFEval :

L’évaluation se fait à deux niveaux : prompt-level (le prompt entier est réussi si toutes ses contraintes sont respectées) et instruction-level (chaque contrainte individuelle est évaluée séparément). Deux critères sont calculés : strict (vérification exacte) et loose (avec transformations tolérantes comme la suppression de la première ligne).

Benchmarks plus récents

Les limites actuelles des LLM en instruction following

Malgré des scores IFEval impressionnants (les meilleurs modèles dépassent 90 % en strict accuracy), les recherches récentes révèlent des failles profondes.

Fragilité aux reformulations

L’étude IFEval++ (2025) montre que les performances chutent drastiquement quand on reformule subtilement les mêmes instructions (« cousin prompts »). Le modèle Qwen3-0.6B perd jusqu’à 61,8 % de sa performance, et même GPT-5, le modèle le plus fiable testé, perd 18,3 %. Cela signifie qu’un LLM peut réussir une instruction formulée d’une certaine façon et échouer sur la même instruction reformulée différemment. Pour les applications en production, c’est un problème critique : les utilisateurs ne formulent pas leurs requêtes de façon standardisée.

Dégradation avec la densité d’instructions

IFScale (2026) étudie comment la performance se dégrade quand le nombre de contraintes simultanées augmente. Le résultat est clair : au-delà d’un certain seuil, les modèles montrent des « falaises de performance » (performance cliffs) où la qualité chute brutalement. Les modèles de raisonnement (série o d’OpenAI) montrent un comportement particulièrement intéressant : ils investissent plus de compute par contrainte mais sacrifient parfois la tâche principale au profit du respect des contraintes.

Difficulté avec les contraintes négatives

Les contraintes d’exclusion (« n’utilisez pas le mot X », « ne mentionnez pas Y ») sont notoirement plus difficiles que les contraintes d’inclusion. Les modèles activent souvent le concept qu’ils devraient éviter, un phénomène lié à la façon dont les Transformers traitent la négation. Des travaux (DIM-Bench, 2025) confirment que les LLM sont vulnérables aux instructions négatives et aux contraintes de type « distracteur ».

Le défi agentique

AgentIF (2025) évalue l’instruction following dans des scénarios d’agents IA réels, avec des instructions longues (1 717 tokens en moyenne) et complexes (~12 contraintes par instruction). Les résultats sont sévères : le meilleur modèle testé ne suit parfaitement que moins de 30 % des instructions. Les contraintes liées aux spécifications d’outils (function calling, formats de paramètres) et les contraintes conditionnelles sont les plus problématiques.

Gestion des conflits entre contraintes

ConInstruct (2025) étudie un cas encore plus complexe : que fait le modèle quand les contraintes d’une même instruction se contredisent ? Par exemple, « Écrivez exactement 50 mots » et « Incluez les phrases suivantes [qui totalisent 80 mots] ». Les résultats montrent que la plupart des LLM open-source échouent à détecter ces conflits. Seuls DeepSeek-R1 et Claude Sonnet 4.5 atteignent des F1-scores supérieurs à 87 % en détection de conflits.

Comment améliorer l’instruction following

Au niveau de l’entraînement

La qualité et la diversité du dataset d’instruction tuning sont déterminantes. Les datasets qui incluent explicitement des contraintes vérifiables (format, longueur, mots-clés) dans les instructions d’entraînement produisent des modèles nettement meilleurs en instruction following. L’étude FLAN a montré que le format instruction lui-même (pas juste les données) améliore les performances de +18 %.

Le RLHF et le DPO contribuent aussi, mais de façon indirecte. Ils optimisent pour les préférences humaines globales (utilité, sécurité), ce qui inclut le respect des instructions mais ne le cible pas spécifiquement. Des approches dédiées, comme l’entraînement sur des paires préférées/rejetées spécifiquement annotées sur le respect des contraintes, donnent de meilleurs résultats sur IFEval.

Au moment de l’inférence

Plusieurs techniques améliorent l’instruction following sans modifier le modèle :

Rejection sampling. Générer plusieurs réponses et sélectionner celle qui respecte le mieux les contraintes. IFEval++ montre que cette approche est la plus efficace : un modèle relativement faible comme Qwen3-4B, avec rejection sampling parallèle, peut surpasser les meilleurs modèles open-source en fiabilité.

Activation steering. Des travaux ICLR 2025 montrent qu’on peut extraire des « vecteurs d’instruction » des activations internes du modèle et les utiliser pour guider le modèle vers le respect de contraintes spécifiques, même sans les formuler explicitement dans le prompt. Cette technique fonctionne pour les contraintes de format, de longueur et de mots-clés.

Prompt engineering structuré. Formuler les contraintes de façon claire, les numéroter, les placer en début ou en fin de prompt (pas au milieu, où elles sont plus souvent ignorées), et les répéter dans un « résumé des exigences » améliore le respect. Les travaux montrent que les éléments présentés plus tôt dans le prompt reçoivent plus d’attention du modèle.

Extension au multimodal

L’instruction following s’étend au multimodal avec des benchmarks comme MM-IFEval (2025), qui évalue la capacité des modèles vision-langage à suivre des contraintes en présence d’images. Les résultats montrent que les modèles multimodaux sont encore très en retard : GPT-4o atteint 64,6 % et Qwen2-VL-72B seulement 50,8 %. Speech-IFEval étend le concept à l’audio, montrant que les modèles speech-language sont encore plus fragiles, avec des performances bien inférieures aux LLM textuels sur les mêmes types de contraintes.

Verdict

L’instruction following est la capacité qui sépare un modèle de langage « intelligent » d’un modèle véritablement utile. Vous pouvez avoir le modèle le plus puissant du monde en raisonnement et en connaissances : s’il ne respecte pas vos contraintes de format, de longueur ou de contenu, il est inutilisable en production. C’est d’autant plus critique avec la montée des agents IA qui doivent respecter des spécifications d’outils, des formats d’API, et des workflows complexes avec des dizaines de contraintes simultanées.

L’état actuel est encourageant sur les benchmarks standards (les meilleurs modèles dépassent 90 % sur IFEval) mais préoccupant en conditions réelles. La fragilité aux reformulations (jusqu’à -61,8 % de performance sur IFEval++), la dégradation avec la densité de contraintes (IFScale), et les lacunes en contexte agentique (moins de 30 % de conformité parfaite sur AgentIF) montrent qu’il reste un écart significatif entre les scores de benchmark et la fiabilité en production.

Pour les développeurs : ne vous fiez pas aux scores IFEval seuls. Testez vos prompts avec des reformulations variées, monitorez les échecs de contraintes en production, et utilisez le rejection sampling comme filet de sécurité pour les applications critiques. L’instruction following est un domaine de recherche en pleine effervescence : les benchmarks se multiplient, les techniques d’amélioration progressent (activation steering, test-time scaling), et chaque nouvelle génération de modèles repousse les limites. Mais le problème fondamental, faire en sorte qu’un modèle respecte toutes les contraintes à chaque fois quelle que soit la formulation, reste ouvert.