Accueil › Glossaire › Discriminative Model

Discriminative Model (Modèle Discriminatif)

Un modèle discriminatif est un modèle de machine learning qui apprend la frontière de décision entre les classes d’un jeu de données pour classifier de nouvelles observations. Contrairement aux modèles génératifs qui modélisent la distribution complète des données, les modèles discriminatifs se concentrent uniquement sur ce qui distingue une classe d’une autre.

Formellement, un modèle discriminatif apprend la probabilité conditionnelle P(Y|X) : « quelle est la probabilité que cette observation X appartienne à la classe Y ? ». Il n’a pas besoin de comprendre comment les données sont distribuées dans l’espace (P(X)), ni comment elles ont été générées. Il lui suffit de savoir où passe la frontière entre les classes.

C’est cette focalisation qui fait la force des modèles discriminatifs : en se concentrant sur la frontière plutôt que sur la distribution complète, ils sont typiquement plus efficaces en données, plus rapides à entraîner, plus robustes aux outliers, et souvent plus précis pour les tâches de classification. La quasi-totalité des systèmes de classification déployés en production (détection de spam, reconnaissance d’images, diagnostic médical, détection de fraude) repose sur des modèles discriminatifs.

Le principe fondamental

L’intuition : tracer une frontière

Imaginez que vous devez trier des pommes et des oranges sur un tapis roulant. L’approche générative consisterait à étudier en profondeur chaque fruit : sa distribution de taille typique, sa couleur, sa texture, son poids, pour comprendre ce qui fait qu’une pomme est une pomme et une orange est une orange. L’approche discriminative est plus directe : elle cherche simplement la règle la plus efficace pour séparer les deux. Peut-être que « si c’est orange, c’est une orange ; si c’est rouge ou vert, c’est une pomme » suffit amplement, sans avoir besoin de modéliser la physique des fruits.

Les modèles discriminatifs tracent des frontières de décision dans l’espace des caractéristiques (features). Ces frontières peuvent être linéaires (régression logistique, SVM linéaire), non linéaires (SVM avec noyau, arbres de décision), ou extraordinairement complexes (réseaux de neurones profonds). L’important n’est pas la forme de la frontière, mais sa capacité à séparer correctement les classes.

Le formalisme

Soit X les observations (features d’un email, pixels d’une image, tokens d’un texte) et Y les labels (spam/non-spam, chat/chien, positif/négatif) :

Modèle discriminatif : apprend directement P(Y|X), la probabilité de chaque classe conditionnellement à l’observation. Certains modèles discriminatifs (comme les SVM ou les arbres de décision) n’estiment même pas une probabilité : ils apprennent directement une règle de décision f(X) → Y.

Modèle génératif : apprend P(X, Y) ou P(X|Y)·P(Y), puis en déduit P(Y|X) par le théorème de Bayes. C’est un détour : il modélise plus que nécessaire pour la classification.

Le résultat classique de Ng et Jordan (2002) montre que les modèles discriminatifs (en l’occurrence la régression logistique) convergent vers une erreur asymptotique plus faible que les modèles génératifs (Naive Bayes) sur la plupart des tâches de classification, surtout quand les hypothèses du modèle génératif ne correspondent pas exactement à la réalité des données.

Les modèles discriminatifs classiques

Régression logistique

C’est le modèle discriminatif le plus fondamental. Malgré son nom (qui contient « régression »), c’est un classifieur binaire. Il apprend une frontière de décision linéaire en passant une combinaison linéaire des features à travers une fonction sigmoïde qui produit une probabilité entre 0 et 1.

La régression logistique est rapide, interprétable (chaque coefficient indique l’importance d’une feature), et sert souvent de baseline pour évaluer des modèles plus complexes. Elle s’étend au multiclasse via la régression logistique multinomiale (softmax). C’est le point de départ recommandé pour tout problème de classification avant de passer à des modèles plus sophistiqués.

Support Vector Machines (SVM)

Les SVM cherchent l’hyperplan qui sépare les classes avec la marge maximale : la distance entre la frontière de décision et les points de données les plus proches (les vecteurs supports). Cette maximisation de la marge confère aux SVM une excellente capacité de généralisation, même avec peu de données.

L’astuce du noyau (kernel trick) permet aux SVM de tracer des frontières non linéaires en projetant les données dans un espace de dimension supérieure où elles deviennent linéairement séparables. Les noyaux RBF (gaussien), polynomial et sigmoïde sont les plus utilisés.

Les SVM restent pertinents pour les données tabulaires de petite à moyenne taille et pour les problèmes où l’interprétabilité est importante. Dans le deep learning, les SVM ont été utilisés historiquement comme classifieur final dans R-CNN pour la détection d’objets.

Arbres de décision et Random Forest

Les arbres de décision partitionnent récursivement l’espace des features en régions homogènes, comme un organigramme de questions binaires. Chaque noeud interne pose une question sur une feature (« le revenu est-il supérieur à 50k€ ? »), et chaque feuille assigne une classe.

Les arbres individuels ont tendance à surapprendre. Les Random Forests corrigent ce problème en combinant des centaines d’arbres entraînés sur des sous-ensembles aléatoires de données et de features. Le vote majoritaire des arbres produit des prédictions robustes et fiables.

XGBoost, LightGBM et CatBoost sont des variantes par gradient boosting qui construisent les arbres séquentiellement, chaque nouvel arbre corrigeant les erreurs des précédents. Ces modèles dominent les compétitions de ML sur données tabulaires et restent le choix par défaut en 2026 pour la classification de données structurées (fraude, churn, scoring).

K-Nearest Neighbors (KNN)

KNN est le modèle discriminatif le plus simple conceptuellement : pour classifier un nouveau point, on regarde ses k voisins les plus proches dans l’espace des features et on vote à la majorité. Pas d’entraînement à proprement parler, toute la computation se fait à l’inférence.

KNN est utile comme baseline et pour les problèmes à faible dimensionnalité, mais il ne passe pas à l’échelle : la recherche de voisins dans des espaces de haute dimension est lente (malédiction de la dimensionnalité).

Modèles discriminatifs en deep learning

CNN (Convolutional Neural Networks)

Les CNN sont les modèles discriminatifs dominants pour la vision par ordinateur. Ils apprennent automatiquement des hiérarchies de features : les premières couches détectent les bords et les textures, les couches intermédiaires reconnaissent les formes et les motifs, les couches profondes identifient les objets complets.

L’évolution architecturale est riche : LeNet (1998, reconnaissance de chiffres), AlexNet (2012, percée ImageNet), VGG (2014, profondeur), ResNet (2015, connexions résiduelles), EfficientNet (2019, scaling optimisé). En 2026, les CNN restent utilisés en production pour la classification d’images, la détection d’objets (YOLO, Faster R-CNN) et la segmentation sémantique, souvent en combinaison avec des Vision Transformers.

BERT et les transformers discriminatifs

BERT (Bidirectional Encoder Representations from Transformers, Google, 2018) est le modèle discriminatif phare du NLP. Contrairement aux LLM autorégressifs (GPT, Claude) qui sont des modèles génératifs, BERT encode le texte en représentations vectorielles bidirectionnelles utilisées pour la classification.

BERT est pré-entraîné par masquage de tokens (Masked Language Modeling) puis fine-tuné sur des tâches discriminatives spécifiques : analyse de sentiment, détection de spam, reconnaissance d’entités nommées, question-answering extractif. RoBERTa, DistilBERT, DeBERTa et ELECTRA sont des variantes qui améliorent l’efficacité ou la performance.

En 2026, les modèles BERT restent pertinents pour les tâches de classification de texte en production, surtout quand la latence et le coût sont critiques. Un modèle DistilBERT fine-tuné pour la classification de sentiment tourne en quelques millisecondes, tandis qu’un LLM génératif comme GPT-5.4 nécessite des centaines de millisecondes et des coûts d’inférence bien supérieurs.

RNN, LSTM et modèles séquentiels

Les réseaux récurrents (RNN, LSTM, GRU) traitent les données séquentielles en maintenant un état interne qui capture les dépendances temporelles. Utilisés en NLP avant l’ère des transformers, ils restent pertinents pour certaines tâches de séries temporelles et de traitement audio où la séquentialité est naturelle et les données modestes.

Détection d’objets : YOLO et Faster R-CNN

Les modèles de détection d’objets sont des modèles discriminatifs spécialisés qui localisent et classifient simultanément les objets dans une image. YOLO (You Only Look Once) effectue la détection en un seul passage réseau, atteignant des vitesses temps réel. Faster R-CNN utilise un réseau de proposition de régions suivi d’un classifieur. Ces modèles alimentent la conduite autonome, la vidéosurveillance, le contrôle qualité industriel et la réalité augmentée.

Applications en 2026

Classification et vision par ordinateur

La classification d’images (ImageNet, diagnostic médical, contrôle qualité) reste le domaine historique des modèles discriminatifs. Les Vision Transformers (ViT) et les architectures hybrides CNN-Transformer atteignent les meilleures performances sur les benchmarks de classification. En imagerie médicale, des modèles discriminatifs détectent des tumeurs, classifient des radiographies et analysent des coupes histologiques avec des performances comparables aux spécialistes humains.

NLP : classification et extraction

La classification de texte (spam, sentiment, intention, toxicité), la reconnaissance d’entités nommées (NER), le question-answering extractif et la recherche sémantique reposent sur des modèles discriminatifs. BERT et ses dérivés dominent ces tâches quand des données labélisées sont disponibles. Les sentence transformers produisent des embeddings vectoriels pour la recherche de similarité sémantique.

Détection de fraude et anomalies

La détection de fraude en temps réel dans les transactions financières utilise massivement les modèles discriminatifs : XGBoost, Random Forest, et réseaux de neurones classifient chaque transaction comme légitime ou suspecte en quelques millisecondes. La vitesse d’inférence est critique : une transaction doit être évaluée avant d’être autorisée.

Systèmes de recommandation

Les systèmes de recommandation discriminatifs prédisent la probabilité qu’un utilisateur interagisse positivement avec un item (clic, achat, vue). Des réseaux de neurones profonds classifient les paires (utilisateur, item) comme pertinentes ou non, alimentant les recommandations de produits, de contenu et de publicité.

Reconnaissance vocale

La transcription de la parole en texte (speech-to-text) est fondamentalement un problème discriminatif : classifier des segments audio en phonèmes, mots ou caractères. Les modèles comme Whisper (OpenAI) et Wav2Vec (Meta) utilisent des architectures transformer discriminatives pour cette tâche.

Discriminatif vs génératif : guide de choix

Implémentation rapide

Voici un pipeline discriminatif complet avec scikit-learn et un classifieur plus avancé :

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.svm import SVC
from sklearn.metrics import classification_report

# Charger les données (diagnostic cancer du sein)
data = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(
    data.data, data.target, test_size=0.2, random_state=42
)

# Normaliser (essentiel pour SVM et régression logistique)
scaler = StandardScaler()
X_train_s = scaler.fit_transform(X_train)
X_test_s = scaler.transform(X_test)

# Comparer 4 modèles discriminatifs
models = {
    "Régression logistique": LogisticRegression(max_iter=1000),
    "SVM (RBF)": SVC(kernel="rbf", probability=True),
    "Random Forest": RandomForestClassifier(n_estimators=100, random_state=42),
    "Gradient Boosting": GradientBoostingClassifier(n_estimators=100, random_state=42),
}

for name, model in models.items():
    scores = cross_val_score(model, X_train_s, y_train, cv=5, scoring="accuracy")
    print(f"{name}: accuracy = {scores.mean():.4f} (±{scores.std():.4f})")

# Entraîner le meilleur et évaluer
best = GradientBoostingClassifier(n_estimators=100, random_state=42)
best.fit(X_train_s, y_train)
y_pred = best.predict(X_test_s)
print(classification_report(y_test, y_pred, target_names=data.target_names))

Pour un classifieur deep learning sur du texte avec BERT :

from transformers import pipeline

# Classifieur de sentiment zero-shot (modèle discriminatif pré-entraîné)
classifier = pipeline("sentiment-analysis", model="nlptown/bert-base-multilingual-uncased-sentiment")

result = classifier("Ce produit est absolument fantastique, je le recommande !")
print(result)  # [{'label': '5 stars', 'score': 0.72}]

# Classification zero-shot avec un modèle NLI
nli_classifier = pipeline("zero-shot-classification", model="facebook/bart-large-mnli")
result = nli_classifier(
    "L'entreprise a annoncé une hausse de 15% de son chiffre d'affaires",
    candidate_labels=["finance", "sport", "technologie", "politique"],
)
print(result["labels"][0], result["scores"][0])  # finance 0.89

Limites des modèles discriminatifs

Pas de génération : un modèle discriminatif ne peut pas créer de nouvelles données. Il classe, il trie, il prédit, mais il ne crée pas. Pour la génération de contenu, vous avez besoin d’un modèle génératif.

Dépendance aux labels : les modèles discriminatifs sont essentiellement supervisés. Ils ont besoin de données labélisées pour apprendre, et la qualité des labels détermine directement la qualité du modèle. L’étiquetage de données reste l’un des coûts majeurs du ML en production.

Pas de compréhension causale : un modèle discriminatif apprend des corrélations, pas des causes. Il peut classifier correctement sans « comprendre » pourquoi. Cela le rend vulnérable aux corrélations spurieuses (un classifieur de loups vs huskies qui utilise la neige en arrière-plan comme feature discriminante).

Difficulté avec les données non structurées nouvelles : face à des données très différentes de l’entraînement (out-of-distribution), un modèle discriminatif peut produire des prédictions confiantes mais fausses, car il n’a pas de notion de « je n’ai jamais vu ça ».