Accueil › Glossaire › Embedding

Embedding : transformer le sens en nombres pour l’IA

Qu’est-ce qu’un embedding ?

Les ordinateurs ne comprennent pas les mots. Ils manipulent des nombres. Un embedding est le pont entre ces deux mondes : il transforme un texte en une liste de nombres (un vecteur) qui capture son sens semantique.

Prenons un exemple concret. Le mot « roi » pourrait etre represente par le vecteur [0.21, -0.45, 0.78, …] avec 1 536 dimensions. Le mot « reine » aurait un vecteur tres proche, car ces mots partagent un champ semantique similaire. Le mot « voiture » aurait un vecteur distant, car il n’a rien a voir semantiquement.

La propriete la plus fascinante des embeddings est qu’ils capturent des relations semantiques. L’operation vectorielle « roi – homme + femme » produit un vecteur proche de « reine ». Cette arithmetique du sens est ce qui rend les embeddings si puissants.

Comment fonctionnent les embeddings ?

Le processus de creation

Un modele d’embedding prend un texte en entree et produit un vecteur de dimension fixe en sortie. Ce modele est un reseau de neurones entraine sur des millions de paires de textes pour apprendre que les textes similaires doivent avoir des vecteurs proches.

Le processus technique : le texte est d’abord tokenise, puis chaque token passe a travers les couches du transformer. La derniere couche produit un vecteur par token. Ces vecteurs sont agreges (generalement par moyenne ou pooling) pour produire un vecteur unique representant l’ensemble du texte.

Les dimensions d’un embedding

Un embedding est un vecteur a N dimensions. Plus N est grand, plus l’embedding peut capturer de nuances semantiques, mais plus il consomme de memoire et de calcul.

Mesurer la similarite

Pour comparer deux embeddings, on utilise la similarite cosinus : l’angle entre les deux vecteurs. Un cosinus de 1 signifie que les textes sont identiques semantiquement, 0 signifie qu’ils sont sans rapport, et -1 qu’ils sont opposes.

import numpy as np

def cosine_similarity(v1, v2):
    return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))

# Exemple : "chat domestique" vs "felin de compagnie" -> ~0.92
# Exemple : "chat domestique" vs "python langage" -> ~0.15

Cas d’usage des embeddings

Recherche semantique

La recherche traditionnelle par mots-cles echoue quand l’utilisateur utilise des synonymes ou des formulations differentes. Avec les embeddings, la requete « comment nourrir mon chat » trouvera un article intitule « Alimentation feline : guide complet » meme s’il ne contient pas les mots « nourrir » ni « chat ».

RAG (Retrieval-Augmented Generation)

Le RAG est le cas d’usage phare des embeddings. Chaque document est transforme en embedding, stocke dans une base vectorielle, puis interroge par similarite quand un utilisateur pose une question au LLM.

Classification de texte

Les embeddings permettent de classifier des textes sans entrainer de modele specifique. Vous definissez les categories (embeddings de reference) et classez chaque nouveau texte dans la categorie dont l’embedding est le plus proche.

Detection d’anomalies et de doublons

En comparant les embeddings de tickets de support, d’emails ou de publications, vous pouvez detecter les doublons (embeddings quasi identiques) et les anomalies (embeddings tres eloignes de la distribution normale).

Systemes de recommandation

Les plateformes de contenu utilisent les embeddings pour recommander des articles, videos ou produits similaires a ceux que l’utilisateur a deja consultes. « Les gens qui ont lu cet article pourraient aussi aimer… » est souvent pilote par la proximite des embeddings.

Implementation pratique

from openai import OpenAI

client = OpenAI()

# Generer un embedding
response = client.embeddings.create(
    model="text-embedding-3-small",
    input="L'intelligence artificielle transforme l'industrie"
)

vecteur = response.data[0].embedding
print(f"Dimensions : {len(vecteur)}")  # 1536
print(f"Premiers elements : {vecteur[:5]}")

# Comparer deux textes
textes = [
    "L'IA revolutionne les entreprises",
    "Le machine learning change l'industrie",
    "La recette du gateau au chocolat"
]

response = client.embeddings.create(
    model="text-embedding-3-small",
    input=textes
)

embeddings = [r.embedding for r in response.data]

# Texte 1 vs 2 : ~0.87 (proches semantiquement)
# Texte 1 vs 3 : ~0.12 (sans rapport)

Bonnes pratiques

Choisissez le bon modele pour votre langue. Tous les modeles d’embedding ne sont pas egaux sur le francais. Les modeles multilingues (embed-v3, BGE-M3) performent mieux que les modeles anglophones sur les textes en francais.

Normalisez vos textes. Supprimez les espaces en trop, uniformisez la casse si pertinent, et nettoyez les caracteres speciaux. Un texte propre produit un meilleur embedding.

Utilisez le meme modele partout. Les embeddings de differents modeles ne sont pas compatibles entre eux. Si vous indexez vos documents avec text-embedding-3-small, vous devez utiliser le meme modele pour les requetes.

Reduisez les dimensions si possible. OpenAI permet de reduire les dimensions de text-embedding-3-large de 3 072 a 256. La perte de precision est minimale pour la plupart des cas d’usage, et le gain en stockage et en vitesse est considerable.

Testez sur votre domaine. Les benchmarks generaux (MTEB) ne refletent pas forcement les performances sur votre cas d’usage specifique. Creez un petit jeu de test avec des paires pertinentes/non pertinentes de votre domaine et mesurez la performance reelle.

L’evolution des embeddings

Les embeddings ont considerablement evolue. Word2Vec (2013) a pose les bases avec des embeddings par mot. GloVe (2014) a ameliore la methode avec des statistiques globales. BERT (2018) a introduit les embeddings contextuels : le meme mot a un vecteur different selon son contexte. Les modeles actuels produisent des sentence embeddings qui capturent le sens de phrases et paragraphes entiers.

FAQ