Accueil › Glossaire › Jukebox

Jukebox (OpenAI)

Jukebox est un modèle de génération de musique par intelligence artificielle développé par OpenAI en 2020, pionnier dans la production de chansons complètes avec chant rudimentaire en audio brut, conditionné par le genre, l’artiste et les paroles.

Pourquoi Jukebox compte

Jukebox est un modèle fondateur dans l’histoire de la musique IA. Publié en avril 2020, il a été le premier système capable de générer de la musique avec du chant directement en audio brut (raw waveform), sans passer par une représentation symbolique intermédiaire (MIDI, piano roll). Avant Jukebox, la génération musicale par IA se limitait principalement à des pièces instrumentales courtes ou à des représentations symboliques qui ne capturaient pas les nuances du timbre, de la dynamique et de la voix humaine.

Bien que Jukebox ne soit plus maintenu activement par OpenAI et que des modèles plus récents comme Suno, Udio ou MusicGen l’aient largement dépassé en qualité et en accessibilité, son architecture et ses concepts restent influents. Jukebox a démontré que la génération musicale de bout en bout était possible à grande échelle, ouvrant la voie à toute la génération actuelle de générateurs musicaux IA.

Architecture technique

L’architecture de Jukebox se compose de deux systèmes principaux : un autoencodeur VQ-VAE hiérarchique et des Sparse Transformers auto-régressifs.

VQ-VAE hiérarchique à 3 niveaux

Le VQ-VAE (Vector Quantized Variational Autoencoder) compresse l’audio brut 44,1 kHz en codes discrets à trois niveaux de compression. Le niveau bas (bottom) compresse par un facteur 8, le niveau intermédiaire (middle) par 32, et le niveau haut (top) par 128. Chaque niveau utilise un codebook de 2 048 entrées avec des vecteurs de dimension 64. Cette compression hiérarchique permet de capturer à la fois les détails fins de l’audio (timbre, texture) aux niveaux inférieurs et la structure musicale de haut niveau (harmonie, rythme) au niveau supérieur.

Pour combattre le « codebook collapse » (un problème où la plupart des entrées du codebook deviennent inutilisées), Jukebox utilise une technique de random restarts : lorsque l’utilisation d’un vecteur tombe sous un seuil, il est réinitialisé aléatoirement vers l’un des états encodés du batch courant. Chaque niveau possède son propre décodeur indépendant, capable de reconstruire l’audio séparément.

Sparse Transformers

Au-dessus du VQ-VAE, des modèles Transformer auto-régressifs (basés sur l’architecture Sparse Transformer) génèrent les séquences de tokens audio. Le processus commence par le niveau le plus compressé (top), puis des « upsamplers » auto-régressifs recréent les informations perdues à chaque niveau inférieur. Le modèle le plus grand (5B paramètres) traite le niveau supérieur, tandis que des modèles plus petits gèrent les niveaux intermédiaire et inférieur.

Le conditionnement se fait sur plusieurs dimensions simultanément : le genre musical (rock, pop, jazz, hip-hop, classique, etc.), l’artiste (le modèle peut imiter le style de nombreux artistes), et les paroles (via un Transformer de paroles séparé avec des couches d’attention encoder-decoder qui apprennent l’alignement entre texte et musique). Un embedding de timing encode la position absolue et relative dans l’audio pour maintenir la cohérence temporelle.

Capacités et résultats

Jukebox peut générer des morceaux de plusieurs minutes avec une cohérence locale remarquable : les progressions d’accords suivent des schémas traditionnels, les solos instrumentaux sont convaincants, et le chant, bien que rudimentaire, est reconnaissable. Le modèle peut produire de la musique dans une grande variété de genres (reggae, R&B, jazz, hip-hop, pop, classique, country, blues) et imiter le style de nombreux artistes.

Cependant, OpenAI reconnaît un écart significatif avec la musique créée par des humains. Les structures musicales de grande envergure (refrains qui se répètent, ponts, développements thématiques) ne sont pas bien capturées. La qualité vocale reste « rudimentaire » : les paroles sont souvent inintelligibles ou décalées par rapport au texte fourni. La génération est aussi extrêmement lente et gourmande en ressources : plusieurs heures de GPU pour un morceau de quelques minutes.

Héritage et influence

L’impact de Jukebox sur le domaine dépasse ses capacités directes. Plusieurs innovations clés ont été reprises et améliorées par les modèles ultérieurs.

Le concept de compression audio en tokens discrets via VQ-VAE a été repris et raffiné par EnCodec (Meta), qui sert de base à MusicGen. L’idée du conditionnement multimodal (texte, genre, artiste, timing) est devenue standard dans tous les générateurs musicaux modernes. L’approche de génération en audio brut plutôt qu’en représentation symbolique a été adoptée par Suno, Udio et Stable Audio.

Les représentations internes de Jukebox se sont aussi révélées utiles pour des tâches de music information retrieval (MIR) : les activations des couches intermédiaires du Transformer encodent des informations sémantiques riches sur la musique (tonalité, genre, émotion, instrumentation), surpassant les modèles supervisés traditionnels d’environ 30 % sur des tâches de classification musicale. Ce résultat a contribué à la compréhension des « embeddings audio » appris de manière non supervisée.

La technique consiste à encoder un clip audio de 24 secondes via le VQ-VAE bottom, puis à extraire les activations du Transformer et à les agréger temporellement (mean-pooling) en vecteurs de dimension 4 800. Ces vecteurs, passés dans de simples classifieurs linéaires ou MLP, surpassent les features manuelles et les CNN supervisés sur les tâches de tagging, détection de tonalité, classification de genre et reconnaissance d’émotion. Cela démontre que les modèles génératifs entraînés de manière non supervisée capturent des représentations musicales plus riches et moins lossy que les approches supervisées traditionnelles.

Des travaux ultérieurs ont également montré que les représentations de Jukebox peuvent être exploitées pour la séparation de sources non supervisée, permettant d’isoler voix, batterie et instruments mélodiques à partir du mix audio, sans entraînement supervisé spécifique sur cette tâche. Ces applications downstream illustrent la valeur des modèles génératifs musicaux au-delà de la simple génération.

Données d’entraînement et considérations éthiques

Jukebox a été entraîné sur 1,2 million de chansons avec des métadonnées provenant de LyricWiki (artiste, album, genre, année, mots-clés d’ambiance et de playlist). L’entraînement s’est fait sur du raw audio 32 bits, 44,1 kHz, avec augmentation de données par downmixing aléatoire des canaux gauche et droit. Le dataset inclut une grande diversité de genres et d’artistes.

Le modèle peut explicitement conditionner sa génération sur un artiste spécifique, ce qui soulève des questions de propriété intellectuelle et de droit à l’image vocale. Bien que les questions de droits d’auteur liées à ce dataset n’aient pas fait l’objet de procès comparables à ceux de Suno ou Udio, la capacité d’imiter le style d’artistes reconnus est un sujet sensible. OpenAI a accompagné la publication de Jukebox de consultations avec des musiciens et de réflexions sur les biais et la propriété intellectuelle, un positionnement responsable pour l’époque.

Utilisation pratique

Jukebox reste utilisable en 2026, mais c’est un projet de recherche daté qui nécessite des compétences techniques significatives. L’installation requiert Python 3.7.5, PyTorch 1.4, CUDA 10.0 et MPI. Le modèle 5B nécessite un GPU haut de gamme avec au moins 16 Go de VRAM, et la génération d’un morceau de 3 minutes peut prendre plusieurs heures. La plupart des utilisateurs préfèrent Google Colab pour éviter les contraintes d’installation locale.

Trois modes de sampling sont disponibles : le sampling ancestral (génération de zéro), le sampling par fenêtre (fenêtre glissante pour les séquences longues), et le sampling amorcé (continuation d’un audio existant encodé par le VQ-VAE). Le modèle est disponible sur Hugging Face Transformers et via le dépôt GitHub d’OpenAI.

Pour la plupart des usages pratiques en 2026, des alternatives modernes comme Suno (chansons complètes en 60 secondes, interface web), MusicGen (open source, plus rapide) ou Stable Audio (SFX et musique instrumentale) sont nettement plus adaptées. Jukebox reste pertinent principalement pour la recherche, l’enseignement et la compréhension des architectures fondatrices de la musique IA.

Jukebox dans l’évolution de la musique IA