Accueil › Glossaire › H100

NVIDIA H100

Le NVIDIA H100 est le GPU de data center basé sur l’architecture Hopper qui est devenu le standard de l’industrie pour l’entraînement et l’inférence de modèles d’IA générative, des LLM aux modèles de diffusion.

Lancé fin 2022, le H100 a introduit le Transformer Engine et le support natif du FP8, deux innovations qui ont doublé le throughput d’entraînement par rapport au A100 à architecture de modèle identique. C’est sur des clusters de dizaines de milliers de H100 que GPT-4, Llama 2/3, Claude 3, et la plupart des modèles frontier de 2023-2025 ont été entraînés. En mars 2026, le H100 reste le GPU de production le plus utilisé pour les workloads IA critiques, même si le H200 et le B200 (Blackwell) le surpassent en performance brute. Les prix cloud ont chuté de $8/h en 2024 à environ $1,50-$3/h en 2026 grâce à l’expansion de l’offre.

Les innovations du H100

Transformer Engine et FP8

Le Transformer Engine est l’innovation phare du H100. C’est un système matériel qui bascule dynamiquement entre les précisions FP8 et FP16 pendant l’entraînement et l’inférence de modèles Transformer. Le passage en FP8 double le throughput par rapport au BF16 tout en maintenant la qualité du modèle grâce à une gestion automatique de la mise à l’échelle des gradients.

Concrètement, le Transformer Engine analyse le tenseur en entrée de chaque couche et décide automatiquement s’il peut être traité en FP8 (8 bits, plus rapide) ou s’il nécessite FP16 (16 bits, plus précis). Cette décision se fait layer par layer, token par token, sans intervention du développeur. Le résultat est un entraînement ~2× plus rapide que le BF16 pur du A100, avec une perte de qualité négligeable pour la plupart des architectures Transformer.

Tensor Cores 4ème génération

Les Tensor Cores du H100 supportent le FP8 (E4M3 et E5M2), le BF16, le FP16, le TF32, l’INT8, et le FP64. Le gain par rapport aux Tensor Cores 3ème génération du A100 est massif : 3 958 TFLOPS en FP8 contre 624 TOPS (INT8) sur le A100, soit environ 6× plus de throughput sur les workloads d’inférence quantifiés.

NVLink Gen4 et NVSwitch

Le H100 SXM utilise NVLink Gen4 avec 18 liens pour une bande passante totale de 900 GB/s bidirectionnelle (contre 600 GB/s sur l’A100). Combiné avec le NVSwitch de 3ème génération, 8 GPU H100 dans un nœud DGX H100 peuvent communiquer en all-to-all à pleine bande passante. Pour les SuperPods, le NVLink Switch System permet de connecter jusqu’à 256 GPU H100 dans un domaine NVLink unique.

MIG 2ème génération

Le H100 améliore MIG (Multi-Instance GPU) avec des partitions plus grandes et plus de bande passante par instance. Chaque instance MIG dispose de ressources dédiées (compute, mémoire, cache L2) et d’une isolation complète, ce qui en fait un outil puissant pour le multi-model serving en production. Chaque instance MIG H100 est environ 3× plus performante que chaque instance MIG A100 pour l’inférence.

Confidential Computing

Le H100 est le premier GPU NVIDIA à supporter le confidential computing matériel. Les données et les modèles peuvent être chiffrés en VRAM et déchiffrés uniquement par le GPU, ce qui empêche l’accès non autorisé même par l’opérateur du data center ou l’hypervisor. C’est une fonctionnalité critique pour les entreprises dans les secteurs réglementés (santé, finance, défense) qui déploient des modèles IA dans le cloud.

Spécifications comparées

Prix et disponibilité en mars 2026

Achat

Le H100 SXM se négocie entre $25 000 et $40 000 à l’achat selon le fournisseur et le volume. Le DGX H100 (système complet avec 8 GPU H100 SXM, NVSwitch, CPU, réseau) dépasse $300 000. Le coût de fabrication d’un H100 est estimé à environ $3 320 (die + HBM + packaging), mais les marges de NVIDIA sont parmi les plus élevées de l’industrie (~85-88% de marge brute).

Location cloud

Les prix cloud du H100 ont chuté drastiquement : de $8/h début 2024 à environ $1,25-$3,50/h en mars 2026, grâce à l’expansion de l’offre et à la concurrence entre fournisseurs cloud. La moyenne du marché est autour de $3,12/h, mais les fournisseurs spécialisés (Thunder Compute, Jarvislabs, RunPod, Lambda) proposent des tarifs à partir de $1,25/h en spot et $2,99/h en on-demand.

Cas d’usage du H100 en 2026

Entraînement de modèles frontier : Le H100 reste le GPU de référence pour l’entraînement de grands modèles. Un cluster de 8 H100 peut entraîner un modèle 7B en quelques jours. Les runs de modèles 70B+ nécessitent des centaines à des milliers de H100 pendant des semaines.

Inférence haute performance : Le FP8 du H100 permet de servir des modèles 70B quantifiés avec un throughput 2× supérieur au A100 en INT8. Pour les déploiements en production avec des SLA stricts sur la latence, le H100 offre les meilleures performances dans sa gamme de prix.

Fine-tuning à grande échelle : Le H100 excelle pour le fine-tuning complet (full fine-tuning) de modèles de 13B-70B paramètres grâce à ses 80 Go de VRAM et son Transformer Engine FP8. Pour le fine-tuning LoRA/QLoRA de modèles plus petits, le A100 à moindre coût est souvent suffisant.

Multi-model serving : Via MIG, un H100 peut être découpé en 7 instances isolées pour servir plusieurs modèles simultanément. Chaque instance MIG H100 est comparable en performance à un A100 entier.

Recherche et simulation : Avec 34 TFLOPS en FP64, le H100 est aussi utilisé pour le HPC (simulation moléculaire, dynamique des fluides, modélisation financière). Les benchmarks STAC-A2 montrent des performances records pour la valorisation d’options.

Estimation des coûts d’entraînement

Voici des estimations de coûts pour l’entraînement de modèles sur des GPU H100 en cloud à ~$3/h :

Le fine-tuning est typiquement 10 à 20× moins cher que l’entraînement from scratch. C’est pourquoi la plupart des entreprises partent de modèles pré-entraînés (Llama, Mistral) et les adaptent via LoRA ou QLoRA plutôt que d’entraîner from scratch.

H100 vs alternatives

Face au A100, le H100 offre ~3× plus de throughput FP16 Tensor et le support FP8 inexistant sur Ampere. Le surcoût (~2× en cloud) est largement compensé par le gain de performance pour les workloads training et inférence haute fréquence.

Face au H200, la différence est uniquement la mémoire (80 Go HBM3 vs 141 Go HBM3e). Pour les modèles qui tiennent dans 80 Go, le H100 est aussi rapide en compute et moins cher. Le H200 vaut l’investissement pour les modèles qui nécessitent plus de 80 Go par GPU.

Face au B200 (Blackwell), le H100 est nettement dépassé en performances (~2,5× en FP8) mais aussi nettement moins cher. Le H100 reste le meilleur rapport performance/prix pour les workloads qui n’exigent pas le maximum de compute.

Face à l’AMD MI300X (192 Go HBM2e), le H100 a moins de mémoire mais un écosystème CUDA incomparablement plus mature. Le MI300X est compétitif pour les workloads memory-bound, mais le support logiciel via ROCm reste en retrait.

Formats de déploiement

Le H100 est disponible en deux formats. La version SXM (700 W) s’installe dans des serveurs HGX ou DGX avec NVLink et NVSwitch, offrant les performances maximales pour le training distribué. La version PCIe (350 W) s’installe dans des serveurs standard et est adaptée à l’inférence single-GPU ou aux déploiements où le NVLink n’est pas nécessaire.

Le DGX H100 (8× H100 SXM + NVSwitch + 2× CPU Grace/Intel) est le système clé en main de NVIDIA pour l’entraînement, à environ $300 000+. Le DGX SuperPOD agrège des dizaines de DGX H100 avec InfiniBand pour les clusters de training à grande échelle.

Comme pour le A100, NVIDIA a créé des versions bridées pour le marché chinois en conformité avec les restrictions d’exportation américaines : le H800 (bande passante NVLink réduite) et le H20 (performance réduite). Ces restrictions ont alimenté la course aux GPU IA chinois et accéléré le développement de puces alternatives par Huawei, Biren, et d’autres.

Impact sur l’industrie

Le H100 a été le GPU au cœur du « moment ChatGPT » et de l’explosion de l’IA générative. Quand la demande de compute IA a explosé fin 2022-2023, les H100 sont devenus la ressource la plus convoitée de l’industrie tech. Les délais de livraison se sont allongés à 6 mois ou plus, les prix sur le marché secondaire ont dépassé les $40 000 (bien au-dessus du MSRP), et l’allocation de GPU H100 est devenue un avantage stratégique pour les startups IA levant des fonds.

OpenAI, Meta, Google, Microsoft, Anthropic, et pratiquement toutes les entreprises IA majeures se sont engagées dans des achats massifs de H100. Meta a commandé des centaines de milliers de H100 pour ses clusters IA. Des startups comme CoreWeave ont construit des data centers entiers autour du H100, levant des milliards de dollars pour financer ces achats.

La demande pour le H100 a propulsé NVIDIA au rang de l’entreprise la plus valorisée au monde (dépassant les $4 000 milliards de capitalisation). Elle a aussi déclenché une course à l’armement en GPU IA qui continue de façonner l’industrie, avec des investissements cumulés de plus de $700 milliards prévus en infrastructure IA pour 2026 par les cinq principaux hyperscalers.

Limites

Le H100 est pleinement supporté par CUDA 12.0+ (Compute Capability 9.0). Tous les frameworks ML majeurs (PyTorch, TensorFlow, JAX) exploitent le Transformer Engine et le FP8 automatiquement via les bibliothèques cuDNN et cuBLAS. Les serveurs d’inférence optimisés comme vLLM, TensorRT-LLM et Triton tirent pleinement parti des capacités Hopper. L’écosystème logiciel autour du H100 est le plus mature de tous les GPU data center NVIDIA actuels.

Limites matérielles

Le H100 consomme 700 W en SXM, ce qui crée des défis de refroidissement et d’alimentation dans les data centers. Un rack de 8 GPU H100 consomme environ 10 kW (GPU seuls), ce qui nécessite un refroidissement liquide ou un air conditioning intense.

Les 80 Go de VRAM deviennent limitants pour les modèles frontier les plus récents (100B+ paramètres en haute précision). Le H200 avec 141 Go et le B200 avec 192 Go répondent à cette limitation.

Le prix d’achat reste élevé ($25 000-$40 000), bien que les tarifs cloud aient considérablement baissé. Pour les organisations avec des workloads intermittents, la location cloud est presque toujours plus rentable que l’achat.

Malgré ces limites, le H100 bénéficie d’un avantage considérable : sa maturité logicielle. Toute la pile logicielle IA (PyTorch, vLLM, TensorRT-LLM, DeepSpeed, Megatron-LM) est optimisée et testée en priorité sur H100. Les bugs sont connus et documentés, les performances sont prévisibles, et les guides de déploiement sont abondants. Pour les équipes qui valorisent la stabilité plutôt que la performance maximale, le H100 est un choix conservateur mais sûr. En somme, le H100 est au GPU IA ce que le Boeing 737 est à l’aviation : pas le plus récent, pas le plus spectaculaire, mais le plus éprouvé et le plus fiable en production.