Accueil › Glossaire › Neural Engine

Neural Engine (Apple Neural Engine / ANE)

Le Neural Engine est le nom commercial d’Apple pour son NPU (Neural Processing Unit), un bloc de cœurs spécialisés intégrés aux puces Apple Silicon (séries A et M) et dédiés à l’accélération des opérations d’intelligence artificielle et de machine learning directement sur l’appareil.

Introduit en 2017 avec la puce A11 Bionic de l’iPhone X, le Neural Engine a été le premier NPU commercialisé à grande échelle dans un smartphone. Depuis, il a été multiplié par 58x en performance (de 0,6 TOPS sur l’A11 à 35 TOPS sur l’A18, et 38 TOPS sur le M4). Il propulse Face ID, Apple Intelligence, la photographie computationnelle, Siri et l’ensemble des fonctionnalités IA on-device de l’écosystème Apple. En 2026, chaque iPhone, iPad, Mac et Apple Watch vendu intègre un Neural Engine.

L’évolution du Neural Engine : de 0,6 TOPS à 38 TOPS

L’histoire du Neural Engine est celle d’une progression exponentielle sur sept ans, avec un doublement approximatif des performances toutes les deux générations.

L’innovation majeure de la génération M5/A19 (2025-2026) est l’introduction de « Neural Accelerators » dans chaque cœur GPU, en plus du Neural Engine dédié. C’est une première pour Apple Silicon : l’IA est accélérée simultanément par le NPU ET le GPU, multipliant par 4x la performance IA totale sur le M5 Pro et M5 Max par rapport à la génération M4.

Architecture technique du Neural Engine

Le Neural Engine est un bloc IP (Intellectual Property) dédié au sein du SoC Apple Silicon, distinct du CPU et du GPU. Il est spécialisé dans les opérations de réseaux de neurones : multiplications matricielles, convolutions, pooling et fonctions d’activation.

Pourquoi un processeur dédié ?

Un NPU comme le Neural Engine peut accélérer les tâches ML jusqu’à 10 000x par rapport à un CPU et consomme nettement moins d’énergie qu’un GPU pour les mêmes opérations. Cette efficacité est cruciale pour les appareils mobiles où chaque milliwatt compte. Le Neural Engine permet d’exécuter des modèles complexes (reconnaissance faciale 3D en 30 ms pour Face ID) sans impact perceptible sur l’autonomie de la batterie.

Le CPU possède aussi ses propres accélérateurs ML : les blocs AMX (Apple Matrix coprocessor), introduits avec l’A13 en 2019, qui effectuent des multiplications matricielles jusqu’à 6x plus vite que le CPU de l’A12. Le GPU contribue également aux tâches IA lorsque le Neural Engine est saturé ou pour des opérations non supportées. Avec les Neural Accelerators GPU du M5, cette coopération devient encore plus intégrée.

Fonctionnement interne

Le Neural Engine opère en FP16 (float16) en interne pour toutes les opérations de calcul. Les poids du modèle peuvent être stockés en INT8 pour économiser la bande passante mémoire, mais ils sont convertis en FP16 avant le calcul. L’ANE accède à la mémoire unifiée LPDDR5X du SoC (120 Go/s sur M4, amélioré sur M5), ce qui élimine les copies de données entre processeurs, un avantage de l’architecture mémoire unifiée d’Apple Silicon.

Le Neural Engine supporte nativement les opérations de convolution, de pooling, d’activation et les multiplications matricielles denses. En revanche, il ne supporte pas toutes les opérations : les opérations d’attention dynamique, certaines formes d’activations ou les formes dynamiques (tenseurs dont la taille change pendant l’inférence) peuvent nécessiter un fallback vers le CPU ou le GPU via Core ML.

Core ML : le framework pour exploiter le Neural Engine

Core ML est le framework d’Apple qui permet aux développeurs de déployer des modèles de machine learning sur les appareils Apple. C’est l’interface entre le modèle entraîné et le Neural Engine.

Pipeline de déploiement

1. Entraînement : le modèle est entraîné avec n’importe quel framework (PyTorch, TensorFlow, JAX) sur un GPU cloud ou un Mac.

2. Conversion : l’outil coremltools (Python) convertit le modèle au format .mlmodel ou .mlpackage. Pendant la conversion, coremltools applique automatiquement des optimisations : quantization, fusion d’opérateurs, sélection du backend optimal (CPU, GPU ou ANE).

3. Délégation automatique : Core ML décide automatiquement quel processeur (CPU, GPU ou Neural Engine) exécute chaque couche du modèle. Les développeurs peuvent influencer ce choix via l’option ComputeUnit (.all, .cpuAndGPU, .cpuAndNeuralEngine, .cpuOnly), mais Core ML reste libre de déléguer certaines opérations non supportées au CPU.

4. Inférence on-device : le modèle tourne localement avec une latence de l’ordre de quelques millisecondes pour la classification d’images, et de 50 à 200 ms pour les SLM. Les données ne quittent jamais l’appareil.

Outils complémentaires

Create ML : application macOS pour entraîner des modèles directement sur Mac, sans écrire de code. Supporte la classification d’images, la détection d’objets, le NLP, la classification de sons et la détection d’activité. Les modèles résultants sont optimisés pour le Neural Engine.

MLX : framework open source d’Apple optimisé pour la mémoire unifiée d’Apple Silicon. Permet de faire tourner des LLM/SLM (Llama, Gemma, Phi, Mistral) localement sur Mac. C’est le framework de référence pour l’inférence LLM locale sur Apple Silicon en 2026, exploitant la bande passante mémoire élevée de l’architecture unifiée.

Core ML Tools : bibliothèque Python pour la conversion, l’optimisation et la validation des modèles. Supporte la quantization automatique (INT8, palettization), le pruning et la compression de modèles.

Ce que le Neural Engine propulse concrètement

Face ID

L’application originale du Neural Engine. Face ID effectue une cartographie 3D du visage en temps réel (projection de 30 000 points infrarouges, capture par caméra TrueDepth, analyse par réseau de neurones). Le Neural Engine exécute la reconnaissance faciale en moins de 30 ms, sans toucher le CPU. Le taux de faux positifs est de 1 sur 1 000 000 (contre 1 sur 50 000 pour Touch ID). Aucune donnée biométrique ne quitte l’appareil. Face ID a été le premier proof-of-concept démontrant que l’IA on-device à grande échelle était commercialement viable, et a directement poussé Samsung, Qualcomm et MediaTek à accélérer le développement de leurs propres NPU.

Apple Intelligence

Lancée en 2024 et étendue en 2025-2026, Apple Intelligence est l’ensemble des fonctionnalités IA on-device d’Apple : résumé de notifications, réécriture de texte, Smart Reply dans Mail, suppression d’objets dans Photos, Siri amélioré, transcription vocale, génération d’images (Image Playground). Ces fonctionnalités reposent sur des Apple Foundation Models (~3 milliards de paramètres) exécutés localement par le Neural Engine. Les tâches trop complexes pour le modèle local sont envoyées vers le Private Cloud Compute d’Apple.

Apple Intelligence nécessite au minimum un iPhone 15 Pro (puce A17 Pro, 8 Go RAM) ou un Mac/iPad avec puce M1 ou ultérieure. La barrière d’entrée est le volume de RAM : les modèles de ~3B paramètres quantifiés en INT4 (~1,5 Go) nécessitent un minimum de 8 Go de RAM pour coexister avec l’OS et les applications.

Photographie computationnelle

Chaque photo prise sur iPhone passe par des dizaines de modèles ML exécutés par le Neural Engine : détection de scène, segmentation sémantique, fusion HDR multi-images, réduction de bruit, correction de la balance des blancs, amélioration des détails, mode portrait (estimation de profondeur et flou d’arrière-plan). Le tout en quelques centaines de millisecondes, invisible pour l’utilisateur. Il n’existe plus de photo « sans filtre » sur un smartphone moderne : le Neural Engine traite chaque image capturée.

Autres applications

Siri : reconnaissance vocale on-device, traitement du langage naturel local pour les commandes simples.

Traduction en temps réel : traduction de texte et de parole directement sur l’appareil, sans connexion internet.

Live Text / Visual Look Up : reconnaissance de texte dans les images, identification d’objets (plantes, animaux, monuments).

Santé : détection d’arythmie cardiaque (Apple Watch), analyse des patterns de sommeil, détection de chute. L’Apple Watch embarque un Neural Engine 2 cœurs (depuis le S4) suffisant pour ces tâches de classification légères.

Développeurs tiers : depuis l’ouverture de Core ML aux développeurs avec l’A12 (2018), des milliers d’apps exploitent le Neural Engine pour la retouche photo, la reconnaissance de documents, la traduction, la réalité augmentée, le fitness et l’accessibilité.

Optimiser un modèle pour le Neural Engine

Le Neural Engine offre d’excellentes performances, mais il a des contraintes spécifiques que les développeurs doivent connaître :

Opérations supportées : l’ANE supporte nativement les convolutions, les multiplications matricielles denses, le pooling et les activations standard (ReLU, sigmoid, etc.). Les opérations d’attention dynamique, les shapes dynamiques et certaines activations exotiques peuvent ne pas être supportées et seront automatiquement redirigées vers le CPU par Core ML, avec une chute de performance.

Précision FP16 : l’ANE calcule en FP16. La quantization INT8 des poids économise la bande passante mémoire mais pas les cycles de calcul (dé-quantification en FP16 avant calcul). Optimisez vos modèles pour FP16 en priorité.

Architecture des modèles : Apple a publié un guide technique « Deploying Transformers on the Apple Neural Engine » qui détaille les patterns d’architecture optimaux pour l’ANE. Les points clés : éviter les opérations non supportées, utiliser des shapes statiques quand c’est possible, structurer les tenseurs pour minimiser les transposes.

Profiling : utilisez Instruments (Xcode) avec le template « Core ML » pour profiler l’exécution de votre modèle sur l’ANE. Identifiez les couches qui retombent sur le CPU et optimisez-les ou restructurez votre modèle pour les éviter.

Neural Engine vs la concurrence

En TOPS brut, le Qualcomm Hexagon domine (75 TOPS). Mais les benchmarks réels racontent une histoire différente : l’intégration verticale d’Apple (puce + OS + framework + modèle) produit des performances effectives supérieures à ce que les TOPS seuls suggèrent. L’Apple Neural Engine atteint 94% d’utilisation de son pic théorique en conditions de test, un chiffre que peu de concurrents égalent. Pour la traduction AR en temps réel, les tests de terrain de début 2026 montrent qu’Apple Intelligence offre la latence « glass-to-gaze » la plus basse grâce à cette optimisation verticale.

Verdict

Le Neural Engine d’Apple a inauguré l’ère de l’IA on-device en 2017 et reste en 2026 l’un des NPU les mieux intégrés du marché. Sa force n’est pas dans les TOPS bruts (Qualcomm le surpasse sur ce plan) mais dans l’écosystème complet : la puce, l’OS, le framework Core ML, les outils de développement (coremltools, Create ML, MLX) et les modèles (Apple Foundation Models) sont conçus ensemble pour fonctionner ensemble. C’est cette intégration verticale qui permet à un iPhone de faire tourner un modèle de 3 milliards de paramètres localement avec une latence de 50 ms et sans impact perceptible sur la batterie.

Pour les développeurs ciblant iOS/macOS : Core ML est le chemin le plus direct vers le Neural Engine. Utilisez coremltools pour convertir vos modèles PyTorch/TensorFlow, profitez de la quantization automatique, et profilez avec Instruments. Pour les LLM locaux sur Mac, MLX est le framework de choix, exploitant pleinement la mémoire unifiée d’Apple Silicon. L’arrivée des Neural Accelerators GPU sur le M5 ouvre de nouvelles possibilités pour les workloads IA intensifs (rendu 3D IA, LLM plus grands, multi-modèles simultanés).

Le partenariat Apple-Google Gemini (janvier 2026) renforce encore l’écosystème : les modèles de fondation d’Apple seront entraînés avec l’aide du modèle Gemini 1,2 trillion de paramètres, mais toute l’exécution on-device restera sur le Neural Engine via les Apple Foundation Models. L’IA sur iPhone n’a jamais été aussi capable, et elle reste 100% locale pour les tâches courantes.