Accueil › Glossaire › On-Device AI

On-Device AI (IA embarquée sur l’appareil)

L’On-Device AI désigne l’exécution de modèles d’intelligence artificielle directement sur l’appareil de l’utilisateur (smartphone, PC, tablette, wearable), sans envoyer les données vers un serveur cloud pour le traitement. Le modèle, les données et l’inférence restent intégralement locaux.

La distinction avec l’Edge AI est subtile mais importante : l’Edge AI couvre tout appareil en périphérie du réseau (passerelle industrielle, serveur edge, caméra intelligente), tandis que l’On-Device AI se concentre spécifiquement sur l’appareil personnel de l’utilisateur final. C’est l’IA dans votre poche, sur votre bureau, à votre poignet. Votre texte, vos photos, vos requêtes ne quittent jamais votre appareil. En 2026, chaque smartphone flagship embarque un NPU (Neural Processing Unit) capable de dizaines de TOPS, rendant possible l’exécution locale de modèles de langage, de vision et de traitement audio en temps réel.

Pourquoi exécuter l’IA sur l’appareil plutôt que dans le cloud ?

L’On-Device AI répond à quatre problèmes que le cloud ne peut pas résoudre de manière satisfaisante.

Confidentialité par construction

Quand vous utilisez un LLM cloud, vos prompts (y compris les données sensibles qu’ils contiennent) transitent par les serveurs du fournisseur. Même avec des garanties contractuelles, le risque de fuite existe. L’On-Device AI élimine ce risque à la source : vos données ne quittent jamais votre appareil. C’est le principe fondateur d’Apple Intelligence : les modèles de fondation d’Apple tournent localement sur la puce A18/M-series, et seules les requêtes complexes sont envoyées vers le Private Cloud Compute d’Apple (infrastructure sécurisée dédiée). Pour les entreprises soumises au RGPD, au HIPAA ou manipulant de la propriété intellectuelle, c’est un avantage décisif.

Latence quasi nulle

Un appel API cloud introduit 200 à 500 ms de latence réseau, plus le temps d’inférence serveur. L’inférence locale sur NPU répond en 50 à 200 ms pour un SLM (Small Language Model), et en moins de 10 ms pour des tâches de classification ou de détection. Pour les applications interactives (assistants vocaux, traduction en réalité augmentée, suggestions de texte en temps réel), cette différence est immédiatement perceptible par l’utilisateur. Les benchmarks Qualcomm montrent que l’inférence locale peut être jusqu’à 10x plus rapide que le cloud pour les tâches simples.

Disponibilité permanente

L’On-Device AI fonctionne en mode avion, dans un ascenseur, dans une zone blanche, dans un bunker. Pour les applications critiques (santé, sécurité, productivité en déplacement), cette fiabilité est non négociable. C’est aussi un avantage économique dans les marchés émergents où la connectivité mobile reste instable ou coûteuse.

Zéro coût par requête

Chaque appel API à un LLM cloud coûte de l’argent. Pour des applications à fort volume (assistant de codage, correcteur orthographique, suggestion de texte), les coûts d’API s’accumulent rapidement. L’On-Device AI élimine ce coût marginal : une fois le modèle téléchargé, chaque inférence est gratuite. Gartner rapporte que les dépenses enterprise en exécution locale de modèles ont augmenté de 40% entre 2024 et 2025.

Le hardware On-Device AI en 2026

Le composant clé est le NPU (Neural Processing Unit), un processeur spécialisé dans les opérations de réseaux de neurones (multiplications matricielles, convolutions). Chaque fabricant de SoC mobile intègre désormais un NPU dédié dans ses puces.

Apple Neural Engine

Le Neural Engine d’Apple atteint 35 TOPS sur la puce A18 Pro (iPhone 16 Pro/17 Pro) avec 16 cœurs dédiés. Il alimente Apple Intelligence : résumé de notifications, réécriture de texte, suppression d’objets dans les photos, transcription vocale, Smart Reply. Apple exécute un modèle de fondation de ~3 milliards de paramètres entièrement on-device pour ces fonctionnalités. L’intégration verticale d’Apple (conception de la puce + OS + framework Core ML + modèle) lui donne l’avantage d’optimisation le plus poussé du marché.

Développement majeur de janvier 2026 : Apple a signé un partenariat pluriannuel avec Google (estimé à 1 milliard de dollars par an) pour utiliser les modèles Gemini comme fondation pour entraîner ses Apple Foundation Models. Le modèle Gemini 1,2 trillion de paramètres sert à améliorer les modèles locaux d’Apple via distillation. Les données utilisateur ne sont jamais envoyées à Google, et les modèles déployés sur iPhone restent des Apple Foundation Models. C’est une approche comparable à l’utilisation d’écrans Samsung dans un iPhone : le composant vient d’un fournisseur, mais le produit final est entièrement Apple.

Qualcomm Hexagon NPU

Le Snapdragon 8 Elite embarque un NPU Hexagon délivrant 75 TOPS, le chiffre le plus élevé sur mobile. Qualcomm introduit en 2026 le concept d' »eNPU » (Everyday NPU) : un îlot de calcul ultra-basse consommation sur la puce qui reste actif 24/7, même quand le processeur principal dort. C’est ce qui permet la détection de mots-clés permanente (« Hey Google »), la détection de crash automobile et les fonctionnalités « always-on » sans impact significatif sur la batterie.

Le Samsung Galaxy S26 (mars 2026) exploite l’écosystème Qualcomm + Gemini pour proposer des actions autonomes dans les applications tierces, une première : l’assistant IA peut réserver un taxi, interagir avec des apps non Samsung et exécuter des tâches multi-étapes en arrière-plan.

Google Tensor TPU

Les puces Tensor de Google (Pixel) intègrent un TPU dédié optimisé pour le modèle Gemini Nano. Le Tensor G5 excelle dans la « traduction prédictive » : le TPU anticipe le mot suivant dans une phrase avant même que la caméra ait entièrement capturé le texte, donnant une impression de traduction instantanée en réalité augmentée. Google utilise Gemini Nano on-device pour la détection d’arnaques en temps réel pendant les appels et les sessions de messagerie sur Android, une fonctionnalité que la firme présente comme rendant les appareils Android plus sûrs que les iPhone sur ce plan.

PC avec NPU : l’ère des « AI PC »

Les processeurs Intel Core Ultra, AMD Ryzen AI et Qualcomm Snapdragon X Elite intègrent des NPU dans les PC portables, créant la catégorie « AI PC » (ou « Copilot+ PC » chez Microsoft). IDTechEx prévoit que la majorité des ventes de PC neufs seront des AI PC d’ici la fin 2026, avec des NPU dépassant 40 TOPS. Les cas d’usage incluent le résumé de documents hors ligne, la génération de code locale, l’amélioration de photos et la transcription de réunions sans cloud.

Microsoft utilise ONNX Runtime et son outil Olive pour optimiser les modèles SLM (comme Phi-3.5 Mini) pour le NPU des Copilot+ PC. Le framework Foundry Local permet de faire tourner des SLM directement sur le NPU Snapdragon.

Les SLM : le moteur de l’On-Device AI

Les Small Language Models (SLM), modèles de langage de moins de 10 milliards de paramètres, sont le carburant de l’On-Device AI. En 2022, le consensus était qu’il fallait au minimum 7 milliards de paramètres pour une génération de texte cohérente. En 2026, des modèles sub-milliard de paramètres gèrent de nombreuses tâches pratiques.

Modèles clés en 2026

Les recherches de Meta (MobileLLM) ont montré un résultat contre-intuitif : en dessous de 1 milliard de paramètres, l’architecture du modèle compte plus que le nombre de paramètres. Les recettes de scaling classiques (« plus large = mieux ») ne s’appliquent pas à cette échelle. Les SLM les plus performants utilisent des architectures spécifiquement conçues pour la contrainte mobile.

Les contraintes techniques de l’On-Device AI

L’exécution locale fait face à des contraintes fondamentales que la puissance croissante du hardware ne résout que partiellement.

Mémoire : le goulot d’étranglement réel

Les smartphones disposent de 8 à 24 Go de RAM totale, mais la RAM disponible pour l’IA est typiquement inférieure à 4 Go après le système d’exploitation et les applications en arrière-plan. Un modèle de 3B paramètres quantifié en INT4 pèse environ 1,5 Go, ce qui est faisable mais laisse peu de marge.

Le vrai goulot d’étranglement n’est pas la taille mémoire mais la bande passante mémoire. Les appareils mobiles offrent 50 à 90 Go/s de bande passante mémoire. Les GPU datacenter offrent 2 à 3 To/s. C’est un écart de 30 à 50x. Pour l’inférence LLM, cet écart est décisif : la phase de décodage (génération token par token) est « memory-bound », car le modèle entier doit être chargé en mémoire pour chaque token généré.

Limitations des NPU

Chaque fabricant (Qualcomm, Apple, Samsung, MediaTek) conçoit son NPU différemment. Un modèle générique créé avec PyTorch ou TensorFlow doit être converti et optimisé pour chaque NPU spécifique. Si une opération du modèle n’est pas supportée par le NPU, elle retombe sur le CPU avec une chute de performance massive.

Les NPU supportent un ensemble limité de types de données et d’opérations par rapport aux GPU. Même un modèle quantifié en INT4 ne bénéficiera pas de la quantization si le NPU ne supporte que FP16, car les valeurs seront reconverties en FP16 en mémoire, annulant les gains de taille. L’interopérabilité entre frameworks et NPU reste l’un des plus grands défis pratiques de l’On-Device AI.

Consommation énergétique

L’inférence soutenue draine la batterie rapidement. Un modèle qui throttle thermiquement après 5 minutes de conversation n’est pas utilisable en production, même s’il est rapide au démarrage. Les cas d’usage « always-on » (écoute permanente, sensing ambient) exigent des consommations de l’ordre du milliwatt, ce qui limite drastiquement la complexité du modèle. L’eNPU de Qualcomm et le coprocesseur neural d’Apple adressent ce cas avec des îlots de calcul dédiés ultra-basse consommation.

Frameworks et outils de déploiement

Core ML (Apple)

Le framework natif pour iOS et macOS. Intégration directe avec le Neural Engine d’Apple Silicon. Supporte la quantization automatique, l’optimisation par appareil et l’entraînement on-device. Si votre cible est exclusivement l’écosystème Apple, Core ML offre les meilleures performances et l’intégration la plus fluide.

MLX (Apple Silicon)

Framework open source d’Apple spécifiquement conçu pour Apple Silicon (M-series). Optimisé pour l’inférence de LLM/SLM sur la mémoire unifiée des Mac. Permet de faire tourner des modèles jusqu’à ~30B paramètres sur un Mac avec 64 Go de mémoire unifiée. En 2026, MLX est le framework de référence pour l’inférence LLM locale sur Mac.

MediaPipe (Google)

Le framework multiplateforme de Google pour l’IA on-device. Supporte la vision (détection de pose, de visage, d’objets), le texte (classification, résumé via Gemma) et l’audio. Intégration native avec Android et les modèles Gemini Nano/Gemma. C’est le chemin le plus direct pour déployer de l’IA on-device sur Android.

Ollama

Le standard de facto pour l’inférence LLM locale sur desktop (macOS, Linux, Windows). Interface en ligne de commande simple : une commande pour télécharger et lancer un modèle. Supporte Llama, Gemma, Phi, Qwen et des dizaines d’autres modèles open source. Idéal pour le développement et le prototypage, moins adapté au déploiement mobile.

ONNX Runtime

Le moteur d’inférence cross-platform de Microsoft. Supporte les NPU Intel, AMD, Qualcomm et NVIDIA via des « execution providers » dédiés. L’outil Olive de Microsoft optimise automatiquement les modèles pour le NPU cible. C’est le framework de choix pour les applications Windows/Copilot+ PC.

Cas d’usage concrets On-Device AI en 2026

Assistants intelligents : Apple Intelligence (Siri on-device), Samsung Bixby (LLM local), Google Assistant (Gemini Nano). L’assistant comprend le contexte de vos apps locales (mail, photos, calendrier) sans envoyer ces données au cloud.

Traduction en temps réel : traduction en réalité augmentée via la caméra. La latence « glass-to-gaze » (capture → traduction → affichage) doit être inférieure à 200 ms pour être utilisable. Apple Intelligence et Gemini Nano sont en compétition sur cette métrique.

Photo et vidéo computationnelles : suppression d’objets, amélioration nocturne, flou d’arrière-plan, débruitage. Le NPU traite les images en temps réel sans cloud.

Détection de sécurité : Google utilise Gemini Nano pour détecter les arnaques téléphoniques et SMS en temps réel pendant la conversation, analysant le contenu localement sans l’envoyer à un serveur.

Productivité : résumé de documents hors ligne, suggestions de réponses email, transcription de réunions, aide au codage locale sur AI PC. Microsoft Copilot+ exploite le NPU pour ces fonctionnalités.

Santé et bien-être : analyse des patterns de sommeil, détection d’arythmies cardiaques, monitoring de stress via les wearables. Le traitement local est obligatoire pour la confidentialité des données médicales.

L’architecture hybride : on-device + cloud

En 2026, l’architecture dominante est hybride. L’appareil ne se contente pas de choisir entre local et cloud : il orchestre intelligemment les deux en fonction de la complexité de la requête, de la connectivité et des préférences de confidentialité de l’utilisateur.

Samsung Galaxy S26 illustre cette approche multi-agent : Bixby (LLM local de Samsung) gère les tâches on-device, Gemini (Google cloud + local) gère les tâches agentiques complexes, et Perplexity gère les requêtes web. Trois moteurs IA qui se répartissent les tâches selon leurs forces respectives.

Apple Intelligence utilise un modèle de décision automatique : les requêtes simples (résumé, réécriture, Smart Reply) sont traitées on-device par les Apple Foundation Models (~3B). Les requêtes complexes nécessitant plus de raisonnement ou de connaissances sont envoyées vers le Private Cloud Compute d’Apple (infrastructure sécurisée où les données sont traitées puis effacées). Les requêtes de type « connaissances générales » peuvent être redirigées vers ChatGPT (intégration existante) ou, à terme, vers Gemini.

Cette architecture hybride est le modèle vers lequel convergent tous les acteurs majeurs. Le SLM local sert de « premier niveau de tri » rapide et privé, et le cloud prend le relais quand la puissance locale est insuffisante.

Verdict

L’On-Device AI est le changement architectural le plus significatif dans l’histoire du mobile. En 2026, ce n’est plus une fonctionnalité différenciante : c’est le standard. Chaque smartphone flagship, chaque PC neuf embarque un NPU dédié. Des SLM comme Gemini Nano, Apple Foundation Models et Phi-3 tournent localement avec des temps de réponse sous les 200 ms et une confidentialité totale.

Pour les développeurs : ciblez le NPU de votre plateforme (Core ML pour Apple, MediaPipe pour Android, ONNX Runtime pour Windows). Commencez avec un modèle quantifié en INT4 de 1 à 3 milliards de paramètres. Mesurez la latence et la consommation batterie sur appareil réel, pas en simulateur. Et concevez une architecture hybride on-device + cloud dès le départ : le SLM local pour la vitesse et la confidentialité, le cloud pour le raisonnement complexe.

Le vrai goulot d’étranglement n’est plus le compute (les NPU sont puissants) mais la bande passante mémoire et la maturité des toolchains NPU. Les développeurs qui maîtrisent l’optimisation modèle-à-NPU (quantization, conversion, profiling) détiennent une compétence rare et de plus en plus demandée. L’IA ne vit plus dans le cloud. Elle vit dans votre poche.