Accueil › Guides › Ollama Local

Ollama : guide complet pour exécuter des LLM en local

Ollama est l’outil standard pour exécuter des LLM sur votre propre machine : 95 000+ étoiles GitHub, zéro coût API, zéro limite d’usage, 100% de confidentialité. Ce guide couvre l’installation, le choix des modèles, l’optimisation GPU, et les intégrations avec vos outils de développement.

Pourquoi exécuter un LLM en local

Trois raisons principales poussent les développeurs et les entreprises vers l’IA locale :

Confidentialité : vos données ne quittent jamais votre machine. C’est indispensable pour le code propriétaire sous NDA, les documents internes, les données clients, ou toute information soumise au RGPD. Avec Ollama, chaque prompt et chaque réponse restent sur votre disque dur.

Coûts : les API cloud facturent au token. Un usage intensif de Claude Opus 4.6 ou GPT-5.4 peut coûter des centaines d’euros par mois. Un modèle local, une fois téléchargé, s’utilise sans limite et sans facturation. Le seul coût est l’électricité et l’amortissement de votre hardware.

Disponibilité : pas de connexion internet requise, pas de rate limit, pas de panne de service. L’IA locale fonctionne dans le train, en avion, dans un bunker. Toujours disponible, toujours réactive.

Le compromis : les modèles locaux sont moins performants que les flagships cloud (Opus 4.6, GPT-5.4) sur les tâches de raisonnement complexe. Un modèle 8B local ne rivalisera pas avec un modèle de 675B paramètres hébergé sur un cluster de GPU. Mais pour la complétion de code, le résumé, la classification, la traduction et les tâches quotidiennes, les modèles locaux sont largement suffisants.

Installation

macOS / Linux

# macOS : téléchargez depuis ollama.com ou via Homebrew
brew install ollama

# Linux : script d'installation officiel
curl -fsSL https://ollama.com/install.sh | sh

Windows

Téléchargez l’installateur depuis ollama.com. Support natif ARM64 depuis 2026 (les versions précédentes nécessitaient l’émulation x86, avec une pénalité de performance).

Docker

docker pull ollama/ollama
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# Avec GPU NVIDIA (nécessite NVIDIA Container Toolkit)
docker run -d --gpus all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Vérification

# Vérifier que le daemon tourne
ollama list
# Doit retourner une liste vide (aucun modèle encore installé)

# Ou via l'API REST
curl http://localhost:11434
# Réponse : "Ollama is running"

Choisir et installer un modèle

Ollama maintient une bibliothèque de modèles sur ollama.com/library. Les modèles suivent la convention nom:tag où le tag encode la variante, le nombre de paramètres et le niveau de quantification.

# Télécharger et lancer un modèle
ollama pull llama3.2:8b
ollama run llama3.2:8b

# Quitter le mode interactif
/bye

Modèles recommandés par usage

*Vitesse indicative sur RTX 4090 (24 Go VRAM) en Q4_K_M. Rapide = 50-80+ tok/s, Modéré = 20-50 tok/s.

Optimisation GPU

Ollama détecte automatiquement votre GPU et décharge les couches du modèle sur le GPU en fonction de la VRAM disponible.

NVIDIA : driver version 525+ requis (550+ recommandé). Vérifiez avec nvidia-smi. Si le driver est correctement installé, Ollama utilise CUDA automatiquement.

Apple Silicon : Metal est natif sur macOS. Aucune configuration supplémentaire. Les Mac M1/M2/M3/M4 avec 16+ Go de RAM unifié offrent d’excellentes performances pour les modèles 7-8B.

AMD : ROCm 6.x supporté sous Linux uniquement. Pas de support GPU AMD natif sous Windows.

Vérifier l’utilisation GPU :

# Pendant l'exécution d'un modèle
tail -f ~/.ollama/logs/server.log | grep "n_gpu_layers"
# Si n_gpu_layers = 33 (toutes les couches) → GPU complet
# Si n_gpu_layers = 0 → CPU uniquement (vérifiez vos drivers)

Quantification : le compromis taille/qualité

La quantification réduit la précision des poids du modèle pour diminuer la VRAM requise et accélérer l’inférence. Les niveaux courants :

Q4_K_M : le sweet spot pour la plupart des usages. Perte de qualité minimale, réduction de taille de ≈ 75% par rapport au FP16. C’est le défaut recommandé.

Q8_0 : meilleure qualité, mais 2× plus lourd que Q4. Utile si vous avez la VRAM disponible.

Q4_0 : le plus compact, légère dégradation supplémentaire. Pour les machines limitées en RAM.

FP16 : pleine précision. Réservé aux GPU avec beaucoup de VRAM (40+ Go).

# Télécharger un modèle en Q4_K_M (recommandé)
ollama pull llama3.1:8b-q4_K_M

# Télécharger en Q8 (meilleure qualité, plus lourd)
ollama pull llama3.1:8b-q8_0

L’API REST : intégrer Ollama dans vos projets

Ollama expose une API REST sur http://localhost:11434. Compatible avec le format OpenAI, ce qui signifie que de nombreuses bibliothèques et outils existants fonctionnent directement.

# Génération simple
curl http://localhost:11434/api/generate 
  -d '{"model": "qwen3:8b", "prompt": "Explique le RGPD en 3 phrases", "stream": false}'

# Chat (format messages)
curl http://localhost:11434/api/chat 
  -d '{"model": "qwen3:8b", "messages": [{"role": "user", "content": "Bonjour !"}]}'

Python : utilisez litellm pour une interface unifiée, ou le SDK officiel ollama-python :

import ollama

response = ollama.chat(model='qwen3:8b', messages=[
  {'role': 'user', 'content': 'Écris une fonction Python qui trie une liste'}
])
print(response['message']['content'])

Intégrations avec vos outils

IDE : Continue (VS Code)

Continue est une extension VS Code open source qui connecte votre éditeur à Ollama. Autocomplétion, chat, refactoring, le tout alimenté par vos modèles locaux. C’est l’alternative gratuite et privée à GitHub Copilot.

Installation : installez l’extension Continue dans VS Code, configurez Ollama comme provider dans config.json. Les modèles DeepSeek Coder ou Qwen Coder sont recommandés pour la complétion de code.

Terminal : Aider

Aider est un outil de coding IA open source en terminal, compatible avec Ollama. Connectez Aider à vos modèles locaux pour du pair programming sans envoyer de code sur des serveurs externes.

Interface chat : Open WebUI

Open WebUI est une interface web open source qui se connecte à Ollama et offre une expérience similaire à ChatGPT, mais 100% locale. Multi-utilisateurs, historique de conversations, upload de documents, RAG intégré.

# Docker Compose : Ollama + Open WebUI
docker compose up -d
# Accédez à http://localhost:3000

MCP : connecter Ollama à vos outils

Via le protocole MCP, vous pouvez connecter vos modèles locaux à des sources de données externes (GitHub, bases de données, API) tout en gardant le traitement sur votre machine.

Personnaliser un modèle avec Modelfile

Les Modelfiles permettent de customiser le comportement d’un modèle sans le réentraîner. Vous pouvez définir un system prompt, ajuster la température, et créer des « personnalités » spécialisées.

# Créer un fichier nommé "Modelfile"
FROM qwen3:8b
SYSTEM "Tu es un assistant de code Python senior. Tu réponds toujours avec du code commenté, des types hints, et des tests unitaires."
PARAMETER temperature 0.3
PARAMETER num_ctx 8192

# Créer le modèle custom
ollama create python-assistant -f Modelfile

# L'utiliser
ollama run python-assistant

Prérequis matériels

Cas d’usage concrets

Assistant de code privé : vous travaillez sur du code propriétaire sous NDA. Impossible d’envoyer le code à ChatGPT ou Copilot. Avec Ollama + Continue (VS Code), vous avez un copilote de code 100% local. Modèle recommandé : DeepSeek Coder 6.7B ou Qwen Coder 7B.

RAG sur documents internes : connectez Ollama à une base vectorielle locale (ChromaDB, Qdrant) pour créer un chatbot qui répond aux questions sur vos documents internes. L’IA recherche dans vos fichiers et génère des réponses contextualisées, sans qu’aucune donnée ne quitte votre infrastructure. Open WebUI intègre le RAG nativement.

Tuteur étudiant gratuit : les 20 €/mois de ChatGPT Plus ne rentrent pas dans tous les budgets. Avec Ollama, vous avez un assistant gratuit et illimité pour expliquer des concepts, générer des quiz, et aider à la rédaction. Modèle recommandé : Llama 3.2 8B ou Qwen 3 8B.

Serveur IA pour l’équipe : déployez Ollama sur un serveur avec GPU via Docker, ajoutez Open WebUI comme interface, et toute votre équipe a accès à un assistant IA privé. Les conversations restent dans votre infrastructure. C’est l’alternative souveraine aux abonnements ChatGPT Team ou Claude Team.

Pipeline d’automatisation : intégrez Ollama dans vos workflows n8n ou Make via l’API REST. Classification automatique de tickets support, extraction de données depuis des emails, résumé de rapports. Zéro coût API, volume illimité.

Développement et tests de prompts : avant de déployer un système basé sur un LLM cloud (coûteux), développez et testez vos prompts localement avec Ollama. Une fois les prompts optimisés, basculez vers l’API cloud pour la production. Vous économisez les coûts de développement et d’itération.

Sécurité et bonnes pratiques

Ne pas exposer l’API publiquement : par défaut, Ollama écoute sur 127.0.0.1:11434 (localhost uniquement). Si vous configurez OLLAMA_HOST=0.0.0.0 pour un accès réseau, l’API est exposée sans authentification. Utilisez systématiquement un pare-feu ou un reverse proxy (Nginx, Caddy) avec authentification devant l’API.

Vérifier la provenance des modèles : téléchargez uniquement depuis la bibliothèque officielle Ollama ou des sources de confiance (Hugging Face, repos officiels des créateurs). Des modèles malveillants pourraient contenir des portes dérobées ou des poids altérés.

Isolation des conteneurs : en production Docker, limitez les capabilities du conteneur, montez les volumes en read-only quand possible, et surveillez les ressources consommées. Un modèle qui tourne en boucle peut saturer votre GPU/RAM.

Mises à jour régulières : Ollama publie des mises à jour fréquentes avec des corrections de sécurité, des optimisations de performance et le support de nouveaux modèles. Maintenez votre installation à jour.

Ollama vs LM Studio : quelle différence ?

LM Studio est l’alternative GUI (interface graphique) la plus populaire à Ollama. La différence fondamentale : Ollama est orienté CLI/API (développeurs, automatisation, intégration dans des pipelines), LM Studio est orienté interface graphique (utilisateurs non techniques, exploration de modèles, conversation).

Choisissez Ollama si vous êtes développeur, si vous voulez intégrer le LLM dans vos scripts et applications via l’API REST, ou si vous déployez sur un serveur. Choisissez LM Studio si vous voulez simplement chatter avec un modèle local via une interface agréable, sans toucher au terminal. Les deux sont gratuits et utilisent les mêmes modèles (format GGUF via llama.cpp).

Pour de nombreux utilisateurs, l’approche combinée fonctionne bien : LM Studio pour l’exploration et le test de modèles, Ollama pour l’intégration en production et les automatisations.

Limites de l’IA locale

Performance : un modèle 8B local ne rivalisera pas avec Claude Opus 4.6 (plusieurs centaines de milliards de paramètres, infrastructure GPU massive) sur les tâches complexes. L’IA locale excelle sur les tâches bien définies (complétion, classification, résumé, traduction) et reste en retrait sur le raisonnement profond.

Fenêtre de contexte : les modèles locaux ont généralement un contexte plus limité (4K à 128K tokens selon le modèle) que les modèles cloud (1M tokens pour Claude et Gemini). Pour des documents très longs, le cloud reste nécessaire.

Multimodal : le support image/vision existe (Llama 4 Scout, LLaVA) mais reste moins mature que GPT-4o ou Gemini en multimodal.

Approche recommandée : utilisez Ollama pour le quotidien (complétion, tâches courantes, données sensibles) et gardez un abonnement cloud (Claude Pro, ChatGPT Plus) pour les tâches complexes qui dépassent les capacités locales. C’est le meilleur compromis coût/performance/confidentialité.

Ollama transforme votre ordinateur en serveur d’IA personnel. Gratuit, privé, illimité. Le seul prérequis : un GPU correct et 10 minutes d’installation.