Dans vos locaux
Pour ancrer les apprentissages et encourager la dynamique collective.
Reprenez le contrôle de vos données et de vos modèles : apprenez à installer, configurer et optimiser des LLM Open Source (Llama, Mistral) sur vos propres serveurs en utilisant Ollama, vLLM ou LocalAI.
# Déploiement local d'un modèle via Docker
docker run -d \
--name ollama-local \
-v ollama:/root/.ollama \
-p 11434:11434 \
--gpus all \
ollama/ollama
# Exécution du modèle
docker exec -it ollama-local ollama run llama3L'utilisation de l'IA Open Source en local est la solution idéale pour les entreprises soucieuses de leur souveraineté numérique. Cette formation technique vous guide dans le déploiement de modèles de langage (LLM) performants sur vos propres infrastructures. Vous découvrirez comment dimensionner le matériel (GPU/RAM), utiliser des environnements de conteneurisation pour l'IA, et exposer des APIs compatibles OpenAI pour vos applications internes. Nous aborderons également les techniques de quantification pour optimiser les ressources et les stratégies de sécurisation des accès, vous permettant de bénéficier d'assistants intelligents sans jamais envoyer vos données sensibles dans le cloud.
Les objectifs
Comprendre les enjeux et cas d’usage du déploiement local d’une IA open source
Identifier les modèles et outils open source adaptés à un usage local
Préparer un environnement local pour exécuter un modèle d’IA
Déployer et interagir avec un modèle IA open source en local
Mettre en œuvre les premières bonnes pratiques de sécurité et d’exploitation
Public visé
Développeurs et ingénieurs logiciels
Ingénieurs DevOps, MLOps et administrateurs systèmes
Architectes techniques et responsables IT
Toute personne souhaitant déployer une IA open source en local pour des enjeux de souveraineté ou de confidentialité des données
Prérequis
Maîtrise de base d’un système d’exploitation (Linux ou équivalent)
Utilisation de la ligne de commande
Notions générales d’intelligence artificielle et de machine learning
Connaissances élémentaires en programmation (Python recommandé)
Pour ancrer les apprentissages et encourager la dynamique collective.
Pour allier flexibilité et interactions en temps réel avec le formateur.
Pour favoriser la concentration, les échanges et le confort des apprenants.