Dans vos locaux
Pour ancrer les apprentissages et encourager la dynamique collective.
Formation Déployer et mettre à l'échelle des modèles d'IA
Industrialisez le service de vos modèles d'IA : dimensionnement, haute disponibilité et montée en charge sur site comme dans le cloud.
Dimensionnement de l'infrastructure d'inférence, choix des accélérateurs, service de modèles, répartition du trafic, montée en charge, haute disponibilité et supervision des coûts.
resource "kubernetes_deployment" "inference" {
metadata { name = "llm-inference" }
spec {
replicas = 4
template {
spec {
container {
name = "model-server"
image = "vllm/vllm-openai:latest"
resources { limits = { "nvidia.com/gpu" = 1 } }
}
}
}
}
}Description
Cette formation traite l'infrastructure qui supporte l'IA en production : dimensionnement de la capacité d'inférence, choix et partage des accélérateurs matériels, mise en œuvre d'un service de modèles performant avec des outils comme Triton ou vLLM, répartition du trafic entre instances et montée en charge automatique. Elle couvre également la haute disponibilité du service, la gestion des déploiements sur Kubernetes et l'infrastructure as code avec Terraform, ainsi que la supervision des performances et des coûts en production, sur site comme dans le cloud. Elle s'adresse aux ingénieurs d'infrastructure, ingénieurs IA, architectes, ingénieurs DevOps et responsables de plateformes qui opèrent des services d'inférence à grande échelle.
Les objectifs
dimensionner l'infrastructure d'inférence d'un modèle
mettre en œuvre un service de modèles performant et disponible
gérer la montée en charge et la répartition du trafic
superviser les performances et les coûts d'un service d'inférence
Public visé
Ingénieurs d'infrastructure, ingénieurs IA, architectes, ingénieurs DevOps, responsables de plateformes.
Prérequis
Connaissance de l'administration système, de la conteneurisation et des principes de l'inférence.
Le programme
Jour 1
Matinée
1. Dimensionner l'infrastructure
- Besoins en mémoire et en calcul selon la taille du modèle
- Accélérateurs matériels : caractéristiques, disponibilité, coût
- Calcul du nombre d'instances nécessaires pour un volume donné
- Arbitrage entre matériel dédié, cloud et service managé
- Contraintes de centre de données : énergie, refroidissement, place
- Travaux pratiques : dimensionnement chiffré d'une plateforme pour un volume d'usage donné
Après-midi
2. Servir un modèle
- Moteurs de service d'inférence et critères de choix
- Interfaces exposées et compatibilité avec les applications
- Chargement des modèles, démarrage à froid et préchauffage
- Traitement par lots et gestion des files de requêtes
- Multi-modèles sur une même infrastructure
- Travaux pratiques : déploiement d'un service d'inférence et mesure de ses performances
Jour 2
Matinée
3. Orchestration et mise à l'échelle
- Déploiement sur une plateforme d'orchestration de conteneurs
- Gestion des accélérateurs dans un cluster
- Mise à l'échelle automatique selon la charge et limites propres à l'IA
- Répartition du trafic et routage entre modèles
- Isolation des charges et gestion des priorités
- Travaux pratiques : déploiement d'un service mis à l'échelle automatiquement
Après-midi
4. Disponibilité et résilience
- Redondance et bascule d'un service d'inférence
- Dégradation contrôlée : repli sur un modèle plus léger
- Gestion des indisponibilités d'un fournisseur externe
- Sauvegarde et reconstruction d'une plateforme
- Tests de résilience et exercices de panne
- Travaux pratiques : mise en place d'un repli automatique et test de bascule
Jour 3
Matinée
5. Sécurité et cloisonnement
- Isolation des modèles et des données entre équipes
- Contrôle d'accès aux points de terminaison d'inférence
- Chiffrement des flux et protection des poids de modèles
- Journalisation et traçabilité des appels
- Conformité et exigences de souveraineté
- Travaux pratiques : sécurisation complète d'un service d'inférence interne
Après-midi
6. Exploitation et coûts
- Supervision : utilisation des accélérateurs, latence, débit, erreurs
- Attribution des coûts par application et par équipe
- Optimisation du taux d'utilisation des ressources
- Planification de capacité et anticipation des besoins
- Documentation d'exploitation et procédures d'astreinte
- Travaux pratiques : construction du tableau de bord d'exploitation et du plan de capacité
Dernière mise à jour : 18 septembre 2026
En présentiel ou à distance : à vous de choisir
En classe virtuelle
Pour allier flexibilité et interactions en temps réel avec le formateur.
Dans nos locaux
Pour favoriser la concentration, les échanges et le confort des apprenants.
Les modalités de formation
Suivi et évaluation :
- Recueil des besoins en amont pour identifier les attentes du stagiaire
- Évaluation continue : études de cas et travaux pratiques pendant la formation
- Évaluation finale : questionnaire d'auto-évaluation
Format et encadrement :
- Formation équilibrée alliant théorie et pratique (minimum 50%)
- Sessions en petits groupes (2 à 9 participants) pour un suivi personnalisé
- Émargement par demi-journée et remise d'une attestation de formation
Moyens pédagogiques et techniques :
- Méthodes interactives et suivi des acquis : travaux pratiques, projet fil rouge, mises en situation, démonstrations, QCM…
- Les stagiaires doivent être équipés de leur matériel informatique pour suivre la formation, que ce soit dans nos locaux ou sur site externe.
- Les prérequis techniques seront communiqués aux apprenants en amont de la formation, lors de l'analyse des besoins, en fonction des spécificités de chaque client.
- Accessibilité: nous informons l'ensemble de nos clients et stagiaires que nous sommes dans la capacité d'adapter les sessions en cas de situations spécifiques. Nous nous engageons à répondre à toutes les demandes dans un délai de 48h ouvré.
Conditions et délais d'accès :
- Si l'une de nos formations vous intéresse, contactez-nous au +33 04 93 65 34 24 ou à l'adresse mail contact@le-code.dev. Selon votre besoin et vos attentes, nous organiserons un échange téléphonique avec le formateur pressenti afin d'adapter la formation et ses modules, puis nous vous adresserons un devis. Les dates de la formation seront à convenir sous 30 jours maximum.
- Concernant les formations Actions Collectives, l'inscription est possible jusqu'à 24h ouvrées avant le début de la formation.