Dans vos locaux
Pour ancrer les apprentissages et encourager la dynamique collective.
Sélection d'un modèle ouvert et vérification de sa licence, déploiement sur infrastructure maîtrisée, optimisation du service d'inférence et comparaison du coût complet avec un service managé.
service_inference:
moteur: vllm
modele: mixtral-8x7b-instruct
quantification: awq
gpu:
type: A100
nombre: 2
replicas: 2
licence_verifiee: trueCette formation traite le déploiement et l'exploitation de modèles ouverts sur une infrastructure maîtrisée : critères de sélection d'un modèle adapté à un usage donné, vérification de sa licence d'utilisation, dimensionnement du service d'inférence avec des outils comme vLLM ou TGI, et optimisation de ses performances. Elle aborde ensuite la comparaison chiffrée du coût complet de l'auto-hébergement — matériel, exploitation, maintenance — avec celui d'un service en ligne managé, condition d'un arbitrage objectif plutôt qu'idéologique. Elle s'adresse aux architectes, ingénieurs d'infrastructure, RSSI, DSI, développeurs et responsables de plateformes qui envisagent l'auto-hébergement de modèles génératifs.
Les objectifs
sélectionner un modèle ouvert adapté à un usage et vérifier sa licence
déployer un modèle sur une infrastructure maîtrisée
optimiser le service d'inférence et mesurer ses performances
comparer le coût complet de l'auto-hébergement et d'un service managé
Public visé
Architectes, ingénieurs d'infrastructure, RSSI, DSI, développeurs, responsables de plateformes.
Prérequis
Connaissance de l'administration système et des principes de l'IA générative.
Pour ancrer les apprentissages et encourager la dynamique collective.
Pour allier flexibilité et interactions en temps réel avec le formateur.
Pour favoriser la concentration, les échanges et le confort des apprenants.