Dans vos locaux
Pour ancrer les apprentissages et encourager la dynamique collective.
Formation LLMOps : industrialiser les applications d'IA générative
Construisez la chaîne d'exploitation des applications d'IA générative : évaluation continue, versions de consignes et supervision.
Trois jours pour mettre en place l'évaluation automatisée d'une application LLM, gérer les versions de consignes et de modèles au déploiement, superviser coût, latence et qualité en production et détecter les régressions à chaque changement de modèle.
FROM python:3.12-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY . .
RUN python evaluer_avant_build.py --seuil-fidelite 0.9
EXPOSE 8000
CMD ["uvicorn", "app:api", "--host", "0.0.0.0", "--port", "8000"]Description
Les applications d'IA générative posent des problèmes d'exploitation particuliers : sorties non déterministes, coût variable selon l'usage, dépendance à des modèles tiers qui évoluent sans préavis. Cette formation de trois jours construit une chaîne d'exploitation adaptée. Les participants mettent en place une évaluation automatisée exécutée à chaque changement de consigne ou de modèle, gèrent le versionnement conjoint des consignes et des modèles au déploiement, et instrumentent la supervision du coût, de la latence et de la qualité perçue en production. Une attention particulière est portée à la détection des régressions lors d'un changement de modèle, souvent silencieuses tant qu'elles ne sont pas mesurées explicitement. Elle s'adresse aux ingénieurs IA, ingénieurs DevOps, architectes et responsables techniques exploitant des applications intégrant des modèles de langage.
Les objectifs
mettre en place l'évaluation automatisée d'une application LLM
déployer une application LLM avec gestion des versions de consignes et de modèles
superviser le coût, la latence et la qualité en production
détecter les régressions lors d'un changement de modèle
Public visé
Ingénieurs IA, ingénieurs DevOps, architectes, responsables techniques exploitant des applications LLM.
Prérequis
Expérience du développement d'applications intégrant des modèles de langage.
Le programme
Jour 1
Matinée
1. Spécificités et architecture
- Ce qui distingue l'exploitation d'une application LLM d'une application classique
- Composants à gouverner : consignes, modèles, corpus, outils, garde-fous
- Passerelle interne d'accès aux modèles et mutualisation
- Environnements et cloisonnement des données
- Architecture cible d'une chaîne LLMOps
- Travaux pratiques : conception de la chaîne d'exploitation d'une application existante
Après-midi
2. Gérer les consignes et les versions
- Versionnement des consignes au même titre que le code
- Séparation des consignes et du code applicatif
- Gestion des versions de modèles et changements de comportement
- Tests comparatifs entre versions de consignes et de modèles
- Déploiement progressif d'une nouvelle consigne
- Travaux pratiques : mise en place du versionnement et d'un test comparatif
Jour 2
Matinée
3. Évaluation continue
- Jeux d'évaluation et cas de référence maintenus dans le temps
- Évaluation automatisée intégrée à la chaîne de livraison
- Seuils bloquants et politique de promotion
- Évaluation en production sur échantillon réel
- Retours utilisateurs structurés et exploitation
- Travaux pratiques : intégration de l'évaluation automatisée dans un pipeline
Après-midi
4. Observabilité et coûts
- Traçage des exécutions : appels, contexte, réponses, étapes d'agent
- Métriques : latence, coût par requête, taux d'échec, satisfaction
- Attribution des coûts par application, par équipe et par usage
- Détection des dérives de coût et alertes
- Diagnostic d'une réponse anormale à partir des traces
- Travaux pratiques : instrumentation complète d'une application et analyse des traces
Jour 3
Matinée
5. Sécurité et garde-fous en production
- Filtrage des entrées et des sorties en production
- Détection des tentatives d'injection et des usages abusifs
- Limitation de débit et protection contre la surconsommation
- Gestion des secrets et des accès aux modèles
- Journalisation conforme et conservation des preuves
- Travaux pratiques : mise en place des garde-fous et test de scénarios d'abus
Après-midi
6. Exploitation et amélioration continue
- Procédures d'exploitation et gestion des incidents
- Repli et dégradation contrôlée en cas d'indisponibilité du fournisseur
- Boucle d'amélioration à partir des échecs observés
- Gouvernance des applications d'IA à l'échelle de l'organisation
- Documentation et transfert à l'exploitation
- Travaux pratiques : rédaction du dossier d'exploitation de l'application
Dernière mise à jour : 18 septembre 2026
En présentiel ou à distance : à vous de choisir
En classe virtuelle
Pour allier flexibilité et interactions en temps réel avec le formateur.
Dans nos locaux
Pour favoriser la concentration, les échanges et le confort des apprenants.
Les modalités de formation
Suivi et évaluation :
- Recueil des besoins en amont pour identifier les attentes du stagiaire
- Évaluation continue : études de cas et travaux pratiques pendant la formation
- Évaluation finale : questionnaire d'auto-évaluation
Format et encadrement :
- Formation équilibrée alliant théorie et pratique (minimum 50%)
- Sessions en petits groupes (2 à 9 participants) pour un suivi personnalisé
- Émargement par demi-journée et remise d'une attestation de formation
Moyens pédagogiques et techniques :
- Méthodes interactives et suivi des acquis : travaux pratiques, projet fil rouge, mises en situation, démonstrations, QCM…
- Les stagiaires doivent être équipés de leur matériel informatique pour suivre la formation, que ce soit dans nos locaux ou sur site externe.
- Les prérequis techniques seront communiqués aux apprenants en amont de la formation, lors de l'analyse des besoins, en fonction des spécificités de chaque client.
- Accessibilité: nous informons l'ensemble de nos clients et stagiaires que nous sommes dans la capacité d'adapter les sessions en cas de situations spécifiques. Nous nous engageons à répondre à toutes les demandes dans un délai de 48h ouvré.
Conditions et délais d'accès :
- Si l'une de nos formations vous intéresse, contactez-nous au +33 04 93 65 34 24 ou à l'adresse mail contact@le-code.dev. Selon votre besoin et vos attentes, nous organiserons un échange téléphonique avec le formateur pressenti afin d'adapter la formation et ses modules, puis nous vous adresserons un devis. Les dates de la formation seront à convenir sous 30 jours maximum.
- Concernant les formations Actions Collectives, l'inscription est possible jusqu'à 24h ouvrées avant le début de la formation.