Dans vos locaux
Pour ancrer les apprentissages et encourager la dynamique collective.
Formation LLM avancés : entraînement, alignement et évaluation
Pilotez la construction de modèles de langage, de leur pré-entraînement à leur alignement, pour savoir ce qui est réalisable en interne.
Pré-entraînement, adaptation supervisée par fine-tuning, alignement sur des préférences (RLHF, DPO), constitution de jeux de données et évaluation de la performance, de la sûreté et du coût.
from trl import DPOTrainer, DPOConfig
config = DPOConfig(beta=0.1, learning_rate=5e-6)
trainer = DPOTrainer(
model=model,
args=config,
train_dataset=preference_dataset,
)
trainer.train()Description
Cette formation couvre l'ensemble de la chaîne de construction d'un modèle de langage : pré-entraînement sur de larges corpus, adaptation supervisée par fine-tuning, alignement sur des préférences humaines par RLHF ou DPO, et constitution de jeux de données d'entraînement et d'évaluation de qualité. Une attention particulière est portée à l'évaluation multicritère des modèles obtenus — performance, sûreté, biais, coût d'inférence — pour arbitrer objectivement entre ce qui relève d'un service existant et ce qui justifie un entraînement interne. Les travaux pratiques utilisent Python et la bibliothèque transformers. Elle s'adresse aux ingénieurs IA, data scientists confirmés, ingénieurs de recherche et architectes de plateformes d'IA générative.
Les objectifs
décrire les étapes de construction d'un modèle de langage
mettre en œuvre les méthodes d'adaptation et d'alignement d'un modèle
constituer des jeux de données d'entraînement et d'évaluation de qualité
évaluer un modèle sur des critères de performance, de sûreté et de coût
Public visé
Ingénieurs IA, data scientists confirmés, ingénieurs de recherche, architectes de plateformes d'IA.
Prérequis
Maîtrise de l'apprentissage profond et pratique d'un cadre d'entraînement.
Le programme
Jour 1
Matinée
1. Chaîne de construction d'un modèle
- Étapes : pré-entraînement, adaptation supervisée, alignement, évaluation
- Données de pré-entraînement : volume, qualité, filtrage, questions juridiques
- Tokenisation et vocabulaire : effets sur les langues et les coûts
- Ordres de grandeur des ressources nécessaires à chaque étape
- Ce qui relève de la recherche et ce qui est accessible à une entreprise
- Travaux pratiques : analyse des choix de construction d'un modèle ouvert documenté
Après-midi
2. Adaptation supervisée
- Constitution d'un jeu de données d'instructions de qualité
- Génération assistée de données d'entraînement et risques associés
- Affinage complet et méthodes économes en paramètres
- Hyperparamètres critiques et diagnostic d'un affinage raté
- Oubli catastrophique et préservation des capacités générales
- Travaux pratiques : affinage supervisé d'un modèle ouvert sur une tâche métier
Jour 2
Matinée
3. Alignement sur des préférences
- Principe de l'alignement et objectifs poursuivis
- Apprentissage par renforcement à partir de retours humains : architecture et coût
- Méthodes directes d'optimisation de préférences
- Constitution de jeux de préférences et annotation
- Effets de l'alignement sur la qualité et sur la prudence excessive du modèle
- Travaux pratiques : mise en œuvre d'une optimisation directe de préférences et mesure de ses effets
Après-midi
4. Capacités de raisonnement
- Décomposition du raisonnement et modèles entraînés à raisonner
- Calcul au moment de l'inférence et compromis coût-qualité
- Vérification et auto-correction des réponses
- Appel d'outils comme extension des capacités du modèle
- Limites persistantes sur le raisonnement long et le calcul exact
- Travaux pratiques : comparaison des performances d'un modèle avec et sans raisonnement explicite
Jour 3
Matinée
5. Évaluation des modèles
- Bancs d'essai publics : périmètre, contamination des jeux de test, limites
- Construction d'un protocole d'évaluation interne représentatif
- Évaluation par modèle évaluateur et corrélation avec le jugement humain
- Évaluation des capacités spécifiques : code, raisonnement, langue métier
- Suivi des performances lors d'un changement de version
- Travaux pratiques : construction d'un protocole d'évaluation interne et application à deux modèles
Après-midi
6. Sûreté et comportement
- Comportements indésirables : contenus dangereux, biais, fuites de données d'entraînement
- Tests adverses et mise à l'épreuve d'un modèle
- Garde-fous intégrés au modèle et garde-fous externes
- Documentation des limites et des usages déconseillés
- Obligations applicables aux fournisseurs de modèles
- Travaux pratiques : campagne de tests adverses sur un modèle affiné
Jour 4
Matinée
7. Infrastructure d'entraînement
- Dimensionnement des ressources et parallélisme
- Gestion de la mémoire et techniques d'économie
- Points de reprise, suivi et reproductibilité des entraînements
- Coût complet d'un affinage et arbitrage avec les alternatives
- Empreinte environnementale et sobriété des entraînements
- Travaux pratiques : dimensionnement et chiffrage d'un projet d'affinage
Après-midi
8. Déploiement et cycle de vie
- Service d'un modèle adapté : hébergement, adaptateurs, mutualisation
- Versionnement des modèles et traçabilité des données d'entraînement
- Réentraînement périodique et gestion de l'obsolescence
- Documentation du modèle destinée aux utilisateurs et aux auditeurs
- Décision de maintenir, de réentraîner ou d'abandonner un modèle adapté
- Travaux pratiques : mise en service du modèle affiné et rédaction de sa documentation
Dernière mise à jour : 18 septembre 2026
En présentiel ou à distance : à vous de choisir
En classe virtuelle
Pour allier flexibilité et interactions en temps réel avec le formateur.
Dans nos locaux
Pour favoriser la concentration, les échanges et le confort des apprenants.
Les modalités de formation
Suivi et évaluation :
- Recueil des besoins en amont pour identifier les attentes du stagiaire
- Évaluation continue : études de cas et travaux pratiques pendant la formation
- Évaluation finale : questionnaire d'auto-évaluation
Format et encadrement :
- Formation équilibrée alliant théorie et pratique (minimum 50%)
- Sessions en petits groupes (2 à 9 participants) pour un suivi personnalisé
- Émargement par demi-journée et remise d'une attestation de formation
Moyens pédagogiques et techniques :
- Méthodes interactives et suivi des acquis : travaux pratiques, projet fil rouge, mises en situation, démonstrations, QCM…
- Les stagiaires doivent être équipés de leur matériel informatique pour suivre la formation, que ce soit dans nos locaux ou sur site externe.
- Les prérequis techniques seront communiqués aux apprenants en amont de la formation, lors de l'analyse des besoins, en fonction des spécificités de chaque client.
- Accessibilité: nous informons l'ensemble de nos clients et stagiaires que nous sommes dans la capacité d'adapter les sessions en cas de situations spécifiques. Nous nous engageons à répondre à toutes les demandes dans un délai de 48h ouvré.
Conditions et délais d'accès :
- Si l'une de nos formations vous intéresse, contactez-nous au +33 04 93 65 34 24 ou à l'adresse mail contact@le-code.dev. Selon votre besoin et vos attentes, nous organiserons un échange téléphonique avec le formateur pressenti afin d'adapter la formation et ses modules, puis nous vous adresserons un devis. Les dates de la formation seront à convenir sous 30 jours maximum.
- Concernant les formations Actions Collectives, l'inscription est possible jusqu'à 24h ouvrées avant le début de la formation.