Dans vos locaux
Pour ancrer les apprentissages et encourager la dynamique collective.
Formation Architectures de modèles : transformers et alternatives
Décryptez le fonctionnement des architectures à base d'attention et comparez leurs alternatives pour évaluer techniquement un nouveau modèle.
Mécanisme d'attention, architecture transformer complète, alternatives émergentes (state-space models, mixture of experts), compromis de calcul et de mémoire, lecture critique d'une publication.
graph LR
A[Entree] --> B[Embedding + Position]
B --> C[Self-Attention multi-tetes]
C --> D[Normalisation]
D --> E[Feed-Forward]
E --> F[Sortie]
C -.residuel.-> DDescription
Cette formation détaille le fonctionnement interne des architectures qui fondent les modèles actuels : mécanisme d'attention et self-attention multi-têtes, encodage positionnel, architecture transformer complète, puis alternatives émergentes comme les modèles à espace d'états (state-space models) et les architectures à mélange d'experts (mixture of experts). Chaque architecture est analysée sous l'angle de ses compromis réels de calcul, de mémoire et de latence, avec une comparaison chiffrée plutôt qu'une lecture superficielle des annonces. Les participants s'exercent à lire une publication technique et à en extraire les éléments décisifs. Elle s'adresse aux ingénieurs IA, data scientists confirmés et architectes techniques qui doivent choisir ou justifier une architecture de modèle.
Les objectifs
expliquer en détail le fonctionnement d'une architecture à base d'attention
comparer les architectures actuelles et leurs compromis
analyser l'impact des choix d'architecture sur le coût et les performances
lire et exploiter une publication technique décrivant un nouveau modèle
Public visé
Ingénieurs IA, data scientists confirmés, architectes techniques, ingénieurs de recherche.
Prérequis
Connaissance de l'apprentissage profond et pratique d'un cadre d'entraînement.
Le programme
Jour 1
Matinée
1. L'architecture à base d'attention
- Attention multi-tête : formulation, intuition, implémentation
- Blocs encodeur et décodeur, variantes selon les usages
- Normalisation, connexions résiduelles et stabilité
- Représentations positionnelles et leurs évolutions
- Complexité quadratique et conséquences sur le contexte long
- Travaux pratiques : implémentation d'un bloc transformeur complet à partir de zéro
Après-midi
2. Optimisations d'attention et de mémoire
- Attention efficace en mémoire et gains mesurés
- Partage de clés et de valeurs entre têtes
- Cache de clés-valeurs et coût de l'inférence longue
- Attention parcimonieuse et fenêtres glissantes
- Extension du contexte : méthodes et limites réelles
- Travaux pratiques : mesure de l'empreinte mémoire d'une inférence et effet des optimisations
Jour 2
Matinée
3. Variantes et architectures spécialisées
- Modèles à mélange d'experts : principe, routage, coût d'entraînement
- Architectures multimodales et fusion des modalités
- Modèles d'espace d'états et alternatives à l'attention
- Modèles de diffusion pour la génération d'images
- Architectures compactes conçues pour l'embarqué
- Travaux pratiques : comparaison expérimentale de deux architectures sur une même tâche
Après-midi
4. Lois d'échelle et entraînement
- Relation entre taille du modèle, volume de données et performance
- Budget de calcul optimal et compromis observés
- Capacités émergentes : réalité et controverses
- Étapes d'entraînement d'un grand modèle et coûts associés
- Ce qui est reproductible en entreprise et ce qui ne l'est pas
- Travaux pratiques : analyse des choix d'architecture et d'entraînement d'un modèle récent documenté
Jour 3
Matinée
5. Évaluer une architecture
- Critères techniques : qualité, latence, mémoire, coût par jeton
- Bancs d'essai publics : ce qu'ils mesurent et leurs biais
- Évaluation sur des tâches représentatives de son contexte
- Contraintes de licence et d'usage commercial
- Grille de sélection d'un modèle pour un usage donné
- Travaux pratiques : évaluation comparée de trois modèles sur un jeu de tâches métier
Après-midi
6. Veille technique et perspectives
- Lecture d'un rapport technique de modèle et informations réellement fournies
- Signaux distinguant une avancée réelle d'un effet d'annonce
- Tendances en cours et leur maturité
- Conséquences des évolutions d'architecture sur les applications existantes
- Construction d'une capacité d'évaluation interne
- Travaux pratiques : rédaction d'une note d'évaluation technique d'un modèle récent
Dernière mise à jour : 18 septembre 2026
En présentiel ou à distance : à vous de choisir
En classe virtuelle
Pour allier flexibilité et interactions en temps réel avec le formateur.
Dans nos locaux
Pour favoriser la concentration, les échanges et le confort des apprenants.
Les modalités de formation
Suivi et évaluation :
- Recueil des besoins en amont pour identifier les attentes du stagiaire
- Évaluation continue : études de cas et travaux pratiques pendant la formation
- Évaluation finale : questionnaire d'auto-évaluation
Format et encadrement :
- Formation équilibrée alliant théorie et pratique (minimum 50%)
- Sessions en petits groupes (2 à 9 participants) pour un suivi personnalisé
- Émargement par demi-journée et remise d'une attestation de formation
Moyens pédagogiques et techniques :
- Méthodes interactives et suivi des acquis : travaux pratiques, projet fil rouge, mises en situation, démonstrations, QCM…
- Les stagiaires doivent être équipés de leur matériel informatique pour suivre la formation, que ce soit dans nos locaux ou sur site externe.
- Les prérequis techniques seront communiqués aux apprenants en amont de la formation, lors de l'analyse des besoins, en fonction des spécificités de chaque client.
- Accessibilité: nous informons l'ensemble de nos clients et stagiaires que nous sommes dans la capacité d'adapter les sessions en cas de situations spécifiques. Nous nous engageons à répondre à toutes les demandes dans un délai de 48h ouvré.
Conditions et délais d'accès :
- Si l'une de nos formations vous intéresse, contactez-nous au +33 04 93 65 34 24 ou à l'adresse mail contact@le-code.dev. Selon votre besoin et vos attentes, nous organiserons un échange téléphonique avec le formateur pressenti afin d'adapter la formation et ses modules, puis nous vous adresserons un devis. Les dates de la formation seront à convenir sous 30 jours maximum.
- Concernant les formations Actions Collectives, l'inscription est possible jusqu'à 24h ouvrées avant le début de la formation.