Dans vos locaux
Pour ancrer les apprentissages et encourager la dynamique collective.
Formation Modèles multimodaux avancés
Explorez les architectures qui combinent plusieurs modalités et industrialisez leur adaptation à un cas d'usage métier concret.
Architectures de fusion texte-image-audio, encodeurs partagés et attention croisée, adaptation à un domaine métier, évaluation des performances et industrialisation en production.
graph TD
T[Texte] --> E1[Encodeur texte]
I[Image] --> E2[Encodeur image]
E1 --> F[Espace de fusion]
E2 --> F
F --> A[Attention croisee]
A --> S[Sortie multimodale]Description
Cette formation traite les modèles combinant plusieurs modalités — texte, image, audio — sous l'angle des architectures de fusion (encodeurs partagés, projection dans un espace commun, attention croisée) et de leur adaptation à un cas d'usage métier réel. Elle aborde également l'évaluation des performances et des limites d'un système multimodal, ainsi que son industrialisation en production : pipelines d'inférence, gestion de la latence par modalité et supervision de la qualité. Les cas traités distinguent les situations où le multimodal apporte un gain réel de celles où il ajoute surtout de la complexité. Elle s'adresse aux ingénieurs IA, data scientists confirmés, architectes et ingénieurs de recherche qui conçoivent ou déploient des systèmes multimodaux.
Les objectifs
expliquer les architectures combinant plusieurs modalités
adapter un modèle multimodal à un cas d'usage métier
évaluer les performances et les limites d'un système multimodal
industrialiser un traitement multimodal en production
Public visé
Ingénieurs IA, data scientists confirmés, architectes, ingénieurs de recherche.
Prérequis
Maîtrise de l'apprentissage profond et connaissance des architectures de modèles de langage.
Le programme
Jour 1
Matinée
1. Architectures multimodales
- Représentations partagées entre modalités et espaces d'alignement
- Encodeurs visuels et connexion à un modèle de langage
- Stratégies de fusion précoce, tardive et intermédiaire
- Modèles audio et traitement de la parole
- Génération multimodale et modèles de diffusion
- Travaux pratiques : analyse de l'architecture d'un modèle multimodal ouvert
Après-midi
2. Traitement des documents et des images
- Compréhension de documents complexes : mise en page, tableaux, schémas
- Extraction structurée à partir d'images de documents
- Ancrage visuel et localisation d'éléments dans une image
- Limites observées : lecture fine, comptage, raisonnement spatial
- Comparaison avec les solutions spécialisées existantes
- Travaux pratiques : évaluation d'un modèle multimodal sur un corpus documentaire métier
Jour 2
Matinée
3. Adapter un modèle multimodal
- Constitution d'un jeu de données multimodal annoté
- Affinage économe d'un modèle multimodal
- Adaptation à un domaine métier spécifique
- Coût et ressources nécessaires
- Vérification de l'absence de régression sur les capacités générales
- Travaux pratiques : affinage d'un modèle multimodal sur un jeu de données métier
Après-midi
4. Évaluation
- Métriques adaptées aux tâches multimodales
- Construction d'un jeu d'évaluation représentatif
- Évaluation humaine et protocoles associés
- Détection des hallucinations visuelles
- Robustesse aux images de mauvaise qualité
- Travaux pratiques : construction d'un protocole d'évaluation et mesure sur le modèle adapté
Jour 3
Matinée
5. Industrialisation
- Architecture d'un traitement multimodal en production
- Gestion des fichiers volumineux et traitements asynchrones
- Latence, coût par document et optimisation
- Stockage, cycle de vie et confidentialité des médias traités
- Supervision de la qualité en production
- Travaux pratiques : mise en production d'un traitement multimodal et mesure des performances
Après-midi
6. Conformité et cas sensibles
- Traitement d'images comportant des personnes et cadre applicable
- Biométrie et usages interdits ou à haut risque
- Droits sur les contenus traités et générés
- Marquage et traçabilité des contenus générés
- Documentation des limites du système multimodal
- Travaux pratiques : analyse de conformité d'un cas d'usage multimodal
Dernière mise à jour : 18 septembre 2026
En présentiel ou à distance : à vous de choisir
En classe virtuelle
Pour allier flexibilité et interactions en temps réel avec le formateur.
Dans nos locaux
Pour favoriser la concentration, les échanges et le confort des apprenants.
Les modalités de formation
Suivi et évaluation :
- Recueil des besoins en amont pour identifier les attentes du stagiaire
- Évaluation continue : études de cas et travaux pratiques pendant la formation
- Évaluation finale : questionnaire d'auto-évaluation
Format et encadrement :
- Formation équilibrée alliant théorie et pratique (minimum 50%)
- Sessions en petits groupes (2 à 9 participants) pour un suivi personnalisé
- Émargement par demi-journée et remise d'une attestation de formation
Moyens pédagogiques et techniques :
- Méthodes interactives et suivi des acquis : travaux pratiques, projet fil rouge, mises en situation, démonstrations, QCM…
- Les stagiaires doivent être équipés de leur matériel informatique pour suivre la formation, que ce soit dans nos locaux ou sur site externe.
- Les prérequis techniques seront communiqués aux apprenants en amont de la formation, lors de l'analyse des besoins, en fonction des spécificités de chaque client.
- Accessibilité: nous informons l'ensemble de nos clients et stagiaires que nous sommes dans la capacité d'adapter les sessions en cas de situations spécifiques. Nous nous engageons à répondre à toutes les demandes dans un délai de 48h ouvré.
Conditions et délais d'accès :
- Si l'une de nos formations vous intéresse, contactez-nous au +33 04 93 65 34 24 ou à l'adresse mail contact@le-code.dev. Selon votre besoin et vos attentes, nous organiserons un échange téléphonique avec le formateur pressenti afin d'adapter la formation et ses modules, puis nous vous adresserons un devis. Les dates de la formation seront à convenir sous 30 jours maximum.
- Concernant les formations Actions Collectives, l'inscription est possible jusqu'à 24h ouvrées avant le début de la formation.