Dans vos locaux
Pour ancrer les apprentissages et encourager la dynamique collective.
Formation Data engineering pour l'IA : pipelines et gestion des données
Structurez les pipelines de données qui alimentent vos systèmes d'IA : qualité, traçabilité, anonymisation et supervision industrialisée.
Trois jours pour concevoir les pipelines de données alimentant un système d'IA, mettre en place les contrôles de qualité et la traçabilité, gérer les données sensibles et leur anonymisation, puis industrialiser et superviser les traitements.
#!/usr/bin/env bash
# Identifie les tables sans acces depuis plus de 12 mois
psql -t -c "
SELECT relname, last_seq_scan, last_idx_scan
FROM pg_stat_user_tables
WHERE COALESCE(last_seq_scan, last_idx_scan) < now() - interval '12 months';
" > tables_candidates_purge.txt
wc -l tables_candidates_purge.txtDescription
La qualité d'un système d'IA est d'abord un problème de données, bien avant d'être un problème de modèle. Cette formation de trois jours conçoit les pipelines qui alimentent un système d'IA : ingestion de données structurées et non structurées, contrôles de qualité automatisés et traçabilité de bout en bout, condition d'une IA auditable. Les participants traitent la détection et l'anonymisation des données sensibles avant leur usage par un modèle, un point de conformité fréquemment négligé. La formation industrialise ensuite ces traitements : orchestration planifiée, journalisation, alerte en cas d'anomalie ou de dérive du volume de données. Elle s'adresse aux ingénieurs données, développeurs, architectes de données et ingénieurs IA pratiquant déjà le langage SQL, un langage de programmation et les principes du traitement de données.
Les objectifs
concevoir les pipelines de données alimentant un système d'IA
mettre en place les contrôles de qualité et la traçabilité des données
gérer les données sensibles et leur anonymisation
industrialiser et superviser les traitements de données
Public visé
Ingénieurs données, développeurs, architectes de données, ingénieurs IA.
Prérequis
Pratique du langage SQL et d'un langage de programmation. Connaissance des principes du traitement de données.
Le programme
Jour 1
Matinée
1. Données pour l'IA
- Besoins de données selon le type de système : apprentissage, recherche augmentée, agents
- Données structurées, semi-structurées et non structurées
- Sources internes : applications, documents, journaux, échanges
- Volumétrie, fraîcheur et cycle de vie des données
- Cartographie des sources et des droits associés
- Travaux pratiques : cartographie des données mobilisables pour un cas d'usage d'IA
Après-midi
2. Pipelines d'ingestion
- Ingestion par lots et ingestion continue
- Extraction de contenu documentaire et normalisation
- Détection des changements et ingestion incrémentale
- Orchestration des traitements et gestion des dépendances
- Reprise sur erreur et idempotence
- Travaux pratiques : construction d'un pipeline d'ingestion documentaire incrémentale
Jour 2
Matinée
3. Qualité et préparation
- Contrôles de qualité : complétude, cohérence, doublons, valeurs aberrantes
- Nettoyage et normalisation des contenus
- Enrichissement par métadonnées et classification automatique
- Gestion des documents obsolètes et contradictoires
- Rejets, quarantaine et traitement des anomalies
- Travaux pratiques : mise en place des contrôles de qualité sur le pipeline construit
Après-midi
4. Données sensibles et conformité
- Détection des données personnelles dans les corpus
- Anonymisation et pseudonymisation des contenus
- Droits d'accès propagés jusqu'aux systèmes d'IA
- Durées de conservation et suppression effective
- Traçabilité et registre des traitements
- Travaux pratiques : mise en place de la détection et du traitement des données personnelles
Jour 3
Matinée
5. Stockage et indexation
- Stockage des documents sources et des versions transformées
- Index vectoriels et synchronisation avec les sources
- Bases de données pour l'état et les métadonnées
- Coût de stockage et politiques de cycle de vie
- Sauvegarde et reconstruction des index
- Travaux pratiques : mise en place du stockage et de la synchronisation des index
Après-midi
6. Industrialisation et supervision
- Ordonnancement et exécution planifiée des pipelines
- Supervision : volumétrie traitée, échecs, fraîcheur des données
- Alertes sur anomalies de chargement
- Traçabilité de bout en bout : d'une réponse d'IA jusqu'au document source
- Documentation et transfert à l'exploitation
- Travaux pratiques : industrialisation complète du pipeline et mise en place de la supervision
Dernière mise à jour : 18 septembre 2026
En présentiel ou à distance : à vous de choisir
En classe virtuelle
Pour allier flexibilité et interactions en temps réel avec le formateur.
Dans nos locaux
Pour favoriser la concentration, les échanges et le confort des apprenants.
Les modalités de formation
Suivi et évaluation :
- Recueil des besoins en amont pour identifier les attentes du stagiaire
- Évaluation continue : études de cas et travaux pratiques pendant la formation
- Évaluation finale : questionnaire d'auto-évaluation
Format et encadrement :
- Formation équilibrée alliant théorie et pratique (minimum 50%)
- Sessions en petits groupes (2 à 9 participants) pour un suivi personnalisé
- Émargement par demi-journée et remise d'une attestation de formation
Moyens pédagogiques et techniques :
- Méthodes interactives et suivi des acquis : travaux pratiques, projet fil rouge, mises en situation, démonstrations, QCM…
- Les stagiaires doivent être équipés de leur matériel informatique pour suivre la formation, que ce soit dans nos locaux ou sur site externe.
- Les prérequis techniques seront communiqués aux apprenants en amont de la formation, lors de l'analyse des besoins, en fonction des spécificités de chaque client.
- Accessibilité: nous informons l'ensemble de nos clients et stagiaires que nous sommes dans la capacité d'adapter les sessions en cas de situations spécifiques. Nous nous engageons à répondre à toutes les demandes dans un délai de 48h ouvré.
Conditions et délais d'accès :
- Si l'une de nos formations vous intéresse, contactez-nous au +33 04 93 65 34 24 ou à l'adresse mail contact@le-code.dev. Selon votre besoin et vos attentes, nous organiserons un échange téléphonique avec le formateur pressenti afin d'adapter la formation et ses modules, puis nous vous adresserons un devis. Les dates de la formation seront à convenir sous 30 jours maximum.
- Concernant les formations Actions Collectives, l'inscription est possible jusqu'à 24h ouvrées avant le début de la formation.