Dans vos locaux
Pour ancrer les apprentissages et encourager la dynamique collective.
Formation Data lake et lakehouse : formats ouverts
Structurez un data lake ou lakehouse durable en maîtrisant Parquet, ORC, Delta Lake, Iceberg et Hudi pour garantir gouvernance et performance à grande échelle.
Organisez votre lac de données en zones exploitables et choisissez les bons formats de fichiers et tables transactionnelles : Parquet, ORC, Delta Lake, Apache Iceberg, Apache Hudi, gouvernance des données et critères de sélection entre formats ouverts.
CREATE TABLE ventes (
id BIGINT,
client STRING,
montant DECIMAL(10,2),
date_vente DATE
)
USING DELTA
PARTITIONED BY (date_vente);
MERGE INTO ventes AS cible
USING maj AS source
ON cible.id = source.id
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *;Description
Un lac de données mal structuré devient rapidement un dépôt inexploitable où personne ne retrouve une donnée fiable. Cette formation aborde l'organisation d'un data lake en zones — brute, préparée, exploitable — et le choix des formats de fichiers colonnes comme Parquet et ORC pour l'analytique. Elle traite les tables transactionnelles en formats ouverts Delta Lake, Apache Iceberg et Apache Hudi : gestion des mises à jour et suppressions, du schéma et de ses évolutions, et critères concrets pour choisir entre ces formats selon l'écosystème de traitement (Spark, Trino, Flink). La gouvernance des données — catalogues, métadonnées, contrôle d'accès — est également couverte. Cette formation experte s'adresse aux architectes de données, ingénieurs données, responsables de plateformes analytiques et administrateurs de données concevant un lakehouse en production.
Les objectifs
Structurer un data lake ou un lakehouse et choisir les formats adaptés (Parquet, ORC, Iceberg, Delta).
Public visé
Architectes de données, ingénieurs données, responsables de plateformes analytiques, administrateurs de données.
Prérequis
Connaissance des architectures de données et du traitement distribué.
Le programme
Jour 1
Matinée
1. Du lac de données au lakehouse
- Promesses du lac de données et raisons fréquentes de son échec
- Organisation en zones de qualité croissante et règles de promotion
- Limites du stockage de fichiers bruts : cohérence, mise à jour, performance
- Architecture lakehouse : apports et positionnement
- Séparation du stockage et du calcul
- Travaux pratiques : conception de l'organisation en zones d'un lac de données
Après-midi
2. Formats de fichiers
- Formats ligne et colonne : conséquences sur la lecture et la compression
- Parquet : structure, compression, statistiques, élagage
- Formats de sérialisation et échange entre systèmes
- Partitionnement physique et problème des petits fichiers
- Mesure de l'impact des choix de format sur les performances
- Travaux pratiques : comparaison mesurée de formats et de partitionnements sur un même jeu de données
Jour 2
Matinée
3. Formats de tables transactionnelles
- Apports : transactions, évolution de schéma, voyage dans le temps, mises à jour
- Delta Lake, Apache Iceberg, Apache Hudi : architecture et différences
- Critères de choix et compatibilité avec les moteurs de calcul
- Opérations de maintenance : compactage, purge des versions, optimisation
- Interopérabilité entre formats et tendances du marché
- Travaux pratiques : mise en œuvre d'une table transactionnelle avec évolution de schéma et retour arrière
Après-midi
4. Gouvernance et exploitation
- Catalogue technique, métadonnées et découverte des données
- Contrôle d'accès fin et cloisonnement par domaine
- Lignage, qualité et contrats de données entre producteurs et consommateurs
- Cycle de vie, rétention et coûts de stockage
- Organisation décentralisée par domaine et gouvernance associée
- Travaux pratiques : définition des contrats de données et des règles de gouvernance d'un domaine
Dernière mise à jour : 18 septembre 2026
En présentiel ou à distance : à vous de choisir
En classe virtuelle
Pour allier flexibilité et interactions en temps réel avec le formateur.
Dans nos locaux
Pour favoriser la concentration, les échanges et le confort des apprenants.
Les modalités de formation
Suivi et évaluation :
- Recueil des besoins en amont pour identifier les attentes du stagiaire
- Évaluation continue : études de cas et travaux pratiques pendant la formation
- Évaluation finale : questionnaire d'auto-évaluation
Format et encadrement :
- Formation équilibrée alliant théorie et pratique (minimum 50%)
- Sessions en petits groupes (2 à 9 participants) pour un suivi personnalisé
- Émargement par demi-journée et remise d'une attestation de formation
Moyens pédagogiques et techniques :
- Méthodes interactives et suivi des acquis : travaux pratiques, projet fil rouge, mises en situation, démonstrations, QCM…
- Les stagiaires doivent être équipés de leur matériel informatique pour suivre la formation, que ce soit dans nos locaux ou sur site externe.
- Les prérequis techniques seront communiqués aux apprenants en amont de la formation, lors de l'analyse des besoins, en fonction des spécificités de chaque client.
- Accessibilité: nous informons l'ensemble de nos clients et stagiaires que nous sommes dans la capacité d'adapter les sessions en cas de situations spécifiques. Nous nous engageons à répondre à toutes les demandes dans un délai de 48h ouvré.
Conditions et délais d'accès :
- Si l'une de nos formations vous intéresse, contactez-nous au +33 04 93 65 34 24 ou à l'adresse mail contact@le-code.dev. Selon votre besoin et vos attentes, nous organiserons un échange téléphonique avec le formateur pressenti afin d'adapter la formation et ses modules, puis nous vous adresserons un devis. Les dates de la formation seront à convenir sous 30 jours maximum.
- Concernant les formations Actions Collectives, l'inscription est possible jusqu'à 24h ouvrées avant le début de la formation.