Dans vos locaux
Pour ancrer les apprentissages et encourager la dynamique collective.
Formation Databricks : data engineering
Construisez des pipelines de données fiables sur Databricks en structurant vos couches, vos tables transactionnelles et votre orchestration de bout en bout.
Organisez une plateforme Databricks en couches Bronze, Silver et Gold, mettez en œuvre Delta Lake, orchestrez vos pipelines, contrôlez la qualité des données et maîtrisez les coûts d'une plateforme facturée à la consommation.
CREATE OR REFRESH STREAMING TABLE silver_ventes
AS SELECT
id,
client,
montant,
date_vente
FROM STREAM(bronze_ventes)
WHERE montant > 0;
OPTIMIZE silver_ventes
ZORDER BY (client);Description
Databricks facilite l'industrialisation des pipelines de données, mais une plateforme mal architecturée en devient le poste de coût le plus difficile à maîtriser. Cette formation aborde l'organisation d'une plateforme Databricks en couches Bronze, Silver et Gold, la création de tables transactionnelles avec Delta Lake (historisation, time travel, optimisation des fichiers), l'orchestration des traitements avec Databricks Workflows et l'intégration avec des outils externes. La qualité et la gouvernance des données sont traitées via Unity Catalog, et une part de la formation est consacrée à la maîtrise des coûts : dimensionnement des clusters, autoscaling, choix entre clusters interactifs et jobs. Elle s'adresse aux ingénieurs données, architectes de données, développeurs décisionnels et responsables de plateformes exploitant des pipelines sur Databricks.
Les objectifs
Construire des pipelines de données fiables sur la plateforme Databricks.
Public visé
Ingénieurs données, architectes de données, développeurs décisionnels, responsables de plateformes analytiques.
Prérequis
Pratique de Python ou du langage SQL et connaissance des principes du traitement distribué.
Le programme
Jour 1
Matinée
1. Plateforme et environnement de travail
- Architecture de la plateforme : plan de contrôle, plan de calcul, stockage
- Espaces de travail, carnets de notes, dépôts de code
- Grappes de calcul : types, dimensionnement, terminaison automatique
- Entrepôts SQL et usage analytique
- Organisation du travail en équipe
- Travaux pratiques : configuration de l'environnement et exécution des premiers traitements
Après-midi
2. Tables transactionnelles et couches de données
- Format de table transactionnel : transactions, historique, évolution de schéma
- Organisation en couches de qualité croissante
- Opérations de fusion et de mise à jour
- Optimisation : compactage, ordonnancement des données, purge
- Voyage dans le temps et restauration de version
- Travaux pratiques : construction d'une architecture en couches avec tables transactionnelles
Jour 2
Matinée
3. Ingestion et pipelines
- Ingestion incrémentale de fichiers et détection des nouveautés
- Ingestion en flux et traitement continu
- Pipelines déclaratifs : définition, dépendances, exécution
- Gestion des erreurs, quarantaine et reprise
- Idempotence et rejeu des traitements
- Travaux pratiques : construction d'un pipeline d'ingestion incrémentale de bout en bout
Après-midi
4. Qualité et transformation
- Attentes de qualité déclarées et traitement des violations
- Transformations en SQL et en Python : choix selon le contexte
- Tests des transformations et jeux de données de référence
- Réconciliation et contrôles de cohérence
- Documentation des tables et des règles de gestion
- Travaux pratiques : mise en place de contrôles de qualité déclaratifs sur un pipeline existant
Jour 3
Matinée
5. Orchestration, gouvernance et sécurité
- Tâches et flux de travail : planification, dépendances, alertes
- Catalogue unifié : hiérarchie, propriété, droits
- Lignage des données et traçabilité
- Sécurité : contrôle d'accès fin, masquage, isolation des environnements
- Partage de données avec des tiers
- Travaux pratiques : mise en place de la gouvernance et des droits sur un domaine de données
Après-midi
6. Coûts, performance et exploitation
- Modèle de facturation et unités de consommation
- Dimensionnement des grappes et politiques d'arrêt automatique
- Optimisation des requêtes et des traitements coûteux
- Supervision de l'usage et attribution des coûts par équipe
- Bonnes pratiques d'exploitation et préparation à la certification (certification en option)
- Travaux pratiques : analyse de la consommation d'un espace de travail et plan d'optimisation
Dernière mise à jour : 18 septembre 2026
En présentiel ou à distance : à vous de choisir
En classe virtuelle
Pour allier flexibilité et interactions en temps réel avec le formateur.
Dans nos locaux
Pour favoriser la concentration, les échanges et le confort des apprenants.
Les modalités de formation
Suivi et évaluation :
- Recueil des besoins en amont pour identifier les attentes du stagiaire
- Évaluation continue : études de cas et travaux pratiques pendant la formation
- Évaluation finale : questionnaire d'auto-évaluation
Format et encadrement :
- Formation équilibrée alliant théorie et pratique (minimum 50%)
- Sessions en petits groupes (2 à 9 participants) pour un suivi personnalisé
- Émargement par demi-journée et remise d'une attestation de formation
Moyens pédagogiques et techniques :
- Méthodes interactives et suivi des acquis : travaux pratiques, projet fil rouge, mises en situation, démonstrations, QCM…
- Les stagiaires doivent être équipés de leur matériel informatique pour suivre la formation, que ce soit dans nos locaux ou sur site externe.
- Les prérequis techniques seront communiqués aux apprenants en amont de la formation, lors de l'analyse des besoins, en fonction des spécificités de chaque client.
- Accessibilité: nous informons l'ensemble de nos clients et stagiaires que nous sommes dans la capacité d'adapter les sessions en cas de situations spécifiques. Nous nous engageons à répondre à toutes les demandes dans un délai de 48h ouvré.
Conditions et délais d'accès :
- Si l'une de nos formations vous intéresse, contactez-nous au +33 04 93 65 34 24 ou à l'adresse mail contact@le-code.dev. Selon votre besoin et vos attentes, nous organiserons un échange téléphonique avec le formateur pressenti afin d'adapter la formation et ses modules, puis nous vous adresserons un devis. Les dates de la formation seront à convenir sous 30 jours maximum.
- Concernant les formations Actions Collectives, l'inscription est possible jusqu'à 24h ouvrées avant le début de la formation.