[{"data":1,"prerenderedAt":45},["ShallowReactive",2],{"course-databricks-data-engineering":3,"highlight-sql-CREATE OR REFRESH ST":44},{"id":4,"name":5,"slug":6,"location":7,"targetAudienceFormatMarkdown":8,"prerequisitesFormatMarkdown":9,"objectivesFormatMarkdown":10,"descriptionFormatMarkdown":11,"teachingMethodsFormatMarkdown":12,"teachingResourcesFormatMarkdown":13,"evaluationMethodsFormatMarkdown":14,"accessibilityFormatMarkdown":15,"accessMethodsFormatMarkdown":16,"minimumParticipants":7,"maximumParticipants":7,"duration":17,"reference":18,"trainerType":7,"updated_at":19,"created_at":20,"price":21,"organizationMode":22,"theme":25,"code":29,"tags":34,"metadata":35},"/api/courses/0b16882d-b298-11f1-a993-d8ca06000363","Databricks : data engineering","databricks-data-engineering",null,"Ingénieurs données, architectes de données, développeurs décisionnels, responsables de plateformes analytiques.","Pratique de Python ou du langage SQL et connaissance des principes du traitement distribué.","Construire des pipelines de données fiables sur la plateforme Databricks.","--day1--\n\n## Plateforme et environnement de travail\n\n-   Architecture de la plateforme : plan de contrôle, plan de calcul, stockage\n-   Espaces de travail, carnets de notes, dépôts de code\n-   Grappes de calcul : types, dimensionnement, terminaison automatique\n-   Entrepôts SQL et usage analytique\n-   Organisation du travail en équipe\n-   Travaux pratiques : configuration de l'environnement et exécution des premiers traitements\n\n--break--\n\n## Tables transactionnelles et couches de données\n\n-   Format de table transactionnel : transactions, historique, évolution de schéma\n-   Organisation en couches de qualité croissante\n-   Opérations de fusion et de mise à jour\n-   Optimisation : compactage, ordonnancement des données, purge\n-   Voyage dans le temps et restauration de version\n-   Travaux pratiques : construction d'une architecture en couches avec tables transactionnelles\n\n--day2--\n\n## Ingestion et pipelines\n\n-   Ingestion incrémentale de fichiers et détection des nouveautés\n-   Ingestion en flux et traitement continu\n-   Pipelines déclaratifs : définition, dépendances, exécution\n-   Gestion des erreurs, quarantaine et reprise\n-   Idempotence et rejeu des traitements\n-   Travaux pratiques : construction d'un pipeline d'ingestion incrémentale de bout en bout\n\n--break--\n\n## Qualité et transformation\n\n-   Attentes de qualité déclarées et traitement des violations\n-   Transformations en SQL et en Python : choix selon le contexte\n-   Tests des transformations et jeux de données de référence\n-   Réconciliation et contrôles de cohérence\n-   Documentation des tables et des règles de gestion\n-   Travaux pratiques : mise en place de contrôles de qualité déclaratifs sur un pipeline existant\n\n--day3--\n\n## Orchestration, gouvernance et sécurité\n\n-   Tâches et flux de travail : planification, dépendances, alertes\n-   Catalogue unifié : hiérarchie, propriété, droits\n-   Lignage des données et traçabilité\n-   Sécurité : contrôle d'accès fin, masquage, isolation des environnements\n-   Partage de données avec des tiers\n-   Travaux pratiques : mise en place de la gouvernance et des droits sur un domaine de données\n\n--break--\n\n## Coûts, performance et exploitation\n\n-   Modèle de facturation et unités de consommation\n-   Dimensionnement des grappes et politiques d'arrêt automatique\n-   Optimisation des requêtes et des traitements coûteux\n-   Supervision de l'usage et attribution des coûts par équipe\n-   Bonnes pratiques d'exploitation et préparation à la certification (certification en option)\n-   Travaux pratiques : analyse de la consommation d'un espace de travail et plan d'optimisation","Présentiel, distanciel, hybride","Les supports pédagogiques sont remis aux stagiaires sous format numérique et/ou papier selon les modalités de la formation.\n\nIls comprennent des supports de cours, des présentations, des fiches pratiques, des études de cas, des exercices applicatifs ainsi que des QCM d’entraînement selon la formation. (adapté au choix du formateur)\n\nLes formations s’appuient sur des moyens techniques adaptés : ordinateurs, logiciels professionnels, connexion internet, écran ou vidéoprojecteur, ainsi que des outils collaboratifs et de visioconférence pour les formations à distance.\n\nL’ensemble des supports pédagogiques est accessible pendant et après la formation afin de favoriser l’appropriation et la mise en pratique des compétences acquises.","En amont de la formation, un recueil des besoins permet de récolter des informations sur le stagiaire et ses attentes. L’évaluation se fait en cours de formation, par des études de cas ou des travaux pratiques. En fin de formation, par un questionnaire d’auto-évaluation et/ou un examen.\n\nUn suivi de qualité est effectué grâce à nos sessions en groupe restreint (entre 2 et 9 participants maximum). Le stagiaire émargera par demi-journée et recevra une attestation de formation.","Nous informons l’ensemble de nos clients et stagiaires que nous sommes dans la capacité d’adapter les sessions selon les handicaps et les situations spécifiques. Nous nous engageons à répondre à toutes vos demandes sous un délai de 48h ouvré.","Si l’une de nos formations vous intéresse, contactez-nous au +33 4 93 65 34 24 ou à l’adresse mail contact@m2g-intellect.fr. Selon votre besoin et vos attentes, nous organiserons un échange téléphonique avec le formateur pressenti afin d’adapter la formation et ses modules, puis nous vous adresserons un devis.\n\nLes dates de la formation seront à convenir sous 30 jours maximum.","21.00","L1-DAT-19","2026-09-18T09:45:10+00:00","2026-09-17T15:02:31+00:00","2220.00",{"id":23,"name":24},"/api/organization_mode_types/6","HYBRID",{"id":26,"name":27,"slug":28},"/api/themes/0ac0e95d-b298-11f1-a993-d8ca06000363","Bases de données, outils décisionnels, Big Data et Cloud computing","bases-de-donnees-outils-decisionnels-big-data-et-cloud-computing",{"id":30,"label":31,"domain":32},"/api/training_specialities/163","326 - Informatique, traitement de l’information, réseaux de transmission des données",{"label":33},"32 - Communication et information",[],{"desc-accroche":36,"Description":37,"icon-color":38,"icon-name":39,"code-langage":40,"code-snippet":41,"courte-description":42,"titre-accroche":43},"Organisez une plateforme Databricks en couches Bronze, Silver et Gold, mettez en œuvre Delta Lake, orchestrez vos pipelines, contrôlez la qualité des données et maîtrisez les coûts d'une plateforme facturée à la consommation.","Databricks facilite l'industrialisation des pipelines de données, mais une plateforme mal architecturée en devient le poste de coût le plus difficile à maîtriser. Cette formation aborde l'organisation d'une plateforme Databricks en couches Bronze, Silver et Gold, la création de tables transactionnelles avec Delta Lake (historisation, time travel, optimisation des fichiers), l'orchestration des traitements avec Databricks Workflows et l'intégration avec des outils externes. La qualité et la gouvernance des données sont traitées via Unity Catalog, et une part de la formation est consacrée à la maîtrise des coûts : dimensionnement des clusters, autoscaling, choix entre clusters interactifs et jobs. Elle s'adresse aux ingénieurs données, architectes de données, développeurs décisionnels et responsables de plateformes exploitant des pipelines sur Databricks.","#FF3621","mdi:database-cog","sql","CREATE OR REFRESH STREAMING TABLE silver_ventes\nAS SELECT\n    id,\n    client,\n    montant,\n    date_vente\nFROM STREAM(bronze_ventes)\nWHERE montant > 0;\n\nOPTIMIZE silver_ventes\nZORDER BY (client);","Formation intermédiaire pour construire des pipelines de données fiables sur Databricks : architecture en couches, tables Delta, orchestration, gouvernance et maîtrise des coûts.","Construisez des pipelines de données fiables sur Databricks en structurant vos couches, vos tables transactionnelles et votre orchestration de bout en bout.","\u003Cpre class=\"hljs\">\u003Ccode class=\"language-sql\">\u003Cspan class=\"hljs-keyword\">CREATE\u003C/span> \u003Cspan class=\"hljs-keyword\">OR\u003C/span> REFRESH STREAMING \u003Cspan class=\"hljs-keyword\">TABLE\u003C/span> silver_ventes\n\u003Cspan class=\"hljs-keyword\">AS\u003C/span> \u003Cspan class=\"hljs-keyword\">SELECT\u003C/span>\n    id,\n    client,\n    montant,\n    date_vente\n\u003Cspan class=\"hljs-keyword\">FROM\u003C/span> STREAM(bronze_ventes)\n\u003Cspan class=\"hljs-keyword\">WHERE\u003C/span> montant \u003Cspan class=\"hljs-operator\">>\u003C/span> \u003Cspan class=\"hljs-number\">0\u003C/span>;\n\nOPTIMIZE silver_ventes\nZORDER \u003Cspan class=\"hljs-keyword\">BY\u003C/span> (client);\u003C/code>\u003C/pre>",1789717727849]