Dans vos locaux
Pour ancrer les apprentissages et encourager la dynamique collective.
Formation PySpark : traiter des données distribuées
Développez des traitements de données massives avec Apache Spark et PySpark pour transformer, agréger et optimiser des volumes distribués à grande échelle.
Manipulez des DataFrames Spark, écrivez des transformations distribuées, comprenez les mécanismes d'exécution (partitions, shuffle, plan d'exécution) et optimisez vos jobs PySpark avant d'écrire vers des formats analytiques comme Parquet.
from pyspark.sql import functions as F
df = spark.read.parquet("/data/ventes")
resultat = (
df.groupBy("region")
.agg(F.sum("montant").alias("total"))
.repartition(8, "region")
)
resultat.write.mode("overwrite").parquet("/data/agrege")Description
Écrire du code PySpark qui fonctionne est simple ; écrire du code PySpark qui passe à l'échelle sans exploser en production l'est beaucoup moins. Cette formation construit une compréhension du moteur Spark — partitions, exécution distribuée, plans d'exécution (DAG) et shuffle — avant d'aborder la manipulation de DataFrames : sélections, jointures, agrégations, fonctions fenêtrées et UDF. Les stagiaires apprennent à diagnostiquer les problèmes de performance courants (asymétrie de données, shuffle excessif, partitionnement inadapté) et à écrire les résultats vers des formats comme Parquet ou Delta Lake. Des travaux pratiques sur des jeux de données volumineux permettent de manipuler un cluster Spark réel. Cette formation intermédiaire s'adresse aux ingénieurs données, développeurs, analystes techniques et ingénieurs décisionnels développant des traitements PySpark.
Les objectifs
Développer des traitements de données massives avec Spark et PySpark.
Public visé
Ingénieurs données, développeurs, analystes techniques, ingénieurs décisionnels.
Prérequis
Pratique de Python et connaissance du langage SQL.
Le programme
Jour 1
Matinée
1. Architecture de Spark et prise en main
- Architecture : pilote, exécuteurs, gestionnaire de ressources
- Évaluation paresseuse, transformations et actions
- Modes d'exécution : local, grappe, plateforme managée
- Session Spark, configuration et lecture de données
- Premières manipulations de DataFrames
- Travaux pratiques : mise en place de l'environnement et premiers traitements sur un jeu de données réel
Après-midi
2. Transformations et API DataFrame
- Sélection, filtrage, colonnes calculées, expressions
- Agrégations et regroupements
- Jointures : types, stratégies d'exécution, jointure diffusée
- Fonctions de fenêtrage
- API SQL de Spark et interopérabilité avec l'API DataFrame
- Travaux pratiques : construction d'un traitement analytique complet sur données volumineuses
Jour 2
Matinée
3. Lecture, écriture et formats
- Sources et destinations : fichiers, bases, stockage objet
- Formats colonnes et compression
- Partitionnement à l'écriture et organisation des sorties
- Schémas : inférence, schéma explicite, évolution
- Écriture dans des tables transactionnelles
- Travaux pratiques : chaîne complète de lecture, transformation et écriture partitionnée
Après-midi
4. Performance et optimisation
- Plan d'exécution logique et physique, lecture du plan
- Partitions, parallélisme et dimensionnement des exécuteurs
- Redistribution des données : coût et réduction
- Déséquilibre de données et stratégies de correction
- Mise en cache, persistance et gestion de la mémoire
- Travaux pratiques : optimisation d'un traitement lent avec analyse du plan et mesure des gains
Jour 3
Matinée
5. Traitement en flux et cas avancés
- Traitement en flux structuré : principes et sources
- Fenêtrage temporel et données tardives
- Écriture en continu et garanties de livraison
- Fonctions définies par l'utilisateur et coût associé
- Traitement de données semi-structurées
- Travaux pratiques : mise en place d'un traitement en flux avec agrégation par fenêtre
Après-midi
6. Industrialisation
- Structuration d'un projet Spark et réutilisation du code
- Tests des traitements de données et jeux de données de test
- Ordonnancement, paramétrage et exécution planifiée
- Supervision des traitements et diagnostic des échecs
- Maîtrise des coûts d'exécution sur plateforme managée
- Travaux pratiques : industrialisation complète d'un traitement avec tests et ordonnancement
Dernière mise à jour : 18 septembre 2026
En présentiel ou à distance : à vous de choisir
En classe virtuelle
Pour allier flexibilité et interactions en temps réel avec le formateur.
Dans nos locaux
Pour favoriser la concentration, les échanges et le confort des apprenants.
Les modalités de formation
Suivi et évaluation :
- Recueil des besoins en amont pour identifier les attentes du stagiaire
- Évaluation continue : études de cas et travaux pratiques pendant la formation
- Évaluation finale : questionnaire d'auto-évaluation
Format et encadrement :
- Formation équilibrée alliant théorie et pratique (minimum 50%)
- Sessions en petits groupes (2 à 9 participants) pour un suivi personnalisé
- Émargement par demi-journée et remise d'une attestation de formation
Moyens pédagogiques et techniques :
- Méthodes interactives et suivi des acquis : travaux pratiques, projet fil rouge, mises en situation, démonstrations, QCM…
- Les stagiaires doivent être équipés de leur matériel informatique pour suivre la formation, que ce soit dans nos locaux ou sur site externe.
- Les prérequis techniques seront communiqués aux apprenants en amont de la formation, lors de l'analyse des besoins, en fonction des spécificités de chaque client.
- Accessibilité: nous informons l'ensemble de nos clients et stagiaires que nous sommes dans la capacité d'adapter les sessions en cas de situations spécifiques. Nous nous engageons à répondre à toutes les demandes dans un délai de 48h ouvré.
Conditions et délais d'accès :
- Si l'une de nos formations vous intéresse, contactez-nous au +33 04 93 65 34 24 ou à l'adresse mail contact@le-code.dev. Selon votre besoin et vos attentes, nous organiserons un échange téléphonique avec le formateur pressenti afin d'adapter la formation et ses modules, puis nous vous adresserons un devis. Les dates de la formation seront à convenir sous 30 jours maximum.
- Concernant les formations Actions Collectives, l'inscription est possible jusqu'à 24h ouvrées avant le début de la formation.