Data Engineering
De la conception des pipelines à l'observabilité en production : 7 decks pour maîtriser l'ingénierie des données, de l'ingestion à la mise à disposition.
Les decks du domaine
7 decks pour maîtriser le Data Engineering
Questions fréquentes
FAQ — Data Engineering
Qu'est-ce que le Data Engineering ?
Le Data Engineering est la discipline qui consiste à concevoir, construire et opérer les systèmes de collecte, transformation et distribution des données. Un data engineer construit les pipelines qui alimentent les data analysts, data scientists et applications.
Quelle est la différence entre ETL et ELT ?
En ETL (Extract-Transform-Load), la transformation a lieu avant le chargement en base. En ELT (Extract-Load-Transform), les données brutes sont d'abord chargées dans le data warehouse, puis transformées en SQL. L'ELT est devenu dominant avec les entrepôts cloud (BigQuery, Snowflake, Redshift) qui peuvent transformer de très grands volumes.
Qu'est-ce qu'un Data Lakehouse ?
Le Lakehouse combine les avantages du Data Lake (stockage brut peu coûteux, formats ouverts) et du Data Warehouse (ACID, performance, gouvernance). Des formats comme Delta Lake, Apache Iceberg ou Apache Hudi permettent de requêter directement des données en format Parquet avec des garanties transactionnelles.
Quels outils faut-il connaître en Data Engineering ?
Les fondamentaux : SQL, Python, un orchestrateur (Airflow, Prefect, Dagster), un outil de transformation (dbt), et la maîtrise d'au moins un cloud (AWS, GCP ou Azure). Les stacks modernes ajoutent souvent Spark ou Flink pour le traitement à grande échelle.
Comment mémoriser ces concepts avec memia ?
Les 7 decks du domaine couvrent l'architecture, les pipelines, la modélisation, le batch/streaming, le stockage, la qualité et l'observabilité. Commencer par Architecture data (Fundamentals) puis progresser par learning track.
Accéder aux decks Data Engineering
7 decks, 295 cartes. Mémorisez les fondamentaux avec la répétition espacée.