Intermediate Python voor Data Engineers

Algemene omschrijving

In de training Intermediate Python voor Data Engineers leer je hoe je veelvoorkomende Data Engineering-taken in Python uitvoert: van het inladen van veelvoorkomende bestandsformaten tot het ontsluiten van API's en het opslaan en later inladen van Python-objecten (zoals getrainde Machine Learning-modellen). Na afloop kun je Python effectief inzetten om op willekeurige plekken scripts te schrijven voor dataverwerken, bijvoorbeeld in Databricks of Azure Functions.

Doelgroep

De training Intermediate Python voor Data Engineers is gericht op Data Engineers, data-analisten en Data Scientists die data effectief willen kunnen verwerken. Qua cloudgebruik richten we ons op Azure, maar de manieren van werken zijn niet Azure-specifiek: ook deelnemers die meer on-premises, in private clouds of op andere public clouds werken (bijv. AWS, GCP of Oracle Cloud) hebben veel aan deze training.

Na afloop van de cursus kun je Python-scripts schrijven om data te ontsluiten en verwerken uit diverse bronnen. Hierbij ligt de focus op het inladen, opslaan en doorvoeren van complexere bronnen, API's en bestandsformaten.

Leerdoelen

We werken gedurende twee dagen met veel hands-on opdrachten in Python. Na afloop heb je de volgende leerdoelen bereikt:

• Complexe(re) bestanden kunnen verwerken, zoals geneste JSON-bestanden, XML en Parquet
• Begrijpen hoe filesystems in Windows- en Linux-omgevingen afwijken
• Bestanden kunnen kopiëren en verplaatsen
• Weten wanneer zaken binnen Python of beter binnen een shell-omgeving uitgevoerd moeten worden
• Pickle kunnen gebruiken om Python-objecten zoals getrainde ML-modellen of verwerkte Data Frames op te slaan op een Data Lake of schijf.
• Kunnen lezen en schrijven naar een Azure Data Lake met behulp van de Azure modules
• API's kunnen ontsluiten en slimme manieren weten om dit op grotere schaal te kunnen doen
• Logging toepassen om gedurende de uitvoer van je programmacode op een gestructureerde manier de voortgang te monitoren en aan te sluiten bij bestaande logging-oplossingen.

Voorkennis

Voor deze training is ervaring met Python een vereiste. We verwachten dat je minimaal de volgende zaken al onder de knie hebt:

• Inlezen van eenvoudige CSV-bestanden.
• Modules in Python inladen en gebruiken.
• Eenvoudige databewerkingen doen met DataFrames, bijvoorbeeld in Pandas, Koalas of PySpark.

Onderwerpen

• API's ontsluiten in Python
• De requests module
• Verwerken van nested JSON
• Verwerken van XML
• Omgaan met Azure Data Lake Storage
• Pickle: Objecten, Dataframes en ML modellen opslaan in bestanden
• File system operations: glob, os, pathlib en het kopiëren van bestanden
• Logging