Data Engineering on Microsoft Azure (DP-203)

Algemene omschrijving

In deze DP-203 training leer je bijvoorbeeld hoe je dataoplossingen kunt ontwerpen, bouwen, onderhouden en hoe je eventuele problemen op kunt lossen met behulp van diverse Azure-diensten.

Door deze DP-203 training leer je de fijne kneepjes van Azure Data Services en dataopslagoplossingen. De DP-203 training omvat onderwerpen zoals Azure Data Lake, Azure Data Factory, en Azure Synapse Analytics. Je leert bijvoorbeeld hoe je betrouwbare data pipelines bouwt, gegevens in verschillende formaten opslaat, en grote datasets efficiënt verwerkt voor analyse.

Deze DP-203 training behandelt ook belangrijke aspecten zoals real-time verwerking van gegevens, het opzetten van data warehouses, en het implementeren van maatregelen om de veiligheid en privacy binnen Microsoft Azure te bewaren. Deze vaardigheden zijn cruciaal voor het effectief beheren en analyseren van grote datasets in de cloud.

Praktische kennis staat centraal in deze DP-203 training. Door middel van praktijkgerichte labs leer jij jouw verworven kennis direct in realistische situaties toe te passen. Dit versterkt niet alleen jouw begrip van de theorie, maar het bereidt jou ook voor op echte uitdagingen in de datawereld.

Doelgroep

Deze DP-203 training is zeer relevant voor data-professionals, data-architecten, en business intelligence-professionals, aangezien het hen voorziet van de benodigde geavanceerde kennis en vaardigheden voor het werken met complexe datastructuren en analyses binnen de Microsoft Azure-omgeving.

Ook is het relevant voor ICT-professionals en systeembeheerders die hun expertise in cloudtechnologieën en data engineering willen uitbreiden, vinden deze cursus bijzonder waardevol, vooral voor hen die willen overstappen naar cloudgebaseerde dataoplossingen.

Leerdoelen DP-203

Door deel te nemen aan deze data engineering training zul je de volgende kennis en vaardigheden verkrijgen:

• Onderzoeken van compute- en dataopties voor data engineering-werkzaamheden in Microsoft Azure.
• Uitvoeren van interactieve queries met gebruik van serverless SQL pools.
• Gegevensonderzoek en -transformatie in Azure Databricks.
• Onderzoeken, transformeren, en laden van gegevens in het Data Warehouse met behulp van Apache Spark.
• Ingesten en laden van gegevens in het Data Warehouse.
• Transformeren van gegevens met Azure Data Factory of Azure Synapse Pipelines.
• Integreren van gegevens uit Notebooks met Azure Data Factory of Azure Synapse Link.
• Uitvoeren van Hybrid Transactional Analytical Processing (HTAP) met Azure Synapse Link.
• End-to-end beveiliging toepassen met Azure Synapse Analytics.
• Real-time Stream Processing toepassen met Stream Analytics.
• Een Stream Processing-oplossing creëren met Event Hubs en Azure Databricks.

Voorkennis DP-203

Om optimaal deel te kunnen nemen aan deze DP-203 training, raden wij het volgende aan:

• Basiskennis van Microsoft Azure
  • Een fundamenteel begrip van de werking van Microsoft Azure is essentieel. Dit omvat kennis van basis Azure Services en het algemene concept van cloud computing.
  • Voor het leren van de basisbegrippen van Microsoft Azure raden wij de training Microsoft Azure Fundamentals (AZ-900) aan, of de training Microsoft Azure Data Fundamentals (DP-900).
• Ervaring in data engineering of gerelateerde kennis
  • De training is ontworpen voor deelnemers die al ervaring hebben in data engineering, databeheer, of een gerelateerd ICT-vakgebied. Dit helpt bij het begrijpen van complexe concepten die tijdens de training worden behandeld.
• Kennis van programmeertalen
  • Basiskennis van programmeertalen zoals SQL, Python, of Scala kan belangrijk zijn, aangezien deze vaak worden gebruikt in data engineering-projecten, vooral in omgevingen zoals Azure Databricks.
• Begrip van databases en dataopslag
  • Kennis van databases, dataopslagconcepten, en datamodelleren is vaak een vereiste. Dit helpt bij het begrijpen van hoe gegevens worden opgeslagen, verwerkt, en geanalyseerd binnen Microsoft Azure.

Onderwerpen DP-203

In de onderstaande lijst vind je alle kernonderwerpen die tijdens onze DP-203 training behandeld zullen worden.

DP-203 | Module 1: Verken compute- en opslagopties voor data-engineering workloads

Deze module biedt een overzicht van de compute- en opslagtechnologieën van Azure die beschikbaar zijn voor data-engineers bij het bouwen van analytische workloads. Deelnemers leren hoe ze een data lake kunnen structureren en de bestanden kunnen optimaliseren voor verkenning, streaming en batchverwerking.

Deelnemers leren het data lake te organiseren in verschillende niveaus van gegevensverfijning terwijl ze bestanden transformeren via batch- en streamverwerking. Vervolgens leren ze hoe ze indexen kunnen maken op datasets, zoals CSV-, JSON- en Parquet-bestanden, en hoe ze deze kunnen gebruiken voor mogelijke query- en workloadversnelling.

Onderwerpen:

• Introductie tot Azure Synapse Analytics.
• Beschrijving van Azure Databricks.
• Introductie tot Azure Data Lake-opslag.
• Beschrijving van Delta Lake-architectuur.
• Werken met datastromen met behulp van Azure Stream Analytics.

Lab: Verken compute- en opslagopties voor data-engineering workloads

• Combineer streaming en batchverwerking met een enkele pipeline.
• Organiseer het data lake in verschillende niveaus van bestandstransformatie.
• Indexeer data lake-opslag voor query- en workloadversnelling.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Azure Synapse Analytics te beschrijven.
• Azure Databricks te beschrijven.
• Azure Data Lake-opslag te beschrijven.
• Delta Lake-architectuur te beschrijven.
• Azure Stream Analytics te beschrijven.

DP-203 | Module 2: Interactieve queries uitvoeren met Azure Synapse Analytics serverless SQL-pools

In deze module van de DP-203 training leren deelnemers hoe ze kunnen werken met bestanden die zijn opgeslagen in het data lake en externe bestandsbronnen, via T-SQL-uitspraken die worden uitgevoerd door een serverless SQL-pool in Azure Synapse Analytics. Deelnemers zullen Parquet-bestanden in een data lake en CSV-bestanden in een externe gegevensopslag opvragen. Vervolgens maken ze Azure Active Directory-beveiligingsgroepen en handhaven ze toegang tot bestanden in het data lake via op rollen gebaseerde toegangscontrole (RBAC) en toegangscontrolelijsten (ACL's).

Onderwerpen:

• Verken de mogelijkheden van serverless SQL-pools in Azure Synapse.
• Query gegevens in het data lake met behulp van serverless SQL-pools in Azure Synapse.
• Maak metadata-objecten in serverless SQL-pools in Azure Synapse.
• Beveilig gegevens en beheer gebruikers in serverless SQL-pools in Azure Synapse.

Lab: Interactieve queries uitvoeren met serverless SQL-pools

• Query Parquet-gegevens met serverless SQL-pools.
• Externe tabellen maken voor Parquet- en CSV-bestanden.
• Views maken met serverless SQL-pools.
• Toegang tot gegevens in een data lake beveiligen met behulp van serverless SQL-pools.
• Data lake-beveiliging configureren met behulp van Role-Based Access Control (RBAC) en Access Control List (ACL).

Na het afronden van deze module zullen deelnemers in staat zijn om:

• De mogelijkheden van serverless SQL-pools in Azure Synapse te begrijpen.
• Gegevens in het data lake opvragen met behulp van serverless SQL-pools in Azure Synapse.
• Metadata-objecten maken in serverless SQL-pools in Azure Synapse.
• Gegevens beveiligen en gebruikers beheren in serverless SQL-pools in Azure Synapse.

DP-203 | Module 3: Data verkennen en transformeren in Azure Databricks

Deze module leert deelnemers hoe ze verschillende Apache Spark DataFrame-methoden kunnen gebruiken om gegevens in Azure Databricks te verkennen en te transformeren. Deelnemers leren standaard DataFrame-methoden gebruiken om gegevens te verkennen en te transformeren. Ze leren ook geavanceerdere taken uit te voeren, zoals het verwijderen van dubbele gegevens, het manipuleren van datum-/tijdwaarden, het hernoemen van kolommen en het aggregeren van gegevens.

Onderwerpen:

• Beschrijving van Azure Databricks.
• Gegevens lezen en schrijven in Azure Databricks.
• Werken met DataFrames in Azure Databricks.
• Werken met geavanceerde DataFrame-methoden in Azure Databricks.

Lab: Data verkennen en transformeren in Azure Databricks

• Gebruik DataFrames in Azure Databricks om gegevens te verkennen en te filteren.
• Cache een DataFrame voor snellere volgende queries.
• Dubbele gegevens verwijderen.
• Datum-/tijdwaarden manipuleren.
• Kolommen in DataFrame verwijderen en hernoemen.
• Gegevens in een DataFrame aggregeren.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Azure Databricks te beschrijven.
• Gegevens te lezen en schrijven in Azure Databricks.
• Werken met DataFrames in Azure Databricks.
• Werken met geavanceerde DataFrame-methoden in Azure Databricks.

DP-203 | Module 4: Gegevens verkennen, transformeren en laden in het Data Warehouse met Apache Spark

Deze module leert deelnemers hoe ze gegevens die zijn opgeslagen in een data lake kunnen verkennen, transformeren en laden in een relationele gegevensopslag. Deelnemers verkennen Parquet- en JSON-bestanden en gebruiken technieken om JSON-bestanden met hiërarchische structuren te queryen en transformeren. Vervolgens gebruiken ze Apache Spark om gegevens in het data warehouse te laden en Parquet-gegevens in het data lake te combineren met gegevens in de dedicated SQL-pool.

Onderwerpen:

• Inzicht in big data engineering met Apache Spark in Azure Synapse Analytics.
• Gegevens opnemen met Apache Spark-notebooks in Azure Synapse Analytics.
• Gegevens transformeren met DataFrames in Apache Spark Pools in Azure Synapse Analytics.
• SQL en Apache Spark-pools integreren in Azure Synapse Analytics.

Lab: Gegevens verkennen, transformeren en laden in het Data Warehouse met Apache Spark

• Data verkennen in Synapse Studio.
• Gegevens opnemen met Spark-notebooks in Azure Synapse Analytics.
• Gegevens transformeren met DataFrames in Spark Pools in Azure Synapse Analytics.
• SQL en Spark Pools integreren in Azure Synapse Analytics.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Big data engineering met Apache Spark in Azure Synapse Analytics te beschrijven, zoals vereist voor de code van de training DP-203.
• Gegevens op te nemen met Apache Spark-notebooks in Azure Synapse Analytics.
• Gegevens te transformeren met DataFrames in Spark Pools in Azure Synapse Analytics.
• SQL en Apache Spark-pools te integreren in Azure Synapse Analytics.

DP-203 | Module 5: Gegevens opnemen en laden in het data warehouse

Deze module leert deelnemers hoe ze gegevens in het data warehouse kunnen opnemen via T-SQL-scripts en Synapse Analytics-integratiepipelines. Deelnemers leren hoe ze gegevens kunnen laden in dedicated SQL-pools van Synapse met PolyBase en COPY met T-SQL. Ze leren ook hoe ze workloadbeheer kunnen gebruiken samen met een kopieeractiviteit in een Azure Synapse-pipeline voor gegevensopname op petabyteschaal.

Onderwerpen:

• Gebruik best practices voor gegevensopname in Azure Synapse Analytics.
• Gegevensopname op petabyteschaal met Azure Data Factory.

Lab: Gegevens opnemen en laden in het Data Warehouse

• Gegevensopname op petabyteschaal uitvoeren met Azure Synapse Pipelines.
• Gegevens importeren met PolyBase en COPY met T-SQL.
• Best practices voor gegevensopname toepassen in Azure Synapse Analytics.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Best practices voor gegevensopname toe te passen in Azure Synapse Analytics.
• Gegevensopname op petabyteschaal uit te voeren met Azure Data Factory.

DP-203 | Module 6: Gegevens transformeren met Azure Data Factory of Azure Synapse Pipelines

Deze module leert deelnemers hoe ze data-integratiepipelines kunnen bouwen om gegevens uit meerdere bronnen op te nemen, gegevens te transformeren met behulp van mapping data flows en gegevens te verplaatsen naar een of meer gegevensbestemmingen. Ze leren hoe ze code-vrije transformaties op schaal kunnen uitvoeren met Azure Data Factory of Azure Synapse Pipelines.

Onderwerpen:

• Data-integratie met Azure Data Factory of Azure Synapse Pipelines.
• Code-vrije transformatie op schaal met Azure Data Factory of Azure Synapse Pipelines.

Lab: Gegevens transformeren met Azure Data Factory of Azure Synapse Pipelines

• Code-vrije transformaties op schaal uitvoeren met Azure Synapse Pipelines.
• Een datapipeline maken om slecht geformatteerde CSV-bestanden te importeren.
• Mapping Data Flows maken.

Na het afronden van deze module van de DP-203 training zullen deelnemers in staat zijn om:

• Data-integratie uit te voeren met Azure Data Factory.
• Code-vrije transformaties op schaal uit te voeren met Azure Data Factory.

DP-203 | Module 7: Gegevensverplaatsing en transformatie orkestreren in Azure Synapse Pipelines

In deze module leren deelnemers hoe ze gekoppelde services kunnen maken en gegevensverplaatsing en -transformatie kunnen orkestreren met behulp van notebooks in Azure Synapse Pipelines. Ze leren hoe ze gegevens uit notebooks kunnen integreren met Azure Data Factory of Azure Synapse Pipelines om een efficiënte workflow te creëren voor data-engineering.

Onderwerpen:

• Gegevensverplaatsing en -transformatie orkestreren in Azure Data Factory.

Lab: Gegevensverplaatsing en -transformatie orkestreren in Azure Synapse Pipelines

• Gegevens uit notebooks integreren met Azure Data Factory of Azure Synapse Pipelines.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Gegevensverplaatsing en -transformatie te orkestreren in Azure Synapse Pipelines.

DP-203 | Module 8: End-to-end beveiliging met Azure Synapse Analytics

In deze module van de DP-203 training  leren deelnemers hoe ze een Synapse Analytics-werkruimte en de ondersteunende infrastructuur kunnen beveiligen. Deelnemers leren de SQL Active Directory-beheerder te configureren, IP-firewallregels te beheren, geheimen te beheren met Azure Key Vault en toegang te krijgen tot deze geheimen via een gekoppelde service en pipeline-activiteiten in Key Vault. Ze begrijpen hoe ze kolomniveau-beveiliging, rijniveau-beveiliging en dynamische gegevensmaskering kunnen implementeren bij het gebruik van dedicated SQL-pools.

Onderwerpen:

• Beveilig een datawarehouse in Azure Synapse Analytics.
• Configureer en beheer geheimen in Azure Key Vault.
• Implementeer nalevingscontroles voor gevoelige gegevens.

Lab: End-to-end beveiliging met Azure Synapse Analytics

• Beveilig de ondersteunende infrastructuur van Azure Synapse Analytics.
• Beveilig de Azure Synapse Analytics-werkruimte en beheerde services.
• Beveilig werkruimtegegevens van Azure Synapse Analytics.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Een datawarehouse te beveiligen in Azure Synapse Analytics.
• Geheimen te configureren en beheren in Azure Key Vault.
• Nalevingscontroles voor gevoelige gegevens te implementeren.

DP-203 | Module 9: Ondersteun Hybrid Transactional Analytical Processing (HTAP) met Azure Synapse Link

In deze module leren deelnemers hoe Azure Synapse Link naadloze connectiviteit biedt van een Azure Cosmos DB-account naar een Synapse-werkruimte. Deelnemers leren hoe ze Synapse Link kunnen inschakelen en configureren en hoe ze de analytische opslag van Azure Cosmos DB kunnen queryen met behulp van Apache Spark en SQL serverless functies.

Onderwerpen:

• Ontwerp hybride transactionele en analytische verwerking met Azure Synapse Analytics.
• Configureer Azure Synapse Link met Azure Cosmos DB.
• Query Azure Cosmos DB met Apache Spark-pools.
• Query Azure Cosmos DB met serverless SQL-pools.

Lab: Ondersteun Hybrid Transactional Analytical Processing (HTAP) met Azure Synapse Link

• Configureer Azure Synapse Link met Azure Cosmos DB.
• Query Azure Cosmos DB met Apache Spark voor Synapse Analytics.
• Query Azure Cosmos DB met serverless SQL-pools voor Azure Synapse Analytics.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Hybride transactionele en analytische verwerking te ontwerpen met Azure Synapse Analytics.
• Azure Synapse Link te configureren met Azure Cosmos DB.
• Azure Cosmos DB te queryen met Apache Spark voor Synapse Analytics.
• Azure Cosmos DB te queryen met serverless SQL voor Azure Synapse Analytics.

DP-203 | Module 10: Realtime Stream Processing met Stream Analytics

In deze module van de DP-203 training leren deelnemers hoe ze streaminggegevens kunnen verwerken met Azure Stream Analytics. Ze zullen voertuigtelemetriegegevens opnemen in Event Hubs en deze in realtime verwerken met behulp van verschillende vensterfuncties in Azure Stream Analytics. Vervolgens sturen ze de verwerkte gegevens door naar Azure Synapse Analytics en ontdekken ze hoe ze de Stream Analytics-taak kunnen opschalen om de doorvoer te optimaliseren.

Onderwerpen:

• Betrouwbare berichtenverwerking inschakelen voor Big Data-applicaties met behulp van Azure Event Hubs.
• Werken met datastromen met behulp van Azure Stream Analytics.
• Gegevensstromen opnemen met Azure Stream Analytics.

Lab: Realtime Stream Processing met Stream Analytics

• Gebruik Stream Analytics om realtime gegevens van Event Hubs te verwerken.
• Gebruik Stream Analytics-vensterfuncties om aggregaten te maken en uit te voeren naar Synapse Analytics.
• Schaal de Azure Stream Analytics-taak om de doorvoer te vergroten via partitionering.
• Repartitioneer de streaminput om de parallelisatie te optimaliseren.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Betrouwbare berichtenverwerking in te schakelen voor Big Data-applicaties met behulp van Azure Event Hubs.
• Werken met datastromen met behulp van Azure Stream Analytics.
• Gegevensstromen op te nemen met Azure Stream Analytics.

DP-203 | Module 11: Een oplossing voor streamverwerking maken met Event Hubs en Azure Databricks

In deze module leren deelnemers hoe ze streaminggegevens op schaal kunnen opnemen en verwerken met Event Hubs en Spark Structured Streaming in Azure Databricks. Ze leren over de belangrijkste kenmerken en toepassingen van Structured Streaming. Deelnemers zullen schuifvensters implementeren om gegevens te aggregeren over gegevenssegmenten en watermarking toepassen om verouderde gegevens te verwijderen. Tot slot verbinden ze zich met Event Hubs om streams te lezen en te schrijven.

Onderwerpen:

• Streaminggegevens verwerken met Azure Databricks Structured Streaming.

Lab DP-203: Een oplossing voor streamverwerking maken met Event Hubs en Azure Databricks

• Belangrijkste kenmerken en toepassingen van Structured Streaming verkennen.
• Gegevens streamen vanuit een bestand en deze schrijven naar een gedistribueerd bestandssysteem.
• Schuifvensters gebruiken om te aggregeren over gegevenssegmenten in plaats van alle gegevens.
• Watermarking toepassen om verouderde gegevens te verwijderen.
• Verbinding maken met Event Hubs om streams te lezen en te schrijven.

Na het afronden van deze module in de DP-203 training zullen deelnemers in staat zijn om:

• Streaminggegevens te verwerken met Azure Databricks Structured Streaming.