Data Engineering on Microsoft Azure (DP-203) Zelfstudiepakket

Algemene omschrijving

The DP-203 E-Learning is entirely in English. As a Dutch IT training provider, we offer the information on this page in Dutch. At the bottom of the page, you will find a brief summary in English. The topics within the DP-203 E-Learning package itself are described in English.

De DP-203 E-Learning biedt diepgaande theorie en praktische opdrachten voor professionals die uit willen blinken in data engineering binnen Microsoft Azure. Met de nadruk op batch- en gelijktijdige analytische oplossingen leer je hoe jij krachtige systemen kunt ontwikkelen met behulp van de technieken binnen Azure Data Platform. Van het onderzoeken van data in een data lake tot het beveiligen van gegevens tijdens verwerking en opslag, de DP-203 E-Learning biedt jou alle kennis en vaardigheden die jij nodig hebt.

Verder bestaat de DP-203 E-Learning uit het DP-203 cursusmateriaal, een interactieve labomgeving, een MeasureUp oefenexamen en een DP-203 examenvoucher. Hierdoor zul je een grondige voorbereiding krijgen op het DP-203 examen. Door de DP-203 E-Learning door te nemen, leer je hoe jij gegevens kunt laden, transformeren en analyseren met behulp van hulpmiddelen als Azure Synapse Analytics, Databricks en Data Factory. Daarnaast krijg jij de gelegenheid om binnen een periode van 180 dagen te oefenen met praktische oefeningen binnen een labomgeving waarin realistische situaties worden nagebootst. Bij deze labs kun je de modules slechts één keer uitvoeren. Begin pas aan een module als je voldoende tijd hebt om de labopdracht af te maken.

De DP-203 E-Learning is ontworpen om jou te helpen met het ontwikkelen van analytische oplossingen die klaar zijn voor de uitdagingen van vandaag en morgen. Of je nu een data engineer, data-analist of ICT-professional bent, de DP-203 E-Learning stelt jou in staat om een essentiële rol te spelen binnen organisaties die afhankelijk zijn van datagestuurde inzichten.

Doelgroep

De DP-203 E-Learning is geschikt voor verschillende professionals die zich willen specialiseren in data engineering en analytische oplossingen binnen Microsoft Azure.

Dit betreft met name de volgende mensen:

• Data Engineers die analytische systemen willen ontwerpen en ontwikkelen met behulp van hulpmiddelen binnen Microsoft Azure, zoals Synapse Analytics, Databricks en Data Factory.
• Data-analisten die interactieve en efficiënte analyses uit willen voeren op grote datasets binnen een Azure-omgeving.
• ICT-professionals die hun kennis van data engineering uit willen breiden en praktische vaardigheden willen verkrijgen in Azure-technologieën.
• Beginnende en ervaren dataspecialisten die hun kennis en vaardigheden op het gebied van Microsoft Azure willen verdiepen en certificeren.
• Prodessionals die in sectoren werken met grootschalige datagestuurde oplossingen en inzichten, zoals:
  • ICT.
  • Consultancy.
  • Data-analyse.

Wat is inbegrepen

De DP-203 E-Learning biedt jou een volledig pakket aan leermiddelen en ondersteuning om je optimaal voor te bereiden op het DP-203 examen.

Hier is een overzicht van de inhoud van de DP-203 E-Learning:

• DP-203 cursusmateriaal
  • Het DP-203 cursusmateriaal bestaat uit diepgaande theorie over data engineering en analytische oplossingen binnen Microsoft Azure.
• Interactieve labopdrachten
  • Verkrijg 180 dagen lang toegang tot realistische labopdrachten waarin je praktische vaardigheden op kunt doen.
  • Let op: modules kunnen slechts één keer uitgevoerd worden, dus plan voldoende tijd in.
• MeasureUp oefenexamen
  • Oefen door middel van een MeasureUp oefenexamen waarmee jij jouw kennis kunt toetsen en optimaal kunt voorbereiden op het DP-203 examen.
• DP-203 examenvoucher
  • Inclusief een DP-203 examenvoucher om het DP-203-examen af te leggen en de DP-203 certificering te behalen.

Voorkennis

Om optimaal te beginnen met de DP-203 E-Learning, raden wij aan dat jij beschikt over de volgende kennis en vaardigheden:

• 1. Je hebt Basiskennis van Microsoft Azure
  • Een fundamenteel begrip van de werking van Microsoft Azure is essentieel. Dit omvat kennis van basis Azure Services en het algemene concept van cloud computing. Voor het leren van de basisbegrippen van Microsoft Azure raden wij de AZ-900 E-Learning en/of de DP-900 E-Learning aan.
• 2. Je hebt ervaring in data engineering of gerelateerde kennis
  • De DP-203 E-Learning is ontworpen voor deelnemers die enige ervaring hebben in data engineering, databeheer, of een gerelateerd ICT-vakgebied. Dit helpt bij het begrijpen van complexe principes die in de DP-203 E-Learning worden behandeld.
• 3. Je hebt basiskennis van programmeertalen
  • Basiskennis van programmeertalen zoals SQL, Python, of Scala kan belangrijk zijn, aangezien deze vaak worden gebruikt in data engineering-projecten, vooral in omgevingen zoals Azure Databricks.
• 4 Je hebt basiskennis over databases en dataopslag
  • Om te beginnen met de DP-203 E-Learning is basiskennis van databases, dataopslag en datamodelleren vaak een vereiste. Dit helpt bij het begrijpen van hoe gegevens worden opgeslagen, verwerkt, en geanalyseerd binnen Microsoft Azure.

Onderwerpen

In de onderstaande lijst vind je alle kernonderwerpen die tijdens onze DP-203 training behandeld zullen worden.

DP-203 | Module 1: Verken compute- en opslagopties voor data-engineering workloads

Deze module biedt een overzicht van de compute- en opslagtechnologieën van Azure die beschikbaar zijn voor data-engineers bij het bouwen van analytische workloads. Deelnemers leren hoe ze een data lake kunnen structureren en de bestanden kunnen optimaliseren voor verkenning, streaming en batchverwerking.

Deelnemers leren het data lake te organiseren in verschillende niveaus van gegevensverfijning terwijl ze bestanden transformeren via batch- en streamverwerking. Vervolgens leren ze hoe ze indexen kunnen maken op datasets, zoals CSV-, JSON- en Parquet-bestanden, en hoe ze deze kunnen gebruiken voor mogelijke query- en workloadversnelling.

Onderwerpen:

• Introductie tot Azure Synapse Analytics.
• Beschrijving van Azure Databricks.
• Introductie tot Azure Data Lake-opslag.
• Beschrijving van Delta Lake-architectuur.
• Werken met datastromen met behulp van Azure Stream Analytics.

Lab: Verken compute- en opslagopties voor data-engineering workloads

• Combineer streaming en batchverwerking met een enkele pipeline.
• Organiseer het data lake in verschillende niveaus van bestandstransformatie.
• Indexeer data lake-opslag voor query- en workloadversnelling.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Azure Synapse Analytics te beschrijven.
• Azure Databricks te beschrijven.
• Azure Data Lake-opslag te beschrijven.
• Delta Lake-architectuur te beschrijven.
• Azure Stream Analytics te beschrijven.

DP-203 | Module 2: Interactieve queries uitvoeren met Azure Synapse Analytics serverless SQL-pools

In deze module van de DP-203 training leren deelnemers hoe ze kunnen werken met bestanden die zijn opgeslagen in het data lake en externe bestandsbronnen, via T-SQL-uitspraken die worden uitgevoerd door een serverless SQL-pool in Azure Synapse Analytics. Deelnemers zullen Parquet-bestanden in een data lake en CSV-bestanden in een externe gegevensopslag opvragen. Vervolgens maken ze Azure Active Directory-beveiligingsgroepen en handhaven ze toegang tot bestanden in het data lake via op rollen gebaseerde toegangscontrole (RBAC) en toegangscontrolelijsten (ACL's).

Onderwerpen:

• Verken de mogelijkheden van serverless SQL-pools in Azure Synapse.
• Query gegevens in het data lake met behulp van serverless SQL-pools in Azure Synapse.
• Maak metadata-objecten in serverless SQL-pools in Azure Synapse.
• Beveilig gegevens en beheer gebruikers in serverless SQL-pools in Azure Synapse.

Lab: Interactieve queries uitvoeren met serverless SQL-pools

• Query Parquet-gegevens met serverless SQL-pools.
• Externe tabellen maken voor Parquet- en CSV-bestanden.
• Views maken met serverless SQL-pools.
• Toegang tot gegevens in een data lake beveiligen met behulp van serverless SQL-pools.
• Data lake-beveiliging configureren met behulp van Role-Based Access Control (RBAC) en Access Control List (ACL).

Na het afronden van deze module zullen deelnemers in staat zijn om:

• De mogelijkheden van serverless SQL-pools in Azure Synapse te begrijpen.
• Gegevens in het data lake opvragen met behulp van serverless SQL-pools in Azure Synapse.
• Metadata-objecten maken in serverless SQL-pools in Azure Synapse.
• Gegevens beveiligen en gebruikers beheren in serverless SQL-pools in Azure Synapse.

DP-203 | Module 3: Data verkennen en transformeren in Azure Databricks

Deze module leert deelnemers hoe ze verschillende Apache Spark DataFrame-methoden kunnen gebruiken om gegevens in Azure Databricks te verkennen en te transformeren. Deelnemers leren standaard DataFrame-methoden gebruiken om gegevens te verkennen en te transformeren. Ze leren ook geavanceerdere taken uit te voeren, zoals het verwijderen van dubbele gegevens, het manipuleren van datum-/tijdwaarden, het hernoemen van kolommen en het aggregeren van gegevens.

Onderwerpen:

• Beschrijving van Azure Databricks.
• Gegevens lezen en schrijven in Azure Databricks.
• Werken met DataFrames in Azure Databricks.
• Werken met geavanceerde DataFrame-methoden in Azure Databricks.

Lab: Data verkennen en transformeren in Azure Databricks

• Gebruik DataFrames in Azure Databricks om gegevens te verkennen en te filteren.
• Cache een DataFrame voor snellere volgende queries.
• Dubbele gegevens verwijderen.
• Datum-/tijdwaarden manipuleren.
• Kolommen in DataFrame verwijderen en hernoemen.
• Gegevens in een DataFrame aggregeren.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Azure Databricks te beschrijven.
• Gegevens te lezen en schrijven in Azure Databricks.
• Werken met DataFrames in Azure Databricks.
• Werken met geavanceerde DataFrame-methoden in Azure Databricks.

DP-203 | Module 4: Gegevens verkennen, transformeren en laden in het Data Warehouse met Apache Spark

Deze module leert deelnemers hoe ze gegevens die zijn opgeslagen in een data lake kunnen verkennen, transformeren en laden in een relationele gegevensopslag. Deelnemers verkennen Parquet- en JSON-bestanden en gebruiken technieken om JSON-bestanden met hiërarchische structuren te queryen en transformeren. Vervolgens gebruiken ze Apache Spark om gegevens in het data warehouse te laden en Parquet-gegevens in het data lake te combineren met gegevens in de dedicated SQL-pool.

Onderwerpen:

• Inzicht in big data engineering met Apache Spark in Azure Synapse Analytics.
• Gegevens opnemen met Apache Spark-notebooks in Azure Synapse Analytics.
• Gegevens transformeren met DataFrames in Apache Spark Pools in Azure Synapse Analytics.
• SQL en Apache Spark-pools integreren in Azure Synapse Analytics.

Lab: Gegevens verkennen, transformeren en laden in het Data Warehouse met Apache Spark

• Data verkennen in Synapse Studio.
• Gegevens opnemen met Spark-notebooks in Azure Synapse Analytics.
• Gegevens transformeren met DataFrames in Spark Pools in Azure Synapse Analytics.
• SQL en Spark Pools integreren in Azure Synapse Analytics.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Big data engineering met Apache Spark in Azure Synapse Analytics te beschrijven, zoals vereist voor de code van de training DP-203.
• Gegevens op te nemen met Apache Spark-notebooks in Azure Synapse Analytics.
• Gegevens te transformeren met DataFrames in Spark Pools in Azure Synapse Analytics.
• SQL en Apache Spark-pools te integreren in Azure Synapse Analytics.

DP-203 | Module 5: Gegevens opnemen en laden in het data warehouse

Deze module leert deelnemers hoe ze gegevens in het data warehouse kunnen opnemen via T-SQL-scripts en Synapse Analytics-integratiepipelines. Deelnemers leren hoe ze gegevens kunnen laden in dedicated SQL-pools van Synapse met PolyBase en COPY met T-SQL. Ze leren ook hoe ze workloadbeheer kunnen gebruiken samen met een kopieeractiviteit in een Azure Synapse-pipeline voor gegevensopname op petabyteschaal.

Onderwerpen:

• Gebruik best practices voor gegevensopname in Azure Synapse Analytics.
• Gegevensopname op petabyteschaal met Azure Data Factory.

Lab: Gegevens opnemen en laden in het Data Warehouse

• Gegevensopname op petabyteschaal uitvoeren met Azure Synapse Pipelines.
• Gegevens importeren met PolyBase en COPY met T-SQL.
• Best practices voor gegevensopname toepassen in Azure Synapse Analytics.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Best practices voor gegevensopname toe te passen in Azure Synapse Analytics.
• Gegevensopname op petabyteschaal uit te voeren met Azure Data Factory.

DP-203 | Module 6: Gegevens transformeren met Azure Data Factory of Azure Synapse Pipelines

Deze module leert deelnemers hoe ze data-integratiepipelines kunnen bouwen om gegevens uit meerdere bronnen op te nemen, gegevens te transformeren met behulp van mapping data flows en gegevens te verplaatsen naar een of meer gegevensbestemmingen. Ze leren hoe ze code-vrije transformaties op schaal kunnen uitvoeren met Azure Data Factory of Azure Synapse Pipelines.

Onderwerpen:

• Data-integratie met Azure Data Factory of Azure Synapse Pipelines.
• Code-vrije transformatie op schaal met Azure Data Factory of Azure Synapse Pipelines.

Lab: Gegevens transformeren met Azure Data Factory of Azure Synapse Pipelines

• Code-vrije transformaties op schaal uitvoeren met Azure Synapse Pipelines.
• Een datapipeline maken om slecht geformatteerde CSV-bestanden te importeren.
• Mapping Data Flows maken.

Na het afronden van deze module van de DP-203 training zullen deelnemers in staat zijn om:

• Data-integratie uit te voeren met Azure Data Factory.
• Code-vrije transformaties op schaal uit te voeren met Azure Data Factory.

DP-203 | Module 7: Gegevensverplaatsing en transformatie orkestreren in Azure Synapse Pipelines

In deze module leren deelnemers hoe ze gekoppelde services kunnen maken en gegevensverplaatsing en -transformatie kunnen orkestreren met behulp van notebooks in Azure Synapse Pipelines. Ze leren hoe ze gegevens uit notebooks kunnen integreren met Azure Data Factory of Azure Synapse Pipelines om een efficiënte workflow te creëren voor data-engineering.

Onderwerpen:

• Gegevensverplaatsing en -transformatie orkestreren in Azure Data Factory.

Lab: Gegevensverplaatsing en -transformatie orkestreren in Azure Synapse Pipelines

• Gegevens uit notebooks integreren met Azure Data Factory of Azure Synapse Pipelines.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Gegevensverplaatsing en -transformatie te orkestreren in Azure Synapse Pipelines.

DP-203 | Module 8: End-to-end beveiliging met Azure Synapse Analytics

In deze module van de DP-203 training  leren deelnemers hoe ze een Synapse Analytics-werkruimte en de ondersteunende infrastructuur kunnen beveiligen. Deelnemers leren de SQL Active Directory-beheerder te configureren, IP-firewallregels te beheren, geheimen te beheren met Azure Key Vault en toegang te krijgen tot deze geheimen via een gekoppelde service en pipeline-activiteiten in Key Vault. Ze begrijpen hoe ze kolomniveau-beveiliging, rijniveau-beveiliging en dynamische gegevensmaskering kunnen implementeren bij het gebruik van dedicated SQL-pools.

Onderwerpen:

• Beveilig een datawarehouse in Azure Synapse Analytics.
• Configureer en beheer geheimen in Azure Key Vault.
• Implementeer nalevingscontroles voor gevoelige gegevens.

Lab: End-to-end beveiliging met Azure Synapse Analytics

• Beveilig de ondersteunende infrastructuur van Azure Synapse Analytics.
• Beveilig de Azure Synapse Analytics-werkruimte en beheerde services.
• Beveilig werkruimtegegevens van Azure Synapse Analytics.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Een datawarehouse te beveiligen in Azure Synapse Analytics.
• Geheimen te configureren en beheren in Azure Key Vault.
• Nalevingscontroles voor gevoelige gegevens te implementeren.

DP-203 | Module 9: Ondersteun Hybrid Transactional Analytical Processing (HTAP) met Azure Synapse Link

In deze module leren deelnemers hoe Azure Synapse Link naadloze connectiviteit biedt van een Azure Cosmos DB-account naar een Synapse-werkruimte. Deelnemers leren hoe ze Synapse Link kunnen inschakelen en configureren en hoe ze de analytische opslag van Azure Cosmos DB kunnen queryen met behulp van Apache Spark en SQL serverless functies.

Onderwerpen:

• Ontwerp hybride transactionele en analytische verwerking met Azure Synapse Analytics.
• Configureer Azure Synapse Link met Azure Cosmos DB.
• Query Azure Cosmos DB met Apache Spark-pools.
• Query Azure Cosmos DB met serverless SQL-pools.

Lab: Ondersteun Hybrid Transactional Analytical Processing (HTAP) met Azure Synapse Link

• Configureer Azure Synapse Link met Azure Cosmos DB.
• Query Azure Cosmos DB met Apache Spark voor Synapse Analytics.
• Query Azure Cosmos DB met serverless SQL-pools voor Azure Synapse Analytics.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Hybride transactionele en analytische verwerking te ontwerpen met Azure Synapse Analytics.
• Azure Synapse Link te configureren met Azure Cosmos DB.
• Azure Cosmos DB te queryen met Apache Spark voor Synapse Analytics.
• Azure Cosmos DB te queryen met serverless SQL voor Azure Synapse Analytics.

DP-203 | Module 10: Realtime Stream Processing met Stream Analytics

In deze module van de DP-203 training leren deelnemers hoe ze streaminggegevens kunnen verwerken met Azure Stream Analytics. Ze zullen voertuigtelemetriegegevens opnemen in Event Hubs en deze in realtime verwerken met behulp van verschillende vensterfuncties in Azure Stream Analytics. Vervolgens sturen ze de verwerkte gegevens door naar Azure Synapse Analytics en ontdekken ze hoe ze de Stream Analytics-taak kunnen opschalen om de doorvoer te optimaliseren.

Onderwerpen:

• Betrouwbare berichtenverwerking inschakelen voor Big Data-applicaties met behulp van Azure Event Hubs.
• Werken met datastromen met behulp van Azure Stream Analytics.
• Gegevensstromen opnemen met Azure Stream Analytics.

Lab: Realtime Stream Processing met Stream Analytics

• Gebruik Stream Analytics om realtime gegevens van Event Hubs te verwerken.
• Gebruik Stream Analytics-vensterfuncties om aggregaten te maken en uit te voeren naar Synapse Analytics.
• Schaal de Azure Stream Analytics-taak om de doorvoer te vergroten via partitionering.
• Repartitioneer de streaminput om de parallelisatie te optimaliseren.

Na het afronden van deze module zullen deelnemers in staat zijn om:

• Betrouwbare berichtenverwerking in te schakelen voor Big Data-applicaties met behulp van Azure Event Hubs.
• Werken met datastromen met behulp van Azure Stream Analytics.
• Gegevensstromen op te nemen met Azure Stream Analytics.

DP-203 | Module 11: Een oplossing voor streamverwerking maken met Event Hubs en Azure Databricks

In deze module leren deelnemers hoe ze streaminggegevens op schaal kunnen opnemen en verwerken met Event Hubs en Spark Structured Streaming in Azure Databricks. Ze leren over de belangrijkste kenmerken en toepassingen van Structured Streaming. Deelnemers zullen schuifvensters implementeren om gegevens te aggregeren over gegevenssegmenten en watermarking toepassen om verouderde gegevens te verwijderen. Tot slot verbinden ze zich met Event Hubs om streams te lezen en te schrijven.

Onderwerpen:

• Streaminggegevens verwerken met Azure Databricks Structured Streaming.

Lab DP-203: Een oplossing voor streamverwerking maken met Event Hubs en Azure Databricks

• Belangrijkste kenmerken en toepassingen van Structured Streaming verkennen.
• Gegevens streamen vanuit een bestand en deze schrijven naar een gedistribueerd bestandssysteem.
• Schuifvensters gebruiken om te aggregeren over gegevenssegmenten in plaats van alle gegevens.
• Watermarking toepassen om verouderde gegevens te verwijderen.
• Verbinding maken met Event Hubs om streams te lezen en te schrijven.

Na het afronden van deze module in de DP-203 training zullen deelnemers in staat zijn om:

• Streaminggegevens te verwerken met Azure Databricks Structured Streaming.

English Summary

The DP-203 E-Learning provides in-depth theory and practical exercises to master data engineering in Microsoft Azure. With a focus on batch and real-time analytics, you will learn to design, develop, and secure data solutions using tools like Azure Synapse Analytics, Databricks, and Data Factory. The DP-203 E-Learning includes the DP-203 course materials, labs (accessible for 180 days), a MeasureUp practice exam, and a DP-203 exam voucher, giving you everything needed to confidently prepare for the DP-203 exam.