Implementing a Lakehouse with Microsoft Fabric (DP-601)

Over de Lakehouse Microsoft Fabric (DP-601)

Dompel jezelf onder in de wereld van data engineering met de geavanceerde training Implementing a Lakehouse with Microsoft Fabric (DP-601), speciaal ontworpen om jouw basisvaardigheden binnen Microsoft Fabric uit te breiden. Deze training is gericht op het innoverende Lakehouse-concept, een hybride aanpak voor databeheer die de flexibiliteit van data lakes combineert met de kracht van data warehouses. Verwerf diepgaande kennis en praktische vaardigheden om je voor te bereiden op het creëren van robuuste, schaalbare en efficiënte dataoplossingen.

Leer hoe jij de uitgebreide mogelijkheden van Apache Spark kunt benutten voor gedistribueerde dataverwerking, een essentiële vaardigheid voor elke data engineer die met grote datasets werkt. Daarnaast verkennen we de essentiële technieken voor efficiënt databeheer, waaronder versiebeheer en het waarborgen van databetrouwbaarheid, door te werken met Delta Lake-tabellen. Deze sectie van de training biedt je de hulpmiddelen om data-inzichten te maximaliseren en data-integriteit te handhaven in complexe data-ecosystemen.

Breid jouw expertise verder uit door te leren over geavanceerde dataopname- en orkestratiestrategieën met Dataflows Gen2 en Data Factory-pijplijnen. Deze componenten zijn cruciaal voor het efficiënt verplaatsen en transformeren van data binnen het Microsoft Fabric-ecosysteem. In de DP-601 training wordt er een combinatie van theoretische kennis en praktische oefeningen aangeboden om jouw kennis en vaardigheden aan te scherpen in het ontwerpen en implementeren van naadloze datawerkprocessen, essentieel voor elk modern data engineering-project.

Voor wie is de DP-601?

Deze DP-601 training is voornamelijk geschikt voor dataprofessionals die bekend zijn met datamodellering, -extractie en -analyse. De training is ontworpen voor professionals die kennis willen opdoen over de architectuur van Lakehouse, het Microsoft Fabric-platform en hoe ze met deze technologieën end-to-end analytics mogelijk kunnen maken.

Leerdoelen van de DP-601

Door deel te nemen aan deze DP-601 training zul je de volgende kennis en vaardigheden verkrijgen:

• Het beschrijven van end-to-end analytics in Microsoft Fabric.
• Het beschrijven van belangrijkste functies en mogelijkheden van lakehouses in Microsoft Fabric.
• Een lakehouse creëren.
• Data opnemen in bestanden en tabellen binnen een lakehouse.
• Lakehouse-tabellen opvragen met SQL.
• Spark configureren binnen een Microsoft Fabric-workspace.
• Geschikte scenario's voor Spark-notebooks en Spark jobs identificeren.
• Spark dataframes gebruiken om gegevens te analyseren en te transformeren.
• Spark SQL gebruiken om gegevens in tabellen en views op te vragen.
• Gegevens visualiseren binnen een Spark-notebook.
• Het begrijpen van Delta Lake en Delta-tabellen binnen Microsoft Fabric.
• Spark gebruiken om Delta-tabellen aan te maken en te beheren.
• Spark gebruiken om gegevens in Delta-tabellen op te vragen en te transformeren.
• Delta-tabellen gebruiken met Spark Structured Streaming.
• De mogelijkheden van Dataflow (Gen2) in Microsoft Fabric beschrijven.
• Oplossingen voor Dataflow (Gen2) creëren om data op te nemen en te transformeren.
• Een Dataflow (Gen2) toevoegen aan een pijplijn.
• De mogelijkheden van pijplijnen in Microsoft Fabric beschrijven.
• De Copy Data-activiteit binnen een pijplijn gebruiken.
• Pijplijnen creëren op basis van voorgedefinieerde sjablonen.
• Pijplijnen uitvoeren en bewaken.

Aanbevolen voorkennis DP-601

Voordat jij deelneemt aan deze DP-601 training raden wij aan dat jij bekend bent met de basisconcepten en -terminologie van data.

Onderwerpen van de DP-601

DP-601 | Module 1: Inleiding op end-to-end analytics met Microsoft Fabric

Ontdek hoe Microsoft Fabric kan voldoen aan de analytische behoeften van jouw organisatie in één platform. Leer over Microsoft Fabric, hoe het werkt en identificeer hoe je het kunt gebruiken voor jouw analytische behoeften.

In deze module leer je:

• End-to-end analytics in Microsoft Fabric beschrijven.

DP-601 | Module 2: Aan de slag met Lakehouses in Microsoft Fabric

Lakehouses combineren de flexibiliteit van data lake-opslag met de analytische mogelijkheden van een datawarehouse. Microsoft Fabric biedt een lakehouse-oplossing voor uitgebreide analyses op een enkel SaaS-platform.

In deze module leer je:

• De kernfuncties en mogelijkheden van lakehouses in Microsoft Fabric beschrijven.
• Een lakehouse maken.
• Gegevens inladen in bestanden en tabellen in een lakehouse.
• Lakehouse-tabellen queryen met SQL.

DP-601 | Module 3: Gebruik Apache Spark in Microsoft Fabric

Apache Spark is een kerntechnologie voor grootschalige data-analyse. Microsoft Fabric biedt ondersteuning voor Spark-clusters, waarmee je gegevens op schaal kunt analyseren en verwerken in een Lakehouse.

In deze module leer je:

• Spark configureren in een Microsoft Fabric-werkruimte.
• Geschikte scenario's identificeren voor Spark-notebooks en Spark-taken.
• Spark DataFrames gebruiken om gegevens te analyseren en te transformeren.
• Spark SQL gebruiken om gegevens in tabellen en weergaven te queryen.
• Gegevens visualiseren in een Spark-notebook.

DP-601 | Module 4: Werk met Delta Lake-tabellen in Microsoft Fabric

Tabellen in een Microsoft Fabric-lakehouse zijn gebaseerd op het Delta Lake-opslagformaat, dat vaak wordt gebruikt in Apache Spark. Door gebruik te maken van de uitgebreide mogelijkheden van delta-tabellen kun je geavanceerde analytische oplossingen creëren.

In deze module leer je:

• Delta Lake en delta-tabellen in Microsoft Fabric begrijpen.
• Delta-tabellen maken en beheren met Spark.
• Spark gebruiken om gegevens in delta-tabellen te queryen en te transformeren.
• Delta-tabellen gebruiken met gestructureerde streaming van Spark.

DP-601 | Module 5: Gegevens inladen met Dataflows Gen2 in Microsoft Fabric

Gegevensinvoer is cruciaal in analyses. Microsoft Fabric's Data Factory biedt Dataflows (Gen2) voor het visueel creëren van multi-step gegevensinvoer en -transformatie met behulp van Power Query Online.

In deze module leer je:

• Dataflow (Gen2)-mogelijkheden in Microsoft Fabric beschrijven.
• Dataflow (Gen2)-oplossingen maken om gegevens in te laden en te transformeren.
• Een Dataflow (Gen2) opnemen in een pipeline.

DP-601 | Module 6: Gebruik Data Factory-pijplijnen in Microsoft Fabric

Microsoft Fabric bevat Data Factory-mogelijkheden, waaronder de mogelijkheid om pijplijnen te maken die taken voor gegevensinvoer en -transformatie orkestreren.

In deze module leer je:

• Pijplijnmogelijkheden in Microsoft Fabric beschrijven.
• De Copy Data-activiteit gebruiken in een pijplijn.
• Pijplijnen maken op basis van vooraf gedefinieerde sjablonen.
• Pijplijnen uitvoeren en monitoren.