Implementing a Lakehouse with Microsoft Fabric (DP-601) Zelfstudiepakket

Algemene omschrijving

In dit zelfstudiepakket zit het officiële cursusmateriaal en een labomgeving. Je hebt 180 dagen toegang tot de labomgeving.

Dompel jezelf onder in de wereld van data engineering met het geavanceerde zelfstudiepakket Implementing a Lakehouse with Microsoft Fabric (DP-601), speciaal ontworpen om jouw basisvaardigheden binnen Microsoft Fabric uit te breiden. Dit zelfstudiepakket is gericht op het innoverende Lakehouse-concept, een hybride aanpak voor databeheer die de flexibiliteit van data lakes combineert met de kracht van data warehouses. Verwerf diepgaande kennis en praktische vaardigheden om je voor te bereiden op het creëren van robuuste, schaalbare en efficiënte dataoplossingen.

Leer hoe jij de uitgebreide mogelijkheden van Apache Spark kunt benutten voor gedistribueerde dataverwerking, een essentiële vaardigheid voor elke data engineer die met grote datasets werkt. Daarnaast verkennen we de essentiële technieken voor efficiënt databeheer, waaronder versiebeheer en het waarborgen van databetrouwbaarheid, door te werken met Delta Lake-tabellen. Deze sectie van het zelfstudiepakket biedt je de hulpmiddelen om data-inzichten te maximaliseren en data-integriteit te handhaven in complexe data-ecosystemen.

Breid jouw expertise verder uit door te leren over geavanceerde dataopname- en orkestratiestrategieën met Dataflows Gen2 en Data Factory-pijplijnen. Deze componenten zijn cruciaal voor het efficiënt verplaatsen en transformeren van data binnen het Microsoft Fabric-ecosysteem. In het zelfstudiepakket wordt er een combinatie van theoretische kennis en praktische oefeningen aangeboden om jouw kennis en vaardigheden aan te scherpen in het ontwerpen en implementeren van naadloze datawerkprocessen, essentieel voor elk modern data engineering-project.

Doelgroep

Dit zelfstudiepakket is voornamelijk geschikt voor dataprofessionals die bekend zijn met datamodellering, -extractie en -analyse. Het zelfstudiepakket is ontworpen voor professionals die kennis willen opdoen over de architectuur van Lakehouse, het Microsoft Fabric-platform en hoe ze met deze technologieën end-to-end analytics mogelijk kunnen maken.

Leerdoelen

Door dit zelfstudiepakket door te nemen zul je de volgende kennis en vaardigheden verkrijgen:

• Het beschrijven van end-to-end analytics in Microsoft Fabric.
• Het beschrijven van belangrijkste functies en mogelijkheden van lakehouses in Microsoft Fabric.
• Een lakehouse creëren.
• Data opnemen in bestanden en tabellen binnen een lakehouse.
• Lakehouse-tabellen opvragen met SQL.
• Spark configureren binnen een Microsoft Fabric-workspace.
• Geschikte scenario's voor Spark-notebooks en Spark-jobs identificeren.
• Spark-dataframes gebruiken om gegevens te analyseren en te transformeren.
• Spark SQL gebruiken om gegevens in tabellen en views op te vragen.
• Gegevens visualiseren binnen een Spark-notebook.
• Het begrijpen van Delta Lake en Delta-tabellen binnen Microsoft Fabric.
• Spark gebruiken om Delta-tabellen aan te maken en te beheren.
• Spark gebruiken om gegevens in Delta-tabellen op te vragen en te transformeren.
• Delta-tabellen gebruiken met Spark Structured Streaming.
• De mogelijkheden van Dataflow (Gen2) in Microsoft Fabric beschrijven.
• Oplossingen voor Dataflow (Gen2) creëren om data op te nemen en te transformeren.
• Een Dataflow (Gen2) toevoegen aan een pijplijn.
• De mogelijkheden van pijplijnen in Microsoft Fabric beschrijven.
• De Copy Data-activiteit binnen een pijplijn gebruiken.
• Pijplijnen creëren op basis van voorgedefinieerde sjablonen.
• Pijplijnen uitvoeren en bewaken.

Voorkennis

Voordat jij dit zelfstudiepakket doorneemt raden wij aan dat jij bekend bent met de basisconcepten en -terminologie van data.

Onderwerpen

Modele 1: Introduction to end-to-end analytics using Microsoft Fabric

Discover how Microsoft Fabric can meet your enterprise's analytics needs in one platform. Learn about Microsoft Fabric, how it works, and identify how you can use it for your analytics needs.

In this module, you'll learn how to:

• Describe end-to-end analytics in Microsoft Fabric.

Modele 2: Get started with lakehouses in Microsoft Fabric

Lakehouses merge data lake storage flexibility with data warehouse analytics. Microsoft Fabric offers a lakehouse solution for comprehensive analytics on a single SaaS platform.

In this module, you'll learn how to:

• Describe core features and capabilities of lakehouses in Microsoft Fabric.
• Create a lakehouse.
• Ingest data into files and tables in a lakehouse.
• Query lakehouse tables with SQL.

Module 3: Use Apache Spark in Microsoft Fabric

Apache Spark is a core technology for large-scale data analytics. Microsoft Fabric provides support for Spark clusters, enabling you to analyze and process data in a Lakehouse at scale.

In this module, you'll learn how to:

• Configure Spark in a Microsoft Fabric workspace.
• Identify suitable scenarios for Spark notebooks and Spark jobs.
• Use Spark dataframes to analyze and transform data.
• Use Spark SQL to query data in tables and views.
• Visualize data in a Spark notebook.

Module 4: Work with Delta Lake tables in Microsoft Fabric

Tables in a Microsoft Fabric lakehouse are based on the Delta Lake storage format commonly used in Apache Spark. By using the enhanced capabilities of delta tables, you can create advanced analytics solutions.

In this module, you'll learn how to:

• Understand Delta Lake and delta tables in Microsoft Fabric.
• Create and manage delta tables using Spark.
• Use Spark to query and transform data in delta tables.
• Use delta tables with Spark structured streaming.

Module 5: Ingest Data with Dataflows Gen2 in Microsoft Fabric

Data ingestion is crucial in analytics. Microsoft Fabric's Data Factory offers Dataflows (Gen2) for visually creating multi-step data ingestion and transformation using Power Query Online.

In this module, you'll learn how to:

• Describe Dataflow (Gen2) capabilities in Microsoft Fabric.
• Create Dataflow (Gen2) solutions to ingest and transform data.
• Include a Dataflow (Gen2) in a pipeline.

Module 6: Use Data Factory pipelines in Microsoft Fabric

Microsoft Fabric includes Data Factory capabilities, including the ability to create pipelines that orchestrate data ingestion and transformation tasks.

In this module, you'll learn how to:

• Describe pipeline capabilities in Microsoft Fabric.
• Use the Copy Data activity in a pipeline.
• Create pipelines based on predefined templates.
• Run and monitor pipelines.