Support formation Microsoft Azure

Support formation Microsoft Azure

SumUp

Gonzague Ducos

Lab 02 | Analyser les données d’un lac de données avec Spark

PyShark

⁠

PySpark⁠

⁠

Matplotlib

Bibliothèque Python pour créer des graphiques

Documentation :

Matplotlib — Visualization with Python⁠

⁠

Seaborn

Bibliothèque Python basée sur Matplotlib

Documentation :

seaborn: statistical data visualization — seaborn 0.13.2 documentation⁠

⁠

Lab 03 | Transformer des fichiers à l’aide d’un pool SQL serverless

Script général de création CETAS (CREATE EXTERNAL TABLE AS SELECT)

Les fichiers sont dans le datalake ADLS2, dans le dossier racine files :

⁠

Ce qui donne :

⁠

Créer la table externe :

Ce qui donne :

⁠

Création d’une procédure

Lab 04 | Analyser les données dans une base de données de lac

⁠

Concepts de base de données de lac Azure Synapse - Azure Synapse Analytics⁠

⁠

Vue d’ensemble des modèles de base de données Azure Synapse - Azure Synapse Analytics⁠

⁠

Les modèles de base de données sont un ensemble de définitions de données techniques et d’entreprise préconçues pour répondre aux besoins d’un secteur en particulier. Ils jouent le rôle de blueprints fournissant des éléments communs dérivés des bonnes pratiques, des réglementations gouvernementales et des exigences complexes en matière de données et d’analytique d’une organisation appartenant à un secteur spécifique.

Lab 07 | Utiliser Delta Lake avec Spark dans Azure Synapse Analytics

Erreurs & solutions

File cannot be opened because it does not exist or it is used by another process,

⁠

Aide autonome relative au pool SQL serverless - Azure Synapse Analytics | Microsoft Learn⁠

⁠

Dans le Compta de stockage > Contrôle d’accès (IAM) > Ajouter une attribution de rôle : Ajouter Contributeur aux données Blob du stockage.

Se connecter à un pool SQL Serverless depuis Power BI

Récupérer l’adresse du serveur depuis la page Vue d’ensemble de l’Espace de stockage. Le premier lien pointe vers la base Serverless, le 2nd vers la base dédiée.

⁠

Se connecter à SQL Sever ou à Base de données SQL Azure ou à Azure Synapse Analytics. Coller.

Lab 08 | Explorer un entrepôt de données relationnelles

ROW_NUMBER()

SELECT g.EnglishCountryRegionName AS Region,

ROW_NUMBER() OVER(PARTITION BY g.EnglishCountryRegionName

ORDER BY i.SalesAmount ASC) AS RowNumber,

FROM FactInternetSales AS i

JOIN DimDate AS d ON i.OrderDateKey = d.DateKey

JOIN DimCustomer AS c ON i.CustomerKey = c.CustomerKey

JOIN DimGeography AS g ON c.GeographyKey = g.GeographyKey

WHERE d.CalendarYear = 2022

ORDER BY Region;

Ce qui affiche :

Region

RowNumber

OrderNo

Australie

SO73943

Australie

SO74100

…

Australie

5779

SO64284

Canada

SO66332

Canada

SO68234

…

Canada

3568

SO70911

There are no rows in this table

⁠

Syntaxe

ROW_NUMBER ( )

OVER ( [ PARTITION BY value_expression , ... [ n ] ] order_by_clause )

Aide

⁠

ROW_NUMBER (Transact-SQL) - SQL Server⁠

⁠

OVER PARTITION

Syntaxe

SELECT g.EnglishCountryRegionName AS Region,

g.City,

SUM(i.SalesAmount) AS CityTotal,

SUM(SUM(i.SalesAmount)) OVER(PARTITION BY g.EnglishCountryRegionName) AS RegionTotal,

RANK() OVER(PARTITION BY g.EnglishCountryRegionName

ORDER BY SUM(i.SalesAmount) DESC) AS RegionalRank

FROM FactInternetSales AS i

JOIN DimDate AS d ON i.OrderDateKey = d.DateKey

JOIN DimCustomer AS c ON i.CustomerKey = c.CustomerKey

JOIN DimGeography AS g ON c.GeographyKey = g.GeographyKey

GROUP BY g.EnglishCountryRegionName, g.City

ORDER BY Region;

Ce qui affiche :

Region

City

CityTotal

RegionTotal

RegionalRank

Australia

Wollongong

338913.4665

9061000.5844

Australia

Warrnambool

327036.3682

9061000.5844

Australia

Bendigo

314568.7193

9061000.5844

Australia

Goulburn

310875.8978

9061000.5844

Australia

Brisbane

295353.5779

9061000.5844

Australia

Townsville

285486.9112

9061000.5844

Australia

Geelong

283802.1750

9061000.5844

Australia

Caloundra

281986.3402

9061000.5844

Australia

Sydney

280983.3113

9061000.5844

Australia

Port Macquarie

278084.4993

9061000.5844

Australia

Sunbury

266949.5347

9061000.5844

Australia

Melton

262606.4258

9061000.5844

Australia

Hervey Bay

259256.5090

9061000.5844

Australia

Gold Coast

248767.9840

9061000.5844

Australia

Melbourne

246557.5296

9061000.5844

Australia

Newcastle

245936.5243

9061000.5844

Australia

Hobart

239937.9033

9061000.5844

Australia

Coffs Harbour

235454.9685

9061000.5844

Australia

Hawthorne

226706.4414

9061000.5844

Australia

Lane Cove

220083.5784

9061000.5844

There are no rows in this table

⁠

Syntaxe

OVER (

[ <PARTITION BY clause> ]

[ <ORDER BY clause> ]

Aide

⁠

OVER Clause (Transact-SQL) - SQL Server⁠

⁠

APPROX_COUNT_DISTINCT

SELECT d.CalendarYear AS CalendarYear,

APPROX_COUNT_DISTINCT(i.SalesOrderNumber) AS Orders

FROM FactInternetSales AS i

JOIN DimDate AS d ON i.OrderDateKey = d.DateKey

GROUP BY d.CalendarYear

ORDER BY CalendarYear;

⁠

APPROX_COUNT_DISTINCT (Transact-SQL) - SQL Server⁠

⁠

Lab 09 | Charger des données dans un entrepôt de données relationnel

COPY INTO

⁠

COPY INTO (Transact-SQL) - Azure Synapse Analytics and Microsoft Fabric⁠

⁠

COPY INTO dbo.StageProduct

(ProductID, ProductName, ProductCategory, Color, Size, ListPrice, Discontinued)

FROM 'https://datalakexxxxxx.blob.core.windows.net/files/data/Product.csv'

WITH

(

FILE_TYPE = 'CSV',

MAXERRORS = 5,

IDENTITY_INSERT = 'OFF',

FIRSTROW = 2 --Skip header row

);

Si au moins 5 erreurs, création de fichiers QID123_1_2. Error.txt et QID123_1_2. Row.Txt dans _rejectedrows + sous-dossier spécifique à la date et à l’heure qu’il contient

⁠

ALTER INDEX (Transact-SQL) - SQL Server⁠

⁠

CREATE STATISTICS (Transact-SQL) - SQL Server⁠

⁠

En fin de processus, on rebuild les index et re crée les statistiques (optimisation des requêtes).