Support formation Microsoft Azure

Pages

DP-203

Charger des données dans un entrepôt de données relationnel

Gonzague Ducos

Chargement des données est effectué dans le cadre d’un processus de traitement par lots périodique (quotidien, hebdomadaire ou mensuel).

Création de tables de mise en lots

Créer des schémas distincts pour les tables de mise en lots avec un nom significatif, par exemple lots, pour que les architectes et les utilisateurs comprennent la finalité du schéma.

CREATE TABLE dbo.StageProduct

(

ProductID NVARCHAR(10) NOT NULL,

ProductName NVARCHAR(200) NOT NULL,

ProductCategory NVARCHAR(200) NOT NULL,

Color NVARCHAR(10),

Size NVARCHAR(10),

ListPrice DECIMAL NOT NULL,

Discontinued BIT NOT NULL

)

WITH

(

DISTRIBUTION = ROUND_ROBIN,

CLUSTERED COLUMNSTORE INDEX

);

Utilisation de la commande COPY

Approche recommandée pour charger des tables de mise en lots en raison de son débit haute performance.

COPY INTO dbo.StageProduct

(ProductID, ProductName, ...)

FROM 'https://mydatalake.../data/products*.parquet'

WITH

(

FILE_TYPE = 'PARQUET',

MAXERRORS = 0,

IDENTITY_INSERT = 'OFF'

);

Utilisation de tables externes

Si les données à charger sont stockées dans des fichiers dotés d’une structure appropriée, il peut s’avérer plus efficace de créer des tables externes qui référencent l’emplacement des fichiers.

CREATE EXTERNAL TABLE dbo.ExternalStageProduct

(

ProductID NVARCHAR(10) NOT NULL,

ProductName NVARCHAR(10) NOT NULL,

...

)

WITH

(

DATE_SOURCE = StagedFiles,

LOCATION = 'folder_name/*.parquet',

FILE_FORMAT = ParquetFormat

);

Charger des tables de dimension

Utilisation d’une instruction CREATE TABLE AS (CTAS)

CREATE TABLE dbo.DimProduct

WITH

(

DISTRIBUTION = REPLICATE,

CLUSTERED COLUMNSTORE INDEX

)

SELECT ROW_NUMBER() OVER(ORDER BY ProdID) AS ProdKey,

ProdID as ProdAltKey,

ProductName,

ProductCategory,

Color,

Size,

ListPrice,

Discontinued

FROM dbo.StageProduct;

Est pas possible d’utiliser IDENTITY afin de générer une valeur entière unique pour la clé de substitution dans CTAS.

CREATE TABLE dbo.DimProductUpsert

WITH

(

DISTRIBUTION = REPLICATE,

CLUSTERED COLUMNSTORE INDEX

)

-- New or updated rows

SELECT stg.ProductID AS ProductBusinessKey,

stg.ProductName,

stg.ProductCategory,

stg.Color,

stg.Size,

stg.ListPrice,

stg.Discontinued

FROM dbo.StageProduct AS stg

UNION ALL

-- Existing rows

SELECT dim.ProductBusinessKey,

dim.ProductName,

dim.ProductCategory,

dim.Color,

dim.Size,

dim.ListPrice,

dim.Discontinued

FROM dbo.DimProduct AS dim

WHERE NOT EXISTS

( SELECT *

FROM dbo.StageProduct AS stg

WHERE stg.ProductId = dim.ProductBusinessKey

);

RENAME OBJECT dbo.DimProduct TO DimProductArchive;

RENAME OBJECT dbo.DimProductUpsert TO DimProduct;

Technique efficace pour fusionner les données de dimension nouvelles et déjà existantes, l’absence de prise en charge des colonnes IDENTITY signifie qu’il est difficile de générer une clé de substitution.

Utilisation d’une instruction INSERT

Approche plus simple que CTAS, mais fonctionne si les données mises en lots ne contiennent que des enregistrements de nouvelles entités de dimension (et non des mises à jour d’entités existantes).

INSERT INTO dbo.DimCustomer