DW Laboratorio
-
Upload
vinicius-ornagui -
Category
Documents
-
view
227 -
download
0
description
Transcript of DW Laboratorio
-
Data Warehouse Universidade Estadual de Campinas
-
1. My SQL verso ...
2. My SQL Workbench ...
3. Ver um gerador de grficos
Laboratrio pr-requisitos
2
-
1. Ambiente
2. Criao do DW
3. Criao das dimenses e cargas das tabelas
4. Primeiras consultas no DW
Laboratrio - incio
3
-
1. Ambiente
4
Banco de dados: : MySQL
-
2. Criao do DW
5
Conectar-se no MySQL Workbench e executar os scripts abaixo:
create_user_id.sql
create_databases.sql
create_dw_tables.sql
customer_sk.sql
more_customer_sk.sql
Os scripts acima esto no diretrio ..\L1.
-
3. Criao das dimenses e cargas das tabelas
6
No MySQL Workbench e executar os scripts abaixo:
create_customer_stg.sql e scd1.sql
Os scripts create_customer_stg.sql e scd1.sql iro
criar a tabela customer_stg e carregar a tabela de
dimenses customer_dim.
Os scripts acima esto no diretrio ..\L2.
-
3. Criao das dimenses e cargas das tabelas
7
No MySQL Workbench e executar os scripts abaixo:
create_product_stg.sql, load_product_stg.sql e scd2.sql
Os scripts create_product_stg.sql, load_product_stg.sql
iro criar e carregar a tabela product_stg e o e
scd2.sql carregar a tabela de dimenses product_dim.
Os scripts acima esto no diretrio ..\L3.
-
4. Primeiras consultas no DW
8
No MySQL Workbench e verificar os itens abaixo:
1. Volume de pedidos por cliente.
2. Soma dos valores de pedidos, verificando as
dimenses de data, de clientes e de pedidos.
3. Soma os valores de pedidos, verificando as dimenses
de data e ordens.
4. Valores das vendas e do nmero de encomendas para
cada ms.
-
4. Primeiras consultas no DW
9
No MySQL Workbench e verificar os itens abaixo:
5. Resumo anual de vendas, contendo Os valores dos
pedidos, o nmero de ordens, agregados por data, por
produto e a cidade do cliente.
6. Resumo das vendas mensais e o nmero de encomendas a
cada ms, cuja categoria seja Storage.
7. Ordens de venda de produtos com valores mensais
maiores que 75 mil.
-
5. Extrao
6. Transformao
7. Carga (Load)
Laboratrio - continuao
10
-
5. Extrao
11
O primeiro passo para carregar um DW a extrao de dados de uma fonte.
Pode-se fazer isso, lendo os dados diretamente da fonte ou solicitando uma carga da fonte para o DW.
Um fator importante sobre a extrao de dados o volume e a disponibilidade de dados nas bases de origem.
-
5. Simulando uma extrao para o DW
12
No MySQL Workbench e executar os scripts abaixo:
create_sales_order.sql, para criar a tabela SALES_ORDER.
push_data.sql, para dar carga nas tabelas ORDER_DIM e DATE_DIM, no banco DW e na tabela SALES_ORDER no banco SOURCE.
push_sales_order.sql, para dar carga na tabela fato SALES_ORDER_FACT, no banco SOURCE.
Consultar a tabela SALES_ORDER_FACT, para verificar os
resultados.
Os scripts acima esto no diretrio ..\L5.
-
7. Carga (Load)
13
A carga o processo que armazena os dados no Data Warehouse.
Esse processo muitas vezes lento, devido aos grandes volumes e as restries nas janelas de atualizao.
-
7. Simulando uma carga no DW
14
No MySQL Workbench e executar os scripts abaixo:
truncate_tables.sql, para limpar as tabelas do DW.
pre_populate_date.sql, cria uma procedure para colocar datas
de incio e fim para a tabela DATA_DIM.
sales_order_initial.sql, para dar carga na tabela fato
SALES_ORDER, no banco SOURCE.
dw_initial.sql, para dar cargas nas demais tabelas do DW.
confirm_initial_population.sql, para consultar se a tabela
de vendas foi carregada corretamente.
Os scripts acima esto no diretrio ..\L6.
-
6. Transformao
15
Transformao o processo de preparao dos dados.
A transformao pode envolver, adio de chaves, manuteno histrica, e tambm a integrao de mltiplas fontes, o tratamento de erros de fonte de dados.
-
6. Simulando transformaes no DW
16
-
6. Simulando transformaes no DW
17
No MySQL Workbench e executar os scripts abaixo:
shipping_address.sql, para incluir as novas colunas nas
tabelas CUSTOMER_DIM e CUSTOMER_STG.
order_quantity.sql, para incluir as novas colunas nas
tabela SALES_ORDER_FACT.
Aps a incluso das colunas, verificar na base de dados.
Os scripts acima esto no diretrio ..\L7.
-
6. Simulando transformaes no DW
18
No MySQL Workbench e executar os scripts abaixo:
dw_regular_10.sql, limpa as tabelas do DW e refaz as cargas
utilizando as novas colunas adicionadas nas tabelas
CUSTOMER_DIM e CUSTOMER_STG.
add_sales_order_quantity.sql, carrega os dados utilizando a
nova coluna para a tabela SALES_ORDER, no banco SOURCE.
Aps a carga, verificar as tabelas na base de dados.
Os scripts acima esto no diretrio ..\L8.
-
8. Dimenses Hierarquizadas
9. Esquemas Multi-Estrelas
10. Dimenses Consolidadas
Laboratrio - continuao
19
-
8. Dimenses Hierarquizadas
20
So dimenses que podem ter um ou mais nveis que so representados por colunas nas tabelas.
Exemplo: a dimenso de data pode ter uma hierarquia de quatro nveis: o nvel do ano, o nvel do trimestre, o nvel de ms, e o nvel de data.
-
8. Simulando dimenses hierarquizadas no
DW
21
No MySQL Workbench e executar os scripts abaixo:
grouping.sql, a consulta recupera o valor das vendas
agrupadas por produtos e os trs nveis de hierarquia da
dimenso de data (ano, trimestre e nome do ms).
drilling.sql, a consulta mostra a soma das ordens para
cada um dos nveis das dimenses data (nveis de ms,
quarter e ano).
Os scripts acima esto no diretrio ..\L9.
-
9. Esquemas multi-estrelas
22
So esquemas que possuem mais de um schema estrela, estes esquemas tambm so conhecidos como constelao.
Muitas vezes so utilizados para permitir um detalhamento no processo de pesquisa.
-
9. Adicionando mais um esquema estrela no DW
23
No MySQL Workbench e executar os scripts abaixo:
third_star_tables.sql, script que criar duas tabelas uma
de dimenso FACTORY_DIM e outra de fatos PRODUCT_FACT.
factory_master.sql, script que ir criar a tabela
FACTORY_MASTER no banco de dados SOURCE.
factory_ini.sql, oscript que ir popular a tabela
FACTORY_DIM.
Os scripts acima esto no diretrio ..\L10.
-
9. Adicionando mais um esquema estrela no DW
24
No MySQL Workbench e executar os scripts abaixo:
factory_stg.sql, script que criar a tabela de stage FACTORY_STG e
outra de fatos PRODUCT_FACT.
daily_production.sql, script que ir criar a tabela
DAILY_PRODUCTION, no banco de dados SOURCE e depois ir carregar a
dimenso PRODUCT_DIM.
production_regular.sql, ir popular as tabelas FACTORY_STG,
FACTORY_DIM e PRODUCT_FACT.
daily_production_data.sql, script que criar a tabela de stage
DAILY_PRODUCTION, no banco de dados SOURCE.
Os scripts acima esto no diretrio ..\L10.
-
10. Dimenso consolidada
25
A consolidao de dimenses ocorre quando o nmero de dimenses do DW aumenta. Nesse caso pode-se encontrar alguns dados comuns em mais de uma dimenso.
Exemplo, o CEP, cidade e estado esto nas tabelas de clientes e dimenso dos endereos do cliente, e na dimenso da fbrica.
-
10. Consolidando uma dimenso no DW
26
No MySQL Workbench e executar os scripts abaixo:
Executar uma validao de CEPs nas dimenses
CUSTORMER_DIM, CUSTOMER_ZIP_CODE_DIM,
SHIPPING_ZIP_CODE_DIM e na tabela fato
SALES_ORDER_FACT.
-
10. Consolidando uma dimenso no DW
27
No MySQL Workbench e executar os scripts abaixo:
Executar uma validao de CEPs nas dimenses
CUSTORMER_DIM, CUSTOMER_ZIP_CODE_DIM,
SHIPPING_ZIP_CODE_DIM e na tabela fato
SALES_ORDER_FACT.