DATAWAREHOUSE

Jhonny A. Huaroc S.

Sociedad de la Informacin
La Primera Base de
Datos
El Data Warehouse como base para otras TI
Data
Warehouse
SCM
CRM
E-Business
Business Intelligence
Web + TI
El Primer Data Warehouse
El Primer DBA
Procedimiento para la Construccin del DW
Entrevistas
Diseo del Data Warehouse
Carga del Data Warehouse
Creacion de los Cubos OLAP
Query Data (Excel 2000 y )
Despliegue del DW
Administracin del DW
Terminologia
Data Warehouse
Data Mart
OLTP
OLAP
Cubo
Dimension
Fact Table
Una Vista del Sistema
OLTP
OLTP
Data
Warehouse
process
OLAP
Server
explore
design
update
optimize
Data flow
Control flow
Reportes Clasicos
Region Costa
Total
Sector
A
B

A
B

A
Reporte de Ventas Mensuales Costa - Mayo 2002
Zona
Norte
Norte
Total Norte
Centro
Centro
Total Centro
Sur
Total Sur
Unidades
2,500
2,750
5,250
3,200
1,725
4,925
1,900
1,900
12,075
Ventas $
$12,850
$14,135
$26,985
$16,800
$ 9,143
$25,943
$ 9,595
$ 9,595
$62,473
Diseo del Data Warehouse
Data Marts y
Cubos
Sistemas Fuentes
Clientes
Diseo del Repositorio Creacion Query
Data Warehouse Data Warehouse Cubos OLAP Data
1 3 4
Query Tools
Reportes
Analisis
Data Mining
Data
Warehouse
2
Datos en un Data Warehouse
Caratersticas Descripcin
Consolidada A nivel Empresa
Consistente Dentro del data warehouse
Orientado al tema A la perspectiva del usuario
Histrica De 2 a 3 aos
Solamente de Lectura No puede ser actualizada
Sumarizado Apropiado a un nivel de detalle
Un Star Schema
Fact Table
Dimension Table
Employee_Dim
EmployeeKey
EmployeeID
...
Time_Dim
TimeKey
TheDate
...
Product_Dim
ProductKey
ProductID
...
Customer_Dim
CustomerKey
CustomerID
...
Store Dim
StoreKey
StoreID
...
Sales_Fact
TimeKey
EmployeeKey
ProductKey
CustomerKey
ShipperKey
RequiredDate
...
Un Snowflake Schema
Sales_Fact
TimeKey
EmployeeKey
ProductKey
CustomerKey
ShipperKey
RequiredDate
...
Product_Store_ID
Product Store
Product Category ID
Product_Category_ID
Product Category
Product Category ID
Product_Dim
ProductKey
Product Name
Product Size
Product Store ID
Star schema Snowflake schema
Conteo Global de Filas Alto Bajo
Comprensin del Modelo Fcil Ms Difcil
Nmero de Tablas Menos Ms
Complejidad de Consultas Simple Ms Complejo
Bsqueda Dimensional Ms rpido Ms lento
Indexing Soporta No Soporta
Escogiendo un Schema
Escogiendo el Nivel de Detalle
Monthly Bank Account Statement
Date Transaction Code Transaction Description Credit
01-Feb-99 00000 Beginning Balance
02-Feb-99
05-Feb-99
05-Feb-99
05-Feb-99
12-Feb-99
15-Feb-99
W0812
D0810
W0810
C0800
C0800
D0812
Withdraw-ATM
Deposit
Withdraw
Withdraw-Check 712
Withdraw-Check 713
Deposit-ATM
300.00
625.00
Debit
100.00
20.00
245.13
10.51
Daily Balance
200.00
100.00
400.00
380.00
134.87
124.36
749.36
28-Feb-99 00000 Ending Balance 749.36
Line Item or Transaction
Identificando Jerarquas de la
Dimensin
Consolidated
Store Location
Continent
...
Country
...
State
...
City
...
Store
...
Separate
Store Location
Continent
...
Continent
Country
...
Country
State or Province
...
State or Province
City
...
City
Store number
...
Store Number
01
...
Recomendaciones
Use el Star Schema para modelar un Data Mart o un DW
No mezcle el nivel de detalle en la Fact Table
Use Keys cuando defina las dimensiones
Defina Shared Dimensions
Use en la Fact Table columnas numericas y aditivas
Determine bien el nivel de detalle
Carga del Data Warehouse
Data Marts y
Cubos
Sistemas Fuentes
Clientes
Diseo del Carga del Creacion Query
Data Warehouse Data Warehouse Cubos OLAP Data
1 3 4
Query Tools
Reportes
Analisis
Data Mining
Data
Warehouse
2
Una Vista del Proceso
Validar, reunir , Transformar Cargar Datos Distribuir
Hacer Datos Consistente Datos Warehouse Datos
Sales
Service
Other
Data Marts
Sistemas Fuentes
OLTP

Base de Datos
Intermedia
Data
Warehouse
Sales Data

Hardware Data

Oracle
SQL
Server
Other
Transformando los Datos
Transform
Change
Combine
Calculate
buyer_name
Barr, Adam
Chai, Sean
OMelia, Erin
...
reg_id
2
4
6
...
total_sales
17.60
52.80
8.82
...
buyer_name
Barr, Adam
Chai, Sean
OMelia, Erin
...
reg_id
2
4
6
...
total_sales
17.60
52.80
8.82
...
buyer_name
Barr, Adam
Chai, Sean
OMelia, Erin
...
price_id
.55
1.10
.98
...
qty_id
32
48
9
...
buyer_name
Barr, Adam
Chai, Sean
OMelia, Erin
...
reg_id
II
IV
VI
...
total_sales
17.60
52.80
8.82
...
buyer_name
Barr, Adam
Chai, Sean
OMelia, Erin
...
price_id
.55
1.10
.98
...
qty_id
32
48
9
...
total_sales
17.60
52.80
8.82
...
buyer_first
Adam
Sean
Erin
...
buyer_last
Barr
Chai
OMelia
...
reg_id
2
4
6
...
total_sales
17.60
52.80
8.82
...
Transformando los Datos con
un Lookup Query
Customer_dim








Name
D. Smith
L. Wilson
P. Salinger
State
Florida
Wyoming
Arkansas




Destination Data
Source Data
Customer_source








Name
D. Smith
L. Wilson
P. Salinger
State
FL
WY
AR




Look up Table
State_lookup




Abbreviation
FL
WY
AR
State
Florida
Wyoming
Arkansas




Transform
Designer DW
Recomendaciones
Cargue los datos en una base de datos intermedia
Use el codigo de Transformacion en ActiveX Scripts o COM Objects
Valide toda los datos de los sistemas fuentes
Almacene los Packages en Microsoft Repository para
Usar Data Lineage
Para su proceso de transformacion de los datos use el
DTS Designer
Creacion de Cubos OLAP
Data Marts y
Cubos
Sistemas Fuentes
Clientes
Diseo del Carga del Creacion Query
Data Warehouse Data Warehouse Cubos OLAP Data
1 3 4
Query Tools
Reportes
Analisis
Data Mining
Data
Warehouse
2
Componentes de un Cubo
Time
Product
Location
Dimension
Q4 Q1 Q2 Q3
Grapes
Apples
Melons
Cherries
Pears
Atlanta
Denver
Detroit
Member
Cell
Time Start
Quarter 1 July 1
End
September 30
Quarter 2 October 1 December 31
Quarter 3 January 1 March 31
Quarter 4 April 1 June 30
Properties
Day 1 Day 2 ...
Jan. Feb. ...
1998 1999 ...
Levels
Sales
New York
Boston
Software
100
250
150
100
Hardware
Computer
Products
Hardware Software
Northeast 250 350
250
Computer
Products
350
600
Q1
Q2
Half 1
Q1
Q2
Northeast
Boston
New York
Agregaciones
Coleccion de registros sumarizados a los mismos niveles
de jerarquias
Perspectiva del Cliente MOLAP HOLAP ROLAP
Comparando Estructuras de
Almacenamiento
Rendimiento de
Consultas
Almacenamiento
Mantenimiento del Cubo
Rapidsimo
Alto
Alto
Ms Rpido
Medio
Medio
Almacenamiento
Data Base
Agregacin
MOLAP
Cubo
Cubo
HOLAP
Tabla
Relacional
Cubo
ROLAP
Tabla
Relacional
Tabla
Relacional
Rpido
Bajo
Bajo
Partitions Sales Cube
1997
1998
1999
1997
1998
1999
Almacenando en Particiones
Una Particion es Automaticamente Creada al Crear el Cubo
Un Cubo Puede Tener Muchas Particiones
Las Particiones No Tienen Efecto sobre el Cubo
Preguntas Comunes
Cuanto espacio en disco necesito?
MOLAP, HOLAP o ROLAP?
Cuantas agregaciones debo usar?
Tener mas agregaciones me ayuda
realmente?
Recomendaciones
Use la opcion de Incremental Update para ingresar nuevos datos
Cree Shared Dimensions
Use el Storage Design Wizard para minimizar la explosion de los
datos
Determine el mas bajo nivel de detalle requerido por el usuario
Evite en lo posible la opcion Full Process (Rebuild)
Grabe y reuse los Packages para Transformar los datos
Query Data (Excel 2000)
Data Marts y
Cubos
Sistemas Fuentes
Clientes
Diseo del Carga del Creacion Query
Data Warehouse Data Warehouse Cubos OLAP Data
1 3 4
Query Tools
Reportes
Analisis
Data Mining
Data
Warehouse
2
Microsoft Office 2000
Excel 2000
Office Web Components
Access 2000
Cognos PowerPlay
WarehouseBuilder
Recomendaciones
Use en un principio Excel 2000 para analizar los datos
Use OLAP Manager para administrar y
Mantener la aplicacion
Asegurese que sus aplicaciones tienen el nivel apropiado
de funcionalidad para los usuarios finales
Use Office Web Components para publicar sobre la Web
Preguntas
y
Respuestas