Building the Data Warehouse

Sumario

• Expresar el Beneficio/propósito de un modelo

lógico de datos
• Describir un Modelo de Datos Entity
Relationship Data Model (ERM)
• Describir un Multidimensional Data Model
(MDDM)
• Razones para un metadata
• Explicar el proceso para mover Data dentro de
el DW
• Lista de algunas tecnologías populares de DW
Data Warehouse Modeling and Design
Aproximaciones Modeling and Design
 Capturando los Requerimentos

• Tal como cualquier intelligence application

• Revisar acerca de los requerimientos del
negocio
• Entender la DATA
• Plus, mirar en la estructura de los reportes
del negocio
 Modelamiento
 Proceso de construir un modelo de datos, el cual es almacenado en
un Data Warehouse
Data warehouse model = Abstract model representing the
data
warehouse content
 Se asemeja al modelamiento de datos OLTP pero también es
considerado diferente por:
Características de el ambiente de data warehouse or
DataMart environment
El contexto de computación en el cual un data warehouse
or DataMart reside.
Falta de claridad e incompletos requerimientos del usuario
final.
Complicación directa del usuario final.
Así mismo en el proceso de modelamiento y con el
resultado del modelo.
 Proceso de Modelamiento
• Requerimiento Base para modelamiento
• Validación de los requerimientos del
Modelo.
• Modelamiento de Data Temporal
• Optimización del modelo de Datos
• Adecuadar el modelo para la arquitectura
de Datos corporativa.
• Completando la metadata
Requirementos Base Modelamiento
Requiremientos de Validación
Técnicas Modelamiento- Entity
Relationship
Entity Relationship Modeling
 Modelamiento Temporal
 ERM usualmente y produces a instantanea
(snapshot).
• Bueno para OLTP con transient data
• No es bueno para data warehouse con Data
Historica.
 Podria incluir algunos aspectos basicos
temporalmente.
• Audit trails
• Dated information
 Podria expandir el ERM para retención de Data
temporal.
Técnicas de Modelamiento -
Multidimensional
Star Schema - An Example
Multidimensional Data Modeling
Assembling the Star - Fact in the
Middle
Assembling the Star -
Dimensions Around
Star Goes Snowflake -
Dimension Hierarchies
Multidimensional Data Modeling
- Basic
Multidimensional Data Modeling
- Advanced
Denormalize Back to a Star
ERM - MDDM
Building Metadata
The Answer
 Types of Metadata

• Technical Metadata
• Enables I/T to manage the Data Warehouse
Static
Dynamic (Ongoing)
• Business Metadata
• Supports end users. use and understanding of business
data
• Enables users to navigate through the data in the Data
Warehouse
Metadata Management Strategy
Populating the Data Warehouse
Extract
Recolección
Transform and Build
Data Transformation
 Anomalies in Individual Data
Fields (1 of 2)
Individual fields with values different from their metadata specifications or
missing values
Anomalies in Individual Data
Fields (2 of 2)
Lack of Data Standards
Carencia
Lack of Data Consolidation
 Solving Data Quality Problems -
Key Issues
• Solution must be able to cope with initially
unknown issues
• Solution must be able to
handle .exceptions. (noise) and
uncertainty
• Solution must be efficient
• Solution must be flexible, scalable and
adaptive
CDW Load
Pipe Subsystems
 Populating - Global Challenges

• Find the right balance between data access and data

• replication
• Putting it all together
• Architecture design
• System construction
• Choice of techniques, choice of tools
• Customizations and components integration
• Balance populating system capabilities against end-user
• requirements
 Warehouse Build Scenario -
ETI*EXTRACT
• Design warehouse schema
• Identify sources to populate warehouse
• Generate extract programs for data sources
• Analyze data quality
• Build standardization programs
• Build identity and relationship matching programs
• Build transformation and summarization programs
• Build load scripts
• Link programs into single workflow
• Build process automation
• Consolidate solution metadata
ETI . EXTRACT
 Warehouse Build Scenario -
Vality INTEGRITY
• Design warehouse schema
• Identify sources to populate warehouse
• Generate extract programs for data sources
• Analyze data quality
• Build standardization programs
• Build identity and relationship matching programs
• Build transformation and summarization programs
• Build load scripts
• Link programs into single workflow
• Build process automation
• Consolidate solution metadata
Data Conditioning and
Standardization
Building an Integrity Application
Warehouse Build Scenario -
DataPropagator
IBM Replication Architecture
Non-IBM Target
Non-IBM Source
DB2 Federated: What Is It?
DB2 UDB Federated DB
Global Optimization (1 of 3)
Global Optimization (2 of 3)
Global Optimization (3 of 3)
Global Catalog
DRDA AS Support
¿Preguntas?