OLAP

Mg. Samuel Oporto Daz

Mapa del Curso

Inteligencia de Negocios

Metodologa Kimball

Planeamiento del Proyecto

Modelo del Negocio

Modelado Dimensional

Modelado Fsico

ETL

Minera de Datos

Reportes

Tabla de Contenido
Arquitectura de un DWH OLTP Load Manager DW Manager Query Manager

Objetivos
1. Presentar la arquitectura de una DWH 2. Presentar los conceptos bsicos necesarios para entender la tecnologa OLTP 3. Presentar ejemplos sencillos de cada uno de los conceptos relacionados al OLTP

ARQUITECTURA DE UN DATA WAREHOUSING

Arquitectura de un DWH
Fuentes externas

Adquisicin de datos

OLAP Server

Extraccin de datos

OLAP

Integracin de Datos

Datos Warehouse

Consultas y anlisis de datos

Consultas/ Reportes

Minera de datos

Metadata Fuentes internas

Supervisin Administracin

Construccin y mantenimiento

Arquitectura

Los datos son extrados desde aplicaciones, bases de datos, archivos, etc. Los datos son integrados, transformados y limpiados, para ser cargados en el DW La informacin del DW se estructura en cubos multidimensionales, los cuales preparan esta informacin para responder a consultas dinmicas con una buena performance. Los usuarios acceden a los cubos multidimensionales del DW utilizando herramientas de consulta, exploracin, anlisis, reportes, etc.

OLTP
OLTP (On Line Transaction Processing), informacin transaccional generada por la empresa en su operacin.
Diferentes formatos, procedencia, funcin, configuracin. Archivos de textos. Hipertextos. Hojas de clculos. Informes semanales, mensuales, anuales, etc. Bases de datos transaccionales.

ETL
ETL (Extraccin, Transformacin y Carga). Extraccin. Desde los OLTP
Transformacin. Manipulacin, integracin, solucin de inconsistencias. Carga. Carga en el DWH

ETL. Extraccin
Extrae los datos relevantes desde diversas fuentes OLTP.
CRM ERP TXT
Aplicaciones a la medida

Otras

Procesamiento sin paralizar el OLTP, ni el DWH Gestiona los metadatos del proceso ETL. Facilita la integracin de fuentes internas y externas. Tablas auxiliares y temporales para clculos intermedios. El DWH se puebla desde estas tablas.

ETL . Transformacin
Convierte datos inconsistentes en datos compatibles y congruentes, para ser cargados en el DW.
Codificacin. Medida de atributos. Convenciones de nombramiento. Fuentes mltiples.
Archivos planos

BDR

ERP

CRM

ETL

ETL

BD Temporal

ETL

Sistema Objetivo

Evaluar Calidad de datos

Limpieza de Datos (Data Cleaning).

Datos no existentes (missing values). Datos extremos (outliers)

Registros de excepcin

Correccin de datos por el usuario

ETL . Transformacin
Codificacin. Medida de atributos.

Convenciones de nombramiento.

Fuentes mltiples.

ETL. Transformacin
Datos no existentes El dato no existe por que:
No fue registrado en el momento En la integracin de BD una de ellas no tiene esa columna

Datos extremos Se presenta por que:

Caso excepcional Error de digitacin.

ETL. Carga
Carga el DWH con: Datos transformados que residen en tablas temporales. Datos de OLTP que tienen correspondencia directa.

El proceso ETL

Extraccin. Se extraen datos relevantes desde los OLTP y se

depositan en tablas temporales.

Transformacin. Se integran y transforman los datos en las tablas

temporales para evitar inconsistencias.

Carga. Se carga desde las tablas temporales al DHW.

Si existe correspondencia directa entre los datos del OLTP y del DWH, se procede a la carga.

Tareas del ETL

Initial Load (Carga Inicial)
Primera carga. Movimiento de gran cantidad de datos. Fuerte consumo de tiempo.

Incremental Load (Carga Incremental o actualizacin)

Mantenimiento o refresco peridico (frecuencia de actualizacin) Movimiento de pocos datos (nuevos o modificados). Problema control de cambios (desde la fecha anterior)
Identificar las instancias de los OLTP involucradas. Utilizar disparadores (triggers) en los OLTP. Recurrir a marcas de tiempo (Time Stamp). Comparar los datos existentes en los dos ambientes (OLTP y DW).

Full Load (Carga total)

Si el control de cambios es complejo, cargar desde cero.

Administracin del DWH

Transforma los datos fuentes en un modelo dimensional.
Gestiona los datos mediante tablas de hechos y de dimensiones (repositorio de datos) Las tablas de hechos y dimensiones permiten crear cubos OLAP

Permite ejecutar sentencias MDX (Multidimensional Expressions).

Define las polticas de particionamiento de la tabla de hechos para mejorar la eficiencia de las consultas. Ejecuta copias de respaldo.

Base de Datos Multidimensionales

Una BDMD se usa para crear aplicaciones OLAP. Cada tabla almacena registros de la forma: D1, D2, D3, M1, M2, M3.
Cada tabla se relaciona a un hipercubo (o un cubo OLAP)

DBR

BMDM

CUBO

Base de Datos Multidimensionales

Cada tabla almacena registros de la forma: D1, D2, D3, M1, M2, M3. Di es una dimensin
Describe un aspecto del negocio. Define la organizacin lgica de los datos. Provee un medio para analizar datos del negocio. Permite filtrar y manipular los datos almacenados
Fact Table

Time Product Customer Employee Total Quantity Freight Descount

Mi es una medida (hecho)

Siempre son numricas Cruzan todas las dimensiones en todos los niveles. Son indicadores sumarizados (sumas, promedios, mnimo, mximo, total, %)

Modelos Multidimensionales
Tabla de hechos

Esquema en Estrella (Star Scheme).

Tablas de dimensiones Dimensiones

Medidas

Esquema Copo de Nieve (Snowflake Scheme).

Esquema Constelacin (Starflake Scheme).

Esquema Estrella
Tabla de hechos

Tablas de dimensiones Dimensiones

Medidas o hechos

Esquema Copo de Nieve

Esquema Constelacin

Tabla de dimensiones
Definen la organizacin lgica de los datos.

Tiene una PK (nica) y columnas de referencia:

Clave principal (PK) o identificador nico. Clave forneas. Datos de referencia primarios (identifican la dimensin) Datos de referencia secundarios (complementan la descripcin).

No siempre la PK del OLTP, corresponde con la PK de la tabla de dimensin relacionada (por qu?)

Tablas de Hechos
Las tablas de hechos contienen hechos. Los hechos o medidas son los valores de datos que se analizan (son numricos). La tabla de hechos tiene una clave primaria compuesta por las claves primarias de las tablas de dimensiones relacionadas a este. Los hechos son aquellos datos que residen en una tabla de hechos y que son utilizados para crear indicadores, a travs de sumarizaciones preestablecidas al momento de crear un cubo multidimensional.
Dimensiones

Medidas o hechos

Hechos o medidas
Las medidas representan los valores que son analizados:
Cantidad de pacientes admitidos Llamadas efectuadas. ImporteTotal = precioProducto * cantidadVendida Rentabilidad = utilidad / PN CantidadVentas = cantidad PromedioGeneral = AVG(notasFinales)

Valores numricos porque estos valores son las bases de las cuales el usuario puede realizar clculos. Si la medida es no numrica debemos codificarla a un valor numrico y cuando tengamos que exponerla decodificarla para mostrarla con el valor original.

Hechos o medidas
Caractersticas de las medidas:
Deben ser numricas. Cruzan todas las dimensiones en todos los niveles.

Las medidas pueden clasificarse en:

Naturales Estas formas de agregacin pueden ser: Suma: es la operacin que suma los valores de las columnas Cuenta: realiza un conteo de los valores Mnima: devuelve un valor mnimo Mxima: proporciona el mayor de los valores Cuenta de Distintos: cuenta los valores diferentes Calculadas Clculos Matemticos Expresiones condicionales Alertas

Cubos Multidimensionales o hipercubos

Representa o convierte datos planos que se encuentran en filas y columnas, en una matriz de N dimensiones. Los atributos existen a lo largo de varios ejes o dimensiones y la interseccin de ellas representa el valor que tomar el indicador.

La idea de multidimensionalidad

Region

Sales Year Quarter Product category

granularity

Product type Product 3 dimensiones

El Cubo
Regin Mobiles Fax Standard

Vaud
Fribourg Neuchatel Tipo de Producto

1999 1998 1997 Ao

Ventas de telefonos Standard en 1997 en la regin Vaud

30

Indicadores, Atributos y Jerarquas

Los objetos a incluir en un cubo son: Los indicadores, son sumarizaciones (suma, conteo, promedio, etc), efectuadas sobre algn hecho. Dependen de los atributos/jerarquas que se utilicen para analizarlos.
Los atributos, son criterios utilizados para analizar los indicadores. Se basan, en los datos de referencia de las tablas de dimensiones. En un cubo, los atributos son los ejes del mismo. Son campos o criterios de anlisis, pertenecientes a tablas de dimensiones.

Indicadores, Atributos y Jerarquas

Una jerarqua representa una relacin lgica entre dos o ms atributos; si poseen una relacin padre-ho. Tienen las siguientes caractersticas: Existen varias en un mismo cubo. Tienen dos o ms niveles. Relacin 1-n o padre-ho entre atributos consecutivos de un nivel superior y uno inferior. Se pueden identificar cuando existen relaciones 1-n o padre-ho entre los propios atributos de un cubo.

Granularidad
La granularidad es el nivel de detalle en que se almacena la informacin. Por ejemplo:
Datos de ventas o compras de una empresa, pueden registrarse da a da Datos pertinentes a pagos de sueldos o cuotas de socios, podrn almacenarse a nivel de mes.

A mayor nivel de detalle, mayor posibilidad analtica, ya que los mismos podrn ser resumidos o sumarizados. Los datos con granularidad fina (nivel de detalle) podrn ser resumidos hasta obtener una granularidad media o gruesa. No sucede lo mismo en sentido contrario.

Consultas
Ejecuta consultas relacionales, tales como Join y agregaciones, y de consultas propias del anlisis de datos, como drill-up y drill-down. Una consulta consiste en obtener indicadores desde una tabla de hechos, restringidas por las propiedades o condiciones de los atributos. Las operaciones pueden ser:
Drill-down. Drill-up. Drill-across. Roll-across. Pivot. Page.

Ejemplo
Sea el siguiente esquema estrella

Matricialmente

Drill-down

Datos originales

Drill-down

Matricialmente

Drill-up

Datos originales

Drill-up

Drill-across
Datos originales Se analiza a mayor detalle agregando un criterio ms

Matricialmente

Drill-across

Matricialmente

Roll-across

Datos originales

Roll-across

Pivot
Selecciona el orden de visualizacin de atributos e indicadores

Matricialmente

Roll-across

Datos originales

Page
Presenta el cubo dividido en secciones, mediante valores de un atributo, como si se tratase de pginas de un libro:

Page
Pivot permite realizar las siguientes acciones:
1. Mover un atributo o indicador desde el encabezado de fila al encabezado de columna. 2. Mover un atributo o indicador desde el encabezado de columna al encabezado de fila. 3. Cambiar el orden de los atributos o indicadores del encabezado de columna. 4. Cambiar el orden de los atributos o indicadores del encabezado de fila.

Es muy til cuando las consultas devuelven muchos registros y es necesario desplazarse por los datos para poder verlos en su totalidad.

Matricialmente

Pgina 1 Datos originales

Page

Matricialmente

Pgina 1 Datos originales

Page

PREGUNTAS