CARRERA DE INGENIERIA DE SISTEMAS

Ing. Johny Pretell C.

Lima, Semestre 2012-2

Agenda
01 OLTP OLAP

02 Data Warehouse.- Cmo encaja?

03 Tipos de Almacenamiento OLAP 04 Esquema Datawarehousing 05 Roadmap para implementar un Base de Datos Estratgica

CARRERA DE INGENIERA DE SISTEMAS

CUANDO UNA BASE DE DATOS ES ESTRATEGICA?

CARRERA DE INGENIERA DE SISTEMAS

SISTEMAS OLTP

CARRERA DE INGENIERA DE SISTEMAS

Procesamiento de Transacciones En Lnea

OLTP (OnLine Transaction Processing) Tipo de sistemas que facilitan y administran aplicaciones transaccionales, usualmente para entrada de datos y recuperacin y procesamiento de transacciones (gestor transaccional).
Los paquetes de software para OLTP se basan en la arquitectura cliente-servidor ya que suelen ser utilizados por empresas con una red informtica distribuida.
CARRERA DE INGENIERA DE SISTEMAS

Niveles en el uso de los Datos

Planificacin a largo plazo Planificacin administrativa Planificacin empresarial Mira el futuro

Analtico

Anlisis, seguimiento y control Toma de decisiones Consulta datos histricos

Sistemas de Informacin
operaciones repetitivas captura datos bsicos tareas predefinidas

Transaccional

BD
actividades y transacciones elementales de BD

CARRERA DE INGENIERA DE SISTEMAS

Sistemas Operacionales
Una BD operacional tiene caractersticas como:
Est orientada a la aplicacin. Tiene estructuras normalizadas. Contiene los datos de las operaciones. Los datos se almacenan con el mximo nmero de detalle. Se actualiza en lnea. Est en constante cambio. Cada tablas est normalizada para asegurar la integridad de los datos, minimizar el espacio ocupado y maximizar el rendimiento de los datos.
CARRERA DE INGENIERA DE SISTEMAS

Sistemas Operacionales
Las estructuras de datos son complejas. Los sistemas son diseados para una alto rendimiento de funcionamiento y procesamiento. La data est dispersa.

Pueden no complejas.

ajustarse

consultas

OLTP (OnLine Transaction Processing) es el Procesamiento de Transacciones En Lnea es un tipo de software que administran aplicaciones transaccionales, usualmente para entrada de datos y recuperacin y procesamiento de transacciones. La tecnologa OLTP se utiliza en aplicaciones, como banca electrnica, procesamiento de pedidos, comercio electrnico, supermercados, industria, etc. CARRERA DE INGENIERA DE SISTEMAS

SISTEMAS OLAP

CARRERA DE INGENIERA DE SISTEMAS

OLAP
(On-Line Analytical Processing).

Solucin utilizada en el campo de la llamada Inteligencia empresarial (o Business Intelligence) cuyo objetivo es agilizar la consulta de grandes cantidades de datos. Utiliza estructuras multidimensionales (o Cubos OLAP) que contienen datos resumidos de grandes Bases de datos o Sistemas Transaccionales (OLTP). Se usa en informes de negocios de ventas, marketing, informes de direccin, minera de datos y reas similares.
CARRERA DE INGENIERA DE SISTEMAS

Sistemas Analticos
OLAP (On-Line Analytical Processing) es Procesamiento Analtico en Lnea. Es rpido para entregar consultas complejas. Utiliza estructuras multidimensionales (o Cubos OLAP) que contienen datos resumidos de Sistemas OLTP. Un BD dimensional almacena los datos en cubos olap donde se encuentran calculados y agregados para ser consultados Una BD relacional almacena entidades en tablas discretas han sido normalizadas.

CARRERA DE INGENIERA DE SISTEMAS

Sistema OLAP
Tiene un esquema que est optimizado para que las consultas se ejecuten rpidamente. Almacena varios niveles de datos conformados por estructuras altamente optimizadas para consultas. Permite el uso interactivo con los usuarios. Preparado para realizar informes complejos. Proporciona una vista de datos multidimensional (las tablas son bidimensionales) Permite cambiar fcilmente las filas, las columnas y las pginas en informes de OLAP.
CARRERA DE INGENIERA DE SISTEMAS

Usos
Sistemas de informacin ejecutivos. Los gerentes necesitan informacin sobre los indicadores (lo normal y las excepciones o las variaciones) Aplicaciones financieras. Para para comunicar, planear, y analizar escenarios de mercado. (pronstico). Ventas y aplicaciones de Marketing. Anlisis de la facturacin, anlisis de producto, anlisis del cliente, y anlisis de ventas regional. Otros Usos. Anlisis de la Produccin, anlisis de servicios al cliente, evolucin del costo del producto, etc
CARRERA DE INGENIERA DE SISTEMAS

OLTP vs OLAP

OLTP (On-Line
Transaction Processing): Se disea para el ingreso y mantenimiento de datos en tiempo real (transacciones cotidianas).

OLAP (On-Line Analytical

Process): proceso en el que se emplean herramientas que permiten facilitar el anlisis de informacin de negocios, organizada dimensionalmente. (capacidad para el anlisis complejo de datos)

Caractersticas:

Altas/Bajas/Modificaciones/Consul tas Consultas rpidas y escuetas Poco volumen de informacin Transacciones rpidas Gran nivel de concurrencia Alimentan a las soluciones analticas

Caractersticas:
Slo Consulta Consultas pesadas y no predecibles Gran volumen de informacin histrica Operaciones lentas Informacin consolidada (almacenada en un lugar central) No es atmica. La data OLAP es resumida, no requiere mximo nivel de detalle. Orientada al objetivo (informacin clave para toma de decisiones)

Ejemplos:
Cuentas corrientes, Control de stock, Control de produccin, Contabilidad, etc.

En un modelo OLAP, la informacin es vista como cubos, los cuales consisten de categoras descriptivas (dimensiones) y valores cuantitativos (medidas).

CARRERA DE INGENIERA DE SISTEMAS

14

Sistemas Operacionales Vs Analticos

CARRERA DE INGENIERA DE SISTEMAS

Sistemas Operacionales Vs Analticos

OLPT Objetivos Orientacin Vigencia de los datos Granularidad de los datos Organizacin Cambios en los datos Operacionales A la aplicacin Actual Detallada Organizacin normalizada Continuos OLAP Informacin para la toma de decisiones Al sujeto Actual + histrico Detallada + resumida Organizacin estructurada en funcin del anlisis a realizar Estable

CARRERA DE INGENIERA DE SISTEMAS

Caracterstica
Tamao BBDD Origen Datos Actualizacin Periodos Consultas Actividad

Diferencias entre OLTP y OLAP

OLTP OLAP
GigaBytes Interno On-Line Actual Predecibles Operacional Giga a TeraBytes Interno y Externo Batch Histrico Ad Hoc Analtica

CARRERA DE INGENIERA DE SISTEMAS

17

Pueden Convivir los entornos OLTP y OLAP juntos ?

Todas estas divergencias hacen que no sea posible la convivencia en una nica BBDD de los entornos OLAP y OLTP:
Prdida de rendimiento del entorno OLTP Falta de integracin entre distintos aplicaciones OLTP Tecnologas de BBDD sin capacidad para soportar aplicaciones OLTP Incorporacin de datos externos difcilmente aplicable a la BBDD OLTP Distribucin de los datos no adecuada para anlisis OLTP

CARRERA DE INGENIERA DE SISTEMAS

18

Construyendo un Sistema OLAP

j j

Datamarts = OLAP

Datamarts = Datawarehouse (DW)

CARRERA DE INGENIERA DE SISTEMAS

Data Warehouse y Data Marts

Un Data Warehouse
(DW) es un almacn de informacin integrada, proveniente de sistemas de informacin transaccionales, con el objetivo de proveer datos para el anlisis y la toma de decisiones.

Un DataMart

es un repositorio parcial de datos orientado a un rea del negocio

Data-Mining: Tcnicas de anlisis de datos

encaminadas a obtener informacin oculta en un Datawarehouse

Un Data Warehouse puede proveer los datos para los Data Marts

20 CARRERA DE INGENIERA DE SISTEMAS

Ejemplo de una Solucin Fuertemente Integrada

Entrega de Informacin Sistemas Fuentes ERP CRM LOB
Base Datos Transaccional

Entrega de Informacin
Patrones y Predicciones

SIE

Data Marts

Reportes Empresariale s

Cliente

Portal

Herramientas Familiares, Poderosas Aplicaciones de Terceros

Indicadores de Desempeo

SSD
Herramientas Analticas

ETL Empresarial

Data Warehouse

Anlisis de Datos (OLAP, Minera de Datos)

Dispositivos
Reportes Produccin

OLTP

Integrar Data Automatizada

Poder de los usuarios para generar sus propios reportes

Altamente intuitivo, herramientas visuales

CARRERA DE INGENIERA DE SISTEMAS

CARRERA DE INGENIERA DE SISTEMAS

Modos de almacenamiento OLAP

MOLAP
(OLAP Multidimensional) una copia de los datos de origen del cubo, junto con sus agregaciones, es almacenada en una estructura multidimensional.
Provee excelente rendimiento y compresin de datos. Tiene mejor tiempo de respuesta, dependiendo solo del porcentaje de las agregaciones del cubo. La estructura est muy optimizada para maximizar el rendimiento de las consultas. En general este mtodo, es muy apropiado para cubos con uso frecuente por su rpida respuesta.

ROLAP
(OLAP Relacional) toda la informacin del cubo, sus datos, su agregacin, sumas, etc., son almacenados en una base de datos relacional.
ROLAP no almacena copia de la base de datos, accede a las tablas originales cuando necesita responder a las consultas, generalmente es mucho ms lenta que las otras estrategias de almacenamiento (MOLAP o HOLAP). ROLAP se utiliza para ahorrar espacio de almacenamiento cuando se trabaja con grandes conjuntos de datos que se consultan con poca frecuencia; por ejemplo, datos exclusivamente histricos.

HOLAP
(OLAP hbrido) combina atributos de MOLAP y ROLAP.
HOLAP hace que las agregaciones se almacenen en una estructura multidimensional, y los datos a nivel de detalle, en una base de datos relacional como lo hace el almacenamiento ROLAP. Cubos que requieren rpida respuesta Cuando existen sumarizaciones basadas en una gran cantidad de datos de origen. Solucin de compromiso para bajar el espacio ocupado sin perjudicar totalmente el rendimiento de las consultas.

CARRERA DE INGENIERA DE SISTEMAS

MOLAP
Multidimensional OLAP (MOLAP) Almacenamiento en la BD Multidimensional de: o Agregaciones o Informacin de detalle Arquitectura optimizada para consultas, clculos complejos y compresin Modo de almacenamiento por defecto
Products Geography

Ventajas
No necesita de una conexin continua con el Data Warehouse Permite comprobar la integridad de la informacin en el momento del procesado Consultas ms rpidas

Inconvenientes:
Duplicidad de la informacin ( en Relacional y en Multidimensional) Incremento del espacio necesario para el almacenamiento Latencia muy alta
CARRERA DE INGENIERA DE SISTEMAS

ROLAP

Relational OLAP (ROLAP) Almacenamiento en la BD Relacional de : o Agregaciones o Informacin de detalle Arquitectura orientada a las transacciones. Escrituras y modificaciones Las agregaciones se forman mediante vistas indexadas

Geograph y Products
Time

Ventajas
Latencia muy baja Informacin no duplicada

Inconvenientes:
Identificacin manual de la propiedad Slice Complejidad a la hora de crear agregaciones (vistas indexadas) e incremento de espacio No aprovecha agregaciones existentes sobre atributos relacionados de forma natural No se puede comprobar la integridad de la informacin Conexin continua al sistema transaccional Rendimiento bajo (necesidad de un performance tuning)
CARRERA DE INGENIERA DE SISTEMAS

HOLAP
Hybrid OLAP (HOLAP) Almacenamiento en la BD Multidimensional de: o Agregaciones Almacenamiento en la BD Relacional de: o Informacin de detalle

Geography Products Time

Ventajas
Rendimiento de consultas sobre agregaciones Decremento del espacio necesitado

Inconvenientes:
Rendimiento de consultas sobre informacin detallada Necesaria una conexin continua al sistema relacional Informacin errnea si no se actualizan las agregaciones con respecto a la informacin detallada.

CARRERA DE INGENIERA DE SISTEMAS

Products

Geography

MOLAP vs. ROLAP

MOLAP
Revenue for Laptop Computers In 2008 At All Stores

ROLAP
Revenue for Laptop Computers In 2008 At All Stores
Profit

Revenue for All Electronics In 2003 and Q1 2004 At Stores in the NE Region Products Geography Revenue for All Electronics In 2003 and Q1 2004 At Stores in the NE Region Category

Total Revenue. Cost In Jan 2008 and Jan 2009 At Top 10 Revenue Stores

Total Revenue, Cost, Profit In Jan 2004 and Jan 2003 At Top 10 Revenue Stores Drill to Category

MOLAP: permite una rpida rebanada predefinida como un subconjunto datos y poder verla desde diferentes perspectivas

ROLAP: permite "analizar todo" y escarbar en cualquier lugar usando la base de datos relacional en todas las dimensiones a nivel resumen y nivel detalle.

CARRERA DE INGENIERA DE SISTEMAS

Comparativa Aplicaciones OLAP

Modo Detalle Agregaciones Espacio requerido Medio Pequeo Grande Procesamiento de las consultas Rpido Medio Lento Tiempo de procesamiento Medio Rpido Medio Latenci a Alta Media Baja

MOLAP HOLAP ROLAP

BD MultiDim. BD Relacional BD Relacional

BD MultiDim. BD MultiDim. BD Relacional

Escenario de ejemplo
Ao Actual MOLAP HOLAP ROLAP

Ao Anterior
Histrico 10 aos
CARRERA DE INGENIERA DE SISTEMAS

INTELIGENCIA DE NEGOCIOS

CARRERA DE INGENIERA DE SISTEMAS

Esquema Data Warehousing

Consultas y Reportes Procesamiento Analtico en Lnea OLAP Minera de Datos
Acceso WEB

Necesidades del Negocio Data Warehouse (Data Mart)

Necesidades de Desarrollo
Manejar

Acceso

Almacenar

Transformar Definir

Distribuir

Automatizar

DB2

ORACLE

INFORMIX
SQL Server

SYBASE

VSAM
IMS

Files

Datos Fuentes externos y operacionales

CARRERA DE INGENIERA DE SISTEMAS

Inteligencia de Negocios

Mapa del Proceso para Implementar una Base de Datos Estratgica para el Negocio

Metodologa Kimball

Planeamiento del Proyecto

Modelo del Negocio

Modelado Dimensional

Modelado Fsico

ETL

Minera de Datos

Reportes

CARRERA DE INGENIERA DE SISTEMAS

Conclusiones Finales

CARRERA DE INGENIERA DE SISTEMAS

Practica en Laboratorio

CARRERA DE INGENIERA DE SISTEMAS

Para la Prxima Clase

Tema a Tratar: - DATA WAREHOUSE

Fin de la Sesin 03
CARRERA DE INGENIERA DE SISTEMAS