Data Transformation Services y Analysis Services

Salvador Ramos
MVP SQL Server MCP SQL Server

Columnista de dotNetMana
Mi web: www.helpdna.net webmaster@helpdna.net

Agenda

Tecnologas OLTP vs OLAP Business Intelligence Diseo de Datawarehouse y soluciones OLAP Introduccin a Data Mining Introduccin al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

Agenda

Tecnologas OLTP vs OLAP Business Intelligence Diseo de Datawarehouse y soluciones OLAP Introduccin a Data Mining Introduccin al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

Tecnologas OLTP vs OLAP

OnLine Transaction Processing

Sistemas transaccionales, enfocados a gestionar un gran nmero de transacciones concurrentes Permiten insertar, actualizar, borrar y consultar una pequea cantidad de registros Enfocados al anlisis de grandes cantidades de datos Proporcionan respuestas rpidas y complejas

OnLine Analytical Processing

Tecnologas OLTP vs OLAP

OLTP Orientado a lo operativo (procesos) Predomina la actualizacin Se accede a pocos registros Datos altamente normalizados Estructura relacional Rpidos tiempos de respuesta. Estructura esttica

OLAP Orientado a temas Predomina la consulta. Datos histricos Procesos masivos, se accede a muchos registros Datos Denormalizados Estructura multidimensional Respuesta masiva, no inmediata Estructura dinmica, abundantes cambios

Agenda

Tecnologas OLTP vs OLAP Business Intelligence Diseo de Datawarehouse y soluciones OLAP Introduccin a Data Mining Introduccin al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

Business Intelligence

Conjunto de herramientas y servicios destinado a la gestin eficiente del conocimiento y la informacin en empresas y organizaciones Nos permite:

Convertir los datos en informacin Tomar mejores decisiones rpidamente Utilizar un mtodo razonable para la gestin empresarial

SQL Server 2000

Data Transformation Services

Analysis Services

Reporting Services

SQL Server 2000

Full-Text Search Relational Database Engine *Notification Services

Replication

HTTP Support

Fernando G. Guerrero (Solid Quality Learning)

Solucin Microsoft BI
Colaboracin BI

Visualizacin

Anlisis de datos

Anlisis Geoespacial

Gestin de Proyectos Creacin de Sitios B2B y B2C

Anlisis Ventas y Mrketing

Agenda

Tecnologas OLTP vs OLAP Business Intelligence Diseo de Datawarehouse y soluciones OLAP Introduccin a Data Mining Introduccin al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

Componentes
Herramientas de anlisis y reporting ERP
Aplicacin 1

CRM
Aplicacin 2

ETL
DataWarehouse

ETL

Cubos Analysis Services

Aplicacin N

OLTP

Area intermedia

Area presentacin

Acceso a datos

Datawarehouse

Almacn de datos procedentes de los sistemas OLTP. Repositorio colectivo Almacn de datos centralizado Datos organizados en grupos temticos Los datos son:

Consistentes Depurados Histricos (no voltiles)

Suministra datos rpida y eficientemente Datamarts

DTS herramienta ETL

Conjunto de servicios para ETL Modelo de objetos e interfaces grficos Pueden ser utilizados desde entornos de desarrollo que soporten COM Incluyen asistentes que facilitan las tareas Diseador de paquetes

DTS herramienta ETL

Permiten operar con los datos:

Importacin Exportacin Transporte Transformacin Cualquier fuente Ole Db Cualquier fuente ODBC Ficheros planos

Los datos pueden proceder de

Herramientas de DTS

Asistente para la importacin o exportacin Diseador DTS DTSRun DTSRunUI (interfaz grfica) SQLAgent

El diseador de paquetes

El diseador de paquetes

Conexiones
Proveedor OLE DB para SQL Server Data Link Controlador ODBC para Oracle (MS) dBase 5 Microsoft Access Archivo HTML (origen) Microsoft Excel Paradox 5.x

El diseador de paquetes

Conexiones
Archivo de texto (origen) Archivo de texto (destino) Otras conexiones

El diseador de paquetes

Tareas
Transformar datos Consulta controlada por datos Insercin masiva Ejecutar SQL Copia de objetos de SQL Server Transferencia de base de datos Transferencia de mensajes de error Transferencia de Inicios de sesin Transferencia de trabajos Transferencia de proced. almacenados

El diseador de paquetes

Tareas
Secuencia de comandos ActiveX Propiedades dinmicas Ejecutar paquete Ejecutar proceso (.exe o .bat) FTP Cola de mensajes Enviar correo Procesar Analysis Services Extraccin de datos (consultas de prediccin)

DTS

Demo 1

Utilizando los asistentes Utilizando el diseador de paquetes

Diseo de un DW

Definir objetivos y requerimientos

Revisar los informes actuales Investigar todas las posibles fuentes de informacin que alimentarn el DW Definir las tablas del rea intermedia, que alimentarn dimensiones y tablas de hechos Realizar los preclculos necesarios Crear ndices y vistas Elegir el esquema ms adecuado:

Diseo y modelado

Estrella (star) Copo de nieve (snowflacke)

Diseo de un DW

Estrategia de extraccin y transformacin

Decidir en cada caso si se realizar una extraccin completa o incremental Diseo del sistema de extraccin incremental Utilizar triggers, replicacin u otras tcnicas Asegurar la validez, integridad y utilidad de los datos Comprobar que todas las claves externas encuentren valores, y evitar claves nulas

Transformacin de los datos

(ej: sustituirlas por 0 -> Sin familia)

Diseo de un DW

Demo 2

BBDD Multidimensionales

Son contenedores de cubos relacionados y objetos que comparten La unidad de almacenamiento es el cubo
(en los SGDBR es la tabla)

Opciones de almacenamiento

MOLAP

Almacenamiento en estructura multidimensional de Analysis Services Mayor rapidez de respuesta

ROLAP

Almacenamiento en base de datos relacional Para grandes volmenes de datos

Hbrido Respuesta rpida y gran cantidad de datos en origen

HOLAP

Elementos de la base de datos

Origenes de datos Cubos Dimensiones compartidas Modelos de minera de datos Funciones de base de datos (seguridad)

Slo autenticacin windows

Cubos

Tabla de

Producto
Id Nombre Tamao

Hechos

Cliente
Id Nombre Provincia

Tabla de Hechos

Claves externas Medidas

Tiempo
Fecha Ao Mes Dia

Dimensiones

Producto1 Producto2 Producto 3

Producto1 Producto2 Producto 3

Dimensiones

Agregaciones

Son sumas precalculadas de los datos para acelerar el tiempo de respuesta

Jerarquas y niveles Miembros

Tipos de dimensiones

Regulares Virtuales (a partir de propiedades) Padre-Hijo o Primario-Secundario

Segn su mbito

Privadas Compartidas

Medidas y Miembros calculados

Medidas

Conjunto de valores de una columna de la tabla de hechos del cubo Medidas calculadas mediante una frmula MDX

Miembros calculados

Tipos de cubos

Normales Vinculados

Apuntan a un cubo de otro servidor Se crean a partir de varios cubos existentes

(equivalentes a JOIN en SGDBR)

Virtuales

Analysis Manager

Analysis Services

Demo 3

Agenda

Tecnologas OLTP vs OLAP Business Intelligence Diseo de Datawarehouse y soluciones OLAP Introduccin a Data Mining Introduccin al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

Data Mining

Uso de mtodos automatizados para obtener tendencias y pautas a partir de los datos del DW Se componen de

Escenarios (entidades a analizar)

Ej: un cliente y sus ventas

Ej: edad, nmero de hijos, total ventas,

Atributos (informacin sobre los escenarios)

Una vez elegidos los escenarios y atributos, procesamos el modelo

Data Mining

En Analysis Services disponemos de dos proveedores, diseados para obtener agrupaciones eficazmente

Microsoft Decision Trees

Arbol de clasificacin, con diversas ramificaciones

Microsoft Cluster

Agrupacin de escenarios

Data Mining

Demo 4

Agenda

Tecnologas OLTP vs OLAP Business Intelligence Diseo de Datawarehouse y soluciones OLAP Introduccin a Data Mining Introduccin al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

El lenguaje MDX

MultiDimensional eXpressions

(Lenguaje de expresiones multidimensionales)

Es el equivalente a SQL para bases de datos multidimensionales Tambin tiene una instruccin SELECT SELECT <espec-eje>, <espec-eje> FROM <espec-cubo> WHERE <espec-rebanador> Nos permite crear Miembros calculados y Conjuntos con nombre Dispone de mltiples funciones avanzadas

El lenguaje MDX

Demo 5

Conectividad

PivotTable Service (PTS)

Es el cliente de los servicios OLAP Proporciona la interfaz para conectarnos desde las aplicaciones

ADO MD (ActiveX Data Objects MultiDimensional) ADO MD .Net

Herramientas cliente OLAP

SQL Server 2000 Reporting Services Microsoft Excel Microsoft Data Analyzer Herramientas desarrolladas por nosotros

AddIn para Excel Aplicaciones asp o asp.net Webparts para Sharepoint

Herramientas de terceros

Microsoft Excel

Consultas ad-hoc Para mostrar datos utiliza

Tablas dinmicas Grficos dinmicos

Necesita MS Query instalado Se puede publicar en web (OWC)

Microsoft Excel

Demo 6

Microsoft Data Analyzer

Herramienta para usuarios Facilita el anlisis de datos de negocio Interfaz muy amigable Consultas ad-hoc Formas de visualizacin

Grfico de barras Grfico de tarta Datos numricos

Microsoft Data Analyzer

Demo 7

Agenda

Tecnologas OLTP vs OLAP Business Intelligence Diseo de Datawarehouse y soluciones OLAP Introduccin a Data Mining Introduccin al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

Novedades DTS

DTS, ahora Integration Services Se ha reescrito todo el cdigo Servicio windows independiente Incrementa su potencia y funcionalidad Incrementa su rendimiento Nuevo entorno de desarrollo

MS Development Evironment

Integrados con la plataforma .Net

Novedades DTS

Nuevo entorno de desarrollo, en vez de crear un paquete DTS, se crean proyectos

Data Transformation Project

MS Development Environment

Ejemplo agregacin

Novedades Analysis Services

Nuevas herramientas

2000

Enterprise Manager Query Analyzer Analysis Manager Report Manager

BI Development Studio (BIDS)

2005

Orientado a Soluciones y Proyectos (similar a vs.net) Incluye un Debugger

SQL Server Management Studio

Novedades Analysis Services

Mejoras para el modelado de datos

Data Source Views

Tenemos una capa ms de abstraccin Podemos trabajar de forma desconectada Podemos renombrar entidades

Intellicube, nos facilita la construccin de cubos el Repository (por defecto en Access), se sustituye por metadatos en XML Deployment Wizard (facil despliegue)

Novedades Analysis Services

UDM Unified Dimensional Model

Se integran todos los tipos de Data Sources Combina las mejores caractersticas de los modelos relacionales y OLAP Querys interactivas con mejor rendimiento

Alto rendimiento gracias a Proactive Caching

Novedades Analysis Services

KPI Framework

Nuevos tipos de dimensiones Nuevos algoritmos de Data Mining MDX Scripts (servidor) y MDX Debugging

BI Development Studio

Preguntas y dudas

???

www.helpdna.net webmaster@helpdna.net