Escuela Profesional de Ingeniera de Sistemas e Informtica
Ciclo de vida
DataWarehouse M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Implementacin de un Data Warehouse Un proyecto de Data Warehouse debe basarse en satisfacer necesidades del negocio
Los datos se deben presentar de acuerdo con las variables del negocio
Un Data Warehouse est en permanente evolucin
Cada proyecto de Data Warehouse debe tener un principio y un fin 2 M. Ing. Joel Martin Visurraga Aguero Metodologia de Ralph kimball Ciclo de Vida del Desarrollo de un DataWarehouse M. Ing. Joel Martin Visurraga Aguero Planificacin 3 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Predisposicin de la organizacin Alcance Justificacin de negocio Aspectos humanos Plan del proyecto Puntos clave
Planificacin M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Predisposicin de la organizacin Apoyo de la Gerencia (Sponsor) Motivacin del negocio Participacin de gente del negocio y Sistemas Cultura actual de anlisis de informacin Factibilidad Planificacin 4 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Apoyo de la Gerencia (Sponsor) Perteneciente al rea de negocios de la empresa Con visin del impacto del Datawarehouse Con conviccin personal y alto compromiso con el proyecto Con influencia en la empresa, respetado y con buenas conexiones Con conocimiento de la cultura, las personas, las polticas y los procesos de la empresa Con visin realista para comprender los conceptos del datawarehouse y el ciclo de desarrollo iterativo Con capacidad para tomar decisiones
Planificacin Predisposicin de la organizacin M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Motivacin imperiosa del negocio Tener en cuenta que El datawarehouse es un facilitador del acceso a los datos
Va a armarse para resolver requerimientos crticos especficos del negocio
Debe alinearse con las motivaciones del negocio de tipo estratgico de la empresa
Ejemplo - Oportunidad para ganar lugar en el mercado - Mejorar la competitividad
Planificacin Predisposicin de la organizacin 5 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Participacin entre Sistemas y Negocio Un datawarehouse exitoso parte del trabajo conjunto de gente de sistemas y gente del negocio
NO se puede encarar prescindiendo de la otra rea
Planificacin Predisposicin de la organizacin M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Cultura actual en el anlisis de informacin Un datawarehouse se construye para brindar mejor acceso a mejor informacin para dar soporte a la toma de decisiones
si no hay uso actual de informacin,
probablemente la empresa no necesite un Datawarehouse
(o hay que invertir un esfuerzo considerable en cambiar la cultura)
Planificacin Predisposicin de la organizacin 6 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Factibilidad Se refiere a los datos que van a alimentar al Datawarehouse
Los datos del datawarehouse son secundarios, es decir, todos provienen de otras fuentes que los reunieron.
Son importantes Los sistemas transaccionales en funcionamiento que tiene la empresa
La calidad de los datos
Planificacin Predisposicin de la organizacin M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin Predisposicin de la organizacin ESCENARIO POSIBLE 1 Empresa con algn rea de gran visibilidad Con necesidades claras de acceso a informacin Con un ejecutivo del negocio que impulsa el proyecto (sponsor) Es la situacin ms favorable Se da en el 50% de los casos 7 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin Predisposicin de la organizacin ESCENARIO POSIBLE 2 Empresa con mltiples reas que requieren informacin Es una situacin ms complicada Requiere establecer prioridades en los requerimientos M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin Predisposicin de la organizacin ESCENARIOS POSIBLES 3 Empresa sin una necesidad clara de acceso a informacin sino difusa
Es la situacin ms complicada
Puede verse beneficiada por tener acceso a informacin pero hace falta identificar primero en forma clara
Los beneficios de una solucin BI y Las necesidades reales de acceso a informacin 8 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin Predisposicin de la organizacin Controlar la disposicin de la empresa hacia una solucin BI Antes de comenzar un proyecto de Datawarehouse o Data Mart Entender si hay demanda de uso de informacin Identificar de dnde proviene la demanda Hay que Buscar un sponsor de negocios fuerte Identificar usuarios de negocios vidos de informacin
M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin Predisposicin de la organizacin Si no POSPONER EL PROYECTO...
9 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin Evalan si la organizacin est en condiciones de implementar una solucin de BI
Evalan si vale la pena ofrecer una solucin de BI
Preguntas cruzadas
Aspectos de la implementacin
Preguntas clave M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin Compromiso de la Gerencia Requerimientos del negocio Madurez de la empresa Calidad de informacin Caractersticas del Data Warehouse Grupo de desarrollo
Factores Crticos de xito 10 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin Consenso Sistemas y Negocios Valor para la organizacin Manejable Comienzo en pequeo Un proceso de negocios Prioridades Plazos Riesgos
Alcance del Proyecto M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin Estimacin de beneficios y costos Costos de hardware y software Crecimiento Ampliacin de requerimientos Mayores ingresos Mejores oportunidades
Justificacin Para el Negocio 11 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin Funciones provenientes del negocio Funciones tcnicas Sistemas Negocios Funciones de administracin Sistemas Consultores externos Transferencia de conocimiento
Aspectos Humanos M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin DEL LADO DEL NEGOCIO Propietario Patrocinante Conductor Lder de negocios Profesionales de negocios
Personajes 1 Aspectos Humanos 12 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin ASPECTOS TCNICOS Analista de sistemas de negocios Referente temtico Desarrollador de aplicaciones Instructor
Personajes 2 Aspectos Humanos M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin ADMINISTRACIN Y SOPORTE Director del proyecto Arquitecto Especialista de soporte tcnico Modelador de datos Administrador de base de datos Diseador de ETL Soporte del Data Warehouse
Personajes 3 Aspectos Humanos 13 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin Identificacin de las tareas necesarias Participacin de personas clave Identificacin de puntos de aceptacin por los usuarios Etapas Entregables Plan de comunicaciones
Plan del proyecto M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin Plan de comunicaciones Plan del proyecto Interlocutor Frecuencia Mensaje Patrocinante Bi-mensual Resolucin de problemas Manejo de expectativas Usuarios de negocios Mensual Involucracin Manejo de expectativas Fechas crticas Grupo del proyecto Semanal Avance del proyecto Identificacin y resolucin de problemas Sistemas Bi-mensual Manejo de expectativas Necesidad de recursos 14 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Planificacin Puntos Clave
Busque un patrocinante bien ubicado Haga un balance entre valor para el negocio y manejabilidad Desarrolle cuidadosamente el plan del proyecto Sea un director de proyecto con capacidad de motivar, administrar y comunicar a todos los niveles M. Ing. Joel Martin Visurraga Aguero Requerimientos del negocio 15 M. Ing. Joel Martin Visurraga Aguero PREPARACIN Entreviste primero a los altos directivos Visin ms amplia del negocio Determinacin de prioridades Apoyo para las entrevistas posteriores Prepare el grupo de relevamiento Planifique las entrevistas con gerentes intermedios y profesionales de negocios
Requerimientos del negocio M. Ing. Joel Martin Visurraga Aguero UNA VEZ IDENTIFICADOS LOS INTERLOCUTORES Elija los medios Entrevistas Sesiones con moderador Prepare el temario Agenda las entrevistas y sesiones
Requerimientos del negocio 16 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero ENTREVISTAS Apertura Objetivos de la entrevista Desarrollo Forma de trabajo Mtricas Anlisis Cierre Cuantificacin del xito Requerimientos del negocio M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Puntos importantes Escuche atentamente Tome notas No entre en detalles demasiado pronto Trate de captar la terminologa de la organizacin En las entrevistas use el vocabulario del entrevistado
Requerimientos del negocio 17 M. Ing. Joel Martin Visurraga Aguero Funciones vs. Datos Productos Fecfa Hora Sucursales Ventas Cantidad de tickets Qu productos se venden ms? X X Cmo se venden los productos en las sucursales? X X X En qu horas hay ms clientes? X X X Qu das de la semana son ms flojos? X X X INTERLOCUTORES: PROFESIONALES DE NEGOCIOS Requerimientos del negocio M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Entrevistas sobre los datos Interlocutores Conocedores de las fuentes de datos Conocedores del negocio Objetivos Asegurar que hay datos para cumplir con los requerimientos Fijar las expectativas en un nivel razonable
Requerimientos del negocio 18 M. Ing. Joel Martin Visurraga Aguero Datos vs. Fuentes Inventario Carpeta de sucursales Consolidado de cajas BD de productos Productos X X X Fecha X Hora X Sucursales X X Ventas X Cantidad de Tickets X INTERLOCUTORES: ADMINISTRADORES DE BD Requerimientos del negocio M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Actividades post-entrevista Informe sobre la reunin Resumen ejecutivo Visin general Detalle de cada proceso de negocios Para qu se requiere anlisis de datos Qu funciones se necesitan Cules son las limitaciones actuales Cules son los beneficios previstos Factibilidad de conseguir los datos necesarios Requerimientos del negocio 19 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Actividades post-entrevista Presentacin a la alta gerencia Identificacin de procesos de negocios Entendimiento de la terminologa Anlisis de prioridades Impacto en el negocio Factibilidad
Requerimientos del negocio M. Ing. Joel Martin Visurraga Aguero Actividades post-entrevista Impacto en el negocio Factibilidad CUADRANTES DE PRIORIDADES Baja Alta Proceso A Proceso B Proceso D Proceso C 20 M. Ing. Joel Martin Visurraga Aguero Desarrollo del proyecto Requerimientos Lnea de Tecnologa Lnea de Datos Lnea de Aplicaciones El desarrollo del proyecto se realiza en tres lneas
M. Ing. Joel Martin Visurraga Aguero Lnea de Tecnologa 21 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Lnea de Tecnologa Arquitectura Componentes Fuentes de datos Organizacin de datos (Data Staging) Presentacin de datos Acceso a los datos Influencia de los requerimientos Seleccin de productos
M. Ing. Joel Martin Visurraga Aguero Arquitectura Bua del DWh Sistemas Transaccionales Data Staging Area rea de presentacin de datos rea de acceso a los datos Extraccin c Carga Acceso SERVICIOS
Limpieza
Combinacin
Estandarizacin
NO CONSULTAS
ARCHIVOS/ TABLAS
PROCESOS
Ordenamiento Procesamiento secuencial DATA MART 2 Diseo similar DATA MART 1
Dimensional
Un proceso de negocios
Datos atmicos y consolidados Consultas Especiales
Redaccin de informes
Aplicaciones Analticas
Modelos - Pronsticos - Scoring - Data Mining 22 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Influencia de los requerimientos Hardware Servidores Discos Software Sistema operativo Motor de base de datos Funcionalidades M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Influencia de los requerimientos Alta disponibilidad Espejado de datos Soporte unificado de metadatos Potencia de clculo para procesos complejos de integracin Ubicacin de los usuarios Ventana de renovacin 23 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Seleccin de productos Anlogo a otras selecciones de tecnologa Poltica de compras Matriz de evaluacin Requerimientos tcnicos y funcionales Factores de ponderacin M. Ing. Joel Martin Visurraga Aguero Lnea de Datos 24 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Lnea de Datos Modelado dimensional Proceso de negocios Granularidad Tablas de hechos Tablas de dimensin Claves subrogadas Dimensiones de cambio lento M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Lnea de Datos Diseo fsico de la base de datos Nombres de columnas Tipos de datos Claves Particiones Estrategia de consolidacin Qu consolidaciones se incluyen Estrategia de indexacin
25 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Lnea de Datos Diseo y desarrollo del ETL Compra vs. Desarrollo Curva de aprendizaje Retorno de la inversin Normalizacin vs. desnormalizacin Organizacin de las tablas de dimensin Organizacin de las tablas de hechos
M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero ETL Organizacin de las tablas de dimensin Toma los datos dimensionales de los sistemas transaccionales Depura los valores de los atributos para incorporarlos al modelo dimensional Crea y asigna claves subrogadas Mantiene la tabla de referencias cruzadas Identifica el agregado omodificacin de filas en la tabla de dimensin
26 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero ETL Organizacin de las tablas de hechos Toma los datos de hechos de los sistemas transaccionales Recibe dimensiones actualizadas Separa los datos de hechos por granularidad Realiza las transformaciones requeridas en los datos Reemplaza claves de los sistemas fuente por claves subrogadas M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero ETL Organizacin de las tablas de hechos Agrega claves adicionales Sin promocin, No aplicable Asegura la calidad de los datos Cuenta de filas, totales cruzados Construye tablas de hechos sumadas Incorpora los datos al Data Warehouse Informa a los usuarios
27 M. Ing. Joel Martin Visurraga Aguero Lnea de Aplicaciones M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Lnea de Aplicaciones Especificacin y desarrollo de aplicaciones Diferentes niveles de necesidad de informacin para diferentes usuarios Documentacin de relevamiento de requerimientos 28 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Lnea de Aplicaciones Especificacin y desarrollo de aplicaciones Vas de acceso Internet Correo electrnico Tableros de control Personalizacin de herramientas M. Ing. Joel Martin Visurraga Aguero Implementacin 29 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Implementacin Convergencia de las tres lneas La lnea de datos es la ms impredecible Fechas comprometidas Asegurarse de que el Data Warehouse est en condiciones Educacin
M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Implementacin EDUCACION Entender cul es la audiencia No empezar la educacin demasiado temprano Datos viejos o no reales Posponer la educacin si hay problemas en la puesta en marcha Poltica Si no hay educacin, no hay acceso 30 M. Ing. Joel Martin Visurraga Aguero Mantenimiento y Crecimiento M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Mantenimiento y Crecimiento Soporte a los usuarios de negocios Si no hay consultas, posiblemente no estn usando el Data Warehouse Detectar reas de datos o de aplicaciones no cubiertas Calidad del Data Warehouse Educacin Cursos de actualizacin Usuarios calificados 31 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Mantenimiento y Crecimiento Soporte Tcnico Es parte del negocio Rendimiento Nivel de servicio Monitoreo Avance vs. criterios de xito Revisiones Oportunidades de mejoras M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Mantenimiento y Crecimiento Demandas de crecimiento Nuevos usuarios Nuevos datos Nuevas aplicaciones Mejoras de las aplicaciones existentes Revisin de las prioridades establecidas Determinacin de las necesidades de la nueva etapa Comienzo de la nueva etapa
32 M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero Arquitecturas OLAP OLAP Relacional (ROLAP) Usa un esquema relacional para manejar la navegacin y administrar los datos consolidados Gran escalabilidad
OLAP Multidimensional (MOLAP) Almacenamiento con tcnicas multidimensionales Acceso rpido a datos sumados previamente
OLAP Hbrido (HOLAP) Bajo nivel ROLAP, Alto nivel MOLAP
Motores de BD especializados Manejan consultas con esquemas estrella o copo de nieve
M. Ing. Joel Martin Visurraga Aguero M. Ing. Joel Martin Visurraga Aguero