BUSINESS INTELLIGENCE

Contenido

1. Logro esperado
2. Gestión de la demanda de usuarios en
Business Intelligence
III. EXTRACCION, TRANSFORMACION Y CARGA (ETL)
IV. CALIDAD DE DATOS
Logro esperado

Conocer en que consiste la Gestión de

la demanda de usuarios en Business
Intelligence para la atención de
requerimientos y proyectos
 Gestión de la demanda de
usuarios en Business Intelligence
Fases de un Proyecto Data Warehouse

Source OLTP

Data
Warehouse

•ANÁLISIS Carga de Datos • CALIDAD DE DATOS • PRUEBAS INTEGRALES

•EXTRACCIÓN
•DISEÑO Generación de • EXPLOTACIÓN • IMPLEMENTACIÓN
Y TRANSFORM.
Mapeo Sumarizaciones Vistas, Cubos, Scheduling Reportes, Acceso & Análisis

Meta Data

Monitoreo
III. EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢ Dimensionamiento del HW

➢ Diseño de Procesos y Programas ETL

➢ Mapeo de Datos

➢ Desarrollo de Procesos y Programas ETL

➢ Desarrollo de Programas Adicionales (Data

Entries)

➢ Automatización de Procesos ETL

➢ Pruebas de Extracción
III. EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢ Dimensionamiento de HW
o Cuanto va a crecer el DW?
o Requerimientos de procesos - Fuentes de datos.
o Características de la infraestructura actual y soluciones.
o Requerimientos de desarrollo – Desarrolladores trabajan
simultáneamente en periodos pico.
o Cantidad y tipos de usuarios.
o Cantidad de reportes.
III. EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢Diseño de Procesos y Programas ETL

o De dónde y cómo se van a obtener los datos?

o Cantidad de datos históricos.

o Definir la herramienta que se va a utilizar para la extracción.

o Diseñar la estrategia de extracción de dimensiones y facts.

o Diseño de los procesos de Carga Diaria.

o Diseño de la estrategia de Carga Inicial.

o Diseño de las pruebas de carga.

III. EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢ Diseño de Procesos ETL

o Modalidad de extracción para las dimensiones y para

las facts:
✓ Dimensiones => normalmente es completa
✓ Facts => puede ser completa
=> deltas (fechas, meses, auditoría, etc.)
III. EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢Diseño de los Procesos ETL

o Indicar la arquitectura de Extracción (stage, ods, bds)
EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢Mapeo de Datos
o Identificar por cada Dimensión y Fact las fuentes de los datos y sus
características a tomar en cuenta en la extracción.

o Indicar por cada atributo o medida la limpieza de datos.

o Indicar por cada atributo o medida la estandarización de datos o el

formato indicado en el análisis dimensional y el valor por defecto.

o Documento de Extracción.
EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢ Desarrollo de Programas de Extracción

◦ Se crearán los programas de extracción en base a la
estrategia considerada en la extracción.
◦ Pasos:
1. Realizar la Extracción de Datos. Indica el proceso que realiza
la captura de los datos necesarios de las fuentes.
Consideraciones:
◦ Minimizar la carga del proceso en la fuente (copia de datos al
ambiente STG).
◦ Cortar la relación con la fuente después de realizado el proceso.
◦ Los datos obtenidos se cargan a una(s) tabla(s) temporal(es) ,
sobre ellos luego se realizará la transformación respectiva.
◦ Por lo general, se realiza la primera estandarización de los datos
en esta etapa.
Estándares de Extracción
EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢ Desarrollo de Programas de Extracción

◦ Estandarización de Datos
◦ Se deben considerar las indicaciones dadas en el mapeo de los datos respecto
al formato de los datos.
◦ Por lo general, se realiza la estandarización durante el proceso de extracción.
Aunque hay otros autores que sugieren realizarlo en la transformación para
no recargar a la fuente o hay casos que las fuentes no tienen funciones que
permitan realizar la estandarización; como por ejemplo cualquier archivo
fuente.
◦ Indica el formato que va a tener el campo final. Por ejemplo:
◦ Sexo: F (Femenino) / M (Masculino)
◦ Año: “0000”
◦ Codigo y descripción: 6578-Grifo ABC
EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢ Desarrollo de Programas de Extracción

◦ Pasos:
2. Realizar la Transformación de los Datos. Indica el proceso que
realiza el cambio respectivo que se necesita para enviar los
datos a las tablas definitivas. Consideraciones:
◦ En base a la(s) tabla(s) temporal(es) obtenidas en la extracción, se va a
realizar el proceso de transformación de los datos.
◦ La transformación por lo general se realiza utilizando funciones o
procedimientos propios de las herramientas de extracción o de la base
de datos del DW.
Estándares de Extracción
EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢ Desarrollo de Programas de Extracción

◦ Pasos:
3. Realizar la Carga de los Datos. Indica el proceso de enviar los
datos transformados a la tabla definitiva.
◦ Es la carga a las tablas finales dimensiones y facts del Data Mart o
del Datawarehouse, ya sean sumarizadas o a un nivel mayor de
detalle.
◦ Se pueden usar las áreas de la base de datos
◦ ODS para guardar información que cambia
◦ BDS para guardar información en los modelos finales
EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢ Desarrollo de Programas Adicionales (Data

Entries)
o En caso que no existan programas transaccionales de
donde obtener los datos, se crean programas adicionales
llamados Data Entries que permiten de una manera
sencilla obtener los datos requeridos. Por lo general se
crean data entries para datos de la competencia como
ventas o productos o datos de pronósticos.
EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢ Automatización de Procesos
◦ En base a la periodicidad de la carga, se debe indicar:

◦ Las dependencias de todos los programas de extracción para

colocar el orden en que se ejecutan los procesos.

◦ El tiempo de carga inicial (histórica) y el tiempo de cargas

diarias.

◦ Tiempo de la malla completa y de cada job.

◦ Calendariazación de Jobs.
Ejemplo de procesos – Data Stage
EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢ Automatización de Procesos
◦ Log de Eventos – Limpieza de Datos
◦ Todo proceso debe tener un Log de Eventos indicando la complejidad del
Evento:
◦ Error: En caso que el proceso no fuese exitoso y paralice el proceso.
◦ Advertencia: En caso que alguna data sea INCONSISTENTE; en este caso, el
proceso no se paraliza sino prosigue.
◦ Exitoso: En caso que el proceso no mostró Error alguno.

◦ En todo proceso de Extracción, considerar siempre en caso que la data que

se reciba es INCONSISTENTE. Por ejemplo:
◦ En el mapeo, se consideró que el Ruc no debe ser cero y en caso que lo sea, se
va a colocar el valor por defecto de “RUC ERRADO”. Por lo tanto, en caso que el
Ruc sea cero, se muestra un mensaje de advertencia.
EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢ Automatización de Procesos
◦ Ejemplo: Malla Diaria del modelo comercial:
EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢ Automatización de Procesos
◦ Ejemplo: Malla Histórica del modelo comercial:
EXTRACCION, TRANSFORMACION Y CARGA (ETL)

➢ Pruebas de Extracción
◦ Se deben definir políticas para realizar las pruebas de
extracción. Por lo general, se realiza lo sgte:
◦ Se diseñan las Pruebas. Se toma la prueba de uno o dos meses y se realizan
las comparaciones con respecto a los reportes obtenidos del método actual
(que puede ser manual o automático).
◦ Se necesita que estipulen las políticas de análisis de diferencias en caso que
suceda.
◦ Se necesita que se defina los actores de la comprobación de las diferencias.
◦ Se cree un cronograma de pruebas.
IV. CALIDAD DE DATOS

➢Acompañamiento del usuario en el análisis de los

datos.

➢Adecuaciones del alcance en caso que sea

necesario.
 Principales Procesos
6 Gestión de Calidad de Datos
El Proceso de Aseguramiento de Calidad de Datos consta de la validación de la información en cada punto en
donde la información es transformada para tu utilización. Para una validación optima es necesario que el
negocio (Owner) provea de las reglas del negocio que gobiernan al dato.

Data

Preparar Evaluación Presentar Resultados

Ejecutar Evaluación
Experto Valida
Requerimientos
Análisis

Perfilar Validar Validar Probar

Definir Alcance Datos Columnas Integridad Reglas de Preparación de
Estructural Negocio Resultados

Definir Reglas
Presentación y
de Negocio
Reporte
 Principales Procesos
6 Gestión de Calidad de Datos
Proceso de Aseguramiento El Proceso de Aseguramiento de Calidad de Datos consta de la validación de la
información en cada punto en donde la información es transformada para tu utilización. Para una validación
optima es necesario que el negocio (Owner) provea de las reglas del negocio que gobiernan al dato.

Usuarios
2 Unidad

Reporting
Datos de Datos de
Entrada Salida

Datamarts

Datos 2 4
1 de App Datos en DWH 5
3

AQ

User 1
Owner
Leyenda

Consistencia
Unicidad Controles y
Integridad
Usabilidad Puntos de Validación