Asegurando la Calidad del

Dato en mi Proyecto de BI
Mary Arcia
MCTS SQL Server
SQL PASS Venezuela
maryarcia@hotmail.com
Moderador: David Sanchez

Gracias a nuestros auspiciadores

Database Security as Easy as A-B-C

http://www.greensql.com

Hardcore Developer and IT

Training

SQL Server Performance

Try PlanExplorer today!

http://www.pluralsight.com

http://www.sqlsentry.com

Prximos SQL Saturday

6 de Diciembre de 2014
https://www.sqlsaturday.com/351/register.aspx

24 de Enero de 2015
https://www.sqlsaturday.com/346/register.aspx
18 de Abril de 2015
https://www.sqlsaturday.com/368/register.aspx
9 de Mayo de 2015
https://www.sqlsaturday.com/373/register.aspx

Captulo Global PASS en Espaol

Reuniones semanales todos los mircoles a

las 12PM UTC-5 (Hora de Colombia)
https://www.facebook.com/SpanishPASSVC

Asistencia Tcnica

Si requiere asistencia
durante la sesin debe
usar la seccin de
preguntas que esta en el
men de la derecha.

Use el botn de Zoom

para ajustar su pantalla
al tamao deseado

Escriba sus preguntas

en la seccin de
preguntas que esta en el
men de la derecha

Mary es Especialista de Business Intelligence en Grupo de Desarrollo GD,

Caracas, Venezuela
Lleva +12 aos trabajando en proyectos de Business Intelligence y
Administracion de Bases de Datos.
Colaborador activo de eventos SQL Server para LATAM (IT Woman PASS
LATAM, 24 Horas de PASS en espaol)

Coordinador del Cptulo de PASS en Venezuela.

Agenda
o Qu es la Calidad del Dato
o Cinco estilos de BI que impactan la calidad del dato
o Procesos para asegurar la Calidad del Dato
o Qu es Data Quality Services
o Proyectos de Data Quality Services

CALIDAD DE DATOS EN
BUSINESS INTELLIGENCE

Qu es calidad de datos
Se refiere a los procesos, tcnicas, algoritmos y operaciones
encaminados a mejorar la calidad de los datos existentes en las
empresas y organizaciones.

Segn el TDWI
Se define como la medida de correspondencia y exactitud
entre los datos de un sistema de informacin y su valor y
significado en el mundo real.

Etapas de Madurez de los datos

Conocimiento

Informacin
Consolidada para la
toma de decisiones

Informacin

Datos combinados y
agregados para
responder preguntas
sencillas del negocio
Aplicaciones ERP, CRM
y otros sistemas que
guardan la
transaccionabilidad

Datos

10

10

Soporte a
Decisiones
estratgicas

Soporte a
Operativa
Del negocio

Problemas de la mala calidad de los datos

Calidad de Dato

Problema

Ejemplo

Formato

Tenemos un formateo consistente

en los estndares?

Nro de telfono:
(xxx)-xxx-xxxx,
58+ xxx.xxx.xx.xx, xxx-xxxx

Estandarizacin

Son los elementos de dato

definidos y se comprenden sus
valores?

Cdigo de Gnero:
M, F, U,
0, 1, 2

Consistencia

Representan los valores lo mismo?

Tienen el mismo significado?

Consumos representados en
Bs, $, reales o pesos

Completitud

Se encuentra completa toda la data

que necesitamos?

20% de los apellidos de los

clientes estn en blanco, 50%
de las direcciones no tienen
cdigo postal

11

11

Problemas de la mala calidad de los datos (cont)

Calidad de Dato

Problema

Ejemplo

Exactitud

Representa la data la realidad

exacta? Son las fuentes
verificables?

Los clientes no se encuentran

en las direcciones registradas.
Los proveedores listados como
activos no lo estn desde hace
6 aos

Validez

Se encuentran los valores entre los

rangos aceptables?

Los lmites de crdito de los

clientes no corresponden a su
perfil

Duplicidad

Los datos aparecen varias veces?

Los clientes Maria Alejandra

Prez y Marialejandra Prez
son lo mismo

12

12

Caractersticas de nuestros sistemas de BI

o Datos extrados de sistemas y aplicaciones dispares.
o nico punto de consulta o reporting en la organizacin.
o Informacin correcta expresada de otra forma.
o Reflejo de la realidad de lo que est pasando en la empresa.

13

13

Implementaciones comunes en BI y sus requisitos de

calidad de datos
o Cuadros de Mando y Tablas de Resultados
o Reporting Empresarial
o Anlisis de Cubos OLAP
o Anlisis Avanzado-Predictivo
o Notificaciones y Alertas

14

14

Por qu prestar atencin a la calidad de los datos?

o Los datos necesitan estar accesibles y ser agregados para poder
consumirse por el BI.
Independientemente del formato donde sea que el usuario los necesite

o Las acciones que los usuarios emprenden estn influenciadas por la

precisin de los datos en los informes.

o La confianza en los datos es un aspecto crtico entre los equipos de IT y los

usuarios de BI
La confianza debe ganarse y los datos no son la excepcin

15

15

Por qu prestar atencin a la calidad de los datos? (Cont)

o Los conocimientos empresariales obtenidos a travs del BI se convierten en
tiles con mayor rapidez.
o Los directivos, responsables y usuarios de negocio pueden actuar
inmediatamente ante nuevos patrones y tendencias con una granularidad y
precisin mas elevada.
o Identificar sobrecostes y oportunidades para ahorrar y reducir gastos.
o Se incrementa la auditabilidad y visibilidad del dato para futuras revisiones y
monitoreo.
o El ROI sobre el BI es directo e inmediato.

16

16

Qu podemos hacer para asegurar la calidad de los datos

1. Descubrir
Monitorear la calidad
de los datos vs los
objetivos

Implementar los
procesos de mejora
de calidad

6.
Monitorizar

5. Consolidar
4. Match

17

17

Identificar y medir la calidad de los datos

2. Perfilar

Definir reglas y objetivos

de la calidad de los datos

3. Limpiar

Disear los procesos de

mejora de la calidad de los
datos

Matcheo de informacin y
estadsticas

DEMO
Visualizando Datos de mala calidad

DATA QUALITY SERVICES

Qu es Data Quality Services

Data Quality Services (DQS) es una solucin

basada en el conocimiento de la calidad de datos
que permite a los administradores de datos y
profesionales de IT la mejora de la calidad de sus
datos fcilmente.

20

20

En qu nos apoya Data Quality Services?

Conocimiento

Limpieza

Consolidacin

Aporte de Valor

21

21

Arquitectura Bsica de DQS

SERVIDOR

CLIENTE

DQS_MAIN

Data Quality Services Client

DQS_PROJECT
Componente Integration
Services

22

DQS_STAGING

22

BASES DE CONOCIMIENTO

Bases de Conocimiento
Referencias
Externas
Reglas de
matching
Dominios

Dominio

Reglas y
Relaciones

Valores
Dominios
Compuestos

Bases de Conocimiento

24

24

DEMO
Construyendo una base de conocimiento

PROYECTOS DE DQS

Proyectos de Matching

Creacin de
Reglas
Poltica de
comportamiento del
motor DQS

27

Matching

Exportacin

Lgica Difusa
Agrega Metadatos

Datos que quedan en el

modelo
SQL Server, Excel, DQS

27

Proyectos de Cleansing

Limpieza de
datos
Partiendo de la Base
de Conocimiento

28

Informacin
Extra
Sobre las decisiones
que toma

28

Base de
Conocimiento
en la Nube
Consumir datos

DEMO
Reglas y proyectos de matching

Resumen
o
o
o
o
o

Qu es la calidad de los datos

Implementaciones de BI y sus requisitos de calidad de datos
Qu es Data Quality Services
Desarrollo de Bases de Conocmiento
Proyectos de Data Quality Services

30

30

Conclusiones
o Al adoptar un enfoque de calidad de datos en toda la empresa, los estrategas y arquitectos
de la solucin de BI pueden disear e implementar estilos de BI con mucha mayor
confianza.
o Data Quality Services es una herramienta que permite velar por la integridad de los datos
basada en una base de conocimiento diseada a partir de valores y reglas de negocio y con
el propsito de conseguir datos de mayor calidad de una manera fcil e intuitiva para el
trabajo en conjunto entre equipo de IT y usuarios de negocio.

o El despliegue exitoso de la calidad de datos ayuda a una organizacin a maximizar los

retornos sobre sus inversiones de BI, mediante la mejora de su capacidad para aprovechar
el BI impulsando la ventaja competitiva y el liderazgo de mercado.

31

31

Preguntas?

A continuacin

Patrones de busquedas aceleradas con

Lookup entre periodos con Integration
Services
Expositor: Ricardo Estrada

Gracias por participar