La Calidad de Datos =
Tecnología +
Know-How
Tabla de contenidos
1. Introducción
2. Problemática actual
3. Objetivos
4. Solución de Negocio: Tecnología
5. Solución de Negocio: Metodología
6. Solución de Negocio: Know- How
7. Solución de Negocio: Entorno Colaborativo
8. Beneficios
9. Conclusiones
2 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
1. Introducción
La calidad de datos ha sido hasta la fecha el último peldaño a tener en cuenta en cualquier proyecto
tecnológico. Las compañías estaban más centradas en asumir nuevas tecnologías que permitieran
que las compañías crecieran y permitiesen explotar la información que se generaba que en otras
tareas.
De ahí la gran explosión en
proyectos de Integración de
Datos (ETL) e Inteligencia de
Negocio (BI) que ha habido
durante los últimos años. Al
mismo tiempo, este crecimiento
ha requerido de grandes
inversiones en HW y en
Enterprise Applications (ERP,
CRM) que sustentaran las nuevas
aplicaciones y el creciente
volumen de datos.
Sin embargo, el hecho de tener información contrastada de calidad se ha dejado en el tintero. Ha
primado el “vamos a almacenar todo lo que podamos que ya veremos como lo explotamos
después”. Ha sido con la crisis, y el parón en inversiones, cuando se ha vuelto los ojos a la
eficiencia y a la productividad, y ahí es donde aparece de manera diáfana la importancia de la
calidad de los datos.
En los últimos años, los analistas líderes en la industria y los expertos en calidad de datos vienen
alertando de que el éxito de un CRM, DWH, ODS o ERP dependen en gran parte de la calidad de
información de una organización.
En efecto, en el ámbito de las aplicaciones empresariales, existe la denominada “Regla 1-10-100”,
la cual viene a decir que cuesta $1 verificar un registro en su momento de entrada, $10 limpiarlo y
deduplicarlo y $100 si no se hace nada por las ramificaciones de los errores“ (Gartner)
3 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
Por su parte, en el área del Master Data Management: “El 25% de los datos de clientes de cualquier
sistema transaccional u operacional cambian anualmente” (TDWI).
Al mismo tiempo, en elámbito del Data Warehousing & BI, se sabe que “La mayoría de los usuarios
de BI y DW sólo pueden esperar hasta que este flujo de datos de mala calidad se distribuya por la
compañía y contamine los sistemas DW/BI.” (Forrester)
Finalmente, en el sector de Data Governance es evidente a día de hoy que “Las barreras de la
gobernabilidad son eliminadas si la organización adopta planes de calidad, invierte en tecnología y
desarrolla procesos para la gestión de la calidad de los datos.”( TDWI).
Paradójicamente, las necesidades de inteligencia de negocio van aumentando día a día y cada vez
son más inmediatas, destinándose además a objetivos a largo plazo, ya que no se utilizan
únicamente para saber cómo se ha comportado la compañía en el último mes o trimestre, si no
también para predecir qué va a pasar en el siguiente semestre.
*Fuente imagen:
[Link]
mpresas
4 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
2. Problemática actual
Actualmente, alrededor de la calidad de los datos existen distintos tipos de problemáticas. Vamos a
analizarlas:
Problemática Organizacional
Un enfoque de colaboración organizativa dentro de la compañía es fundamental para lograr
resultados significativos y superar los problemas de calidad de datos. Y ello es así a medida que
cada vez más organizaciones recurren a iniciativas de DQ, a veces impulsadas por TI o a veces por
el propio negocio, con el objetivo de aumentar el crecimiento de los ingresos, de la productividad o
la satisfacción del cliente.
A medida que más y más organizaciones recurren a iniciativas de DQ, a veces impulsadas por TI, a
veces por el negocio, con el objetivo de aumentar el crecimiento de los ingresos, o de la
productividad, o la satisfacción del cliente, un enfoque de colaboración organizativa dentro de la
compañía es fundamental para lograr resultados significativos y superar los problemas de calidad
de datos
Lamentablemente, muchas organizaciones carecen de la experiencia y los conocimientos
necesarios para manejar la calidad de sus datos.
Lo cierto es que, según Gartner: “La pobre calidad de los datos es la norma y no la excepción,
pero la mayoría de organizaciones se encuentran en un estado de negación acerca de este tema".
De hecho, en una reciente encuesta realizada por PriceWaterhouseCoopers, el 75% de 600
empresas encuestadas reportaron problemas significativos como resultado de datos defectuosos.
De éstos, un tercio ha dejado de facturar o cobrar un crédito como resultado.
Por otro lado, el coste asociado a la generación y validación de informes erróneos (perdida de
confianza por múltiples dominios de dato, informes con misma unidad pero distinto valor, retrasos
en la consigna de informes, etc) y el retraso en el “Time to Market” de nuevos productos, apenas
son evaluados por los Board of Directors.
Tipos de datos no Tradicionales
5 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
Los nuevos tipos de datos están llegando desde muchas direcciones y todos necesitan una
estrategia DQ . Vamos a analizarlo:
Necesidad de enriquecer con datos de terceros .
De hecho, en la actualidad las técnicas, proyectos y herramientas de DQ tendrán que adquirir y
enriquecer los datos a partir de fuentes de terceros (consumidores, negocios de producto o de
servicio y geográfica).
DQ a través de Web-Service.
Muchas organizaciones aún carecen de una estrategia de DQ para datos de la Web u On-Line, a
pesar de tener un sitio Web / App de entrada manual on-line durante años que sirve como un punto
de contacto del cliente.
Desarrollar nuevas estrategias de DQ para los datos de las nuevas plataformas.
Incluye los tipos de datos inusuales provenientes de los sensores, robots, y dispositivos móviles. Al
igual que con otros dominios de datos, éstos deben ser normalizados, estandarizados e incluso
validados.
Datos tipo texto.
Actualmente, la mayoría de los nuevos tipos de datos incluyen datos de texto, aumentando de este
modo la problemática actual alrededor de la calidad de datos.
6 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
Globalización
Adicionalmente, en un entorno como el actual, donde existen múltiples sistemas conviviendo en
paralelo, donde las adquisiciones y fusiones están a la orden del día y los sistemas históricos no
acaban de ser jubilados, y donde cada vez más información es recogida por cualquier canal y las
compañías se vuelven internacionales, se hace evidente que el problema de la calidad de datos
está agravándose y a la orden del día.
Los negocios globales necesitan datos operacionales que estén listos para el mercado global. La
internacionalización de los datos, y por ende de su calidad, se ha convertido rápidamente en una
prioridad porque es un factor clave de éxito para el crecimiento de las empresas en nuevos
mercados. Por lo tanto, hay que seleccionar herramientas de proveedores que soporten la
internacionalización de funciones relacionadas con DQ , tales como:
● Las normas postales para la correcta entrega de paquetes y documentos.
● Las estándares de los números de teléfono
● Identificadores únicos (por ejemplo, DNI con dígito de control, Número de Seguridad Social).
● Fonética.
● Códigos del juego de caracteres.
* Fuente imagen:
[Link]
7 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
3. Objetivos
Son varios los objetivos que se persiguen con una buena calidad de los datos. Vamos a analizarlos:
Así, en primer lugar, el objetivo principal de los proyectos de calidad de datos es ayudar al negocio
a interactuar con el cliente de una manera más eficiente y haciendo que la experiencia del cliente
resulte lo más grata posible.
Al mismo tiempo, un objetivo parelelo
es el de aumentar la retención y
lealtad de dicho cliente. Estos
objetivos pertenecen en un 100% al
negocio. La verdad es que, si el cliente
percibe una experiencia grata el ratio
de retención y lealtad se
incrementará.
Además, si esto se logra la
contrapartida será conseguir vender
más y sobre más productos. Los
indicadores clave del mercado en este
aspecto son ARPU (ingresos medios
por usuario), AMPU (margenes medios
por usuario) y CHURN RATE (tasa de cancelación de clientes).
Otro objetivo claro es el de convencer a toda la compañía de las bondades de arrancar un
proyecto de calidad de datos. En este sentido, un sponsor fuerte y convencido de los resultados,
generará la confianza y el tiempo para lograrlo.
Finalmente, y como último objetivo, se trata de encontrar un software de calidad de datos top en
el mercado y una compañía que tenga la experiencia y el conocimiento para llevar a cabo con éxito
el proyecto.
8 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
En este sentido, las soluciones DQ tienen un ROI predecible y medible: la eliminación de anomalías,
errores y duplicaciones en la información del cliente. Al mismo tiempo, proporcionan una única
fuente de la verdad, limpia y enriquecida, para tener una visión única de los clientes o productos en
toda la organización.
PowerData ha acumulado un amplio conocimiento y experiencia en mejores prácticas en el ámbito
de proyectos de DQ. Ciertamente, tenemos el know-how y el knowledge que garantizan el éxito en
la implementación de un CRM o un DWH, que es la calidad de los datos.
Qué se persigue con una buena calidad de datos?
● Establecer metas medibles y realistas
● Alinear las expectativas de negocio y TI y en este sentido, confirmar que la alta dirección es
el sponsor del proyecto
● Entender el coste de la mala calidad de los datos.
● Usar una metodología de mejora continua
● Usar un calendario de despliegue por fases
● Medir el ROI
* Fuente imagen:
[Link]
9 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
4. Solución de Negocio:
Tecnología/Arquitectura
Desde el punto de vista de negocio, una solución
de calidad de datos se basa en cuatro pilares:
tecnología, know-how, procesos y metodología.
Vamos a analizar detenidamente el primero de
ellos.
Ciertamente, la tecnología es fundamental por
las funcionalidades intrínsecas, la mejora
continua de nuevas funciones, el soporte
ofrecido, etc, generando una eficiencia en
términos de tiempos de desarrollo y una
reducción en costes muy significativa.
La arquitectura a emplear en una solución de
calidad de datos está integrada por varios
componentes y a su vez, cada uno de esos
componentes está especializado en ofrecer soluciones concretas eficientes.
En este sentido, básicamente, lo primero que necesitamos es un módulo que nos proporcione una
visión completa de cómo está nuestra base de datos con respecto a los principales atributos de los
datos.
A continuación, necesitamos un módulo que nos permita desarrollar reglas de negocio sobre los
defectos encontrados en nuestra base de datos. Este módulo debe ser completado con dos
sub-módulos más: el identificador de duplicados y el identificador fonético.
Al mismo tiempo, la arquitectura debe proveer también los diccionarios de la verdad, que se usarán
10 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
para identificar y sustituir las variantes de un nombre por su nombre real de una forma automática.
Y finalmente, y quizá el módulo más importante, es el firewall que impedirá que nuevos datos
erróneos entren de nuevo en los sistemas, ya que sin ello no tendría sentido un proyecto de calidad
de datos.
Técnicas DQ
DQ es una familia de ocho o más técnicas relacionadas entre sí. La estandarización de datos es el
método más comúnmente usado, seguido de verificaciones, validaciones, monitoreo, profiling,
matching, y así sucesivamente.
Las organizaciones suelen aplicar sólo una técnica, a veces un par de ellas, y generalmente sobre
un único tipo de datos. El más usual es la limpieza del nombre y dirección aplicado a los conjuntos
de datos de contacto directo, aunque difícilmente se aplica a los conjuntos de datos fuera de las
campañas de marketing directo.
Del mismo modo, las técnicas de deduplicación, unificación y enriquecimiento son raramente
aplicadas fuera del contexto del householding.
Muchos DQ se centran en el dominio de datos de clientes únicamente. La realidad es que también
se podrían mejorar otros ámbitos, tales como productos, datos financieros, socios, empleados y
ubicaciones.
Los proyectos actuales de DQ son una especie de hub de calidad que apoyan el intercambio de
datos a través de diversas aplicaciones, debiendo soportar funciones básicas de agregación,
estandarización, resolución de identidad, etc ,en tiempo real.
Real Time DQ
La migración gradual hacia la operación en tiempo real es la tendencia actual en la gestión de datos.
Esto incluye los datos disciplinas de gestión de calidad de datos, integración de datos, gestión
maestra de datos y el procesamiento de eventos complejos.
Entre éstos, la gestión de la calidad en tiempo real es el segundo en crecimiento, después de MDM
y justo antes de la integración.
Los procesos de negocios de ritmo rápido exigen limpiar y completar los datos tan pronto como los
datos se están creando o modificando para apoyar el servicio al cliente, la entrega al día siguiente,
11 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
el BI operacional, las transacciones financieras, cross & up selling y las campañas de marketing.
Del mismo modo, estos mismos procesos exigen el intercambio de datos en tiempo real a través de
múltiples aplicaciones con la superposición de responsabilidades (por ejemplo, un registro de
cliente compartida entre la planificación de recursos empresariales y aplicaciones de CRM ).
Por estas y otras situaciones, la calidad de datos en tiempo real reduce el riesgo empresarial y
corrige o mejora la información mientras está en movimiento en un proceso de negocio .
Perfilado
Mejorar continuamente la calidad de los datos es un reto cuando no se sabe el estado actual de los
datos y su uso. Además, comprender los datos empresariales a través de profiling es un punto de
partida para decidir qué datos necesitan especial atención.
¿Qué es el perfilado? Se trata de una serie de técnicas para identificar datos erróneos, datos nulos,
datos incompletos, datos sin integridad referencial, datos que no se ajustan al formato requerido,
patrones de información de negocio, tendencias, medias, desviaciones estándares, etc.
Es fundamental contar con un buen perfilado por dos motivos: 1) el análisis sobre el proyecto es
realista y fidedigno y 2) nos permitirá a partir de la segunda iteración, medir y comparar la
evolución de los indicadores de gobierno del proyecto de calidad.
En este sentido, para que el profiling se convirtierta en una técnica esencial para el DQ debe cumplir
ciertos requisitos:
Debe ser reusable
Por lo general el profiling está centrado en la generación de estadísticas sobre los tipos de datos y
los valores de una sola columna de una tabla en una base de datos .
Sin embargo, una buena herramienta debería revelar dependencias que llegaran a través de
múltiples tablas, bases de datos y de sistemas .
Monitorización de datos
El seguimiento de datos es una forma de profiling, ya que cada vez que se utiliza mide el grado de
avance de la calidad. Esta es la clave para corroborar la mejora continua de los datos.
Monitorización de procesos de calidad de datos
Esta función compara la fuente y el destino para verificar que los datos se cargan correctamente ,
12 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
lo cual es imprescindible en cualquier proceso de calidad de datos.
Componentes de la Arquitectura
La arquitectura está compuesta por varios elementos. Vamos a analizarlos:
Data Quality Web Services
Se trata de una facilidad para desarrollar web services que son llamados desde PowerCenter Web
Services Hub con el propósito de invocar mappings conteniendo transformaciones de Informatica
Data Quality u otros procesos o aplicativos llaman a estos web services. La ventaja fundamental es
que permiten gestionar la información que entra a los sistemas, impidiendo entrada de información
manual..
Identity Resolution
Proporciona un diccionario de las palabras más usadas en el país con el objeto de identificar y
hacer match de la jerga.
AddressDoctor Software Library
Proporciona la funcionalidad de parseo, limpieza, validación y estandarización de direcciones así
como de asignación de geo- coordenadas. Es el diccionario de la verdad indispensable para evitar
tener cientos de variantes de calles en el sistema.
Data Explorer
Proporciona un entorno de cliente servidor para tres dimensiones de perfilado (columna, tabla,
cross tabla), orphan analysis, validación clave, identificación y tagging de problemas de calidad.
Data Analyzer
Pensado para analizar, estandarizar, enriquecer, deduplicar, corregir y reportar todos los master
data types incluyendo cliente, producto, inventario, activos y datos financieros. Permite desarrollar
reglas de calidad customizadas según las necesidades concretas de cada cliente.
Data Quality Identity Match Option
Proporciona búsquedas, matching y muestra duplicados de datos almacenados en bases de datos
relacionales y ficheros planos.
13 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
* Fuente imagen:
[Link]
14 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
5. Solución de Negocio:
Metodología
La metodología es el nexo de unión entre tecnología y
know-how. Sin un método preciso y claro de mejora
continua para realizar el proyecto, estamos abonados a
eternizar el mismo y minar las esperanzas del sponsor.
Verdaderamente, uno de los aspectos clave para tener
éxito en los proyectos de calidad es encontrar una
metodología que se adapte al tipo de proyecto. Y no
todas las metodologías lo hacen. Las que mejor encajan
en este tipo de proyectos son las metodologías “lean”,
como six-sigma o velocity.
A su vez, debe tratarse de una metodología de mejora
continua que permita optimizar en cada iteración.
Cuáles deberían ser los aspectos principales?
● Realizar un perfilado de los datos candidatos a entrar en el proyecto
● Analizar los resultados
● Establecer KPI’s y SLA’s
● Desarrollar reglas de negocio acorde a los resultados obtenidos
● Medir
● Comparar
Al mismo tiempo, los SLA’s deben ser básicos al comienzo, medios durante el proyecto y altos una
vez el proyecto está consolidado y el plan de calidad está en productivo.
DQ como servicio
Una meta para cualquier usuario debería ser la calidad de datos como un servicio, donde las
15 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
técnicas de DQ esté́n disponibles como servicios que se puedan llamar desde una amplia gama de
herramientas, aplicaciones, bases de datos, y procesos de negocio.
Los beneficios serían los siguientes:
Mayor interoperabilidad
La verdad es que, a la la tradicional APIs, ODBC y JDBC, se pueden complementar con los servicios
Web y arquitectura orientada a servicios (SOA ) en soluciones DQ.
Nuevas arquitecturas de aplicaciones
Los servicios DQ se pueden incrustar en cualquier aplicación y permiten ejecutar en tiempo real, a
demanda, o por lotes.
Reutilización y consistencia
Generalizando, cualquier técnica de calidad de datos puede convertirse en un servicio de DQ. Las
reglas de negocio, validaciones, estandarizaciones, etc, pueden volver a ser usados en otros
proyectos. Y su reutilización, adicional al ahorro de costes, fomenta una mayor coherencia en los
datos.
Métricas
Las métricas acerca de la calidad de los datos tienen mucho que ver con sus atributos. Un proyecto
de calidad de datos debería medir:
Precisión
Exactitud general de los datos en un conjunto. Se determina comparando el conjunto de datos con
una fuente de referencia fiable.
Completitud
Se trata de los datos que faltan, es decir, los campos en el conjunto de datos que se han quedado
vacíos o cuyos valores predeterminados se han quedado sin cambios.
Conformidad
Valores de datos de un tipo similar introducidos de una manera confusa o inutilizables, por ejemplo,
números de teléfono que incluyen / omiten los códigos de área.
Consistencia
Tipos diferentes de registros de datos en un conjunto de datos, como la combinación de la
16 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
información personal y de negocios.
Integridad
Tiene que ver con el reconocimiento de asociaciones significativas entre los registros de un
conjunto de datos.
Duplicidad
Datos que duplican entre sí la información, y que habitualmente comporta el desconocer cuál es el
más actualizado.
* Fuente imagen: [Link]
17 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
6. Solución de Negocio: Know-
How
El know-how es la clave. Los proyectos de calidad de datos no suelen ser complejos, pero sí
requieren de un análisis muy detallado que defina los business goals de la organización. Y la
experiencia de un partner aquí es simplemente necesaria.
De hecho, en muchas ocasiones las organizaciones fallan a la hora de reconocer la importancia de
definir o diseñar business goals (por falta de definición). La principal causa es la falta de experiencia
interna para definir la solución óptima para sus entornos.
Estas compañías necesitan un partner y
una tecnología que les ayude a tomar la
decisión correcta, y que al mismo tiempo
les ayuden a establecer unos claros y
conseguibles objetivos. Y una vez que los
business goals están diseñados, viene la
parte del desarrollo y la implementación,
donde, una vez más, un partner
especializado es fundamental para lograr
el éxito.
La gran ventaja de los partners es la eficiencia con la que se aproximan a este tipo de proyectos
debido a su experiencia. Los beneficios son claros en cuanto a rapidez en la implementación. Se
estima una mejora en tiempos de un 70% vs las soluciones in-house. Experiencia, best practices y
conocimiento marcan la diferencia.
La tecnología apoya también en este dilema. La flexibilidad de las herramientas, el amplio espectro
de funcionalidades estándar al mercado incorporadas en las herramientas, la escalabilidad de las
18 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
mismas y los múltiples módulos para acometer de manera independiente problemas distintos
hacen que la solución sea económica.
¿Cuáles son los problemas más frecuentes?
Baja precisión del stock, facturas erróneas, incumplimiento de auditoría, inexactitud en los reportes
financieros, coste de enviar productos y campañas promocionales a clientes y direcciones
inexistentes, gastos de envío adicionales para la corrección de direcciones ( Fedex), e incluso
pérdida de ingresos telemarketing
¿Y los síntomas más comunes?
Tiempo en la preparación de los pedidos, duplicar reportes, órdenes incorrectas, duplicación de la
información, erosión de relaciones con los clientes, pérdida de oportunidades cross-selling y
up-selling, etc.
De hecho, cada punto de contacto con el cliente es una fuente potencial de corrupción de datos.
Los motivos son variados:
● Los clientes que se dan de alta vía web intencionalmente introducen datos de mala calidad
para proteger su privacidad.
● Los operadores del centro de atención al cliente introducen datos abreviados para ahorrar
tiempo.
● Los operadores del centro de atención al cliente introducen datos erróneos por
desconocimiento de la lengua.
● Los datos de terceros contienen inconsistencias, inexactitudes y errores.
● Los sistemas de front-office generan errores en los datos de contacto de los clientes.
● Los datos de origen diverso (por ejemplo, excel propios de los vendedores o de marketing)
no se ajustan a las normas operativas y de formatos.
● Los cambios reales de teléfono o dirección no se consolidan en todos los sistemas
La conclusión es que existen demasiados puntos débiles, principalmente en la introducción manual
de los mismos, lo que comporta la reducción de la calidad de los datos a lo largo de todo el
sistema.
Verdaderamente, casi el 70% del esfuerzo en implementar un DWH está asociado con tareas
relacionadas con integración y calidad de datos y aún así, muchas compañías subestiman la
19 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
complejidad de este tipo de proyectos.
La experiencia, el know-how, el conocimiento, las mejores prácticas...están del lado del partner.
* Fuente imagen: [Link]
20 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
7. Entorno Colaborativo
Habitualmente nadie es responsable de los datos. Estos proyectos requieren de unos procesos y
estructuras que permitan colaborar a las distintas áreas involucradas para asignar roles y
responsabilidades en el gobierno y control del plan de calidad.
Alineación de Expectativas
Alinear las expectativas de la dirección, el negocio y TI es el aspecto más importante dentro de
este apartado. Lo más frecuente es que cada uno mire para su lado y nadie asuma la
responsabilidad como tal de ser el propietario del dato. Ello no está reconocido, es una tarea árdua
que habitualmente siempre se ubica en medio de una crisis y que a menudo no está tampoco
recompensada.
La realidad es que la calidad de los datos se
aplica y se mantiene por el personal de TI,
pero es el usuario de negocio el que obtiene
la mayoría de beneficios. Es el usuario de
negocio quien entiende el significado y el uso
de los datos en el contexto de cada
aplicación. Por estas razones, los usuarios de
TI y Negocio se deben poner de acuerdo y
alinear las expectativas del rol que va a jugar
la calidad de los datos en la organización.
Más importante aún es que la Dirección defina un área, práctica o departamento al que se le den
atribuciones, roles y responsabilidades, dotándolo a su vez tanto económicamente como en
recursos, con el fin de que sean independientes tanto de IT como de Negocio: estamos hablando
de los Data Steward.
¿Quién es el responsable de los Datos?
Algunas personas aún mantienen que el principal responsable de la calidad de datos es IT, ya que
después de todo, gestionan el almacenamiento, el procesamiento, el consumo de los datos, etc.
21 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
No obstante, actualmente ello se está convirtiendo en un mito que está pasando a mejor vida,
sobre todo desde que las grandes corporaciones han empezado a crear el rol de Data Steward, ya
que precisamente por ello, actualmente la responsabilidad de los datos se ha convertido en un rol
compartido con Negocio (Data Steward), Dirección (sponsor) e IT (mantenimiento, soporte).
Las organizaciones sólo alcanzarán un alto nivel de calidad de datos cuando la dirección, el negocio
y TI colaboren de forma desinteresada. Todos comparten la propiedad del dato, pero ninguno se
hace responsable del mismo.
Se necesita definir roles (data stewards) y responsabilidades , definiciones y normas, herramientas
y proyectos. Además es necesario medir la evolución del dato, definiendo indicadores y midiéndolos
después.
A veces las organizaciones no reconocen la importancia de un objetivo específico (por ejemplo,
reducir costes de facturación vía consolidación de listas de clientes, reconciliar diferentes versiones
del consumo, identificación del fraude, etc). El know-how y la identificación de objetivos concretos
es el mejor paso para una solución exitosa.
Este proceso es iterativo y al medir se convierte en "gobernable“. En realidad, el gobierno de los
datos es el corazón del proyecto, ya que une a las personas, los procesos y la tecnologías para
mejorar todos los aspectos de nuestros datos.
Involucración de la Dirección
Habitualmente nadie es responsable de los datos. Estos proyectos requieren de unos procesos y
estructuras que permitan colaborar a las distintas áreas involucradas para asignar roles y
responsabilidades en el gobierno y control del plan de calidad.
Como hemos comentado, es necesario el trabajo en equipo. Pero como todos sabemos el trabajo
en equipo también genera roces, áreas de poder... esto en sí mismo es un problema por las
dificultades para alcanzar consensos y definir alcances. Aquí es donde, de nuevo, los parters
especializados con muchos proyectos a la espalda, pueden ayudar a las compañías a reducir las
fricciones, almohadillando expectativas en base a su experiencia y conocimiento.
Igualmente, es fundamental la involucración y el compromiso de la dirección. La calidad de datos se
ve en ocasiones como una pieza táctica, no estratégica, que resuelve un problema puntual. La
realidad es que las compañías de éxito gestionan la calidad de datos como algo estratégico.
22 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
Información de calidad, es poder.
La Dirección debe especialmente estar atenta y fomentar la colaboración en la definición de los
objetivos o indicadores porque raramente una persona conoce todos los detalles. Por ejemplo,
Ventas, Finanzas y Atención al Cliente interactuan con los clientes, pero tienen diferentes
prioridades y objetivos.
* Fuente imagen:
[Link]
23 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
8. Beneficios
El hecho de contar con un partner con tecnología aporta una serie de beneficios tangibles. Vamos a
analizarlos:
Proyectos eficaces
Por su experiencia y conocimiento en gestionar proyectos de este tipo, suelen acabar en tiempo,
coste y forma, ahorrando miles de horas en comparación con la versión in-house.
Retorno de la inversión
El hecho de facturar a tiempo y de forma correcta, no perder facturas, mejorar las ventas
cross-selling, etc debido a una mejora de los datos de contactabilidad, por ejemplo, hace que el
ROI sea visible en un corto periodo de tiempo.
Mejores prácticas
La compañía adquiere un conocimiento y unas mejores prácticas que le permiten continuar por sí
mismo con la mejora continua de la calidad de los datos.
Reducción de costes
Al ahorrar miles de horas de desarrollo in-house, cientos de horas de trabajo manual o retrabajo,
24 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
etc, se traduce directamente en un ahorro de los costes.
Mejora de los ratios de fidelización de los clientes
El hecho de que los clientes reciban a tiempo y con los datos correctos sus facturas, o el centro de
atención al cliente les llamen por su nombre correcto, fideliza al cliente.
Qué beneficios aporta el hecho de contar con Técnicas
Multiplataforma?
– Conectividad a cualquier plataforma tecnológica, nativa o vía ODBC existente, tanto si son datos
estructurados/no estructurados como sistemas legacy, aplicaciones a medida, ERP o CRM.
– Además, al ser módulos independientes, pueden ser re-usados para cualquier proyecto dentro de
la compañía que necesite cualquier tipo de acción Data Quality.
– Al mismo tiempo, la mejora productiva vs el proyecto estándar es de un 60% aproximadamente,
lo cual, en términos de coste, es realmente significativo.
– Del mismo modo, se trata de una área de trabajo que genera reportes automáticos de los KPIs de
calidad a través de un módulo específico integrado. Este hecho es imporante porque permite
visualizar de manera gráfica los avances en la mejora continua de la calidad de los datos.
– Se trata también de una técnica que genera un monitoreo continuo, lo cual permite visualizar el
impacto de los datos dentro de los procesos de la organización y sus cambios.
* Fuente imagen:
[Link]
25 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
9. Conclusiones
La Calidad de Datos o DQ (Data Quality) es un concepto muy amplio que se podría resumir como
la ciencia de mantener la información de las organizaciones completa, precisa, consistente,
actualizada, única y, lo más importante, válida para el fin que se creó.
El término DQ actualmente representa uno de los conceptos fundamentales de un sistema gestor
de bases de datos, como ya lo eran en su momento otros tales como la integridad o la seguridad.
En verdad, el interés creciente por el DQ entre las organizaciones, está motivado por la mayor
interconectividad entre productores y usuarios de datos, ya que actualmente se comparte
muchísima información entre distintas entidades, y, para muchas empresas, los datos constituyen
su principal activo.
Además, manejar datos que tienen mala calidad suele ser muy costoso en tiempo y dinero, y, lo que
es peor, puede llevar a los responsables de las compañías a tomar caminos erróneos..
Lo cierto es que, los datos incorrectos pueden ser el resultado de errores provocados por los
usuarios al introducirlos, daños durante la transmisión o el almacenamiento, definiciones no
coincidentes de diccionarios de datos y otros tipos de problemas de calidad de datos y procesos.
Dichos datos afectan a la capacidad de un negocio de realizar sus funciones empresariales y de
proporcionar servicios a sus clientes, lo que conlleva la pérdida de credibilidad y de ingresos,
descontento de los clientes e incluso problemas de cumplimiento de la normativa.
Al mismo tiempo, con frecuencia los datos incorrectos pueden causar problemas en el análisis de
26 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
datos, elaboración de informes y almacenamiento.
Precisamente por ello, las soluciones de Data Quality, implementadas por un partner con
experiencia y conocimiento, con la colaboración del cliente, es la mejor aproximación a un
proyecto exitoso para las compañías.
El uso de una herramienta tecnológica top (cuadrante derecho superior del cuadrante mágico de
Gartnet) y una metodología de mejora continua son los otros dos factores que garantizan la
consecución de los objetivos propuestos.
La apuesta por la calidad de los datos mejora los resultados empresariales de manera significativa
ya que impacta directamente en la mejora del resultado de los procesos de negocio y por ende,
entre otras, en el control de gestión y en la satisfacción de los clientes.
Es necesario definir, antes de comenzar, el entorno colaborativo dentro de la compañía que regirá
el proyecto. Es decir, hay que identificar y definir roles, responsabilidades, procedimientos,
personas e indicadores. Igualmente es necesario involucrar de manera total a la dirección como
sponsor del proyecto.
De hecho, el riesgo de acometer el proyecto en un modelo in-house es demasiado alto en
términos de costes incontrolados, tiempos excedidos y equipo grande permanente.
* Fuente imagen: [Link]
27 La calidad de datos
Los factores imprescindibles a tener en cuenta en una
corporación Compártelo en: Twitter · LinkedIn
