See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/313820227

Estrategias para la detección y corrección automática de errores en fuentes de

datos

Technical Report · January 2007

DOI: 10.13140/RG.2.2.21896.62723

CITATIONS READS

0 2,652

1 author:

Héctor Fabio Cadavid

University of Groningen
33 PUBLICATIONS   112 CITATIONS   

SEE PROFILE

Some of the authors of this publication are also working on these related projects:

Simulation models for Small and medium-sized manufacturing enterprises View project

Telemetry and automatic signal processing architectures for E-Health View project

All content following this page was uploaded by Héctor Fabio Cadavid on 17 February 2017.

The user has requested enhancement of the downloaded file.


Estrategias para la detección y corrección
automática de errores en fuentes de datos
Héctor Fabio Cadavid Rengifo.
hfcadavidr@unal.edu.co
Resumen— Las técnicas de detección y corrección automática
de errores en los datos, más conocidas como técnicas de
datacleansing son un tema de estudio importante hoy más que
nunca, por el valor que está tomando la información para las
organizaciones. Este artículo revisa las problemáticas de calidad
en los datos, las técnicas desarrolladas hasta ahora para detección
y corrección de errores, ejemplos de aplicación en problemas
concretos y problemas abiertos para la investigación.
Palabras clave — Data cleansing, data scrubbing, merge/purge,
data cleaning, data quality.
CONTENIDO
I. INTRODUCCIÓN...........................................................1
II. Problemática..............................................................1
A. Problema de la calidad de los datos...........................1
B. Enfoque de la detección y corrección automática de
datos 2
1) Problemas computacionales..................................2
2) Problema del proceso ...........................................3
III. Principales áreas de trabajo actual.............................3
A. Modelos declarativos de limpieza de datos ...............4
B. Emparejamiento de objetos .......................................4
C. Detección probabilística de errores ...........................4
D. Detección soportada por sistemas basados en
conocimiento........................................................................5
E. Detección soportada por modelos de aprendizaje
supervisado y no supervisado ..............................................5
F. Detección soportada por reglas de asociación...........6
G. Comparación .............................................................7
IV. Aplicaciones ..............................................................7
V. Perspectivas de desarrollo del area............................8
A. Problemas por resolver..............................................8
VI. Conclusiones .............................................................9
Referencias ..............................................................................9
I. INTRODUCCIÓN
E STE documento busca dar una visión integradora y
extendida del estado del arte de las técnicas de detección y
corrección automática de datos, conocidas más comúnmente
como técnicas de ‘data cleansing’, a partir de trabajos previos
de revisión de estado del arte, trabajos más recientes que
1
proponen nuevos enfoques como el aprendizaje maquinal, y
nuevas áreas de aplicación como la biología.
Inicialmente se expondrá una clasificación de las
problemáticas motivantes para el nacimiento de esta serie de
estrategias, que como se verá implica un alto costo para las
organizaciones en términos económicos y administrativos.
En las secciones III y IV se presentará el compendio de las
áreas de trabajo en las que se han desarrollado las principales
propuestas de estrategia para datacleansing, basada en los
trabajos más representativos publicados hasta el momento.
La sección V presentará aplicaciones en problemas reales de
algunas de las técnicas de datacleansing revisadas, y propone
una clasificación general dichas aplicaciones en sectores
donde la existencia de errores en los datos representa altos
costos y riesgos operacionales.
La sección VI finalmente presenta un compendio de algunas
de los problemas abiertos en el tema de limpieza y corrección
automática de datos, basado en lo expuesto en las diferentes
publicaciones, y en lo que el autor considera no se ha
contemplado en éstas.
II. PROBLEMÁTICA
A. Problema de la calidad de los datos
En la actualidad la información, además de tener un gran valor
para los procesos, la historia y la trayectoria de una
organización, es un elemento cada vez más influyente en las
decisiones y en los riesgos asumidos por ésta, de aquí que el
problema de la calidad de los datos tiene un impacto sobre las
organizaciones significativamente alto. Tal como se
ejemplifica en [2], ciertas organizaciones como las
gubernamentales necesitan invertir y arriesgar enormes sumas
de dinero sólo sobre la base de los indicadores dados por las
herramientas de minería de datos, las cuales son alimentadas
por información que muchas veces no tiene un control de
calidad adecuado en la captura, es consolidada a través de
procesos de unificación deficientes, o tiene elementos

redundantes debido a la falta de estructura de la mayor parte
de la información. En [11], se exponen otras problemáticas
generadas por información de baja calidad, como las causadas
a los procesos de negocio soportados por información, donde
el CRM1, usando información igualmente defectuosa, crea
problemas nefastos para la imagen de la organización, como el
envío de correspondencia duplicada o a domicilios incorrectos.
Fuera del contexto de procesos de negocio, la baja calidad en
los datos tiene un impacto negativo en áreas como la
bioinformática, donde costosos procesos de análisis de
información alimentados con fuentes enormes de datos,
pueden arrojar resultados erróneos o con pérdida importante
de información sólo por el hecho de que algunos de éstos datos
sean ‘ruido’ sobre los demás (tal como se describe en [35],
[18]). Por la complejidad, la heterogeneidad, y el factor de
error humano de los mecanismos de captura de datos de un
sistema, se ha mostrado estadísticamente [23] que cualquier
base de datos con una dimensión promedio, sin importar los
procesos de calidad que implemente, siempre contará con al
menos un 5% de errores.
Las problemáticas mencionadas anteriormente por lo general
se dan en ambientes donde los volúmenes de datos son
enormes, y por esto no es viable pensar en un mecanismo de
detección y corrección manual en un lapso de tiempo
razonable. De aquí el por qué que las estrategias de detección
y corrección automática de errores tomen un papel importante
como aplicación de las ciencias de la computación a un
problema de alto impacto en las organizaciones.
Figura 1. Mapa conceptual de las problemas
computacionales relacionados con ‘datacleansing’
1
Customer-relationship management
2
B. Enfoque de la detección y corrección automática de
datos
Viendo a las ciencias de la computación aplicada a la
detección y corrección automática de datos como el enfoque
más razonable a la problemática de la calidad de los datos, los
esfuerzos en torno a la solución de dicha problemática se
enfocan en dos áreas principales: el proceso automatizado, y
los problemas computacionales que hacen parte de las etapas
de dicho proceso.
1) Problemas computacionales
En la figura 1 se presenta la visión global de las problemáticas,
a nivel computacional, que buscan resolver las estrategias de
datacleansing. Las dos categorías principales presentadas en
esta figura, correspondientes a los problemas propios de las
fuentes de datos simples y las fuentes de datos integradas, son
revisadas en [30]. En la categoría de fuente de datos simple, se
tiene el problema del no cumplimento de una estructura por
parte de los datos, los errores de trascripción -que tienen como
efecto la creación de duplicados-, y errores semánticos o de
consistencia. El mayor problema computacional en este caso
es el de tener que identificar errores -y eventualmente
identificar los valores correctos- de datos sin estructura y sin
un dominio de tamaño razonable, tal como el caso de los
nombres propios [25] y las direcciones [4].
En la segunda categoría, de datos integrados (datos
consolidados de fuentes heterogéneas), uno de los mayores
retos computacionales es el dilema de la identidad de los
objetos [13], donde durante o después del proceso de
integración, dada la carencia de identificadores únicos
compartidos, se debe determinar si dos registros de dos fuentes
de datos corresponden al mismo, para generar uno solo
consolidado. Este problema de los datos no estructurados -
también conocido como el problema de emparejamiento de
objetos [27]-, además del costo computacional inherente al
cálculo de proximidad de valores de un dominio, está también
penalizado por la complejidad temporal de los procesos que
intentan automatizar su solución, cuando se trabajando con
fuentes de datos enormes, tal como se describe en [15] y [34].
Como se menciona el [15], el costo de aceptar equivalencias
equivocadamente entre objetos puede ser más riesgoso que
conservar su duplicidad, de aquí que las aproximaciones que
se den a la solución de esta problemática, deben ofrecer un
balance que maximice las equivalencias identificadas, pero
que también minimice la posibilidad de falsos positivos.
Para las dos categorías mencionadas aplica un problema
complejo, el de encontrar un balance entre la precisión y
calidad de las detecciones y correcciones de errores, y la
complejidad computacional de realizar éstos en fuentes de
datos de alto volumen –que son precisamente a los que aplican
las soluciones de detección y corrección automática de datos-,
ya que la complejidad, y por ende el tiempo, son requisitos
fundamentales para la creación de soluciones de
implementación factible en ambientes de producción reales.
 3

dependencias con los motores de bases de datos

Otro problema que requiere estrategias computacionales para
la automatización de su solución, es el análisis y
transformación de datos en dominios donde no se tiene
conocimiento preciso de cuando realmente un dato es correcto
o no, y éste debe inferirse a partir de una muestra de los datos
reales. Es decir, se necesita identificar patrones recurrentes en
los conjuntos de datos, para con éstos detectar posibles
anomalías en los casos minoritarios que no los tengan.
De esta última problemática y en general de todas aquellas
basadas en conocimiento descubierto o dado por expertos se
abre un nuevo problema: cómo representar conocimiento
relacionado con las reglas que debe cumplir un conjunto de
datos.
2) Problema del proceso
Aún suponiendo la existencia de un conjunto de algoritmos y
estrategias ideales, que pudieran resolver los problemas de la
identidad de objetos, y permitieran identificar los valores
correctos de datos con imperfecciones, éstos requieren de un
esquema de encadenamiento en un proceso de
transformaciones formalmente definido (operaciones ETL2),
para poder ejecutarlos como un proceso secuencial por lotes.
En la práctica, la complejidad de una secuencia de
transformaciones de un proceso de detección y corrección
automática de datos es tan alta, que finalmente para cada
problema se termina desarrollando una solución a la medida,
tal como se concluye en [22]. Estos son finalmente desarrollos
a muy bajo nivel, específicos para la plataforma física que
soporta los datos, y por lo tanto, basados en un proceso
modelable sólo por los expertos en la tecnología mas no por
los expertos en los datos y en el dominio de los mismos. Es
vital para procesos adecuados de corrección automática de
datos contar con herramientas que permitan modelar dicho
proceso a un alto nivel (nivel de proceso transparente a sus
detalles técnicos), hacerle seguimiento a sus resultados
intermedios, y hacerle ajustes cuando haga falta, como se
propone en [8].
utilizados.
• Probabilidad: definición de modelos estadísticos que
permitan la clasificación de información dadas las
funciones de distribución inferidas de los datos
textuales o numéricos disponibles en la fuente de
datos.
• Sistemas basados en conocimiento: definición e
implementación de conchas de conocimiento y
motores de inferencia que soporten reglas para
determinar el grado de proximidad entre registros a
partir de sus atributos (para encadenar registros,
identificar errores o duplicados), o para modelar las
relaciones entre los atributos de un mismo registro,
con el fin de identificar inconsistencias y poder
calcular los valores probablemente correctos de los
campos inconsistentes (imputación de valores).
• Aprendizaje maquinal: identificar aplicaciones de las
técnicas de aprendizaje supervisado y no supervisado
para la detección de errores en datos sin estructura
estándar e identificación aproximada de duplicados.
• Algoritmia: desarrollar algoritmos de cálculo de
métricas de proximidad entre objetos (en especial
cadenas).
A partir de la revisión de los trabajos realizados en las áreas
previamente mencionadas, es posible presentar una visión
integrada, de cual es el aporte de los resultados de dichos
trabajos en el contexto de la problemática de la detección y
corrección automática de datos.

III. PRINCIPALES ÁREAS DE TRABAJO ACTUAL

Dados los enfoques de los trabajos desarrollados como

propuestas al problema de la detección y corrección
automática de datos, se pueden identificar las siguientes áreas
de trabajo, junto con sus objetivos primarios:

• Ingeniería de software: desarrollo de marcos de

trabajo extensibles, basados en lenguajes formales
para la especificación y puesta en producción de
procesos de transformación de información, sin

Figura 2. Clasificación de los trabajos propuestos, y su

2 relación con los tipos de problemas que resuelven.
Extraction-Transformation-Loading

Como se puede ver en la figura 2, los seis enfoques principales
identificados para los trabajos relacionados con datacleansing
(conceptos en rojo) están especializados en diferentes
problemas, pero con una visión de proceso, varios de éstos
podrían estar relacionados para dar una solución integral.
Éstos enfoques son descritos a continuación:
A. Modelos declarativos de limpieza de datos
Existe una diversidad de trabajos en el área de la limpieza
automática de datos que buscan proveer un modelo único de
especificación de procesos de detección y transformación de
errores -independiente de la arquitectura de base de datos que
se maneje-, para acabar con la necesidad de desarrollar nuevos
proyectos (metodologías, software, procesos) para cada nuevo
requerimiento de mejoramiento de calidad de datos, de tal
forma que baste con modelar un proceso de alto nivel para
tener una solución de datacleansing lista para ejecutarse. En la
actualidad no hay soluciones de-facto para el requerimiento de
abstraer los procesos de transformación para corrección de
datos a un alto nivel, pero existe una serie de trabajos que en la
presente década han sido la base para todas las propuestas
posteriores relacionadas. AJAX tal como Galhardas describe
en [13] y [14], es una de las primeras herramientas propuestas
para modelar las transformaciones asociadas a un proceso de
datacleansing como un flujo de trabajo3 (workflow), es decir,
como una serie de tareas de transformación secuenciales, en
esta caso, definidas a través de un lenguaje extensible basado
en SQL. En [11] y [12] se da una visión más general de lo que
debe ser un flujo de trabajo para un proceso de limpieza de
datos –independiente de la tecnología-, donde se inicia con
una auditoria de datos, la especificación y ejecución del
workflow, y el postproceso, donde se identifican elementos a
mejorar tras cada iteración de ejecución del workflow.
B. Emparejamiento de objetos
En 1995, Hernández y Stolfo [15] hacen una de las primeras
revisiones formales de la problemática de la identidad de los
objetos (en ese momento se le dio el nombre de ‘problemática
de mezcla/depuración’ –merge/purge-), y de la misma manera
presentan las primeras estrategias para implementar
mecanismos de detección de duplicados, basadas en
proximidad de registros. La primera, llamada ‘vecinos más
cercanos ordenados’, genera una serie de llaves para cada
registro en función de sus datos y los ordena usando como
criterio dicha llave, luego, aplica reglas lógicas
secuencialmente a un subconjunto de w registros contiguos
3 se basan en la idea de usar las propiedades estadísticas de las
El Flujo de trabajo es el estudio de los aspectos operacionales de una
actividad de trabajo: cómo se estructuran las tareas, cómo se realizan, cuál es
su orden correlativo, cómo se sincronizan, cómo fluye la información que
soporta las tareas y cómo se le hace seguimiento al cumplimiento de las tareas
(Wikipedia: The Free Encyclopedia. 28 Jul. 2007).
4
(concepto de ventana corrediza de tamaño w), que determinan
si del subconjunto de tamaño w, hay equivalencias. En la
variante de esta propuesta, basada en el concepto de
clustering, los registros y sus llaves no son ordenados, sino son
agrupados en N grupos o clusters, de acuerdo con la
proximidad entre éstos, para finalmente aplicar las reglas
lógicas cluster por cluster. Monge [26] posteriormente
propone un par de mejoras para las estrategias basadas en
proximidad:
• Calcular y tener en cuenta la transitividad de las
equivalencias. Al identificar que A es duplicado de B,
y B es duplicado de C, al requerirse la operación de
identificar si A y C son duplicados ésta se da como
positiva por transitividad. De esta manera se puede
reducir el número cómputos de proximidad.
• Utilizar estrategias de compresión para el manejo de
registros con textos grandes. Al generar esbozos
(sketchs) representativos de las cadenas, como
secuencias únicas de caracteres contínuos.
Mucho más recientemente, Elmagarmid [7] y Navarro [29]
presentan una revisión de métricas de identificación de
proximidad para cadenas, vista esta como la más importante de
las operaciones en las tareas de identificación de duplicados y
en la detección de equivalencias en integración de datos.
Dentro de éstas se encuentran:
• Distancia de edición: esta métrica genera un
indicador de proximidad entre dos cadenas
correspondiente al número de mínimo de operaciones
de inserción, eliminación y reemplazo requeridas para
convertir una de las cadenas en la otra.
• Distancia Smith-Waterman: esta métrica derivada de
la distancia de edición da un tratamiento especial a
los errores del inicio y del final de la cadena,
dándoles una penalización menor, dado que una
diferencia común entre dos cadenas son sus prefijos y
sufijos.
• Distancia JARO: esta métrica se calcula como el
número de transposiciones requeridas para que solo
los caracteres comunes de las dos cadenas a comparar
sean iguales.
• Q-gramas: esta métrica se basa en el número de
subcadenas de tamaño q que tienen en común dos
cadenas.
C. Detección probabilística de errores
Elmagarmid [7] hace una revisión de los primeros trabajos
relacionados con las aproximaciones estadísticas a la detección
de duplicados y el emparejamiento de registros, los cuales
datan de los años cincuenta y sesenta. Los métodos propuestos
variables comunes (para el caso de emparejamiento de
registros) de un par de registros para calcular la probabilidad
de que éstos hagan referencia a la misma entidad. Con este

enfoque se calculan probabilidades con un conjunto de tuplas
de registros previamente marcadas (como coincidentes y no
coincidentes), donde se penalizan aquellos atributos más
influyentes en la indentidad de dicho registro (un número de
teléfono se penaliza menos que los nombres).
Con las probabilidades calculadas, un sistema podría – dado
un umbral de decisión- identificar automáticamente probables
registros duplicados. Dado que este modelo se basa en la
evaluación de probabilidades de emparejamiento campo a
campo entre dos registros de forma independiente, puede
considerarse equivalente al cálculo Bayesiano de
probablidades naive.
Andritsos y otros [1] más recientemente proponen una
aplicación alternativa de la teoría de probabilidades al
problema del datacleansing. Esta propuesta se enfoca en el
contexto de un proceso de integración de fuentes de datos
donde la unificación de duplicados es inviable (por riesgosa, y
por no tener conocimiento suficiente para determinar
realmente cual registro eliminar), y se basa en la idea de
enriquecer –automáticamente- los resultados de las consultas
sobre fuentes de datos consolidadas con información
probabilística para cada registro resultante, el cual indica qué
tan probable es que corresponda a la base de datos ‘limpia’.
D. Detección soportada por sistemas basados en
conocimiento
En dominios de información donde se cuente con expertos que
puedan definir formalmente reglas sobre la validez de los
datos y las relaciones entre sus atributos, una aproximación a
un sistema que detecte y corrija automáticamente errores está
en los sistemas basados en conocimiento. Los sistemas
basados en conocimiento, o sistemas expertos, son sistemas
alimentados con reglas de inferencia (dadas por los expertos),
las cuales, permiten llegar a una conclusión dada cierta
evidencia, o en sentido contrario, llegar a una serie de causales
dada una conclusión. En el contexto de un sistema para la
detección y corrección automática de datos las reglas de
inferencia pueden usarse con diferentes enfoques para
diferentes problemáticas relacionadas con el datacleansing:
• Detección de errores dentro del dominio de los datos:
las premisas de las reglas son los valores de cada uno
de los atributos de los datos, y la conclusión final será
si el registro o el campo es válido o no. Este es el
caso del trabajo propuesto por Bruni y Sassano [3],
donde adicionalmente se propone la utilización de las
mismas reglas de inferencia como mecanismo de
corrección automática, a través de la búsqueda de
nuevos valores para los atributos de los registros de
tal forma que satisfagan las reglas fallidas en el
proceso de detección de errores (imputación de
valores).
5
• Identificación de registros duplicados: las premisas
son operaciones de proximidad entre campos.. En el
caso de Intelliclean, propuesto por Lee y otros ([19],
[20]), se plantea un proceso completo de detección y
corrección de datos asistido por un sistema experto,
donde las reglas no se limitan a ser relaciones entre
los atributos de los registros, sino que representan
operaciones sobre los mismos. Por ejemplo, el
sistema permite definir en forma de reglas qué
registro se deja como correcto y cual se descarta en el
caso de identificar un par de duplicados.
Shahri [12] propone un modelo similar a intelliclean, un
proceso completo asistido por un sistema experto pero
dedicado exclusivamente a la detección de duplicados, a partir
de reglas de inferencia, un proceso previo de clustering por
similaridad entre registros, y lo más importante, un motor de
inferencia basado en lógica difusa, de tal manera que no se
manejan valores de verdad absolutos, sino grados relativos de
certeza.
E. Detección soportada por modelos de aprendizaje
supervisado y no supervisado
Las primeras aproximaciones a problemas como la
identificación de registros duplicados o la detección de errores
en datos estructurados se apoyaban sobre la base de un
conocimiento preciso de reglas del dominio, o en métricas de
distancias genéricas para datos de cualquier dominio. Una
propuesta más reciente es el uso de clasificadores que no
requieren de un conocimiento previo del dominio, sino que son
capaces de extraer las reglas del mismo, es decir, que son
capaces de aprender el cómo hacer las clasificaciones. Existen
dos modelos de clasificadores basados en aprendizaje de
máquina: los supervisados y los no supervisados. Dentro de la
categoría de aprendizaje supervisado, que es aquel que
requiere de un conjunto de entrenamiento bien diseñado para
ajustar sus parámetros antes hacer predicciones o
clasificaciones se tiene el trabajo de Elfeky [6], propone su uso
en un modelo de inducción de identificación de registros
duplicados, donde la información de entrenamiento de dicho
clasificador son tuplas, compuestas por un vector de elementos
a comparar y un estado de similitud o matching entre éstos, de
tal forma que el clasificador aprenderá la función de similitud
a partir de los datos de entrenamiento. Elmagarmid y otros [7]
revisan una estrategia de aplicación del aprendizaje
supervisado, en particular los árboles de decisión para
identificar ambigüedades, entrenando varios clasificadores con
un conjunto de parámetros ligeramente diferentes entre sí.
Otra aplicación de las técnicas de aprendizaje supervisado se
ha dado en la detección de inconsistencias de datos no
estructurados y difíciles de validar por el gran número de
variantes resultantes del uso de abreviaciones, notaciones y
orden alterno de sus elementos, como lo son los nombres
propios y las direcciones. En este sentido la técnica de los
modelos ocultos de Markov permite, tras un previo

entrenamiento, categorizar los componentes de un dato no
estructurado. Cristen y otros [4] y de forma similar Churches y
otros [5], exponen el uso de los HMM4 como una estrategia de
unificación de formato de datos no estructurados, para realizar
tareas de detección de identidad de registros (eliminación de
duplicados o unificación de registros de bases de datos
integradas). La estrategia propuesta inicia con la
estandarización de valores con tablas de referencia para
conversión de datos a su forma canónica (unificar
abreviaciones, sinónimos, etc.), y con la imputación de datos
cuando éstos sean inconsistentes o incompletos.
Posteriormente, la cadena a evaluar es convertida en tokens,
para ser categorizados de acuerdo con el contexto (por
ejemplo si se trabaja con direcciones, las categorías podrían
ser calle, carrera, conjunto, barrio, etc). Luego, a través del
HMM entrenado, se busca la secuencia de categorías más
probable para la secuencia de características (tokens) dadas
(por ejemplo, para ‘Perez, Gonzales, Andres’, una probable
secuencia de categorías identificada podría ser [APELLIDO1],
[APELLIDO2], [NOMBRE1]). Finalmente, con la relación
categoría-token obtenida con este proceso, se puede unificar la
estructura de los elementos de todos los datos, para así
simplificar el proceso de determinación de la identidad de los
registros mencionado anteriormente (para el ejemplo anterior,
se podría decidir que todos los nombres tengan como
estructura [NOMBRE1], [NOMBRE2], [APELLIDO1],
[APELLIDO2]).
Para la aplicación de técnicas de aprendizaje supervisado,
Guyon y otros [10] hacen una propuesta para el problema de la
selección de los datos de entrenamiento dentro del conjunto de
datos disponibles, teniendo en cuenta el riesgo de entrenar a un
clasificador con datos que tan solo represente ruido –
clasificaciones incorrectas-. Proponen dos estrategias: en línea
y por lotes (batch), ambas con la participación de un ‘experto’
humano y usando el concepto de ‘nivel de sorpresa’,
correspondiente al grado de disimilaridad de un dato respecto
a la mayoría de los demás.
Para el proceso en línea, un operador revisa secuencialmente
muestras de la base de datos, e indica qué datos son simple
ruido, y cuales pueden considerarse correctos. Estos últimos
van siendo usados para entrenar al clasificador, mientras que
los incorrectos son descartados. La otra alternativa, más
aplicable a la realidad es procesar en batch. En esta estrategia
todos los datos, incluyendo el 'ruido' son incorporados al
clasificador para entrenarlo. Se ordenan los datos por su nivel
de sorpresa (el cual es obtenido con el mismo clasificador),
para que nuevamente, un operador descarte los que
correspondan, hasta que los datos restantes tengan a lo sumo
cierto nivel de sorpresa. Finalmente, con los datos no
descartados, se hace el entrenamiento definitivo del
clasificador.
Dentro de la categoría de aprendizaje no supervisado, que se
caracteriza por no requerir datos de entrenamiento, existe una
4
Hidden Markov Models
6
serie de propuestas basadas en una de sus estrategias más
representativas: el clusteringg. Elfeky [6] propone lo que
denomina un modelo de clustering para el emparejamiento de
registros, donde dada una función generadora de vectores de
comparación (una función que genera todas las comparaciones
entre todas las tuplas de registros), se hace un agrupamiento de
los vectores de comparación en tres clusters, los cuales, dadas
las características de los vectores de comparación,
corresponderán a las categorías de ‘emparejados’, ‘no
emparejados’, y probablemente emparejados.
Mazeika y otros [25] proponen una estrategia de detección y
corrección automática de errores en nombres, basado en los
conceptos de clustering y distancia entre cadenas (Q-gramas).
Sobre la base de que los nombres con errores tendrán una
distancia corta hacia su valor correcto, los algoritmos
planteados se basan en la idea de definir espacios de cluster no
intersecantes entre sí, donde el centro y los límites de los
mismos se ajustan a medida que se evalúan las entradas de
nombres, de tal manera que al final éstos tengan como
centroide la cadena probabilísticamente correcta, y dentro del
sus límites las variaciones correspondientes a variaciones
comunes debidas a errores de transcripción. Con este modelo,
es posible identificar nombres probablemente incorrectos,
viendo su posición dentro del cluster al que clasifique, y
sugerir el valor que pueda ser el correcto, como el centro del
dicho cluster, correspondiente a la variante más común dentro
de dicho cluster.
F. Detección soportada por reglas de asociación
Una técnica de gran valor para la minería de datos es el de la
identificación de reglas de asociación entre los datos. Esta
técnica permite a los analistas determinar relaciones entre
determinadas variables de los datos que no son obvias, y que
permiten implementar o replantear, entre otras, estrategias de
mercadeo. Marcus y otros [24] proponen el uso de las reglas
de asociación como solución a la problemática de la detección
y corrección automática de datos en dominios donde no se
cuente con conocimiento a priori de reglas de los datos. Este
trabajo presenta un algoritmo de identificación de reglas de
asociación (restringido sólo a tuplas de variables), y una
estrategia de de la aplicación de éstas para la identificación de
posibles errores.
Liu [21], propone una técnica general para la identificación de
reglas ordinales de asociación entre valores numéricos,
definidas como funciones matemáticas, que a diferencia de
trabajos anteriores contempla relaciones de más de dos
variables. Adicionalmente, propone los algoritmos que
permiten identificar potenciales errores en los registros dadas
las reglas de asociación identificadas en la mayoría de éstos
registros.
 7

G. Comparación principales áreas de aplicación de éstas en ambientes de

producción –también reales-. Las más representativas son:
La siguiente tabla consolida los objetivos de cada uno de los
tipos de trabajo presentados anteriormente, junto con sus - Modelos estadísticos: el análisis de los resultados de
principales restricciones o dificultades, que más adelante procesos estadísticos a gran escala, como los censos
podrían verse reflejados en nuevos problemas de poblacionales, pueden verse afectados por las
investigación. pequeñas muestras de los datos con errores inherentes
al proceso (trascripción, veracidad de la fuente, etc).
Tipo de trabajo Principales Principales Dado que los resultados de estos análisis son vitales
objetivos restricciones para la toma de decisiones de gran impacto, y que los
Procesos Procesos de limpieza Complejidad del altos costos del proceso hacen prohibitivo el pensar
declarativos de formales, interactivos y proceso y de su en repetir parte de éste, la limpieza y corrección
limpieza reutilizables abstracción. automática de datos se vuelve la única alternativa
Emparejamiento de Identificar registros que Fuentes heterogéneas, para hacer ajustes sobre la información recolectada,
registros representen una misma información
entidad. Detectar incompleta o con de tal manera que los análisis sobre ésta se aproximen
duplicados y unificar variaciones en uno de más a los resultados que se obtendrían sobre datos
fuentes de datos. los elementos. perfectos. Por ejemplo, Bruni y Sasano [3] presentan
Detección de errores Generar modelos de Requieren datos de un modelo de detección de errores de lógicos e
con aprendizaje predicción de datos entrenamiento e
supervisado estructurados, para información de
imputación automática de valores en los cuestionarios
identificar dominio que puede ser de un censo realizado por el Instituto Estadístico
inconsistencias y unificar de gran volumen (de Nacional Italiano (Istat), donde la aplicación de
formatos para como tiempos de acceso reglas simples como la correlación entre la edad y el
antesala a tareas como la costosos).
detección de duplicados.
estado marital permitieron la detección de
Detección de errores Generar modelos de Su incorporación en un inconsistencias en un número importante de dichos
con aprendizaje no agrupación de registros proceso automatizado cuestionarios.
supervisado para identificar puede ser costosa, pues
variaciones poco se requiere recorrer y
- Modelos biológicos: tal como lo expone Müller ([28],
comunes que evaluar todos los datos
probablemente para generar el modelo. [36]), en campos como la investigación farmacéutica,
correspondan a errores, o el análisis de secuencias genéticas como las de ADN,
identificar duplicados. ARN y proteínas es una actividad costosa y riesgosa
Detección de errores Representar Depende de la para la clasificación estructural y funcional éstas,
soportada con conocimiento de un capacidad de los
sistemas basados en dominio (dado por expertos de identificar cuando se trabaja con datos erróneos (además de
conocimiento expertos) para identificar y expresar otros factores como un conocimiento completo de
inconsistencias entre los adecuadamente reglas dichas secuencias). Dado que el volumen de datos
datos –dadas las de inferencia del manejados en este tipo de investigación normalmente
relaciones entre éstos-, y dominio de los datos.
predecir datos correctos
es muy grande, el método de verificación manual no
(imputación de valores). es factible, de aquí que las técnicas típicamente
Detección de errores Identificar Requiere un proceso utilizadas para la detección de problemas en
soportada por reglas automáticamente costoso para identificar información como nombres y direcciones, buscan ser
de asociación. relaciones entre las las reglas, sobretodo si
extrapoladas a la investigación en biología. Como
variables de una fuente se quieren contemplar
de datos, para identificar varias combinaciones ejemplo, Müller en [36] y en otra serie de trabajos,
probables errores y de variables. No propone una serie de estrategias para la evaluación de
sugerir valores correctos. funcionaría la validez de las anotaciones hechas a cadenas
adecuadamente si no
genéticas y la corrección (reevaluación) automática
se cuenta con un
conjunto de datos de éstas.
suficientemente grande
y representativo. - Sistemas CRM (administración de relaciones con
Figura 3. Revisión de los objetivos y principales clientes): las empresas que manejan grandes números
retos/dificultades de cada una de las áreas de trabajo de clientes conocen el valor de mantener un buen
presentadas. nivel de calidad en la información relacionada con
éstos, ya que de esto depende tener éxito en procesos
como análisis de mercado, inteligencia de negocios, y
IV. APLICACIONES evitar pérdidas de cartera y de buena imagen por
errores en información de contacto. Koudas y otros
En las experiencias documentadas de la aplicación de las [17], como miembros de los laboratorios de
diferentes técnicas relacionadas con la detección y limpieza investigación de AT&T dan un ejemplo de trabajo de
automática de datos con datos reales, se pueden identificar las investigación en técnicas de detección automática de
errores motivada por problemas reales con el manejo

de información de clientes (errores en el ingreso de
los datos, inexistencia de convenciones estándar,
etc.).
- Sistemas de información organizacionales: en
organizaciones donde los procesos relacionados con
el manejo de personal se delega a sistemas de
información, sobretodo cuando el tamaño de éste es
considerable, los costos derivados de los errores en
los datos pueden ser altos en términos
administrativos, dado que de esta información
dependen operaciones como pagos de nómina,
identificación de candidatos a promoción (cambio de
jerarquía), generación de informes de contratación
legales, entre otros. Un ejemplo de esta aplicación es
la problemática abordada por Marcus y Maletic [22] -
la base de datos de personal de la armada
norteamericana-, donde se registra información como
fecha de enlistamiento y de ascensos como caso de
estudio de su técnica de detección de errores basada
en reglas ordinales de asociación entre variables de
los registros. De la misma manera, Lee y Liang [19]
presentan como casos de estudio reales bases de datos
empresariales y bases de datos hospitalarias para su
propuesta de un método de detección de errores
soportada por sistemas basados en conocimiento.
V. PERSPECTIVAS DE DESARROLLO DEL AREA
A. Problemas por resolver
• Dado que la problemática de limpieza de datos se
presenta en cualquier infraestructura de persistencia,
con el fin de contribuir a la creación de herramientas
que puedan cada vez más apropiarse de los procesos
de detección y corrección sin la necesidad de nuevos
desarrollos para cada caso, es fundamental la
definición de un lenguaje de transformaciones de alto
nivel, independiente del motor de base de datos o del
paradigma de persistencia, que permita modelar
procesos de limpieza y reutilizarlos en contextos
similares. Una de las aproximaciones más relevantes
en este sentido es el trabajo propuesto por Gallardas
[13], AJAX5. Esta propuesta a pesar de contar con
varios años sin reportes de avance y sin una
trascendencia clara, es un punto de referencia
importante para este problema abierto, teniendo en
cuenta sus características pendientes por definir,
como el del manejo de operadores basados en
estadística y en aprendizaje de máquina.
5
No confundir el modelo de actualización de contenidos asincrónica
basado en JavaScript.
8
• Las estrategias de limpieza de datos encontradas en
la literatura se enfocan exclusivamente a los modelos
relacionales. Dado que la web puede ya verse como
una base de datos semiestructurada, y que el XML es
una alternativa cada vez más usada para la
transmisión de datos estructurados y al la persistencia
de objetos complejos, es necesario definir
estrategias, o adaptar las existentes para manejar
procesos de corrección en fuentes de datos diferentes
a los relacionales.
• Para datos con errores identificados pero imposibles
de corregir en el momento, la solución de
eliminación no es buena por la pérdida de
información –parcialmente correcta- que esto
implica. Se requieren mecanismos que permitan
omitir datos erróneos de registros en procesos y
cálculos y a la vez conservar los campos correctos en
dichos procesos.
• Dentro del estado del arte se pueden observar
diversidad de estrategias para la identificación de
errores, bien sea a partir de reglas lógicas definidas
por expertos, o por reglas de asociación inferidas por
procesos. Sin embargo, cuando se trabaja con fuentes
de datos heterogéneas, para revisar la coincidencia
de registros muchas veces las comparaciones es
necesario hacerlas no simplemente entre registros de
tablas, sino, como se presenta en [17] entre
resultados de consultas que cruzan varias de éstas
(joins). Por ejemplo, si la fuente de datos A tiene
información de personas que incluye dirección y
teléfono, y la fuente de datos B tiene información
básica y relación con tablas de teléfonos y de
direcciones, para hacer un proceso de identificación
de coincidencias de identidad basada en atributos, la
comparación se debe hacer entre los registros de A y
los resultados de la consulta del cruce de la tabla de
datos básicos de B y sus tablas de direcciones y
teléfonos. Este problema implica dificultades en la
especificación del proceso de datacleansing y más en
la corrección automática de errores (por la dificultad
de identificar los registros relacionados con los
resultados de una consulta).
• Las estrategias para detección automática de errores
basadas en la manipulación de cadenas y la detección
de proximidad entre éstas presentan un grado
importante de error en dicha medida cuando se
trabaje en dominios donde existen entidades
completamente diferentes, cuyos nombres se
diferencian, por ejemplo, sólo por pequeños sufijos y
prefijos. Es importante a los procesos de detección
de errores incorporar el manejo eficiente de
antónimos, tal como se presenta en [17].
• Los procesos de datacleansing son por lo general
costosos en tiempo, y dado que éstos no previenen la

aparición de nuevos errores por la manipulación de
las fuentes de datos involucradas, muchas veces es
necesario repetir el proceso periódicamente. Es
necesario contar con alguna estrategia para la
limpieza incremental de datos, que no requiera
incurrir en el costo de repetir todo el proceso, sino
sólo los datos nuevos o los alterados después de su
limpieza.
• Tal como se expone en [11], en la práctica muchas
organizaciones cuentan con una diversidad de
fuentes de datos no unificadas, debido a la utilización
simultánea de diferentes sistemas de información. En
estos casos, donde la unificación de fuentes de datos
previa a la detección de errores no es factible, se
necesitan mecanismos para replicar correctamente las
correcciones en todas las fuentes tiene datos de la
organización, y así mantener la consistencia en este
modelo de datos redundante.
• En ciertos sistemas de información, en especial los
de alta concurrencia y alta transaccionalidad, la
información es registrada y actualizada con una
frecuencia muy alta. Un proceso de corrección
automática de errores en este tipo de ambientes
presentan una serie de riesgos, bien sea haciendo
correcciones aisladas sobre una copia de los datos, o
haciendo correcciones sobre los datos en producción.
En el primer caso, se tiene el problema de aplicar
consistentemente las correcciones hechas a la copia
de los datos sobre los datos en producción, teniendo
en cuenta todos los cambios que pudieron haber
sufrido los datos reales en el transcurso de dicha
corrección. En el segundo caso, se tiene el problema
de crear inconsistencias con las correcciones, por
ejemplo, al corregir un dato que está en mitad de una
transacción. Para ambos casos se tiene el problema
de poder definir, dentro de este ambiente altamente
dinámico, un proceso convergente hacia un número
máximo de errores.
VI. CONCLUSIONES
De la revisión del estado del arte hecha en este artículo se
puede concluir que a diferencia de otro tipo de problemáticas
abordadas desde la computación, la de la detección y
corrección automática de errores en datos aún no cuenta con
una estrategia de solución general de-facto disponible para las
organizaciones. Además, debido la complejidad y al gran
número de factores incidentes en este tipo de procesos, muchas
de estas organizaciones optan por desarrollar sus propias
soluciones a la medida.
Las estrategias emergentes para el datacleansing van de la
mano de los avances en la investigación de áreas como la
estadística, el aprendizaje de máquina, sistemas expertos, y en
este sentido, hay mucho trabajo por desarrollar. De igual
manera, elementos como los procesos de detección y
9
corrección automatizados, interactivos, seguros y reutilizables
son un tema de investigación importante, dada su influencia
sobre la viabilidad de la aplicación de las técnicas y sobre la
vulnerabilidad del elemento más preciado por muchas
organizaciones: la información.
REFERENCIAS
[1] Andritsos, P.; Fuxman, A. & Miller, R. J. (2006), 'Clean Answers
over Dirty Databases: A Probabilistic Approach.', icde 0, 30.
[2] Benedikt, M.; Bohannon, P. & Bruns, G. (2006),Data Cleaning for
Decision Support., in 'Proceedings CleanDB 2006: Seoul, Korea'.
[3] Bruni, R. & Sassano, A. (2001),Errors Detection and Correction in
Large Scale Data Collecting, in F. Hoffmann; D. J. Hand; N.
Adams; D. Fisher & G. Guimaraes, ed.,'Advances in Intelligent
Data Analysis, 4th International Conference, IDA 2001, Cascais,
Portugal, September 13--15, 2001, Proceedings', Springer Verlag, ,
pp. 84--94.
[4] Christen, P.; Churches, T. & Zhu, J. (2002), 'Probabilistic Name
and Address Cleaning and Standardisation', Proceedings of the
Australasian Data Mining Workshop, Canberra, Dec. 2002. 12.
[5] Churches, T.; Christen, P.; Lim, K. & Zhu, J. (2002), 'Preparation of
name and address data for record linkage using hidden Markov
models', BMC Medical Informatics and Decision Making 2(1), 9.
[6] Elfeky, V. E. A. (2002), 'TAILOR: a record linkage toolbox', Data
Engineering, 2002. Proceedings. 18th International Conference
on, Vol., Iss., 2002, 17-28.
[7] Elmagarmid, P. V. V. (2007), 'Duplicate Record Detection: A
Survey', Knowledge and Data Engineering, IEEE Transactions on,
Vol.19, Iss.1, Jan. 2007, 1-16.
[8] Galhardas, H.; Florescu, D.; Shasha, D.; Simon, E. & Saita, C.
(2001),Declarative Data Cleaning: Language, Model, and
Algorithms, in 'VLDB '01: Proceedings of the 27th International
Conference on Very Large Data Bases', Morgan Kaufmann
Publishers Inc., San Francisco, CA, USA, pp. 371--380.
[9] Gu, L.; Baxter, R.; Vickers, D. & Rainsford, C. (2003 ),'Record
linkage: Current practice and future directions.', CSIRO - 03/83
(03/83), Technical report, CSIRO, the Commonwealth Scientific
and Industrial Research Organisation, Australia.
[10] Guyon, I.; Matic, N. & Vapnik, V. (1996), Discovering Informative
Patterns and Data Cleaning.
[11] H. Müller, J. F. (2003), 'Problems, Methods and Challenges in
Comprehensive Data Cleansing', Technical Report HUB-IB-164
Humboldt-Universität zu Berlin, Institut für Informatik, 2003..
[12] Hamid Haidarian Shahri, A. B. (2002), 'A Flexible Fuzzy Expert
System for Fuzzy Duplicate Elimination in Data Cleaning', Lecture
Notes in Computer Science, Vol. 3180, 161-170.
[13] Helena Galhardas, D. S. E. S. (2000), 'Declaratively Cleaning your
Data with AJAX', BDA 2000.
[14] Helena Galhardas, D. S. E. S. & Saita, C. (2001),'Declarative Data
Cleaning: Model, Language and Algorithms. -INRIA Technical
Report RR-4149', INRIA Technical Report RR-4149, 2001 ,
Technical report, l'Institut National de Recherche en Informatique
et en Automatique.
[15] Hernandez, M. A. & Stolfo, S. J. (1995),The Merge/Purge Problem
for Large Databases, in 'SIGMOD Conference', pp. 127-138.
[16] Hsiung, P. (2005),Alias Detection in Link Data Sets, in 'Proceedings
of the International Conference on Intelligence Analysis'.
[17] Koudas, N.; Marathe, A. & Srivastava, D. (2004),Flexible string
matching against large databases in practice, in 'Proceedings of
VLDB (12), 2004'.
[18] Kubica, J. & Moore, A. (2003), 'Probabilistic Noise Identification
and Data Cleaning', The Third IEEE International Conference on
Data Mining, 131--138.
[19] Lee, M. L.; Ling, T. W. & Low, W. L. (2000),IntelliClean: a
knowledge-based intelligent data cleaner, in 'KDD '00: Proceedings
of the sixth ACM SIGKDD international conference on Knowledge
discovery and data mining', ACM Press, New York, NY, USA, pp.
290--294.
[20] Lee, W. (2005), 'Improving data quality: eliminating dupes & I-D-
 10

ing those spurious links', Potentials, IEEEPublication Date: April-

May 2005, 35 - 38.
[21] Liu, Y. L. D. (2005), 'Mining attributes' sequential patterns for error
identification in data set', Machine Learning and Cybernetics,
2005. Proceedings of 2005 International Conference on, 1931 -
1936 Vol. 3.
[22] Maletic, J. I. & Marcus, A. (2000),Data cleansing: Beyond integrity
analysis, in 'Proceedings of the Conference on Information Quality',
pp. 200--209.
[23] Maletic, J. I. & Marcus, A. (1999),'Progress Report on Automated
Data Cleansing - Technical Report CS-99-02', The University of
Memphis- Technical Report CS-99-02 , Technical report, The
Department of Mathematical Sciences Division of Computer
ScienceThe University of Memphis.
[24] Marcus, A.; Maletic, J. I. & Lin, K. (2001),Ordinal Association
Rules for Error Identification in Data Sets, in 'CIKM '01:
Proceedings of the tenth international conference on Information
and knowledge management', pp. 589-591.
[25] Mazeika, A. & Bцhlen, M. H. (2006), 'Cleansing Databases of
Misspelled Proper Nouns.', CleanDB Workshop, 64-70.
[26] Monge, A. E. (2000),'An Adaptive and Efficient Algorithm for
Detecting Approximately Duplicate Database Records - Technical
Report 90840-8302', California State Univ.-Technical Report
90840-8302 , Technical report, California State Univ., Long
Beach, CECS Department.
[27] Monge, A. E. & Elkan, C. (1996),The Field Matching Problem:
Algorithms and Applications, in 'Knowledge Discovery and Data
Mining', pp. 267-270.
[28] Müller, H. (2003),Semantic Data Cleansing in Genome Databases,
in 'Proc. of the VLDB 2003 PhD Workshop, Berlin, Germany'.
[29] Navarro, G. (2001), 'A guided tour to approximate string matching',
ACM Comput. Surv. 33(1), 31--88.
[30] Rahm, H. (2000), 'Data Cleaning: Problems and Current
Approaches', IEEE Bulletin of the Technical Committee on Data
Engineering, Vol 23 No. 4, December 2000.
[31] Raman, V. & Hellerstein, J. M. (2001), 'Potter's Wheel: An
Interactive Data Cleaning System', Proc. VLDB 2001, Rome, Italy..
[32] Teng, C. (2004), 'Polishing Blemishes: Issues in Data Correction.',
IEEE Intelligent Systems 19(2), 34-39.
[33] Vassiliadis, P.; Vagena, Z.; Skiadopoulos, S. & Karayannidis, N.
(2000), 'ARKTOS: A Tool For Data Cleaning and Transformation
in Data Warehouse Environments.', IEEE Data Eng. Bull. 23(4),
42-47.
[34] Winkler, W. (2001),Quality of Very Large Databases, in 'Quality in
Official Statistics 2001, CD-ROM'.
[35] Xiong, H.; Pandey, G.; Steinbach, M. & Kumar, V. (2006),
'Enhancing Data Analysis with Noise Removal', IEEE
Transactions on Knowledge and Data Engineering, 304-319.
[36] Müller, H. (2003),Semantic Data Cleansing in Genome Databases,
in 'Proc. of the VLDB 2003 PhD Workshop, Berlin, Germany'.

View publication stats