Antonio Pita, Director de Operaciones y Soluciones en Synergic Partners

Tratamiento de Datos: Preparación

Tratamiento de Datos: Preparación

Objetivo
Capturar, almacenar y preparar la información

Etapas
 Adquisición y Registro
 Metadatado
 Exploración y Análisis
 Calidad del dato y Limpieza

Tratamiento de Datos: Preparación

Motivación

El 80% de los datos están desestructurados

tablas data data

normalization wrangling
text enriquecimiento
voz→ texto
mining estandarización image
pattern
estructuración recognition

Tratamiento de Datos: Preparación

Adquisición y Registro

Fuentes
Internas Naturaleza
Estructurados Almacén
No estructurados
Fuentes Planificación
de datos
Externas Proceso Bacth
Tiempo real

Open
Data
Ficheros
SQL
Herramienta Herramienta NoSQL
Redes de Ingesta de Registro
Sociales API
Conectores
Scrapping
…

Tratamiento de Datos: Preparación

Metadatado de Tablas
Almacén
de datos Datos de los datos
• Fecha de carga
• Fuente origen
Tabla Herramienta Metadata • Proceso de carga
de Registro • Número de registros
• Tamaño
Ficheros • Autor
SQL
• Localización
NoSQL
• …

El Metadatado es clave
para un Gobierno del Dato adecuado

Tratamiento de Datos: Preparación

Formateo y Construcción de Variables
Tabla
Construcción
Factor: ‘domingo’
Formateo
Char: ‘14/04/2016’ Date: ‘14/04/2016’ Factor: ‘abril’

Factor: ‘2016’
Transformación de variables:

Tratamiento de Datos: Preparación

Exploración y Análisis de Variables
Histogramas

Estadísticos

Tabla

Visualización de nulos

Tratamiento de Datos: Preparación

Calidad del dato y Limpieza

Herramienta
de Calidad Limpieza
• Tratar campos vacíos
• Tratar valores incoherentes
Tabla • Analizar valores atípicos (outliers)
• Corregir errores
• Eliminar repetidos
• Normalizar datos
• …

Tratamiento de Datos: Preparación

Retos

Los principales retos de esta fase son:

 Evaluación de la calidad de los datos

 Tratamiento de información no estructurada

 Fijación de criterios de tratamiento

 Diseño de la política de metadatado

La Preparación de Datos asegura disponer de datos de calidad

que permitan extraer el conocimiento

Tratamiento de Datos: Preparación

Tratamiento de Datos: Preparación