Diplomado en Big Data y Data Science

Visualización de datos
Sebastián Rodríguez Ortiz
Septiembre, 2018

Escuela de Ingeniería Informática

Pontificia Universidad Católica de Valparaíso
Bibliografía
• Presentaciones de Tamara Munzner: (
http://www.cs.ubc.ca/~tmm/talks.html)
• Data Visualization: A Handbook for Data Driven Design – Andy Kirk
• Good Charts: The HBR Guide to Making Smarter, More Persuasive Data
Visualizations – Scott Berinato
Definiendo visualización de datos
Definiendo visualización de datos
Definición
• Según Tamara Muzner:
“Los sistemas de visualización proveen representaciones visuales de set de
datos, las cuales están diseñadas para que personas puedan llevar a cabo
tareas más eficientemente.”
Definiendo visualización de datos
Definición
• Según Tamara Muzner:
“Los sistemas de visualización proveen representaciones visuales de set de
datos, las cuales están diseñadas para que personas puedan llevar a cabo
tareas más eficientemente.”
Definiendo visualización de datos
¿Por qué tener un humano en el loop?
• La visualización es importante cuando esta la necesidad de aumentar las capacidades humanas, en
vez de reemplazar gente con métodos de decisión automatizados.
• No se necesita visualización cuando se tiene una solución completamente automatizada.
• Muchos problemas con los análisis están relacionados a una mala especificación.
– No se sabe cuales son las preguntas a hacer. *
• Apertura de posibilidades
– Uso a largo plazo para los usuarios finales (Analisis exploratorio de datos cientificos)
– Presentación de resultados
– Punto principal para entender el problema antes de desarrollar modelos
– Ayudar a los desarrolladores para refinar y debuguear solución automática, y también refinar parametros
– Ayudar a los usuarios finales de la solución automatizada y construir confianza
Definiendo visualización de datos
Definición
• Según Tamara Muzner:
“Los sistemas de visualización proveen representaciones visuales de set de
datos, las cuales están diseñadas para que personas puedan llevar a cabo
tareas más eficientemente.”
Definiendo visualización de datos
¿Por qué usar una representación externa?
• Reemplazar Cognición con percepción
– Ejemplo 1

L1 L2
3,5 2,5
4,8 3,8
4 4,1
5 2,5
5,1 2,4
Definiendo visualización de datos
¿Por qué usar una representación externa?
• Reemplazar Cognición con percepción
– Ejemplo 2

0 0 5 13 9 1 0 0
0 0 13 15 10 15 5 0
0 3 15 2 0 11 8 0
0 4 12 0 0 8 8 0
0 5 8 0 0 9 8 0
0 4 11 0 1 12 7 0
0 2 14 5 10 12 0 0
0 0 6 13 10 0 0 0

[LeCun, Y. & Cortes, C. (2010). MNIST handwritten digit database.]

 Definiendo visualización de datos
¿Por qué usar una representación externa?
• Reemplazar Cognición con percepción
– Ejemplo 3

[A.Barsky,T.Munzner,J.GardyandR.Kincaid,"Cerebral:VisualizingMultipleExperimentalConditionsonaGraphwithBiologicalContext,"in IEEETransactionsonVisualizationandComputerGraphics,vol.14,no.6,pp.
1253-1260,Nov.-Dec.2008.
doi:10.1109/TVCG.2008.117]
Definiendo visualización de datos
Definición
• Según Tamara Muzner:
“Los sistemas de visualización proveen representaciones visuales de set de
datos, las cuales están diseñadas para que personas puedan llevar a cabo
tareas más eficientemente.”
Definiendo visualización de datos
¿Por qué tener un sistema/computador en el loop?
• Ir más allá de la paciencia humana:
Definiendo visualización de datos
¿Por qué tener un sistema/computador en el loop?
• Ir más allá de la paciencia humana:
– Escalar a datasets de mayor tamaño
– Soportar Interactividad
• Diagramas dibujados a mano:
– Sirven para obtener los elementos
importantes
Definiendo visualización de datos
Ejemplo práctico de la paciencia humana
• Londres, barrio de Soho en 1854:
– Epidemia de cólera
– Teoría de transmisión:
• Miasma
Definiendo visualización de datos
Ejemplo práctico de la paciencia humana
• John Snow (1813 - 1858):
– Médico inglés
– Líder en la adopción de la anestesia
– Uno de los padres de la Epidemiología moderna
– Escéptico de la teoría del miasma
Definiendo visualización de datos
Ejemplo práctico de la paciencia humana
• Él realizo una recolección de datos a través de distintas calles
Definiendo visualización de datos
Ejemplo práctico de la paciencia humana
Definiendo visualización de datos
Ejemplo práctico de la paciencia humana
• Descubrimientos:
Definiendo visualización de datos
Definición
• Según Tamara Muzner:
“Los sistemas de visualización proveen representaciones visuales de set de
datos, las cuales están diseñadas para que personas puedan llevar a cabo
tareas más eficientemente.”
Definiendo visualización de datos
¿Por qué depender de la visión?
• Visión: es un canal de alto ancho de banda hacia al cerebro
– Visión general es posible al procesamiento en segundo plano
• Experiencias subjetivas al ver todo simultáneamente
• Procesamiento significativo ocurre en paralelo y pre-atención
• Sonido: tiene menor ancho de banda y tiene una diferente semántica
– Experiencia subjetiva no permitiendo una visión general
• Tacto: bajo ancho de banda
– Reproducción y grabación reducidas
– [S. Brewster (2002) Visualization tools for blind people using multiple modalities, Disability and Rehabilitation,
24:11-12, 613-621, DOI: 10.1080/09638280110111388]
• Sabor/Olor: No hay métodos de reproducción y grabación
Definiendo visualización de datos
Definición
• Según Tamara Muzner:
“Los sistemas de visualización proveen representaciones visuales de set de
datos, las cuales están diseñadas para que personas puedan llevar a cabo
tareas más eficientemente.”
Definiendo visualización de datos
¿Por qué mostrar los datos en detalle?
• Resumir implica perdida de información
• Confirmar patrones esperados y patrones inesperados
Definiendo visualización de datos
Definición
• Según Tamara Muzner:
“Los sistemas de visualización proveen representaciones visuales de set de
datos, las cuales están diseñadas para que personas puedan llevar a cabo
tareas más eficientemente.”
Definiendo visualización de datos
Espacio de diseño: idioma
• El espacio de diseño de los posibles idiomas de visualización es enorme. Esto incluye
consideraciones de cómo crear y como interactuar con las representaciones visuales.
• Idioma: enfoque distintivo de cómo crear o manipular la representación visual
– Como dibujarlo: Idioma de codificación visual *
• Muchas posibilidades de como crear

– Como manipularlo: Idioma de interacción *

• Muchas mas posibilidades
– Transformar un idioma dinámico
– Vincular múltiples idiomas
Definiendo visualización de datos
Definición
• Según Tamara Muzner:
“Los sistemas de visualización proveen representaciones visuales de set de
datos, las cuales están diseñadas para que personas puedan llevar a cabo
tareas más eficientemente.”
Definiendo visualización de datos
¿Por qué enfocarse en tareas y efectividad?
• La tarea sirve como una restricción de diseño (al igual que los datos).
– Los idiomas no sirven para todas las tareas
– Es un reto transformar una tarea de un dominio específico a un vocabulario de formas abstractas
• Las mayorías de las posibilidades son ineficientes
– Validación es necesaria pero difícil
– Incrementa las chances de encontrar una buena solución si se entienden todas las posibilidades
• ¿Qué cuenta cómo efectivo?
– Que sea novedoso: otorgando un nuevo nivel de análisis
– Que sea rápido: Acelerando el flujo de trabajo existente
Definiendo visualización de datos
Limitaciones de recursos
• Los diseñadores de visualizaciones tiene que tomar en cuenta 3 diferentes tipos de limitaciones de recursos:
computacionales, humanos y de presentación
• Límites computacionales
– Tiempo de procesamiento
– Memoria del sistema
• Límites humanos
– Atención y memoria
• Límites de presentación
– Pixeles son un preciado recurso, el mas restringido
– Densidad de información: Proporción del espacio usado para codificar la información versus los espacios en blanco
• Existe el tradeoff entre llenar de información y desperdiar espacio
• Hay que buscar un sweetspot entre denso y disperso
Definiendo visualización de datos
Limitaciones de recursos
• Límites de presentación
– Pixeles son un preciado recurso, el mas restringido
– Densidad de información: Proporción del espacio usado para codificar la información versus los espacios en blanco
• Existe el tradeoff entre llenar de información y desperdiar espacio
• Hay que buscar un sweetspot entre denso y disperso
Definiendo visualización de datos
Lectura adicional
• Visualization Analysis and Design. Munzner. AK Peters / CRC Press,
Oct 2014.
– Chap 1: What’s Vis, and Why Do It?
Framework: “What – Why – How”
Framework: “What – Why – How”
Análisis: qué, por qué y cómo
• ¿Qué se esta mostrando?
– Esto implica la abstracción de los datos
• ¿Por qué el usuario debería observar lo mostrado?
– Abstracción de la tarea
• ¿Cómo se muestra?
– Idioma: codificación visual y codificación de interacción
• Transformar esto en un vocabulario abstracto evita términos específicos
– Proceso de traducción es interativo y difícil
• El framework da un approach sistematico para pensar sistemáticamente sobre el espacio
de diseño
Framework: “What – Why – How”
¿Qué se esta mostrando?
• El qué tiene que ver con todo lo relacionado al dato, ya
sea:
– Los set de datos
– Atributos asociados
Framework: “What – Why – How”
Framework: “What – Why – How”
¿Qué se esta mostrando?
• Tipos de set de datos
Framework: “What – Why – How”
¿Qué se esta mostrando?
• Tipos de datos

• Relaciones entre set de datos y los datos

Framework: “What – Why – How”
¿Qué se esta mostrando?
• Disponibilidad de los datos
Framework: “What – Why – How”
¿Qué se esta mostrando?
• Tipos de atributos

• Dirección
Framework: “What – Why – How”

¿ Por qué el usuario debería observar lo mostrado?

• El por qué tiene que ver en el enfoque de dos cosas:
– Acciones
– Objetivos
Framework: “What – Why – How”
Framework: “What – Why – How”

¿ Por qué el usuario debería observar lo mostrado?

• Accion de alto nivel: Analizar
– Consumir
• Descubrir y presentar
– Split Clasico
– Explorar vs Explicar
• Disfrutar
– Personas nuevas
– Casual y social
– Producir
• Anotar, y Grabar
• Derivar
– Desiciones cruciales de diseño
Framework: “What – Why – How”

¿ Por qué el usuario debería observar lo mostrado?

• Accion de nivel medio: Buscar
– ¿Qué es lo que el usuario conoce?
Framework: “What – Why – How”

¿ Por qué el usuario debería observar lo mostrado?

• Acción de bajo nivel: Consultar
– ¿Qué tanto importan los datos?
• Solo 1
• Algunos
• Todos
Framework: “What – Why – How”

¿ Por qué el usuario debería observar lo mostrado?

• Objetivos
Framework: “What – Why – How”

¿ Cómo se muestra?
• El cómo tiene que ver con:
– Idioma de codificación Visual
– Idioma de codificación de interacción
• Manipulación
• Interacciones de aspecto
Framework: “What – Why – How”
Framework: “What – Why – How”
Ejercicio: Comparar Idiomas
• Hacer una comparación con el framework “What – Why – How”
– SpaceTree:
– TreeJuxtaposer
Framework: “What – Why – How”
Ejercicio: Comparar Idiomas
Framework: “What – Why – How”
Lectura adicional
• Visualization Analysis and Design. Munzner. AK Peters / CRC Press, Oct 2014.
– Chap 2: What: Data Abstraction
– Chap 3: Why: Task Abstraction
• A Multi-Level Typology of Abstract Visualization Tasks. Brehmer and Munzner. IEEE Trans.
Visualization and Computer Graphics (Proc. InfoVis) 19:12 (2013), 2376–2385.
• Low-Level Components of Analytic Activity in Information Visualization. Amar, Eagan, and
Stasko. Proc. IEEE InfoVis 2005, p 111–117.
• A taxonomy of tools that support the fluent and flexible use of visualizations. Heer and
Shneiderman. Communications of the ACM 55:4 (2012), 45–54.
• Rethinking Visualization: A High-Level Taxonomy. Tory and Möller. Proc. IEEE InfoVis
2004, p 151–158.
• Visualization of Time-Oriented Data. Aigner, Miksch, Schumann, and Tominski.
Springer, 2011.
Marcas y Canales
Marcas y Canales
Codificación visual
• Analisis de la estructura del idioma
Marcas y Canales
Definiciones: Marcas y Canales
• Marcas:
– Primitivos geométricos
• Canales
– Controlan las aparencias de las marcas
– Pueden codificar en multiples canales redundantemente
• Interacciones entre marcas y canales
– Puntos solo muestran posiciones; no restricciones de
área
• Pueden ser codificados con tamaño y color
– Lineas muestran posición y tamaño
• Pueden solo ser codificados en 1 dimensión
– Areas tienen restricciones
• No pueden ser codfificados con tamaños o figuras
Marcas y Canales
Codificación visual
• Analisis de la estructura del idioma
– Combinación de marcas y canales
Marcas y Canales
Canales: Expresividad y Efectividad
Marcas y Canales
Principio de efectividad y expresividad
• Efectividad
– Codificar los atributos mas importantes con los mejores canales
• Expresividad
– Hacer match entre características de canales y datos
• Rankings: Donde salen
– Exactitud
– Discriminabilidad
– Separación
– Popout
Marcas y Canales
Exactitud
• Relación empírica en Psicofisica
– Mide el incremento o fuerza entre:
• Estimulo físico
• Magnitud percibidad
– Percibe el incremento en la sensación
Marcas y Canales
Discriminabilidad
• Líneas: solo un poco
Marcas y Canales
Separabilidad vs Integralidad
Marcas y Canales
Popout
• Ejemplo: Encontrar el punto rojo
Marcas y Canales
Popout
• Procesamiento en paralelo en muchos canales individuales
– Velocidad es independiente de la cantidad de distracciones
– Velocidad es dependiente de los canales y en la cantidad de distractores
diferentes
• Búsqueda serial
– La velocidad depende de la cantidad de distractores
Marcas y Canales
Popout
• Ejemplos:
Marcas y Canales
Agrupación
• Marcas como un enlace:
– Conexión
– Contención

• Proximidad
– En la misma región espacial
• Similaridad
– Mismos valores que otros
valores categoricos
Marcas y Canales
Juicios relativos vs absolutos
• Sistema de percepción humano opera en juicios relativos
– Exactitud incrementa con una escala en común / Alineamiento
– Ley de weber: Proporción del incremento del fondo es constante
Marcas y Canales
Juicios relativos vs absolutos
Marcas y Canales
Lectura adicional
• Visualization Analysis and Design. Munzner. AK Peters / CRC Press, Oct 2014.
– Chap 5: Marks and Channels
• On the Theory of Scales of Measurement. Stevens. Science 103:2684 (1946), 677–680.
• Psychophysics: Introduction to its Perceptual, Neural, and Social Prospects.
Stevens. Wiley, 1975.
• Graphical Perception: Theory, Experimentation, and Application to the Development of
Graphical Methods. Cleveland and McGill. Journ. American Statistical Association
79:387 (1984), 531–554.
• Perception in Vision. Healey. http://www.csc.ncsu.edu/faculty/healey/PP
• Visual Thinking for Design. Ware. Morgan Kaufmann, 2008.
• Information Visualization: Perception for Design, 3rd edition. Ware. Morgan
Kaufmann /Academic Press, 2004.
Diplomado en Big Data y Data Science

Visualización de datos
Sebastián Rodríguez Ortiz
Septiembre, 2017

Escuela de Ingeniería Informática

Pontificia Universidad Católica de Valparaíso