Facultad de Arte, Diseño y Comunicación Audiovisual

Materia: Diseño de Experiencia

Tarea 2.1.: Investigación sobre metodologías y herramientas para evaluación de UX

PUBLICACIÓN 1
Diseño de experiencia de usuario utilizando Machine Learning: Una revisión sistemática
Resumen:
Este estudio proporciona una revisión sistemática del diseño de UX utilizando ML desde la
perspectiva de los profesionales y diseñadores de la UX. En las últimas décadas, la Experiencia
del Usuario (UX) y el Machine Learning (ML) son temas relativamente nuevos que han logrado
avances significativos en el diseño web. En el campo de la interacción humano-computadora
(HCI), la UX se considera un factor importante en la creación de soluciones exitosas, efectivas
y agradables. El uso de ML para mejorar la UX es cada vez más popular. La tasa de conversión
de una aplicación con un excelente diseño de UX puede aumentar en un 400 %, mientras que
la tasa de conversión de una aplicación con una interfaz de usuario (UI) deficiente solo
aumentará en un 200 %.

En esta publicación se realizó una revisión sistemática de la documentación para identificar

los desafíos que enfrentan los diseñadores de la Experiencia de Usuario al incorporar Machine
Learning en su proceso de diseño. Se resaltaron sugerencias para ayudar a los diseñadores de
UX a incorporar ML en el diseño de UX. Además, se utilizó el método PRISMA (un proceso que
se ha establecido en la literatura) para reducir la posibilidad de sesgo durante la fase de
selección. Se realizaron búsquedas de artículos relevantes en las siguientes cuatro bases de
datos: IEEE Xplore, Scopus, Web of Science y ACM.

La mayoría de los diseñadores de la UX involucrados en este estudio no tenían experiencia en

el uso de ML como herramienta de diseño. Esto sugiere que algunos problemas pueden
deberse a la novedad de usar ML como un documento de diseño. Por otro lado, descubrieron
un valioso trabajo de investigación sobre Machine Learning para UX. Creen que la creación de
un estudio de este tipo tendrá un impacto positivo en el diseño de la UX, en beneficio tanto
de los usuarios como de los diseñadores. Las implicaciones de desarrollar, probar y recopilar
comentarios sobre el ML pueden ser enormes: más modelos no solo mejorarán la calidad y el
alcance de la respuesta. Además, el desarrollo de modelos tan cercanos ahorra mucho tiempo
en las primeras etapas del desarrollo de la aplicación (donde la retroalimentación es más
importante), trasladando el refinamiento de la interfaz de usuario a una etapa posterior.

Los resultados muestran que el número de publicaciones sobre temas relacionados con la
Experiencia de Usuario con Machine Learning aumenta exponencialmente. Esta investigación
destaca los problemas, las recomendaciones, las herramientas, los algoritmos, los métodos y
los conjuntos de datos utilizados en varios estudios. Además, se brindan sugerencias para
futuras publicaciones.
Metodología:

Esta investigación fue motivada por las siguientes tres preguntas de investigación:

• ¿Cuáles son los desafíos que enfrentan los diseñadores de UX al incorporar algoritmos
ML de diseño UX?'
• ¿Cuáles son las recomendaciones sobre cómo se puede incorporar la funcionalidad
ML en el proceso de diseño UX?'
• ¿Cómo se pueden usar los algoritmos de ML para ayudar a tomar mejores decisiones
de diseño de UX?".

Consideraron la literatura contemporánea como una fuente crítica de respuestas a estas

preguntas de estudio para lograr completamente la investigación.

A. Método de búsqueda de estudios relacionados

Primero, a principios de octubre de 2021, buscaron en las bases de datos electrónicas
Web of Science (WoS), Scopus, IEEE Xplore y ACM. Elegieron la base de datos
mencionadas anteriormente ya que sirven como punto de entrada para todas las
Ciencias de la Computación y Ciencias Sociales y del Comportamiento. Luego,
diseñaron una cadena de búsqueda utilizando la comprensión y conocimiento del
diseño de UX y los dominios de ML, y consultando cadenas de búsqueda de diseño de
UX y ML relevantes.
B. Selección de estudios
Los artículos que se descubrieron durante la búsqueda se guardaron en Microsoft
Excel. Los duplicados y la relevancia para el título del estudio se verificaron con la lista
de artículos. Se rechazaron todas las publicaciones que no estaban relacionadas con
UX y ML. Dos investigadores (AMA y KIG) examinaron los títulos y resúmenes de todos
los artículos de texto completo recuperados para excluir aquellos que no estaban
relacionados con el tema de investigación. Si los dos investigadores diferían sobre la
relevancia de los artículos, lo discutirían con el tercer revisor (TCY).
C. Realización de la revisión
A fines de enero de 2022, se completó la revisión sistemática de la literatura detallada
en este documento. Realizaron una revisión exhaustiva del texto de cada uno de los
18 artículos para las revisiones sistemáticas, adoptaron la declaración PRISMA, que se
introdujo para esta revisión.
D. Identificación
Se realizaron búsquedas en las siguientes bases de datos: IEEE Xplore, WoS, ACM
Digital Library y Scopus. Los motores de búsqueda de las cuatro bibliotecas se
configuraron para ejecutar consultas de búsqueda tanto en los metadatos como en el
texto completo de los artículos. Se agregó un filtro a las preguntas para garantizar que
los resultados no incluyeran ningún artículo publicado antes de 2017, año en el que se
publicó el primer estudio que utilizó el ML en la experiencia del usuario.
 El IEEE, WoS, ACM y Scopus ahora tienen un segundo filtro que excluye los artículos
escritos en idiomas distintos al inglés. Los artículos en otros idiomas fueron eliminados
manualmente durante el proceso de selección en las otras bibliotecas. Esta consulta
devolvió 1044 publicaciones de las cuatro bibliotecas digitales.
E. Tamizaje
Inicialmente, se eliminaron ciento cuatro artículos de los 1044 originales porque se
encontraron en varias bibliotecas. Luego comenzó el procedimiento de selección, con
uno de los investigadores repasando el título, el resumen y las palabras clave de cada
una de las 1044 publicaciones. Como resultado de esta fase, 922 artículos fueron
rechazados, quedando solo 18 para la síntesis cualitativa.
F. Elegibilidad
Se evaluaron las 18 publicaciones para la elegibilidad. De acuerdo con los criterios
descritos en la Sección B, los investigadores descartaron un conjunto de artículos. Se
realizó una revisión cruzada de los documentos descartados para asegurar que no
hubiera contradicciones. Los investigadores también presentaron algunas
publicaciones que eran irrelevantes para el diseño de UX utilizando el ML.
G. Incluido
El estudio comprendió un total de 18 artículos que aplicaron el aprendizaje
automático en el diseño de UX y, por lo tanto, respondieron la pregunta de
investigación. Un investigador realizó una revisión cruzada de esta lista y se
resolvieron las discrepancias descubiertas.

Cuestionario y encuestas:

Esta sección revisa y resume las preguntas de la encuesta utilizados en los cuestionarios. Las
preguntas fueron dirigidas para los antecedentes de los diseñadores de UX en el uso de
capacidades de ML.

Experiencia diseñando ¿Alguna vez has diseñado una aplicación que utilice
aplicaciones de Machine Learning Machine Learning?

Autoevaluación de habilidades en ¿Cómo calificarías tus habilidades en Diseño?

Diseño y Programación ¿Cómo calificarías tus habilidades en Programación?

Herramientas:

ML aún no está integrado sistemáticamente en patrones de diseño, educación de diseño o

herramientas de creación de prototipos. La mayoría de los diseñadores trabajan con ML como
material de diseño. Se necesitan nuevos métodos y herramientas para comprender el trabajo
con ML de manera efectiva, ya que ML es un material de diseño que requiere demasiado
conocimiento técnico para los diseñadores de UX.

En primer lugar, los participantes dibujaron ideas para un desafío de diseño durante
aproximadamente tres minutos. En segundo lugar, cada participante tiene un minuto para
ofrecer su opinión al grupo. Este procedimiento se realiza de tres a cuatro veces para permitir
que los participantes desarrollen las ideas de los demás e iteren los diseños.

Como compensación entre la creación rápida de prototipos de una aplicación basada en ML

y predicciones precisas, los autores eligieron Microsoft Custom Vision 9, una plataforma de
ML establecida para desarrollar y probar un modelo para detectar elementos GUI en
fotografías de bocetos en papel. Microsoft Custom Vision ya viene con un modelo base de
alta calidad entrenado en una gran cantidad de datos de imágenes genéricas. Los autores
generaron una serie de fotografías de dibujos GUI y etiquetas manuales para obtener más
instrucciones para nuestra instancia específica. El complemento Sketch llamó a este modelo
para detectar tipos y posiciones de elementos GUI. Luego, la estructura alámbrica digital se
genera mediante la detección de los componentes GUI relevantes en Sketch. Finalmente, el
diseño general del estudio fue similar al del estudio previo.

Referencia:

PDF adjunto - User Experience Design Using Machine Learning: A Systematic Review
PUBLICACIÓN 2
Detección de emociones a través del Machine Learning para la evaluación automática de la
Experiencia de Usuario.

Resumen:

Este documento trata sobre un trabajo de investigación en curso que aprovecha Machine
Learning (ML) para la evaluación automática de UX, específicamente para comprender las
emociones de los usuarios mediante el análisis de los datos de registro de las interacciones
de los usuarios con los sitios web. El enfoque descrito tiene como objetivo superar algunas
limitaciones de las propuestas existentes basadas en ML.

La experiencia del usuario (UX) se ha convertido en un aspecto cada vez más importante de
los productos de software. Diseñar para UX es mucho más que diseñar para los atributos
tradicionales de usabilidad. UX también se refiere a atributos relacionados con los
sentimientos y emociones de las personas, como el placer, la diversión, la sorpresa, la
intimidad, la alegría; se centra en lo bello (armonioso, claro), emocional (cariñoso, adorable),
estimulante (intelectual, motivador) y también en lo táctil (suave, suave), acústico (rítmico,
melodioso).

Algunas de las principales razones por las que la usabilidad y la UX todavía se descuidan
durante el desarrollo de la mayoría de los productos de software es que los desarrolladores
piensan que las evaluaciones de la usabilidad y la UX exigen recursos y requieren experiencia
específica porque apenas están automatizadas. Dado que las emociones son elementos
importantes de UX, algunos autores están buscando formas de identificar las emociones de
los usuarios analizando la interacción de los usuarios con el sistema (por ejemplo, los
movimientos del mouse) a través de algoritmos de ML. Estas propuestas no son lo
suficientemente maduras debido a varias limitaciones.

Este artículo presenta un trabajo de investigación en curso que explota ML para la detección
de emociones, con el objetivo de superar las limitaciones anteriores. Proporciona las
siguientes contribuciones. Primero, se construye un conjunto de datos de las emociones de
los usuarios y los registros de interacción de usuarios reales que interactúan con sitios web
reales "en la naturaleza" durante 30 días. En segundo lugar, se proporcionan los resultados
de la comparación de los cuatro algoritmos de ML utilizados principalmente para detectar
emociones. En tercer lugar, los modelos de clasificación resultantes pueden predecir las
emociones de los usuarios momento a momento durante la interacción de los usuarios. El
documento está organizado de la siguiente manera. En la sección 2 se analizan los
fundamentos y los antecedentes de nuestra investigación. La Sección 3 ilustra cómo se
construyó el conjunto de datos, y la Secc. 4 presenta la comparación de cuatro algoritmos de
ML para predecir las emociones que sienten los usuarios que interactúan con los sitios web.
La sección 5 proporciona las conclusiones y destaca los trabajos futuros.
Metodología:

UX integra el concepto de usabilidad al enfatizar sentimientos más subjetivos. Una

experiencia de usuario valiosa aumenta la satisfacción del usuario: una interfaz estéticamente
agradable, que es fácilmente navegable y presenta contenido actualizado y confiable,
aumenta en gran medida la satisfacción del usuario. Se han propuesto varias técnicas de
evaluación, una de las más exitosas es la prueba de usuario, se considera la forma de
evaluación más completa porque evalúa la usabilidad y UX a través de muestras de usuarios
reales. Se han propuesto varios enfoques para las pruebas de usuario semiautomáticas, como
las herramientas para pruebas de usuarios remotos desarrolladas hace unos 20 años usaban
la tecnología disponible en ese momento, que estaba limitado. Los avances tecnológicos de
los últimos años han abierto nuevos escenarios.

Hoy en día, es posible realizar aplicaciones web con funciones de grabación de pantalla,
seguimiento de la interacción del usuario, acceso a dispositivos periféricos, como cámaras
web y micrófonos para capturar la cara y el habla de los participantes durante las pruebas de
usuario. Las herramientas desarrolladas en los últimos cinco años brindan varias funciones
para brindar un mejor soporte a las pruebas automáticas y recopilar muchos más datos
cualitativos que pueden ayudar a descubrir más problemas de usabilidad.

Finalmente, hasta donde sabemos, ningún trabajo previo tiene como objetivo predecir las
emociones de los usuarios con una granularidad más baja, es decir, predecir las emociones
cada segundo. Esta predicción de bajo nivel ayuda a los evaluadores a comprender las
emociones de los usuarios no solo durante la visita a una página web o durante la ejecución
de una tarea, sino que, más profundamente, permite identificar las emociones que sienten
los usuarios durante la interacción con elementos específicos de las páginas web. De esta
forma, es posible comprender, por ejemplo, si elementos de la interfaz de usuario como un
menú, un video, un widget, etc., determinan emociones positivas o negativas.

Cuestionario y encuestas:

Los datos se recopilan con poca granularidad, posiblemente cada pocos segundos. Este
muestreo de bajo nivel permite la predicción de la emoción momento a momento, para
comprender emociones de los usuarios mientras interactúan con elementos específicos del
sitio web (por ejemplo, un menú, una etiqueta) en lugar de predicciones de más alto nivel
que simplemente indican las emociones de los usuarios durante la interacción con una página
web o durante la ejecución de tareas.

Los datos se recopilan de forma transparente. El seguimiento de las interacciones debe ser
transparente para los usuarios. Del mismo modo, no se debe pedir a los usuarios que
detengan su actividad para declarar sus emociones. Las emociones se calculan
automáticamente analizando las expresiones faciales del usuario. El análisis de la expresión
facial evita tanto el uso de hardware intrusivo para la emoción detección (por ejemplo,
dispositivos de interfaz cerebro-computadora) y detener a los usuarios durante la prueba para
pedirles que declaren sus emociones. Además, este análisis es más preciso que las emociones
autodeclaradas, que también adolece del problema de la regla del punto máximo.

Se garantiza la anonimización de los datos de los participantes. Esto es necesario por

cuestiones éticas. También fomenta el reclutamiento de participantes. Reclutamos a 12
voluntarios de diferentes edades (edad media 32.3) y género (6 mujeres).

Herramientas:

Esta herramienta, que aún está en desarrollo, consta de 1) un fragmento de JavaScript para
integrar en las páginas de un sitio web y 2) un tablero para analizar las emociones de los
usuarios. En particular, el fragmento rastrea de forma asincrónica las interacciones del
usuario (movimientos del mouse y pulsación del teclado) y las envía a un servidor web. El
tablero informa para cada página web los resultados de un modelo ML aplicado a los registros
de todos los usuarios que visitaron esa página, para predecir sus emociones promedio.

En el prototipo del tablero se visualiza un mapa de calor que representa la emoción que
sintieron los usuarios al interactuar con la página web. Este mapa de calor indica en rojo los
elementos de las páginas web con valores altos de emoción, mientras que en azul los
elementos con valores bajos. Hay una leyenda y un menú de caja de radio para cambiar la
emoción visualizada en el mapa de calor. Vale la pena notar que algunos usuarios pueden
sentir emociones no relacionadas con el sitio web específico pero causadas por factores
externos (por ejemplo, estado de ánimo, cansancio, etc.). Sin embargo, los valores finales
calculados por los modelos ML y visualizados en el mapa de calor son un promedio de las
emociones de cientos, miles o más usuarios, por lo que los posibles valores erróneos son
mitigados o cancelados por el tamaño de la muestra.

Proceso:

Se les pidió que instalaran durante 30 días en su navegador (se requería Chrome o Firefox) un
complemento que desarrollamos a propósito. Este complemento registra, cada 2 s, una
imagen de la cámara web que enmarca la cara del usuario, así como los registros del mouse
y del teclado (para evitar un efecto de registro de teclas, el complemento solo registra el tipo
de tecla presionada, es decir, número, letra, personaje especial). Estos datos se enviaban de
forma anónima, a través de una conexión SSL, a un servidor web donde un módulo de Node.js
los gestiona. Cada vez que este módulo recibe los datos, invoca el SDK de Affdex para traducir
la imagen en un conjunto de pares [emoción-valor], de acuerdo con el EMFACS (Emotional
Facial Action Coding System) modelo que identifica siete emociones: Ira, Desprecio, Disgusto,
Alegría, Miedo, Tristeza y Sorpresa. Vale la pena señalar que los avances recientes en visiones
por computadora y Deep Learning hacen que el reconocimiento visual de emociones, y en
particular la herramienta Affdex, confiable como la codificación humana, así como precisa
como instrumentos más avanzados e invasivos como la electromiografía facial.

Luego, el módulo Node.js descarta permanentemente la imagen y luego asocia las emociones
a los registros del usuario. El resultado es un objeto de interacción almacenado en una base
de datos MongoDB que describe lo que estaba haciendo el usuario y sus emociones en el
momento del muestreo. Al final de los 30 días, se almacenaron alrededor de 3 GB de datos
sobre las interacciones de los usuarios en 473 sitios web.

Se realizó una fase de preprocesamiento antes de utilizar el conjunto de datos con los
algoritmos de ML. Primero, dado que los valores de emoción devueltos por Affdex SDK van
de 0 a 100, en línea con trabajos anteriores, discretizamos dichos valores en tres clases, es
decir, bajo (de 0 a 33), medio (de 34 a 66), y alto (de 67 a 100). Luego, cada objeto de
interacción se amplió mediante el cálculo de otras métricas, a saber, la velocidad, la
aceleración y la dirección del mouse. Además, se calcularon métricas que miden tres ventanas
de tiempo de longitud variable (25/50/100 ms) antes, después y antes y después del
momento de muestreo. Se calculó un total de 9 ventanas y cada una de ellas contiene:
velocidad media entre todos los ejes, número medio de clics por segundo, tiempo de
inactividad medio, número medio de movimientos del ratón por segundo, número medio de
movimientos del ratón por segundo cambios de trayectoria, tasa de cambio de URL, número
de cambios en el sitio web, número promedio de teclas presionadas por segundo por tipo. Al
final, cada objeto de interacción contiene el registro de interacción en los momentos de
muestreo, los 7 valores de emoción y las 9 ventanas de tiempo, cada una caracterizada por
características adicionales. El conjunto de datos final contiene 527853 objetos de interacción
caracterizados por 549 características.

Referencia:

PDF adjunto - Detecting Emotions Through Machine Learning for Automatic UX Evaluation