Documentos de Académico
Documentos de Profesional
Documentos de Cultura
TESIS
Que para obtener el grado de
Presenta
Roberto Covarrubias Carrillo
Codirectores de Tesis
I
Abstract
It has been shown that pupil diameter is an indicator of cognitive load experienced
by a person while performing an activity. Measurement of cognitive load is of
interest in situations where poor performance may have critical consequences
such as drive a car or perform a surgery. In the field of video games, this
measurement is important because it allows us to verify that the challenges in the
first levels produce less mental effort than in the last levels, in order to prevent the
player get frustrated and end up leaving the game. For eye-tracking studies usually
are used high-speed cameras with infrared lights, these devices are known as eye
trackers. One problem measuring the pupil diameter with low-cost eye trackers is
that these devices use algorithms that do not correct the change induced by the
motion of the head closer and further away from the screen; so this causes a
change in the estimated pupil size. Another problem measuring the pupil diameter
is the change of display lighting that directly affects the pupil size. This thesis
proposes a way to make the correction of pupil size estimation in low-cost eye
trackers, and get a reliable measure of pupil size baseline minimizing the impact of
lighting on the screen. A study was conducted to evaluate cognitive load where 18
participants played two difficulty levels of an educational video game oriented to
teach and reinforce the concept of fractions. The results show significant
differences in pupil size and peak dilation between levels.
Keywords: cognitive load, pupil size, pupil dilation, eye tracking, educational video
game
II
Agradecimientos
A mi familia por todo el apoyo que me han brindado durante mis estudios.
III
Tabla de Contenido
1. Introducción ....................................................................................................... 1
1.1. Problemas.................................................................................................... 3
1.1.1. Movimientos de la cabeza ..................................................................... 3
1.1.1. Tamaño neutral de la pupila .................................................................. 4
1.2. Motivación.................................................................................................... 4
1.3. Objetivos ...................................................................................................... 5
1.3.1. Objetivo general .................................................................................... 5
1.3.2. Objetivos específicos ............................................................................ 5
1.4. Preguntas de investigación ......................................................................... 6
1.5. Resumen de la propuesta ........................................................................... 6
1.6. Organización del documento ....................................................................... 7
2. Marco teórico ..................................................................................................... 9
2.1. Teorías......................................................................................................... 9
2.1.1. Teoría del flujo de juego ........................................................................ 9
2.1.2. Teoría de carga cognitiva .................................................................... 10
2.2. Seguimiento ocular .................................................................................... 11
2.3. Rastreadores oculares............................................................................... 12
2.4. Medición del tamaño neutral de la pupila .................................................. 14
2.5. Corrección de movimientos ....................................................................... 16
2.6. Trabajos relacionados ............................................................................... 17
2.6.1. Memoria .............................................................................................. 18
2.6.2. Lenguaje.............................................................................................. 19
2.6.3. Razonamiento ..................................................................................... 20
2.6.4. Percepción .......................................................................................... 22
2.6.1. Multitarea cognitiva ............................................................................. 23
3. Método para la medición de carga cognitiva en niveles de videojuegos
(MCOG) .................................................................................................................. 25
3.1. Configuración del espacio de trabajo ........................................................ 26
3.1.1. Iluminación .......................................................................................... 26
3.1.2. Distracciones ....................................................................................... 26
3.1.3. Sillas .................................................................................................... 27
IV
3.2. Configuración tecnológica ......................................................................... 27
3.2.1. Rastreador ocular ................................................................................ 27
3.2.2. Sensor de distancia y Arduino............................................................. 29
3.2.3. Computadora....................................................................................... 30
3.3. Generación de imagen de línea base de cada reto del videojuego .......... 31
3.4. Práctica del juego ...................................................................................... 33
3.5. Calibración del rastreador ocular ............................................................... 34
3.6. Presentación de retos del videojuego ....................................................... 35
3.7. Transferencia de datos a la herramienta web ........................................... 36
3.7.1. Limpieza de parpadeos y valores atípicos .......................................... 36
3.7.2. Corrección de la estimación del tamaño de la pupila con el modelo de
la cámara estenopeica ..................................................................................... 37
3.7.3. Filtrado de datos.................................................................................. 38
3.7.4. Obtención de métricas ........................................................................ 38
4. Experimentación .............................................................................................. 40
4.1. Plan............................................................................................................ 40
4.2. Ejecución ................................................................................................... 43
4.3. Resultados y discusiones .......................................................................... 43
4.3.1. Corrección de la estimación del tamaño de la pupila .......................... 43
4.3.2. Definición de la imagen de línea base ................................................ 45
4.3.3. Carga cognitiva en videojuego educativo ........................................... 48
5. Conclusiones y trabajos futuros ....................................................................... 52
5.1. Preguntas de investigación ....................................................................... 52
5.2. Trabajos futuros ......................................................................................... 53
5.2.1. Realizar más pruebas de corrección de la estimación del diámetro de
la pupila y del cambio de iluminación al medir el tamaño neutral de la pupila 53
5.2.2. Incluir métricas de seguimiento ocular y eventos del sistema ............ 53
5.2.3. Utilizar un Kinect ................................................................................. 54
6. Bibliografía ....................................................................................................... 55
Apéndice A. Código fuente para medir distancia con Arduino ............................... 59
Apéndice B. Arquitectura de la herramienta de análisis de carga cognitiva........... 60
Apéndice C. Funcionalidad de la herramienta de análisis de carga cognitiva ....... 62
Apéndice D. Autorización de publicación en formato electrónico de tesis ............. 68
V
Lista de Tablas
Tabla 3-1 Características del rastreador ocular Eye Tribe ET-1000 ...................... 28
Tabla 3-2 Características del sensor ultrasónico HC-SR04................................... 29
Tabla 3-3 Listado de técnicas propuestas en esta tesis ........................................ 39
Tabla 4-1 Elementos por reto del videojuego “Refraction 2”.................................. 41
Tabla 4-2 Movimientos mínimos por reto del videojuego “Refraction 2” ................ 42
Tabla 4-3 Piezas del tablero por reto del videojuego “Refraction 2” ...................... 42
Tabla 4-4 Resultados prueba Wilcoxon ................................................................. 48
VI
Lista de Figuras
VII
Figura 4-5 Imágenes para medición de línea base ............................................... 46
Figura 4-6 Resultados de imágenes para medir línea base de la pupila............... 47
Figura 4-7 Diagrama de cajas MPDC .................................................................... 49
Figura 4-8 Diagrama de cajas pico de dilatación................................................... 49
Figura 4-9 Diagrama de cajas latencia al pico....................................................... 50
Figura 4-10 Diagrama de cajas milisegundos ....................................................... 50
Figura 4-11 Diagrama de cajas número de errores ............................................... 51
Figura B-1 Arquitectura de la aplicación................................................................ 60
Figura C-1 Administración de participantes ........................................................... 62
Figura C-2 Administración de imágenes................................................................ 63
Figura C-3 Carga de datos a la herramienta ......................................................... 64
Figura C-4 Métricas de carga cognitiva ................................................................. 65
Figura C-5 Visualización del comportamiento de la pupila .................................... 66
Figura C-6 Visualizaciones de cada métrica de carga cognitiva ........................... 67
VIII
Lista de Acrónimos
IX
1. Introducción
Dada la importancia del ojo en HCI, uno puede ver fácilmente cómo la tecnología
de seguimiento ocular puede ser de gran valor. La posibilidad de grabar e
interpretar el comportamiento visual ofrece una visión sin precedentes en el punto
más básico de contacto entre el usuario y el sistema. Por medio de esta tecnología
es posible evaluar no sólo la posición de los ojos en una interfaz sino también
obtener el diámetro de la pupila.
1
aritméticas, de lenguaje, razonamiento o percepción el diámetro de la pupila
indicará carga cognitiva; pero en el caso de presentar imágenes agradables o
contenido para adultos el tamaño de la pupila corresponderá a excitación.
Los rastreadores oculares ofrecen información valiosa como: el tiempo que una
persona observa algo (fijaciones), el patrón que sigue, número de parpadeos,
distancia del participante y por supuesto el diámetro de la pupila. Esta información
puede ser utilizada por los desarrolladores para ajustar la interfaz y mejorar la
eficiencia global de interacción.
2
1.1. Problemas
3
1.1.1. Tamaño neutral de la pupila
1.2. Motivación
4
iluminación al presentar la tarea permite obtener un valor real de carga cognitiva
evitando mezclar el impacto producido por la iluminación de la pantalla.
La medición de la pupila con rastreadores de bajo costo nos da la posibilidad de
incorporar evaluaciones en aplicaciones comerciales y fuera de ambientes de
laboratorio. Es indispensable contar con valores estimados del tamaño de la pupila
que no se vean afectados por la distancia del participante a la pantalla.
1.3. Objetivos
1. Analizar las propuestas que existen para: medir carga cognitiva con
rastreadores oculares, obtener el estado neutral de la pupila y contrarrestar
los movimientos de la cabeza.
5
1.4. Preguntas de investigación
Figura 1-2 Evaluación de carga cognitiva en videojuegos, midiendo el tamaño neutral de la pupila con el
método scramble por regiones y utilizando un sensor ultrasónico para corregir la estimación del diámetro de la
pupila
6
Un factor importante al evaluar la pupila es el cambio de iluminación externa e
interna. La iluminación externa viene dada por cambios de luz del ambiente donde
se está realizando el experimento, para esto se deben utilizar cuartos sin ventanas
o cubrir las ventanas para mantener la iluminación; por otro lado, la iluminación
interna es producida por el brillo que genera la pantalla de acuerdo al estímulo
que se quiere evaluar. Con el fin de reducir los efectos producidos por el brillo de
la pantalla tomamos la recomendación de Bojko (2013) en la cual se utiliza una
imagen con un brillo similar al del estímulo utilizando el método ‘scramble’, pero a
diferencia de la autora nosotros dividimos la pantalla en diferentes regiones y a
cada una aplicamos el método ‘scramble’ (Fig. 1-2). La imagen generada de este
método permitirá medir la línea base de la pupila durante un periodo de acomodo
reduciendo el impacto del cambio al presentar los desafíos del videojuego. Dentro
de las ventajas de utilizar rastreadores oculares de bajo costo es que son fáciles
de transportar y dan la posibilidad de comprar múltiples dispositivos por lo que es
posible realizar experimentos con varios participantes a la vez.
En general, para medir carga cognitiva se han utilizado una serie de métodos que
tratan de obtener el nivel de esfuerzo producido por el manejo de las interfaces,
sin embargo existen ventajas y desventajas del uso de cualquier método. Nuestra
propuesta consiste en medir la carga mental que generan los niveles de un
videojuego utilizando un rastreador ocular de bajo costo. Un problema que se
tienen al utilizar rastreadores de bajo costo es que no tienen corrección del
tamaño de la pupila conforme al eje Z, por lo que si un participante se acerca a la
pantalla pareciera que sus pupilas se dilatan, o en caso contrario al alejarse
pareciera que se contraen pero solo es el efecto producido por el acercamiento o
alejamiento de la pantalla. Para contrarrestar los problemas derivados de la
distancia del participante propusimos el uso de un sensor ultrasónico ligado al
rastreador ocular (Fig. 1-1) que permitirá obtener la distancia a la que se
encuentra un participante con respecto al monitor, lo que nos da la posibilidad de
eliminar el efecto ocasionado por acercarse o alejarse de la pantalla.
7
• El capítulo 3 describe el método para medir carga cognitiva en niveles de
videojuegos corrigiendo los valores de la pupila que fueron afectados por
los movimientos de la cabeza en el eje Z, además de presentar una manera
fiable de medir el tamaño neutral de la pupila minimizando el impacto
causado por el cambio entre la imagen de línea base y el estímulo visual.
8
2. Marco teórico
2.1. Teorías
9
Figura 2-1 Canal de flujo de juego propuesto por Jesse Schell
10
autores Kickmeier-Rust et al. (2011) que entre más tiempo jugaban los
participantes, más aprendían.
La estructura de la pupila, es una de las partes más importantes del ojo ya que
es la encargada de regular la cantidad de luz admitida en el ojo. La pupila esta
rodeada por el iris que es la parte coloreada del ojo y cambia en cada persona, el
iris contiene dos tipos de músculos (Fig. 2-2), los músculos dilatadores que dilatan
la pupila y los músculos esfínter que la contraen (Beatty & Lucero-Wagoner,
2000).
11
En condiciones normales la presentación de una luz brillante contrae la pupila en
un tiempo de 0.2 segundos alcanzando un pico de respuesta entre 0.5 y 1
segundo. En tareas de carga mental la pupila alcanza el pico de dilatación entre 1
y 2 segundos y se contrae gradualmente después de que la tarea es completada
(Beatty, 1982; Beatty & Lucero-Wagoner, 2000).
12
Figura 2-4 Rastreadores oculares remotos
13
El tipo de rastreador ocular que se utilice usualmente depende del tipo de
experimento que se esté realizando, para estudios donde el participante necesita
estar en constante movimiento — como comprar en un supermercado o realizar
una operación quirúrgica — un rastreador montado en la cabeza es lo más
adecuado; sin embargo, si el objetivo es validar la usabilidad de un sitio web o un
videojuego un rastreador remoto es la mejor opción.
Se han desarrollado muchas tecnologías que permiten a los investigadores de UX
realizar estudios remotamente utilizando la cámara web de los participantes (Tullis
& Albert, 2013). A pesar de tener el potencial de poder recolectar información de
un gran número de participantes de diferentes zonas geográficas, el uso de una
cámara web tiene las desventajas de contar con una baja frecuencia y menor
exactitud comparada con un rastreador ocular además de que el participante
puede moverse durante el estudio (Bojko, 2013).
En los primeros estudios de carga cognitiva con dilatación de la pupila todos los
autores utilizaban rastreadores oculares montados en la cabeza, Kligner et al.
(2008) comprobaron que el uso de rastreadores remotos son tan precisos para la
medición de la pupila como los dispositivos montados en la cabeza.
El diámetro de la pupila así como el color, forma y tamaño del ojo varían en cada
persona, estas características están asociadas a la región, descendencia o edad.
Es por esto que al medir el tamaño de la pupila no se debe tomar el diámetro final,
para esto se emplea la evaluación del cambio en el diámetro de la pupila relativo
al diámetro durante el tiempo final de un periodo de acomodo (Beatty & Lucero-
Wagoner, 2000) el cual sirve para conocer el tamaño neutral de la pupila.
14
el diámetro con condiciones de iluminación similares y antes de presentar el
estímulo visual. Un estímulo visual puede ser cualquier imagen, video, página
web, texto o aplicación que se desea evaluar.
Pese a que la mayoría de los autores utilizan una imagen para medir el valor
neutral de la pupila, Lin, Imamiya, Hu, & Omata (2007) obtuvieron el periodo de
línea base durante los primeros diez minutos del estímulo visual. La medición del
tamaño neutral de la pupila usando este enfoque no es muy recomendable ya que
se puede generar carga cognitiva inmediatamente después de presentar el
estímulo visual y por lo tanto el valor de la línea base no correspondería al estado
neutral de la pupila.
15
2.5. Corrección de movimientos
Existen soluciones como las gafas de Tobii o SMI que registran datos de ambos
ojos y que tienen un diseño muy elegante y cómodo pero la desventaja es que
son muy costosas para ser aplicadas en usos comerciales.
16
Figura 2-7 Descansa barbilla
Existe evidencia presentada a lo largo de los años que indica que los cambios en
la carga cognitiva corresponden a la respuesta del tamaño de la pupila (Bartels &
Marshall, 2011; Beatty, 1982; Rosch & Vogel-Walcutt, 2013; Wang, 2011). Aunque
siempre se deben tomar consideraciones para aislar otros factores que influyen
en la respuesta pupilar como los son cambios en iluminación, dolor, excitación,
frustración, entre otros.
17
De acuerdo a Ahern y Beatty (1979) existen diferentes tipos de tareas cognitivas
que generan un cambio en el tamaño de la pupila, pero cada una produce
diferente pico de respuesta. Las tareas cognitivas se clasifican en cuatro tipos que
son: memoria, lenguaje, razonamiento y percepción. En la Figura 2-8 se presenta
el pico de dilatación que produce cada tipo de tarea, siendo las tareas de
razonamiento las que producen un mayor pico y las tareas de percepción un
menor pico.
2.6.1. Memoria
18
tarea debían recordar tres dígitos, la segunda cuatro dígitos y así hasta llegar a
ocho dígitos. Como se muestra en la Figura 2-9 el diámetro de la pupila fue mucho
mayor conforme los participantes intentaban recordar una mayor cantidad de
dígitos.
2.6.2. Lenguaje
19
otro participante conversando a través de audífonos y micrófono. Durante el
experimento el conductor debía manejar en el carril central de una carretera de
tres carriles, el camino tenía rectas y curvas. Cada conductor tenía que seguir un
vehículo que viajaba a una velocidad de 89 km/h en el carril central. La tarea
hablada era el juego taboo, un juego en el que se le daba una palabra al
participante y 5 palabras relacionadas, el participante tenía que trabajar con el
conductor para que adivinará la palabra en un máximo de un minuto, al terminar el
tiempo se reproducía un sonido que indicaba el fin del juego. Los resultados se
muestran de acuerdo al cambio de la pupila y estos indican los periodos de alta y
baja carga cognitiva del participante, lo que da paso para identificar cuando se
deben mostrar notificaciones al conductor sobre el clima, tráfico, estado del
vehículo, entre otras, ya que estas deben ser durante un estado de carga cognitiva
baja.
2.6.3. Razonamiento
20
Figura 2-10 Carga cognitiva en tareas de razonamiento
21
Se ha comprobado que la pupila reacciona a tareas cognitivas de razonamiento,
pero aún faltan estudios donde se evalúen este tipo de tareas en aplicaciones
prácticas, como lo es el uso de videojuegos educativos.
2.6.4. Percepción
Para evaluar una aplicación web Eszter Józsa (2010) midió la respuesta de la
pupila durante la actividad mental para relacionar el trabajo de un usuario y
verificar si la aplicación brinda una buena UX. Los participantes realizaron cinco
tareas, la primera era navegar hasta un sitio web desde Google y las otras cuatro
tareas se enfocaban en encontrar información en el sitio. El análisis de los
resultados muestra que la pupila se mantiene en niveles elevados de carga
cognitiva mientras se busca en el sitio web y al momento de encontrar la solución
o tener una pista de cómo solucionar la tarea, la pupila se contrae. Los problemas
identificados es que existe una dificultad para encontrar contenidos en el sitio web,
lo que ocasiona que los clientes se frustren o abandonen el sitio. Como
recomendación la optimización de la usabilidad y la carga cognitiva se verá
reflejada en la UX que puede tener impacto en el tiempo que navegan los usuarios
por el sitio, el número de visitas y la cantidad de usuarios.
22
Figura 2-11 Captura de pantalla de videojuego usado para medir carga cognitiva
En este videojuego los participantes fueron requeridos para jugar tres niveles,
principiante, intermedio y experto respectivamente. La dificultad del juego fue
manipulada por la velocidad de las esferas. Los resultados del tamaño de la pupila
no mostraron efectos significativos para la dificultad de la tarea, ni tampoco
mostraban una correlación con los datos del ritmo cardíaco. Lo único que los
autores pudieron obtener son diferencias significativas entre los niveles de
habilidad de cada participante. Los autores concluyen que a pesar de haber
controlado muchas variables en el experimento, las variaciones de iluminación
pudieron afectar el cálculo del cambio de la pupila. Otro punto a destacar es que
en tareas de percepción la respuesta de la pupila es muy poca, por lo que es
mucho más difícil encontrar variación entre distintos niveles.
23
Figura 2-12 Simulador de conducción
24
3. Método para la medición de carga cognitiva
en niveles de videojuegos (MCOG)
El método MCOG tiene como objetivo realizar la medición de carga cognitiva por
la actividad de razonamiento en diferentes niveles de videojuegos a través de la
medición del diámetro de la pupila con un rastreador ocular remoto. Este método
presenta dos propuestas importantes, la primera se encarga de corregir las
medidas del tamaño de la pupila ocasionadas por los movimientos de la cabeza en
el eje Z y la segunda proporciona una manera fiable de medir el tamaño de la
pupila evitando que sus valores sean afectados por los cambios de iluminación de
la pantalla. Algunos de los pasos de este método son recomendaciones de la
autora Bojko (2013) y además se utilizan en gran parte de los estudios de
seguimiento ocular para la evaluación de cualquier tipo de estímulo.
25
3.1. Configuración del espacio de trabajo
3.1.1. Iluminación
3.1.2. Distracciones
26
3.1.3. Sillas
Las sillas de los participantes deben contar con ajuste de altura para permitir
colocarse frente al monitor y ser correctamente identificado por el rastreador
ocular. La silla ideal para este tipo de estudios es aquella que no tiene ruedas y no
permite girar al participante pero proporciona un ajuste de altura. En caso de no
contar con este tipo de sillas se debe ajustar correctamente el rastreador ocular y
dar indicaciones a los participantes de no moverse mucho.
Los dispositivos Eye Tribe son los más populares por su tamaño y precio, cuentan
con frecuencias de 30 y 60Hz y tienen un diseño pequeño y elegante que permite
ser colocado tanto en laptops, tabletas y monitores con los soportes adecuados, la
Figura 3-2 muestra el diseño de este rastreador.
27
Figura 3-2 Rastreador ocular Eye Tribe ET-1000
Eye Tribe ET-1000 funciona con monitores de hasta 24 pulgadas y con un rango
de entre 45 y 75 cm de distancia, todas las características del rastreador aparecen
en la Tabla 3-1.
Frecuencia de muestreo 30 Hz o 60 Hz
Latencia < 20 ms a 60 Hz
Calibración 5, 9, 12 puntos
Rango de operación 45 cm – 75 cm
Peso 70 g
28
3.2.2. Sensor de distancia y Arduino
Alimentación 5V
Corriente de alimentación 15 mA
Dimensiones 45x20x15 mm
29
Figura 3-3 Diagrama de conexión de Arduino Uno con el sensor ultrasónico HC-SR04
El código fuente para obtener la distancia en centímetros con Arduino puede ser
consultado en el Apéndice A.
3.2.3. Computadora
30
Figura 3-4 Configuración tecnológica
Para obtener una medida confiable del tamaño neutral de la pupila durante la
evaluación de videojuegos, una de las mejores propuestas es el método scramble
que brinda una imagen donde la iluminación es muy similar a la pantalla a evaluar.
El método scramble tiene como entrada dos parámetros, el ancho y alto en pixeles
que determinan el tamaño de los rectángulos a tomar en cuenta en la imagen, los
cuales serán reordenados aleatoriamente y darán como resultado un
rompecabezas de bloques, como se muestra en la Figura 3-5. Este método nos
genera una imagen de un brillo similar al del estímulo visual que además impide
imaginar de que se trata el contenido a presentar.
31
Figura 3-5 Aplicación del método scramble
Para generar este tipo de imágenes existe un filtro de Adobe Photoshop llamado
Scramble que automáticamente reordena los bloques de una imagen
estableciendo el ancho y alto en pixeles. El filtro es gratuito y es compatible desde
la versión CS2 de Adobe Photoshop (“Telegraphics - Scramble Filter”, 2016).
Una de las desventajas del método scramble es que en imágenes donde los
colores cambian mucho para diferentes regiones de pantalla generará diferente
iluminación que la del estímulo visual, esto se debe a que los bloques se
reordenan automáticamente en cualquier parte de la pantalla. Para contrarrestar
este problema propusimos la aplicación del método scramble por regiones de
pantalla con una malla de 8x6, es decir 48 regiones.
La aplicación del método scramble por regiones consiste en dividir la pantalla del
estímulo a presentar para obtener diferentes secciones y a cada una de ellas
aplicar el método scramble. Con esto, nos aseguramos que la iluminación de la
imagen generada sea muy similar y que el estímulo visual no se pueda identificar.
El resultado de está propuesta se observa en la Figura 3-6, que muestra diferentes
pantallas de retos de un videojuego, del lado izquierdo se presenta el reto y del
lado derecho su correspondiente imagen de línea base.
32
Figura 3-6 Aplicación del método scramble por regiones de pantalla en diferentes retos de un videojuego
Para enseñar a cada jugador en que consiste la dinámica del videojuego, primero
se debe realizar una sesión de entrenamiento en la cual los participantes deben
resolver retos parecidos a los que realmente tendrán. El objetivo de esta sesión es
ayudar a que los participantes se sientan cómodos y comiencen naturalmente el
resto de la sesión.
33
3.5. Calibración del rastreador ocular
Debido a que las características de los ojos son diferentes en cada persona, antes
de iniciar un experimento de seguimiento ocular siempre se debe realizar un
procedimiento llamado calibración el cual tiene como objetivo identificar las
características del ojo. Durante la calibración se le indica a la persona seguir y
observar una serie de puntos en la pantalla. Típicamente, se utilizan nueve puntos
pero la calibración se puede realizar desde dos puntos con algunos rastreadores
oculares (Fig. 3-7). En el periodo de calibración varias imágenes son colectadas y
analizadas. Debido a que las imágenes del ojo son registradas, el rastreador
ocular es capaz de medir la dilatación de la pupila determinando el número de
pixeles del área pupilar o tratando de ajustar una elipse en la imagen de la pupila
para después calcular la longitud de su eje mayor (Klingner et al., 2011).
Figura 3-7 Procedimiento de calibración durante el cual el participante debe observar cada punto en la
pantalla.
34
maneja una calibración de cinco estrellas en la cual con base en la exactitud de la
calibración un algoritmo otorga un número de estrellas. Obtener una calibración de
cuatro o cinco estrellas es lo más recomendable.
35
3.7. Transferencia de datos a la herramienta
web
Para restaurar los valores de la pupila y distancia que fueron perdidos, se realiza
interpolación lineal siempre y cuando no se pierdan datos de más de 2 segundos.
36
3.7.2. Corrección de la estimación del tamaño de
la pupila con el modelo de la cámara estenopeica
Una cámara estenopeica es una cámara fotográfica sin lente, que consiste en una
caja estanca a la luz, un pequeño orificio donde entra la luz y un material
fotosensible. El modelo que utiliza esta cámara describe la relación entre las
coordenadas de un punto 3D y su proyección en un plano de imagen.
Los catetos del triángulo de la izquierda se denotan por –y1 y f y los catetos del
triángulo de la derecha por x1 y x3 . Debido a que los triángulos son similares
siguen:
−𝑦! 𝑥!
=
𝑓 𝑥!
37
𝑓𝑥!
−𝑦! =
𝑥!
38
Dentro de las métricas que no corresponden a una respuesta fisiológica pero que
se han utilizado (Chen, Epps, & Chen, 2011; Iqbal et al., 2004) para medir carga
cognitiva encontramos:
El uso de este método para estudios del diámetro de la pupila proporciona una
manera de controlar diferentes factores que pueden cambiar las medidas de la
pupila. Las técnicas propuestas en este método se describen en la Tabla 3-3.
Corrección de la Corrección de la
estimación del estimación del diámetro
diámetro pupilar de la pupila cuando el
participante se acerca o
aleja de la pantalla. Para
esto se mide la distancia
de la cabeza a la pantalla
y se aplica el modelo de
la cámara estenopeica.
39
4. Experimentación
Este capítulo contiene los detalles, diseño y resultados del estudio que se llevó a
cabo para investigar la carga cognitiva generada en diferentes niveles de un
videojuego educativo. También se presentan los resultados de utilizar un sensor
ultrasónico para mejorar la estimación del tamaño de la pupila y los resultados de
iluminación del método scramble por regiones.
La meta del experimento fue verificar si es posible distinguir la carga cognitiva que
generan diferentes retos de un videojuego educativo, asegurándonos que los retos
en los primeros niveles generan una carga cognitiva menor que en los últimos
niveles.
4.1. Plan
40
Figura 4-1 Pantalla de un reto del videojuego “Refraction 2
Para este estudio se tomaron dos retos de dos mundos diferentes, el número de
elementos de cada reto se observa en la Tabla 4-1. El promedio de elementos por
mundo es de 12.5 para el mundo dos y de 15.5 para el mundo cuatro.
Destinos
Mundo: reto Orígenes Destinos Obstáculos TOTAL
multiobjetivo
2:4 1 1 0 10 12
2:5 1 2 0 10 13
4:4 1 2 0 13 16
4:6 3 3 0 9 15
41
Existen otros factores como el número de movimientos mínimos (Tabla 4-2) y el
número de piezas disponibles en el tablero (Tabla 4-3) que aunque no fueron
consideradas por los diseñadores del videojuego para aumentar o disminuir la
dificultad también determinan lo complicado que es un reto. En el caso de los
movimientos entre mayor sea el número de piezas requeridas para completar un
reto, mayor esfuerzo mental será requerido. Y entre más piezas disponibles
existan en el tablero mayor carga cognitiva tendrá el participante para identificar la
que necesita.
Tabla 4-3 Piezas del tablero por reto del videojuego “Refraction 2”
42
4.2. Ejecución
43
Figura 4-2 Gráfica de línea de la distancia
Una vez aplicado el modelo de la cámara estenopeica para corregir las medidas
de la pupila del participante conforme a la distancia, el valor de la pupila cambio de
39.83px a 38.86px lo que indica un cambio de 0.97px con una desviación estándar
de 1.30px. Los valores de la pupila corregidos se observan en la Figura 4-4.
44
Figura 4-4 Gráfica de línea del tamaño de la pupila corregido
Para esta prueba se realizaron dos sesiones con un solo participante y las
imágenes que se evaluaron fueron con fondo negro, gris, blanco, una imagen con
el método scramble y con el método scramble por regiones (Fig. 4-5). El tiempo
que se mostró la imagen de línea base fue de ocho segundos, y se tomó en
cuenta el último segundo como valor neutral de la pupila. El cambio del tamaño de
la pupila fue comparado durante los primeros dos segundos de la pantalla de un
reto del videojuego “Refraction 2”.
45
Figura 4-5 Imágenes para medición de línea base
Las propuestas para medición de línea base por parte de otros autores son usar
una pantalla negra, gris, blanca o utilizar el método scramble. Nosotros
propusimos el método scramble por regiones. Para verificar cuál es el tamaño
adecuado de regiones evaluamos cuadrículas de tres tamaños diferentes 8x6,
10x10 y 20x20. Cabe destacar que el número de regiones siempre dependerá de
la resolución de la pantalla, para esta prueba la resolución fue de 1920x1080 y las
regiones tuvieron un tamaño aproximado de 150x150px.
46
Figura 4-6 Resultados de imágenes para medir línea base de la pupila
Una de las características que debe cumplir una imagen de línea base es
distorsionar por completo el estímulo visual para no permitir al usuario ver de que
se trata, por lo que la imagen con el método scramble de 20x20 no es muy
recomendable debido a que es muy parecida al estímulo visual.
El uso del método scramble con regiones de 8x6 minimiza los efectos producidos
por el cambio de iluminación de la pantalla, y presenta muy poca variación la cual
no afectará las mediciones de la pupila.
47
4.3.3. Carga cognitiva en videojuego educativo
Para verificar si existen diferencias significativas entre los diferentes mundos del
videojuego “Refraction 2”, se realizó una prueba Wilcoxon con todas las métricas
de carga cognitiva mencionadas en el capítulo 3. Los resultados de la prueba se
muestran en la Tabla 4.4.
Latencia al
MPDC Pico de dilatación Milisegundos Errores
pico
Significancia .033 .027 .003 .001 .003
Los resultados muestran que existe diferencia significativa entre los retos del
mundo dos y del mundo cuatro. Como se puede observar en los diagramas de
cajas en las Figuras 4-7, 4-8, 4-9, 4-10 y 4-11 las tareas de razonamiento son más
difíciles en el mundo cuatro que en el mundo dos.
48
Figura 4-7 Diagrama de cajas MPDC
49
Figura 4-9 Diagrama de cajas latencia al pico
50
Figura 4-11 Diagrama de cajas número de errores
51
5. Conclusiones y trabajos futuros
Pregunta 2. ¿Se puede mejorar la estimación del tamaño neutral del la pupila?
La imagen con el método scramble aplicado por regiones puede mejorar la forma
de medir el valor neutral de la pupila, reduciendo el cambio de iluminación entre la
imagen de línea base y el estímulo visual a evaluar. Nuestros resultados muestran
que al utilizar una imagen con cuadros de 150px y aplicar el método scramble a
cada polígono proporciona un cambio de tamaño de la pupila de 0.23px a
52
comparación de otras propuestas como la de usar fondo negro que produce
4.58px, fondo blanco 3.32px o fondo gris 0.56px.
53
permitirán obtener información de toda la interacción de los participantes con los
videojuegos, por lo cual será posible entender diferentes aspectos de la
experiencia de usuario o identificar problemas con las interfaces. Con las
fijaciones es posible saber que observan los participantes y por cuanto tiempo
dando la posibilidad de mejorar los elementos visuales que no fueron observados
o identificar los elementos que llamaron demasiado la atención que terminaron por
distraer al jugador (Zammitto & Steiner, 2014). Los saltos de un punto a otro nos
indican la ruta que siguieron los ojos de los participantes, con esta información es
posible medir el cansancio basado en la velocidad y distancia de cada salto
(Zammitto & Steiner, 2014). La duración y frecuencia de parpadeo han
demostrado que disminuyen durante el aumento de dificultad de una tarea por lo
que es posible medir el esfuerzo mental (Marquart, Cabrall, & de Winter, 2015). La
distancia de la cabeza del participante a la pantalla proporciona una indicación
aproximada de la postura del usuario, la cual se ha demostrado que es un
predictor del compromiso o aburrimiento de los usuarios con una tarea (D’Mello &
Graesser, 2007; Jaques, Conati, Harley, & Azevedo, 2014). Por último los eventos
del sistema como los clics y las teclas presionadas muestran como interactúa una
persona con una interfaz por lo cual es posible predecir confusión (Lallé, Conati, &
Carenini, 2015).
54
6. Bibliografía
Ahern, S., & Beatty, J. (1979). Pupillary responses during information processing vary with
Scholastic Aptitude Test scores. Science, 205(4412), 1289–1292.
http://doi.org/10.1126/science.472746
Andersen, E. (2012). Optimizing adaptivity in educational games. In Proceedings of the
International Conference on the Foundations of Digital Games - FDG ’12 (p. 279).
New York, New York, USA: ACM Press. http://doi.org/10.1145/2282338.2282398
Bartels, M., & Marshall, S. P. (2011). Eye Tracking and Universal Access: Three
Applications and Practical Examples. In Lecture Notes in Computer Science
(including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in
Bioinformatics) (Vol. 6766 LNCS, pp. 525–534). http://doi.org/10.1007/978-3-642-
21663-3_57
Bartels, M., & Marshall, S. P. (2012). Measuring cognitive workload across different eye
tracking hardware platforms. In Proceedings of the Symposium on Eye Tracking
Research and Applications - ETRA ’12 (p. 161). New York, New York, USA: ACM
Press. http://doi.org/10.1145/2168556.2168582
Beatty, J. (1982). Task-evoked pupillary responses, processing load, and the structure of
processing resources. Psychological Bulletin, 91(2), 276–292.
http://doi.org/10.1037/0033-2909.91.2.276
Beatty, J., & Lucero-Wagoner, B. (2000). The pupillary system. In Handbook of
psychophysiology (pp. 142–162).
Bojko, A. (2013). Eye tracking the user experience. Eye. Retrieved from
http://rosenfeldmedia.com/books/eye-tracking-the-user-experience/
Boyle, E. A., Hainey, T., Connolly, T. M., Gray, G., Earp, J., Ott, M., … Pereira, J. (2016).
An update to the systematic literature review of empirical evidence of the impacts and
outcomes of computer games and serious games. Computers & Education, 94, 178–
192. http://doi.org/10.1016/j.compedu.2015.11.003
Cechanowicz, J. E., Gutwin, C., Bateman, S., Mandryk, R., & Stavness, I. (2014).
Improving player balancing in racing games. Proceedings of the First ACM SIGCHI
Annual Symposium on Computer-Human Interaction in Play - CHI PLAY ’14, 47–56.
http://doi.org/10.1145/2658537.2658701
Chen, S., Epps, J., & Chen, F. (2011). A comparison of four methods for cognitive load
measurement. In Proceedings of the 23rd Australian Computer-Human Interaction
Conference on - OzCHI ’11 (pp. 76–79). New York, New York, USA: ACM Press.
http://doi.org/10.1145/2071536.2071547
Conati, C., Jaques, N., & Muir, M. (2013). Understanding Attention to Adaptive Hints in
Educational Games: An Eye-Tracking Study. International Journal of Artificial
Intelligence in Education, 23(1–4), 136–161. http://doi.org/10.1007/s40593-013-0002-
8
Connolly, T. M., Boyle, E. A., MacArthur, E., Hainey, T., & Boyle, J. M. (2012). A
systematic literature review of empirical evidence on computer games and serious
games. Computers & Education, 59(2), 661–686.
http://doi.org/10.1016/j.compedu.2012.03.004
Csikszentmihalyi, M. (2014). The Systems Model of Creativity. Dordrecht: Springer
55
Netherlands. http://doi.org/10.1007/978-94-017-9085-7
D’Mello, S., & Graesser, A. (2007). Mind and Body: Dialogue and Posture for Affect
Detection in Learning Environments. Artificial Intelligence in Education, 158, 161–168.
Dai, X. (2013). Processing and Manipulation of Data Collected from the Educational On-
Line Game Refreaction. Utah State University. Retrieved from
http://digitalcommons.usu.edu/gradreports/320
Duchowski Andrew. (2007). Eye Tracking Methodology. London: Springer London.
http://doi.org/10.1007/978-1-84628-609-4
Ebrahimi, A., & Akbarzadeh-T, M. R. (2014). Dynamic difficulty adjustment in games by
using an interactive self-organizing architecture. 2014 Iranian Conference on
Intelligent Systems, ICIS 2014. http://doi.org/10.1109/IranianCIS.2014.6802557
Ferdig, R. E. (2009). Handbook of Research on Effective Electronic Gaming in Education.
(R. E. Ferdig, Ed.) (Vol. II). IGI Global. http://doi.org/10.4018/978-1-59904-808-6
Iqbal, S. T., Adamczyk, P. D., Zheng, X. S., & Bailey, B. P. (2005). Towards an index of
opportunity. In Proceedings of the SIGCHI conference on Human factors in
computing systems - CHI ’05 (p. 311). New York, New York, USA: ACM Press.
http://doi.org/10.1145/1054972.1055016
Iqbal, S. T., Zheng, X. S., & Bailey, B. P. (2004). Task-evoked pupillary response to mental
workload in human-computer interaction. Extended Abstracts of the 2004 Conference
on Human Factors and Computing Systems CHI 04, 1477.
http://doi.org/10.1145/985921.986094
Jaques, N., Conati, C., Harley, J. M., & Azevedo, R. (2014). Predicting Affect from Gaze
Data during Interaction with an Intelligent Tutoring System (pp. 29–38).
http://doi.org/10.1007/978-3-319-07221-0_4
Johansen, S. a., Nørgaard, M., & Rau, J. (2008). Can eye tracking boost usability
evaluation of computer games? CHI 2008, Evaluating User Experiences in Games, 4.
Józsa, E. (2010). A potential application of pupillometry in web-usability research.
Periodica Polytechnica, Social and Management Sciences, 18, 113–119.
http://doi.org/10.3311/pp.so.2010-2.06
Kahneman, D., & Beatty, J. (1966). Pupil Diameter and Load on Memory. Science,
154(3756), 1583–1585. http://doi.org/10.1126/science.154.3756.1583
Kickmeier-Rust, M. D., Hillemann, E., & Albert, D. (2011). Tracking the UFO’s paths: Using
eye-tracking for the evaluation of serious games. Lecture Notes in Computer Science
(Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in
Bioinformatics), 6773 LNCS(PART 1), 315–324. http://doi.org/10.1007/978-3-642-
22021-0_35
Kiili, K., Ketamo, H., & Kickmeier-rust, M. D. (2014). Eye Tracking in Game-based
Learning Research and Game Design, 1(2).
Klingner, J., Kumar, R., & Hanrahan, P. (2008). Measuring the task-evoked pupillary
response with a remote eye tracker. In Proceedings of the 2008 symposium on Eye
tracking research & applications - ETRA ’08 (Vol. 1, p. 69). New York, New York,
USA: ACM Press. http://doi.org/10.1145/1344471.1344489
Klingner, J., Tversky, B., & Hanrahan, P. (2011). Effects of visual and verbal presentation
on cognitive load in vigilance, memory, and arithmetic tasks. Psychophysiology,
48(3), 323–332. http://doi.org/10.1111/j.1469-8986.2010.01069.x
56
Kun, A. L., Medenica, Z., Palinko, O., & Heeman, P. a. (2011). Utilizing Pupil Diameter to
Estimate Cognitive Load Changes During Human Dialogue: A Preliminary Study,
138–141.
Kun, A. L., Palinko, O., Medenica, Z., & Heeman, P. A. (2013). On the Feasibility of Using
Pupil Diameter to Estimate Cognitive Load Changes for In - Vehicle Spoken
Dialogues Center for Spoken Language Understanding , OHSU , Beaverton , OR ,
USA. Interspeech, (August), 3766–3770.
Lallé, S., Conati, C., & Carenini, G. (2015). Predicting Confusion in Information
Visualization from Eye Tracking and Interaction Data, 2529–2535.
Lin, T., Imamiya, A., Hu, W., & Omata, M. (2007). Combined user physical, physiological
and subjective measures for assessing user cost. Lecture Notes in Computer Science
(Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in
Bioinformatics), 4397 LNCS, 304–316. Retrieved from
http://www.scopus.com/inward/record.url?eid=2-s2.0-
38149041568&partnerID=tZOtx3y1
Lin, T., Imamiya, A., & Mao, X. (2008). Using multiple data sources to get closer insights
into user cost and task performance. Interacting with Computers, 20(3), 364–374.
http://doi.org/10.1016/j.intcom.2007.12.002
Marquart, G., Cabrall, C., & de Winter, J. (2015). Review of Eye-related Measures of
Drivers’ Mental Workload. Procedia Manufacturing, 3(Ahfe), 2854–2861.
http://doi.org/10.1016/j.promfg.2015.07.783
Marquart, G., & de Winter, J. (2015). Workload assessment for mental arithmetic tasks
using the task-evoked pupillary response. PeerJ Computer Science, 1, e16.
http://doi.org/10.7717/peerj-cs.16
Marshall, S. P. (2002). The Index of Cognitive Activity: measuring cognitive workload.
Proceedings of the IEEE 7th Conference on Human Factors and Power Plants, 5–9.
http://doi.org/10.1109/HFPP.2002.1042860
Mat Zain, N. H., Abdul Razak, F. H., Jaafar, A., & Zulkipli, M. F. (2011). Eye Tracking in
Educational Games Environment: Evaluating User Interface Design through Eye
Tracking Patterns. In Lecture Notes in Computer Science (including subseries
Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) (Vol. 7067
LNCS, pp. 64–73). http://doi.org/10.1007/978-3-642-25200-6_7
Oliveira, J. (2014). Eye tracking in mobile games as a tool to improve the Game User
Experience : a case study. In XIII SBGames.
Palinko, O., Kun, A. L., Shyrokov, A., & Heeman, P. (2010). Estimating cognitive load
using remote eye tracking in a driving simulator. In Proceedings of the 2010
Symposium on Eye-Tracking Research & Applications - ETRA ’10 (p. 141). New
York, New York, USA: ACM Press. http://doi.org/10.1145/1743666.1743701
Recarte, M. A., Pérez, E., Conchillo, A., & Nunes, L. M. (2008). Mental workload and
visual impairment: differences between pupil, blink, and subjective rating. The
Spanish Journal of Psychology, 11(2), 374–385.
http://doi.org/10.1017/S1138741600004406
Richstone, L., Schwartz, M. J., Seideman, C., Cadeddu, J., Marshall, S., & Kavoussi, L. R.
(2010). Eye metrics as an objective assessment of surgical skill. Annals of Surgery,
252(1), 177–182. http://doi.org/10.1097/SLA.0b013e3181e464fb
Romano, J., & Schall, A. J. (2014). Eye Tracking in User Experience Design. Eye Tracking
57
in User Experience Design. Morgan Kaufmann.
Rosch, J. L., & Vogel-Walcutt, J. J. (2013). A review of eye-tracking applications as tools
for training. Cognition, Technology & Work, 15(3), 313–327.
http://doi.org/10.1007/s10111-012-0234-7
Schell, J. (2013). Summary for Policymakers. In Intergovernmental Panel on Climate
Change (Ed.), Climate Change 2013 - The Physical Science Basis (Vol. 53, pp. 1–
30). Cambridge: Cambridge University Press.
http://doi.org/10.1017/CBO9781107415324.004
Siyuan Chen, Epps, J., & Fang Chen. (2013). An investigation of pupil-based cognitive
load measurement with low cost infrared webcam under light reflex interference. In
2013 35th Annual International Conference of the IEEE Engineering in Medicine and
Biology Society (EMBC) (Vol. 2013, pp. 3202–3205). IEEE.
http://doi.org/10.1109/EMBC.2013.6610222
Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive
Science, 12(2), 257–285. http://doi.org/10.1016/0364-0213(88)90023-7
Sweller, J., Ayres, P., & Kalyuga, S. (2011). Cognitive Load Theory. Media. New York, NY:
Springer New York. http://doi.org/10.1007/978-1-4419-8126-4
Szulewski, A., Fernando, S. M., Baylis, J., & Howes, D. (2014). Increasing Pupil Size Is
Associated with Increasing Cognitive Processing Demands: A Pilot Study Using a
Mobile Eye-Tracking Device. Open Journal of Emergency Medicine, 2(1), 8–11.
http://doi.org/10.4236/ojem.2014.21002
Telegraphics - Scramble Filter. (2016). Retrieved June 20, 2008, from
http://telegraphics.com.au/sw/product/Scramble
Tullis, T., & Albert, B. (2013). Measuring the user experience. Collecting, analyzing, and
presenting usability metrics.
Wang, J. T. (2011). Pupil Dilation and Eye-Tracking. A Handbook of Process Tracing
Methods for Decision Research: A Critical Review and User’s Guide, 185–204.
William, A. T. T. (2008). MeasuringThe User Experience: Collecting, Analyzing, and
Presenting Usability Metrics. Vasa. http://doi.org/10.1016/B978-0-12-373558-
4.00012-1
Zammitto, V., & Steiner, K. (2014). 11 - Gaming. In Eye Tracking in User Experience
Design (pp. 291–310). http://doi.org/http://dx.doi.org/10.1016/B978-0-12-408138-
3.00011-X
58
Apéndice A. Código fuente para medir
distancia con Arduino
A continuación se muestra el código fuente utilizado para medir distancia con el
sensor ultrasónico HC-SR04 conectado a un Arduino Uno.
/*
HC-SR04 conexiones:
VCC al Arduino 5v
GND al Arduino GND
Echo al Arduino pin 11
Trig al Arduino pin 12
*/
void setup() {
Serial.begin (9600); // inicializa el puerto seria a 9600 baudios
pinMode(Pecho, INPUT); // define el pin 11 como entrada (echo)
pinMode(Ptrig, OUTPUT); // define el pin 12 como salida (trigger)
}
void loop() {
digitalWrite(Ptrig, LOW);
delayMicroseconds(2);
digitalWrite(Ptrig, HIGH); // genera el pulso de trigger por 10ms
delayMicroseconds(10);
digitalWrite(Ptrig, LOW);
if (distancia >= 500 || distancia <= 0){ // si la distancia es mayor a 500cm o menor a 0cm
Serial.println(distancia); // envía el valor de la distancia por el puerto serial
}
59
Apéndice B. Arquitectura de la herramienta de
análisis de carga cognitiva
60
La arquitectura de la herramienta consiste de un servidor web y una computadora
o dispositivo móvil para ingresar a la aplicación. El servidor web se encarga de
atender las peticiones de un cliente y devolverle una respuesta en concordancia,
en este servidor se encuentra el servicio web Ngnix que es encargado de resolver
las peticiones HTTP y un servicio de base de datos con MariaDB encargado de
almacenar, recuperar y administrar la información. El sistema operativo del
servidor web es Ubuntu y toda la herramienta está desarrollada con el lenguaje de
programación python y el framework Django.
61
Apéndice C. Funcionalidad de la herramienta
de análisis de carga cognitiva
62
Administración de imágenes
Esta sección permite subir una imagen que representa una captura de pantalla del
reto o tarea a evaluar. Las imágenes servirán de referencia al momento de cargar
los datos en la plataforma. Las funciones de esta sección son agregar, actualizar y
eliminar imágenes además de poder visualizarlas en tamaño completo (Fig. C-2).
63
Carga de datos de seguimiento ocular y distancia
Una vez finalizado cada reto se genera un archivo separado por tabuladores (tsv
tab-separated values) que contiene la información de seguimiento ocular y la
distancia de un participante. La herramienta permite subir los archivos de cada
reto los cuales automáticamente ligarán al participante y al reto correspondiente.
64
Generación de métricas de carga cognitiva
65
Visualización del comportamiento de la pupila
66
Generación de gráficos de cada métrica de carga cognitiva
67
Apéndice D. Autorización de publicación en
formato electrónico de tesis
68