T4 – Evaluación de la Usabilidad

Técnicas y Métodos de Evaluación

Elena García & Miguel-Ángel Sicilia

Contenidos (i)
• Introducción:
– Preliminares y definición
– Formas de llevar a cabo la evaluación
– Tipos de técnicas de evaluación
• Evaluación por Inspección
– Evaluación heurística
– Paseo cognitivo
– Inspección de consistencia
– Inspección de estándares
– Inspección formal

Miguel-Angel Sicilia & Elena García - 2004-05 2

Contenidos (ii)
• Evaluación por Indagación
– Aproximaciones de campo
• Observación de campo
– Aproximaciones en grupo
• Grupos orientados
– Aproximaciones individuales
• Cuestionarios
• Entrevistas

Miguel-Angel Sicilia & Elena García - 2004-05 3

Contenidos (iii)
• Pruebas de Usabilidad
– Protocolo de pensamiento manifiesto
– Método tutorizado
– Método de descubrimiento conjunto
– Test retrospectivo
– Método de instrucción previa

Miguel-Angel Sicilia & Elena García - 2004-05 4

Evaluación Heurística
• Especialistas en usabilidad juzgan si cada elemento de la
interfaz de usuario sigue los principios de usabilidad
establecidos.
• Este método forma parte del que se conoce como "discount
usability engineering" o "ingeniería de la usabilidad rebajada".
• ¿Cómo se lleva a cabo?
– Conseguir los expertos: 3-5 evaluadores encuentran la mayo
parte de los fallos.
– Los expertos evalúan por separador y después ponen en común
sus hallazgos.
• Se deben proporcionar escenarios.
• Conviene revisar al menos 2 veces la interfaz.
• Se pueden utilizar conjuntos de principios para guiar la evaluación.
• Se deben categorizar los errores.

Miguel-Angel Sicilia & Elena García - 2004-05 5

Evaluación Heurística
– Los experto emiten sus resultados.
• Cuanto más detallado el error, más fácil será de subsanar.
• Pueden realizar:
– Un informe formal. Facilita la asimilación.
– Expresión oral. Permite descubrir otros tipos de problemas (subjetivos...).
– Puesta en común.
• Se debe concluir con un informe resumen de todas las aportaciones
que incluya los errores, su gravedad, que heurística violan y una
orientación de cómo resolverlos.
• ¿Cuando se aplica?
– En cualquier momento del ciclo de desarrollo, aunque es
preferible en fases tempranas o completando otros métodos.

Miguel-Angel Sicilia & Elena García - 2004-05 6

Evaluación Heurística
• Heurísticas de Nielsen:
– Visibilidad del estado del sistema
– Correspondencia entre el sistema y el mundo real
– Control del usuario y grado de libertad
– Consistencia y estándares
– Prevención de errores
– Reconocimiento mejor que recuerdo
– Flexibilidad y eficiencia de uso
– Estética y diseño minimalista
– Ayuda a los usuarios a reconocer, diagnosticar y
recuperar errores.
– Ayuda y documentación.

Miguel-Angel Sicilia & Elena García - 2004-05 7

Evaluación Heurística
• Grados de severidad de Nielsen:
– El grado de severidad de un error debe combinar:
• La frecuencia: ¿es común o raro?
• El impacto: ¿es fácil o difícil de superar el error?
• La persistencia: ¿puede el usuario superar el problema si
sabe como hacerlo o el problema aparecerá
sistemáticamente?
– Cada problema se valora:
• 0, no es un problema de usabilidad
• 1, es un problema “cosmético”, se puede solucionar en
poco tiempo.
• 2, problema menor, se le puede dar una prioridad baja.
• 3, problema mayor, se le debe dar prioridad alta.
• 4, catástrofe de usabilidad, el problema debe ser
solucionado para continuar.
Miguel-Angel Sicilia & Elena García - 2004-05 8
Paseo Cognitivo
• El especialista que realiza la sesión recorre
un escenario de tareas determinado como
habría de hacerlo un usuario tipo.
• Se controla cada paso que ha de realizar el
usuario:
– Callejones sin salida en los que la interfaz
bloquea al usuario y le impide completar su
tarea
• Indicarán que algo falta en la interfaz.
– Caminos complejos y sinuosos a través de las
secuencias de funciones
• Indicarán que la interfaz requiere de una nueva
función que simplifique la tarea y evite el colapso
Miguel-Angel Sicilia & Elena García - 2004-05 9
Paseo Cognitivo
• ¿Cómo se lleva a cabo?
– Cada experto crear los escenarios:
• Ayudará identificar las metas de los usuarios y sus
propósitos en cada tarea
• Se debe pensar en los usuarios finales del sistema
(antencedentes, ...).
• Se deben identificar tareas de alto nivel.
• Se debe relatar la secuencia correcta de acciones que
haría un usuario para realizar una tarea.

Miguel-Angel Sicilia & Elena García - 2004-05 10

Paseo Cognitivo
– Cada experto recorre la interfaz utilizando los
escenarios identificando problemas.
• En el recorrido se debe pensar:
– ¿Conseguiría un usuario alcanzar la opción adecuada?
– ¿Notaría un usuario que la opción adecuada está
disponible?
– ¿Asociará el usuario la acción correcta con el efecto que
quiere conseguir?
– Si el usuario realiza la opción correcta, ¿se dará cuenta
de que ha avanzado hacia la solución?

• ¿Cuándo se aplica?
– Especialmente adecuada en etapas tempranas
del desarrollo dado que puede ser aplicada tan
sólo con una especificación del sistema como
punto de partida.
Miguel-Angel Sicilia & Elena García - 2004-05 11
Paseo Cognitivo
• Existe una variante (Paseo cognitivo
conjunto) en la que la técnica se aplica en
grupos formados por expertos,
desarrolladores y usuarios, en las que se va
discutiendo según se hace el recorrido.
– Se tienen diversas perspectivas para abordar los
problemas de usabilidad.
– Se necesita un director para la sesión.
– Se aplica en las etapas tempranas del desarrollo.
• La información que proporcionan estas sesiones
aparece en forma de preferencias y opiniones del
usuario.

Miguel-Angel Sicilia & Elena García - 2004-05 12

Inspección de Consistencia
• El objetivo es asegurar la consistencia a
través de múltiples productos procedentes
del mismo esfuerzo de desarrollo.
• ¿Cómo se lleva a cabo?
– Constitución del equipo de inspección:
• Los miembros deben tener autoridad para la
negociación.
– Un sub-equipo de profesionales inspección cada
producto identificando las diferencias en la
interacción.
– A partir del informe de dicho análisis se negocian
los cambios.
• Es importante llevar un registro de cada sesión.
Miguel-Angel Sicilia & Elena García - 2004-05 13
Inspección de Consistencia
• ¿Cuándo aplicar la técnica?
– En etapas tempranas del desarrollo.
• Cuando los documentos de diseño para cada
producto estén prácticamente terminados, y antes de
que cualquier tipo de proceso de fabricación del
producto de comienzo.

Miguel-Angel Sicilia & Elena García - 2004-05 14

Inspección de estándares
• Su objetivo es garantizar el ajuste a los
estándares industriales.
• ¿Cómo se lleva a cabo?
– Es necesario encontrar expertos de usabilidad y
estándares.
• Suele ser habitual incluir en el equipo un miembro de la
comisión de estándares.
– Se elabora una lista de inconsistencias con el
estándar.

Miguel-Angel Sicilia & Elena García - 2004-05 15

Inspección de Estándares
• ¿Cuándo se aplica?
– En etapas intermedias del proceso de desarrollo
• El diseño real se estará llevando a cabo con la
consideración de los estándares que correspondan.
• La inspección de estándares puede ser el elemento
que posibilite la transición del diseño inicial al análisis de
fabricación y demás trabajo de ingeniería

Miguel-Angel Sicilia & Elena García - 2004-05 16

Inspección formal
• Los inspectores recorren meticulosamente las
tareas con los propósitos y objetivos de los usuarios
en mente,
– Tiene cierta similitud con los paseos cognitivos, pero el
énfasis radica menos en la teoría cognitiva y más en el
hallazgo de errores.
• ¿Cómo se lleva a cabo?
– Construcción del equipo pluridisciplinar: diseñadores,
aseguradores de calidad, personal de formación, técnicos
y documentalistas.
• Cada miembro inspeccionará la interfaz y jugará un papel en
la reunión posterior:
– Moderador
– Propietario
– Encargado del registro
– Inspectores
Miguel-Angel Sicilia & Elena García - 2004-05 17
Inspección formal
– Distribución de la documentación:
• Descripciones del producto: maquetas o esquemas de
la pantalla,
• perfiles de usuario,
• tareas típicas (escenarios),
• heurísticas a utilizar y
• patrón de registro para los defectos encontrados
– Inspección del diseño:
• Se trabaja individualmente anotando los errores en el
patrón.
• Es útil hacer referencia a la heurística violada y la tarea
en la que se produce el error.

Miguel-Angel Sicilia & Elena García - 2004-05 18

Inspección formal
– Reunión formal:
• El moderador conduce a través de cada escenario.
• Los inspectores intervienen y se anotan los problemas y
posibles soluciones.
– Fijar y dar prioridad a los defectos:
• Se priorizan los problemas encontrados.
• Se informa del registro de errores a quien incumba.
• El moderador es el encargado del seguimiento y
puede disponer reuniones "brainstorming" para
encontrar soluciones si se estima necesario.
• ¿Cúando se aplica?:
– La técnica resulta apropiada en etapas
tempranas del desarrollo.
• Se puede actuar sobre prototipos o maquetas.
Miguel-Angel Sicilia & Elena García - 2004-05 19