Análisis Cuantitativo en un Experimento de Evaluación

Heurística

Marta González, Llúcia Masip, Antoni Granollers, Marta Oliva

Universitat de Lleida, C/ Jaume II 69, 25001 Lleida

mgonzalez@diei.udl.cat
lmasip@alumnes.udl.cat
{tonig, oliva}@diei.udl.cat

Resumen. En el contexto de evaluación de la usabilidad de los sistemas

interactivos, la técnica de evaluación heurística (EH) está muy extendida. En la
mayoría de sus aplicaciones los resultados suelen ser de tipo cualitativo,
describiendo así los aspectos que requieren alguna mejora en beneficio de la
usabilidad. Sin embargo, estos resultados cualitativos no permiten determinar
cuan usable es o deja de ser un sistema interactivo. De aquí la necesidad de
disponer también de resultados cuantitativos, pudiendo ser este tipo de resultados
muy necesario para llegar a determinar el esfuerzo que sería necesario realizar
hasta conseguir un sistema suficientemente usable.
En el presente artículo se presenta, siguiendo la idea del proyecto de la Iniciativa
UsabAIPO, una nueva experimentación para obtener resultados cuantitativos
después de realizar una evaluación heurística. Esta nueva experimentación ha
requerido ciertas variaciones sobre la idea original, trabajando con un conjunto
de categorías de heurísticas diferente, a la vez que se considera el uso de la
puntuación de severidad según los parámetros de impacto y frecuencia.

1. Introducción

El procedimiento heurístico, en general, puede ser descrito como el proceso en el que

se detectan problemas relacionados con el uso de un sistema interactivo a partir de una
serie de reglas (heurísticas) previamente determinadas. Hoy en día, en el contexto de
evaluación de la usabilidad de los sistemas interactivos, la técnica de EH está muy
extendida y su realización es común, no obstante y paradójicamente, lo que no es tan
fácil de encontrar es la forma de analizar exhaustiva y rigurosamente los resultados
obtenidos mediante esta técnica.
El punto de partida de este trabajo se remonta a un trabajo previo (proyecto
UsabAIPO [14, 7, 5]), impulsado por la Asociación Interacción Persona Ordenador
(AIPO), que pretende evaluar el grado de usabilidad de los sitios web de las
universidades españolas a partir de diferentes técnicas de evaluación conocidas. La EH
fue una de esas técnicas y el trabajo actual se centra en los resultados obtenidos
mediante la misma.

IX Congreso Internacional Interacción, Albacete 9-11 de Junio de 2008

Grupo LoUISE-Universidad de Castilla-La Mancha
234 M. González, L. Masip, A. Granollers, M. Oliva

Los datos recogidos se procesan para obtener resultados de forma objetiva desde dos
puntos de vista: cuantitativo, en el que se utilizan funciones estadísticas y cualitativo,
en el que se utilizan técnicas del ámbito de Knowledge Data Discovery (KDD). En la
Iniciativa UsabAIPO se usó una misma clasificación de heurísticas en categorías para
facilitar la comparación general de la usabilidad en los diferentes sitios web analizados
y uno de los principales resultados fue la definición de una función, denominada
USABAIPO-H, cuya finalidad es el procesamiento cuantitativo de los resultados
obtenidos de la evaluación heurística.[14, 5, 7]
En la actualidad, uno de nuestros objetivos principales es el desarrollo de un
framework para la gestión de sistemas interactivos siguiendo modelos de Diseño
Centrado en el Usuario que integre métricas de usabilidad del producto final. Para ello,
y con el objetivo de incorporar métricas relacionadas con la EH hemos impulsado un
nuevo trabajo experimental para comprobar la validez del experimento anterior y, si es
el caso, corregir o mejorar los resultados previamente obtenidos.
En esta ocasión hemos probado en un nuevo contexto (un conjunto de 38 sitios web
de diferentes poblaciones de las comarcas de Cataluña 1 con menos de 1.000 habitantes)
la fórmula desarrollada en la Iniciativa UsabAIPO pero con alguna pequeña variación y
se ha hecho un análisis cuantitativo de los resultados obtenidos. Con esta formula
calculamos un valor indicativo del porcentaje de usabilidad de un sitio web después de
realizar evaluaciones heurísticas. Es importante destacar que mediante este estudio no
se pretende encontrar problemas concretos de cada página evaluada sino dar una
estimación sobre el nivel de usabilidad que hay en general en los sitios web
seleccionados.
El artículo presenta el siguiente orden: en la sección 2 se describe el método de la
EH, en la sección 3 se incluye una comparativa del análisis cualitativo versus el análisis
cuantitativo. En la sección 4 se presentan los trabajos relacionados. La sección 5
describe el análisis experimental realizado. Finalmente, en la sección 6 se detallan las
conclusiones y el trabajo futuro.

2. Evaluación heurística

La EH, desarrollada por NIELSEN y MOLICH en 1990 [12], es una técnica de

evaluación de la usabilidad por inspección y se efectúa principalmente por evaluadores
(los estudios de Nielsen [12] muestran que un número de entre 3 y 5 evaluadores es
suficiente) a partir de unos principios establecidos por la disciplina de la Interacción
Persona Ordenador ,32  FRORTXLDOPHQWH FRQRFLGRV FRPR ³OD KHXUtVWLFD´ 'HWHFWD
aproximadamente el 42% de los problemas graves de diseño y el 32% de los problemas
menores, dependiendo del número de evaluadores que revisen el sitio.
Además de Nielsen, otros destacados autores han publicado reglas heurísticas para
interfaces de usuario [19, 21, 21].
Para realizar una EH eficiente y que permita obtener unos resultados de calidad deben
seguirse las siguientes fases [12]:

1
La comarcas de Cataluña son la división actual del territorio de Cataluña (España) en
demarcaciones administrativas
 Análisis Cuantitativo en un Experimento de Evaluación Heurística 235

1. Entrenamiento previo: el evaluador debe familiarizarse con la interfaz durante

unos minutos para conocer la web y poder realizar la EH de manera ágil.
2. Evaluación: el evaluador sigue el conjunto de heurísticas para encontrar
deficiencias a la web o catalogarla como usable. Puede anotar observaciones.
3. Puntuar la severidad: se debe determinar la severidad de cada uno de los
problemas encontrados. Por ello es conveniente ofrecerles que puntúen la
importancia de los problemas. En principio se sugieren tres parámetros generales:
Frecuencia con la que ocurren los problemas, impacto del problema, si los usuarios
se verán muy afectados en cuando ocurra esto, y persistencia del problema. ¿Es un
problema que sólo ocurrirá una vez o los usuarios estarán constantemente chocando
con ese problema?
Los problemas en cada parámetro pueden puntuarse según la escala [22] de 0 (no
es un problema de usabilidad) a 5 (catástrofe: es obligatorio arreglarlo).
4. Revisión: Se trata de analizar cada una de las evaluaciones realizadas para presentar
un informe con todos los problemas y las posibles resoluciones, teniendo en cuenta
que el análisis obtenido es cualitativo.

3. Análisis cualitativo vs análisis cuantitativo

Una manera de clasificar los métodos de evaluación de la usabilidad es a partir del tipo
de resultado que se obtiene. Así, se distinguen métodos de evaluación de la usabilidad
cuantitativos y métodos de evaluación de la usabilidad cualitativos. Ambos tipos de
métodos son complementarios y no excluyentes.
Los métodos de evaluación de la usabilidad cuantitativos se asocian a la búsqueda
de resultados finales que condensen la ponderación de la usabilidad del sistema bajo
evaluación en un valor numérico final. Por otro lado, es común incluir métodos de
evaluación de la usabilidad cualitativos, ya que no existe actualmente una medida
cuantitativa medible que sea lo suficientemente expresiva como para representar
conceptos tan complejos como la satisfacción del usuario o el grado general en que
todos los problemas de usabilidad presentes en un sistema afectan su calidad [2, 3, 4,
10]. Además, el análisis cualitativo ofrece una gran riqueza y precisión en las
observaciones realizadas y el análisis cuantitativo puede ofrecer información que sea
estadísticamente significativa y resultados que puedan considerarse generalizables, por
lo que es frecuente y recomendable que se combinen ambos tipos [9, 17].
En [22] se pueden encontrar las características que distinguen una investigación
cualitativa respecto a una investigación cuantitativa ya que debemos destacar los
aspectos positivos de cada uno para poder intentar conseguir unos mejores resultados.

4. Trabajo relacionado

En el proyecto UsabAIPO [14], proyecto del que partimos, se realizó una EH

utilizando un conjunto de 25 heurísticas agrupadas en 4 categorías (Diseño,
Navegación, Contenido y Búsqueda), teniendo en cuenta que cada categoría se pondera
236 M. González, L. Masip, A. Granollers, M. Oliva

de acuerdo a su peso específico, proviniendo ese peso del porcentaje de heurísticas

correspondiente a la categoría (ver tabla 1).
Cabe destacar, que al realizar la puntuación de severidad en cada evaluación no se
tuvo en cuenta ninguno de los factores descritos en la sección 2, sino que por cada
heurística había definidas unas posibles respuestas, que a su vez tomaban los valores 0,
2 ó 4.

Tabla 1. Porcentaje asignado a cada heurística en UsabAIPO-H

Categoría Total Peso de cada heurística

Heurísticas
Diseño 7 28%
Navegación 7 28%
Contenido 5 20%
Búsqueda 6 24%
TOTAL HEURÍSTICAS 25 100%

A partir de los resultados obtenidos en cada evaluación, se aplicó la función

USABAIPO-H, siendo la definición de esta:
USABAIPO-H(w)= D/0,28 + N/0,28+ C/0,2+ B/0,24 (3)

de manera que UsabAIPO-H (w) nos da una estimación del grado o nivel de
usabilidad , es decir, el valor general de la usabilidad del sitio web w.
Después de una búsqueda exhaustiva, de la que queremos destacar los trabajos [1,
15, 16], resulta imprescindible comentar que no se ha encontrado ningún trabajo
relacionado en las que se considere el análisis cuantitativo de los resultados de una
evaluación de usabilidad basada en el método de la EH.
Como resultado de la revisión, sólo se puede destacar que las métricas de evaluación
son medidas de la usabilidad de un software considerando a esa usabilidad como un
atributo interno. La mayoría de veces estas métricas se resumen en una fórmula
matemática que proporciona un valor concreto con respecto a la usabilidad [4]. Su
principal ventaja radica en su objetividad y claridad para responder preguntas claves
que surgen en el curso de un proceso de desarrollo de software de la vida real.

5. Análisis experimental

El objetivo de este análisis experimental es determinar cómo de usables son los portales
de ayuntamientos de municipios, de menos de 1000 habitantes, pertenecientes a
distintas comarcas de Cataluña (comunidad autónoma, dividida en demarcaciones,
conocidas como comarcas, que están formadas por distintas poblaciones). Cataluña
actualmente tiene un total de 946 municipios 2.
En estos municipios la edad media de los habitantes suele ser bastante alta, con lo
que el índice de implantación de las TIC es bajo. Para favorecer el aumento de las TIC
debemos esforzarnos a que los sistemas desarrollados sean fáciles de utilizar. Además,

2
http://www.gencat.net/generalitat/cat/guia/organitzacio/organitzacio1.htm (consultado marzo 2008)
 Análisis Cuantitativo en un Experimento de Evaluación Heurística 237

si la población es superior a éste número de habitantes es probable que en la web se

deba incorporar más funcionalidades y estamos convencidos de que los ayuntamientos
disponen de más recursos económicos para destinar a las nuevas tecnologías. Hay que
destacar que en Catalunya el uso de las TIC aumenta cada año. Si nos centramos en el
2004 un 60,2 % hacían un uso regular del ordenador y un 44,2% eran usuarios de
Internet3.

5.1. Selección de los sitios web

La elección de un conjunto de webs no ha sido una tarea fácil ni tampoco aleatoria.

Después de una intensa navegación por las webs de muchos pueblos/municipios de
Cataluña se decidió escoger una página web de cada comarca y así conseguir mayor
variedad de diseño. Destacar que durante la etapa de elección de las webs se hizo
evidente que en cada provincia se repetía un mismo modelo o patrón de diseño para
muchas de las webs que existen. Se pudo comprobar que el diseño igual para todas las
webs se debía a la iniciativa de las diputaciones provinciales, de ofrecer a los
ayuntamientos un conjunto de herramientas informáticas para que pudieran diseñar su
propia web. [8]
Después de éste periodo de búsqueda de webs, se escogieron 38 webs diferentes, una
de cada comarca y siempre que fue posible con un formato o diseño completamente
diferente para conseguir una gran variedad de Webs representando la realidad del
momento. Se debe tener en cuenta que hay 3 comarcas (Barcelonés, Baix Llobregat y
Garraf) que no tienen ninguna población con un censo inferior a 1000 habitantes, por lo
que se descartó realizar el análisis de alguna de sus localidades.

5.2. Proceso de trabajo

La metodología de trabajo utilizada corresponde, aproximadamente, a la descrita en la

sección 2 Inicialmente se tomó un primer contacto con cada sitio web para
familiarizarnos con la interfaz y después se realizó la evaluación y puntuación
siguiendo las heurísticas y poniendo la nota a cada subheurística.
Para realizar la EH se definió una plantilla para los evaluadores basada
principalmente en las 10 reglas de Nielsen [23], pero añadiéndole 4 heurísticas más (en
la tabla 2 están referenciadas como H11, H12, H13 y H14). Estas 4 heurísticas se
creyeron necesarias ya que alguno de los contenidos de las páginas no quedaban
evaluados cuando tenían un peso importante en estas. Estas nuevas heurísticas se
definieron a raíz del análisis del libro [13], pues se observó que las páginas de inicio de
un sitio debían tener algunos ítems los cuales no quedaban reflejados en los 10 criterios
heurísticos de Nielsen.

3http://www10.gencat.net/dursi/pdf/si/observatori/TIC202004-vegueries-CORR.pdf
238 M. González, L. Masip, A. Granollers, M. Oliva

5.3. Evaluación

Como se ha comentado en la sección anterior, se desarrolló una plantilla para la EH,

que utilizada en cada web permite que se evalúen las mismas heurísticas. Estas
heurísticas se dividen en subheurísticas y gracias a la relación que hay entre ellas es
posible formar grupos y subgrupos de conceptos relacionados. Estos grupos/categorías
hacen que el dar un porcentaje como resultado sea más fácil, cómodo e intuitivo; ya
que agrupando las diferentes heurísticas se puede dar unos resultados a nivel de grupo.
Partiendo de las categorías de heurísticas definidas en la iniciativa UsabAIPO [14],
tuvimos la necesidad de adaptarlas, de manera que aunque se mantengan las 3 primeras
categorías comentadas anteriormente, la categoría de búsqueda se readaptó definiendo
esta categoría como Funcionalidades diversas. En nuestra evaluación se creyó
necesario incluir más heurísticas en esta categoría y no solo analizar la heurística de la
búsqueda ya que aparecían aspectos importantes, que se debían tener en cuenta, en las
distintas webs. En la tabla 2 se muestran las categorías aplicadas en este análisis
experimental, incluyendo las heurísticas que se agrupan en cada una de ellas [8].

Tabla 2. Agrupaciones de las heurísticas

Grupo 1: Diseño de la interfaz
H1. Claridad de los objetivos (3 subheurísticas)
H2. Visibilidad del estado del sistema (4 subheurísticas)
H4. Control y libertad para el usuario (8 subheurísticas)
H7. Reconocimiento más que memoria (6 subheurísticas)
Grupo 2: Navegación simple
H5. Consistencia y estándares (8 subheurísticas)
H8. Flexibilidad y eficiencia de uso (4 subheurísticas)
H9. Diálogos estéticos y diseño minimalista (7 subheurísticas)
Grupo 3: Organización de los contenidos
H3. Adecuación al mundo y a los objetos mentales del usuario / lógica de la
información (9 subheurísticas)
H14. Arquitectura de la información (2 subheurísticas)
Grupo 4: Funcionalidades diversas
H6. Prevenir errores (1 subheurística)
H10. Ayuda y documentación (6 subheurísticas)
H11. Búsqueda (3 subheurísticas)
H12. Noticias (3 subheurísticas)
H13. Varios (2 subheurísticas)
Otro aspecto que diferencia nuestra evaluación de la de UsabAIPO radica en los
factores que se tienen en cuenta al puntuar la severidad., ya que consideremos los
parámetros de impacto y frecuencia.
 Análisis Cuantitativo en un Experimento de Evaluación Heurística 239

5.4. Análisis de extracción de resultados

Una vez se han realizado todas las evaluaciones, se ha definido un proceso de análisis
para extraer los resultados. Para ello se han ponderado los 4 grupos de tal manera que
los 3 primeros representan un 80% y el cuarto un 20%. Al tratarse de webs sencillas y
simples, se han definido estos porcentajes, y el último con un valor inferior, debido a
que las webs analizadas no presentan las diferentes funcionalidades que se citan en las
subheurísticas que forman parte de este último grupo.

Tabla 3. Porcentaje adjudicado a cada grupo de heurísticas

Grupo subheurísticas Porcentaje
Diseño de la interfaz 21 32,94%
Navegación simple 19 29,80%
Organización de los contenidos 11 17,25%
Funcionalidades diversas 15 20%
Total 66 100%
En la Tabla 3, se muestra la ponderación utilizada para calcular el porcentaje total de
usabilidad de las webs:
Con esto, podemos concluir que la fórmula usada para calcular el porcentaje de
usabilidad de cada sitio web, denominada PU(x) es la siguiente [8]:

PU(x) =
D N O F (4)
0.3294 0.2980 0.1725 0.2
Donde D representa la puntuación obtenida en el grupo Diseño de la
interfaz, N la de Navegación simple, O Organización de los contenidos y F
funcionalidades diversas. Cada una de estas variables corresponde al valor f(x)
siguiente, distinguiendo siempre las variables por grupo:

( H ) (P) (5)
Ht
f(x) =
H
Donde el sumatorio de H corresponde a la suma de la puntuación de severidad
correspondiente a cada subheurística del grupo, P es el porcentaje aplicado al grupo
que nos encontramos, y el sumatorio Ht representa la suma de todo el grupo en el peor
de los casos (en caso que todas las puntuaciones fueran 4).
Destacar que todos los resultados de porcentajes de usabilidad obtenidos se han
calculado, tanto según las puntuaciones de severidad del factor impacto como el de
frecuencia, sin considerar el factor de persistencia.

5.5. Análisis de los resultados

Después de realizar las evaluaciones heurísticas y con el propósito de analizar los datos
recogidos para poder extraer conclusiones, se ha clasificado los resultados obtenidos a
240 M. González, L. Masip, A. Granollers, M. Oliva

nivel de los grupos establecidos, a nivel de cada provincia y a nivel de los grupos
establecidos por provincias.
Se ha podido observar que no existen resultados significativamente diferentes entre
el porcentaje de usabilidad obtenido mediante las puntuaciones según el factor de
impacto, y el porcentaje obtenido mediante las puntuaciones según el factor de
frecuencia.
a) Resultados a nivel de los grupos establecidos
Destacamos que aunque el resultado final obtenido se refiere al porcentaje global de
usabilidad, se ha considerado interesante observar los resultados según cada categoría
de heurísticas de manera independiente. De esta manera resulta más fácil localizar los
problemas de usabilidad que presentan las webs y focalizar posibles soluciones.
De manera general, las cuatro categorías se sitúan en un buen nivel de usabilidad, tal
y como se representa en la Fig. 1.

Fig. 1. Porcentaje global de no usabilidad Fig. 2. Porcentaje provincial de no usabilidad

b) Resultados a nivel de cada provincia

Teniendo en cuenta los porcentajes obtenidos mediante la puntuación de severidad
según el factor impacto y el de frecuencia, en la Fig 2. se puede observar las medianas
obtenidas a nivel provincial reflejando el nivel de usabilidad que se ha obtenido.
c) Resultados a nivel de los grupos establecidos por provincias
Destacar que a nivel de interfaz y de manera general, las webs de ayuntamientos de
localidades inferiores a 1000 censos tienen una página web con una interfaz usable.
Relacionado con la organización de contenidos la provincia de Girona es la que
proporciona a los visitantes de la web una arquitectura de la información más correcta.
En la categoría de navegación simple, Girona y Tarragona tienen las webs más usables,
y finalmente, en la categoría de funcionalidades varias las webs más usables son las de
Tarragona.

5.6. Conclusiones del experimento

Como conclusiones generales del experimento teniendo en cuenta los grupos

establecidos destacamos lo siguiente:
a) A nivel de los grupos establecidos
En ninguna de las 4 categorías utilizadas para agrupar las subheurísticas se han dado
valores superiores al 10%, por tanto, se puede afirmar que las webs estudiadas, no
tienen problemas graves de usabilidad ya sea de la interfaz (grupo más deficiente), de
navegación, de organización de los contenidos (no presenta ningún problema ya que la
 Análisis Cuantitativo en un Experimento de Evaluación Heurística 241

información es escasa y no tienen profundidad) o de funcionalidades (en general los

sitios no tienen buscador, ni ayuda, y en muchos casos tampoco hay noticias).
b) A nivel de cada provincia
En general, las 4 provincias presentan webs usables ya que se podría poner una nota de
7,5 (evaluando de 1 a 10), pues en ningún caso el porcentaje de no usabilidad es
superior al 25%. Estableciendo un ranking de clasificación podemos destacar que
Girona tiene las webs más usables, seguida de Tarragona, Barcelona y Lleida.

6. Conclusiones y trabajo futuro

Este trabajo intenta transmitir como se pueden obtener resultados cuantitativos después
de realizar una EH de un sitio web. Realmente es difícil poder asegurar si una web es
usable o no. De todas maneras como comenta [6@ HQ VX WHVLV ³1R HV VXILFLHQWH FRQ
decir que una interfaz es usable, bastante usable, poco usable o nada usable, el interés
está en disponer de algún tipo de medida que permita darnos valores que reflejen
QXPpULFDPHQWHHOQLYHOGHXVDELOLGDGGHOVLVWHPDHYDOXDGR«´
Destacar que los resultados cuantitativos también son importantes aunque no
presenten cuales son los problemas detectados.
Como futura línea de trabajo intentaremos desarrollar una herramienta automática
para la gestión de sistemas interactivos siguiendo modelos de Diseño Centrado en el
Usuario para intentar integrar diferentes métricas de evaluación y obtener resultados
cuantitativos después de realizar diferentes técnicas de evaluación para obtener unos
resultados finales que muestren la ponderación de la usabilidad del sistema. También
destacar que sobre la fórmula presentada solo se tienen en cuenta dos factores, impacto
y frecuencia. La definición de usabilidad contempla 3 factores, por lo que se podría
hacer un análisis cualitativo teniendo en cuenta estos 3 factores.
Hasta el momento no existe ningún método que permita determinar si una web es
usable o no desde el punto de vista cuantitativo, pues después de realizar alguna técnica
de evaluación, como la EH, no podemos establecer algún tipo de ranking que nos
permita asegurar de una manera justificada que una web es más usable que otra.. Así
como en el área de la accesibilidad4 existen herramientas5 para determinar si un sitio
cumple con la A, AA y AAA deberíamos intentar conseguir que des del área de la
usabilidad se pudiera establecer algún tipo de clasificación. Conseguir esto supone un
reto difícil pero no imposible.

7. Referencias

1. Cheryl, L. C., Paulo, A.S., Iden, R., Vaughn, H., Xewrxes P. Kotval. Heuristic Evaluations at
Bell Labs: Analyses of Evaluator Overlap and Group Session. CHI 2007, pages 1729-1734,
New York, NY, USA, 2007. ACM Press.

4 http://www.w3c.es/
5 http://www.tawdis.net/taw3/cms/es
242 M. González, L. Masip, A. Granollers, M. Oliva

2. Constantine, L., Lockwood, L. Software for Use. A practical Guide to the Models and
Methods of Usage-Centered Design. Addison-Wesley, 1999.
3. Dumas, J.S, Redish, J.C., A practical Guide to Usability Testing. Intl. Specialized Book
Service Inc, 2000.
4. González, M.P. Integración de Técnicas de Descubrimiento de Conocimiento de Bases de
Datos dentro de Modelos de Proceso de la Ingeniería de la Usabilidad. Tesis Doctoral.
Departament de Llenguatges i Sistemes Informàtics. Universitat de Lleida, 2007.
5. Gonzalez, M.P., Granollers T., Pascual, A., Lorés J. (in memoriam). Testing Website Usability
in Spanish-speaking Academia through Heuristic Evaluation and Cognitive Walkthroughs.
-RXUQDO RI 8QLYHUVDO &RPSXWHU 6FLHQFH -8&6  6SHFLDO ,VVXH ³'HVLJQLQJ WKH +XPDQ-
Computer Interaction: Trends and ChDOOHQJHV´%UDYR & 5HGRQGR 0 2UWHJD 0 (GV 
Graz University of Technology. ISSN 0948-69, vol 13, issue 12, Dec 2007 (in press).
6. Granollers, T. MPIu+a. una metodología que integra la ingeniería del software, la interacción
persona-ordenador y la accesibilidad en el contexto de equipos de desarrollo
multidisciplinares, Tesis Doctoral, Departament de Llenguatges i Sistemes Informàtics,
Universitat de Lleida, 2004.
7. Lorés, J., Gonzalez, M.P., Pascual, A. Primera etapa de la Inicitativa UsabAIPO: usabilidad de
páginas de inicio de las universidades españolas. Revista Interacción. Vol 1. AIPO Press
(2008, in press)
8. Masip, L. Estudi de l'estat actual de les webs d'ajuntaments de localitats de menys de mil
habitants. TFC. Departamento de Informática e Ingeniaría Industrial. Universitat de Lleida.
2007.
9. McEnery, T. & A. Wilson (1996). Corpus Linguistics. Edinburgh Textbooks in Empirical
Linguistics. Edinburgh: Edinburgh University Press.
10. Nielsen, J. Usability Engeenering. Morgan Kaufman, 1993.
11. Nielsen, J. and Mack, R. Usability engineering. John Wiley and Sons, 1994.
121LHOVHQ-DQG0ROLFK5+HXULVWLFHYDOXDWLRQRIXVHULQWHUIDFHV,Q&+,¶3URFHHGLQJVRI
the SIGCHI conference on Human factors in computing systems, pages 249±256, New York,
NY, USA, 1990. ACM Press.
13 1LHOVHQ \ 0 7DKLU ³8VDELOLGDG GH SiJLQDV GH LQLFLR $QiOLVLV GH  VLWLRV ZHE (GLWRULDO
Prentice Hall. ISBN 0-7357-1102-x
14. Pascual, A. Evaluación Heurística de la Iniciativa UsabAIPO mediante técnicas de
Descubrimiento de Conocimiento en Bases de Datos. TFC. Departamento de Informática e
Ingenieria Industrial. Universitat de Lleida. 2006.
15. Semugabi, S., Villiers, R. A comparative study of Two Usability Evaluation Methods Using a
Web-based E-Learning Application. ACM International Conference Proceeding Series; Vol.
226. Proceedings of the 2007 annual research conference of the South African institute of
computer scientists and information technologists on IT research in developing countries,
pages 132-142. ISBN 978-1-59593-775-9.
16. Shazeeye, k., Shanmugam, R.. Heuristic Evaluation Quality Scores (HEQS): a measure of
heuristic evaluation skills. Journal of usability studies, Vol.2, issue 2, February 2007, pages
61-75.
17. http://elies.rediris.es/elies18/25.html
18. http://groups.drupal.org/node/8248
19. http://www.asktog.com/basics/firstPrinciples.html
20. http://www.foruse.com/
21. http://wilderdom.com/research/QualitativeVersusQuantitativeResearch.html
22. http://www.useit.com/papers/heuristic/severityrating.html
23. http://www.useit.com/papers/heuristic/heuristic_list.html