Propuesta Metodolgica para la Evaluacin de la Usabilidad en Sitios Web: Experiencia Colombiana

Ivn D. Claros1, Csar A. Collazos2

Departamento de Telemtica Universidad del Cauca FIET, Sector Tulcn, Popayn, Colombia iclaros@unicauca.edu.co 2 Departamento de Sistemas Universidad del Cauca FIET, Sector Tulcn, Popayn, Colombia ccollazo@unicauca.edu.co
1

Abstract. Evaluar la Usabilidad de las aplicaciones, se ha convertido en un proceso crtico en los ltimos aos: es el afn por entrar a competir con calidad en el sobresaturado mundo de productos y servicios sobre Internet. Pero las interfaces Web incorporan retos distintos al del software tradicional, su naturaleza es ms dispersa y heterognea. Colombia reconoce la importancia de las Tecnologas de la Informacin y las Comunicaciones (TIC) como catalizadoras del desarrollo econmico, social y poltico del pas. Este artculo presenta una Propuesta Metodolgica que permita llevar a cabo evaluacin de la Usabilidad en sitios Web, experiencia aplicada a pginas del Gobierno Colombiano.

1 Introduccin
La gran cantidad de informacin disponible en Internet, la complejidad y heterogeneidad de la misma, junto con las distintas caractersticas de los usuarios que acceden a dicha informacin, as como la gran competencia existente en la red, hacen crtico que el desarrollo de aplicaciones basadas en Web, contemple aspectos de funcionalidad y Usabilidad con profesionalismo [1]. Las aplicaciones no solo deben tener como objetivo poner a disposicin de los usuarios informacin exacta, tambin debieran orientarlos adecuadamente en la bsqueda y despliegue, teniendo como base sus objetivos, habilidades, conocimientos previos y particularidades para entender o visualizar la informacin [1]. Pginas con diseos pobres en interaccin, sumado a la identificacin errnea de necesidades de usuario, entre otros factores, son responsables de la prdida de tiempo cuando se navega por la red; la exploracin de contenidos se vuelve entonces un escenario poco atractivo y frustrante que termina por desmotivar el uso por la tecnologa al ser percibida por el usuario como complicada y tediosa. La necesidad por generar sistemas informticos agradables, efectivos y eficientes, ha motivado diversas investigaciones en el rea de Usabilidad aplicada sobre la Web [4, 5, 16, 17, 18]. Pero finalmente lo que buscan estos actores es identificar y reproducir elementos claves para la satisfaccin de los usuarios por

166 Claros, I.D., Collazos, C.A.

parte una interfaz, y el sistema que le sustenta: la Usabilidad no es reflejo nico de la interfaz, se construye como propiedad de todo el sistema. Evaluar la Usabilidad de un sitio, permite identificar los elementos y sus niveles de compromiso con el cumplimiento de los requisitos de efectividad, eficiencia y satisfaccin para un contexto de uso determinado; evaluar no solo es til para calificar de bueno o malo un producto o servicio, sino tambin para reflexionar y corregir problemas, y llegar a perfeccionar procesos y resultados [21]. A la pregunta de cmo garantizar la efectividad, eficiencia y satisfaccin de aplicaciones que corren bajo un entorno Web, la respuesta ms adecuada y acertada es Usabilidad. Evaluar la Usabilidad de los sitios Web se ha convertido en un proceso crtico; sobre todo en los ltimos aos como consecuencia de la mayor oferta de productos y servicios en lnea [2]. Aunque existen guas para el diseo y evaluacin de la Usabilidad de un sitio, stas no se adaptan a las caractersticas propias de un cierto entorno, lo cual repercute negativamente en la forma de llevar a cabo dichos procesos. Otro problema existente, es que a nivel del entorno Latinoamericano y en particular el de Colombia, la Usabilidad no tiene la divulgacin y penetracin suficiente para poder ser aplicada de forma adecuada [7]. Desde esta perspectiva, este artculo presenta una propuesta metodolgica que permita llevar a cabo una evaluacin de la usabilidad en sitios, aplicada a pginas del Gobierno Colombiano. La siguiente seccin describir algunos trabajos relacionados. Posteriormente se presentar el Modelo de Medicin de la Usabilidad y algunos Lineamientos Generales de Diseo para Aplicaciones Web, que apunten hacia soluciones usables, desde las diferentes etapas involucradas en el desarrollo de aplicaciones software. La seccin 4 describir las experimentaciones realizadas y algunos resultados encontrados y finalmente algunas conclusiones y trabajo futuro sern planteados.

2 Trabajos Relacionados
En Colombia el tema de usabilidad es algo que recin comienza a dar sus primeros frutos. Resultado de esto es la generacin de un anlisis de texto para la Web del cual se plante una Gua de Estilo de Escritura para la Web [20]. Pero hasta la fecha de construccin de este documento, no se han encontrado propuestas concretas de metodologas de Evaluacin de Usabilidad para sitios Web. No se trata de que cada pas, universidad o autor formule una propuesta distinta, se trata de llegar a una verdadera apropiacin de los conceptos de Usabilidad, que en Colombia parece que aun no se logra. Respecto a la forma de abordar la evaluacin de la Usabilidad, existe una gran trayectoria. En esencia se puede partir de tres estilos: evaluaciones altamente subjetivas, evaluaciones objetivas y evaluaciones que combinen las dos. La primera de ellas, determinar si una aplicacin es o no Usable se encuentra, tpicamente, por la aplicacin de Cuestionarios de Actitud del usuario frente al computador [11, 9]. Si bien, uno de los elementos centrales de la usabilidad podra ser la satisfaccin, es una visin incompleta y poco predecible como medida de esta caracterstica. Existe el otro caso, mtodos donde la evaluacin gira en torno a heursticas o reglas universales de

Propuesta Metodolgica para la Evaluacin de la Usabilidad en Sitios Web: Experiencia Colombiana 167

diseo con lo cual es un experto el que asume la responsabilidad de dar su concepto sobre la usabilidad del sitio. Otros autores, por su parte, han desarrollado modelos como el GOMS [15] con lo cual pretende eliminar la subjetividad de la medida, al desarrollar aproximaciones matemticas para evaluar aspectos de la interfaz tal como, en el caso que se menciona, su eficiencia. Estos modelos han ido evolucionando hasta terminar en propuestas ms concretas [19, 1] donde se realizan trabajos mucho ms complejo a la aplicacin de una tcnica particular. Nuestra propuesta contempla una serie de pasos a tenerse en cuenta para desarrollar de forma consistente evaluacin de la usabilidad de sitios Web. Trata de integrar bajo una sola propuesta, mtodos y tcnicas que, complementadas con actividades de definicin del contexto, puede extraer la informacin necesaria para llegar a un consenso sobre el nivel de Usabilidad. A continuacin se resumen los elementos principales de la propuesta metodolgica desarrollada.

3 Nuestro Modelo
El primer paso en la definicin de este proceso, fue dotarlo de un denominado Modelo de Medicin de Usabilidad basada en Jerarqua de tres Niveles [1] (puede verse en la Fig. 1.)

Usabilidad Especificacin Criterios Mtricas Atributos Sitio Web

Fig. 1. Modelo de Medicin de Usabilidad basada en Jerarqua de tres Niveles.

Evaluacin

Para construir este modelo, definimos la usabilidad de un sitio en trminos de Criterios, Mtricas y Atributos. Nuestro modelo integra propuestas de diferentes autores [22, 12, 3, 15, 13], definindolo como un esquema con seis grandes criterios: Aprendizaje, Operatividad, Satisfaccin, Contenido, Eficiencia y Eficacia. A continuacin se enumeran los diferentes elementos propuestos, en primera jerarqua el criterio, luego las mtricas y finalmente los atributos. De esta forma se busca dar niveles de abstraccin adecuados durante la evaluacin.

168 Claros, I.D., Collazos, C.A.

Tabla 1. Modelo de Medicin de Usabilidad

Aprendizaje Facilidad de aprendizaje Consistente Lenguaje Comn Intuitivo Predecible Fcil de reconocer Tiempo de entrenamiento Esquema de organizacin global Comunicacin funcional Preclasificacin de los contenidos Utilizacin de formatos Definicin de perfiles de usuario Definicin de objetivos del sitio discriminados por perfiles Estrategias para facilitar la recordacin Mecanismos de anotacin y registro. Mecanismos paso a paso dentro de una tarea Relacin densidad/utilidad Mecanismos de acceso y disponibilidad Informacin til y contextualizada Realimentacin Ayuda de Bsqueda Control de estados Mecanismos de Gestin Utilidad de los servicios y contenidos Fuentes confiables Noticias y novedades Sitios relacionados Navegacin Controles de navegacin Estado del sistema Enlaces Vlido en HTML, CSS, WAI Conexin segura Polticas de seguridad Confidencialidad Complacencia del usuario con la interaccin Complacencia del usuario con los resultados Participacin del usuario Control sobre los medios Esttica Densidad Informacin de definicin esencial Organigrama de la institucin URL (Uniform Resource Locator) Directorios de Telfono y e-mail Compatibilidad con diferentes clientes Web Presentacin de los archivos de descarga Independencia con la resolucin de pantalla Tecnologas auxiliares Idiomas Tamao de pgina Tiempo de respuesta de los servicios Tiempo para completar una tarea Tiempo gastado en errores

Comprensibilidad

Metodologa

Pedagoga

Recordacin

Documentacin Ayuda y Realimentacin

Facilidad de Uso, Control u Operatividad Funcionalidad

Satisfaccin

Estndares Privacidad

Atraccin Habilidades del Usuario Comunicacin

Contenido

Identidad

Accesibilidad

Eficiencia

Velocidad y medios Desempeo humano

Propuesta Metodolgica para la Evaluacin de la Usabilidad en Sitios Web: Experiencia Colombiana 169 Frecuencia con que se acude a la ayuda Comandos involucrados en una tarea Mensajes de error Estrategias de recuperacin de errores Estrategias para la prevencin de errores

Eficacia

Recuperacin, diagnstico de errores Prevencin de errores

Como proceso parcial de validacin para el modelo, se realiz una encuesta para que expertos en el rea de la usabilidad dieran su opinin acerca de la validez de la propuesta, en total fueron 8 personas que participaron desde Espaa, Chile, Brasil y Colombia. Sus opiniones dieron el voto de confianza para continuar con la propuesta. ste modelo, es un elemento clave para la evaluacin por cuanto define puntos de referencias, falta entonces, definir una estrategia para utilizarlo y extraer toda informacin necesaria para el proceso. De ah se plantean los siguientes pasos: Paso 1, Acercamiento al Contexto: definir objetivos deseables de Usabilidad para el producto. Se lleva acabo mediante la ponderacin de los criterios, mtricas y atributos que conforman el Modelo de Medicin de Usabilidad propuesto para sitios Web (ver la tabla 1). Para tal fin, se rene la opinin de usuarios, administrativos del proyecto, desarrolladores y expertos que, luego de discutir las necesidades y alcances ms generales de los usuarios del sistema, asignan a cada elemento del modelo una valoracin: un nivel de importancia en funcin de sus necesidades y limitaciones. Este proceso puede ser soportado con diferentes tcnicas que la misma Ingeniera de la Usabilidad (IU) ofrece, como el caso de los Stakeholder Meeting [23]: una tcnica para consolidar la opinin de los diferentes actores involucrados en el desarrollo: jefes de proyecto, desarrolladores y clientes. Para efectos de experiencia desarrollada con sitios gubernamentales, se escogi la escala de 1 a 5 para la ponderacin del modelo. Paso 2, Definicin del Modelo Mental de Cada Tarea: recolectar y analizar las conductas y necesidades que presentan los usuarios frente al sistema; tratando de generar mapas o modelos que resuman las condiciones particulares con las cuales los usuarios resuelven una tarea dada, la informacin utilizada para hacerlo y el tipo de interaccin que esperan recibir del sistema. Este es un proceso altamente complejo del cual solo se propone realizar observaciones que permitan ir recolectando informacin que se podra resumir en la plantilla propuesta en la tabla 4. Los modelos e informacin generada durante este proceso, se convierten en un insumo necesario para la aplicacin de las tcnicas de evaluacin posteriormente seleccionadas. Paso 3, Seleccin de Tcnicas: se definen cuales sern las tcnicas y/o prcticas a utilizar durante la evaluacin. Para ello se toman en cuenta la caracterizacin de cada prctica en trminos de 7 criterios [10]: Estrategia: estado del proceso de desarrollo en el cual se ejecuta la evaluacin. Localizacin: laboratorio o en un entorno real. Prejuicio: nivel de subjetividad u objetividad inherente en el mtodo. Medida de la Usabilidad: tipo de medida: cuantitativo o cualitativo. Informacin: Informacin o realimentacin provista por el mtodo. La informacin son elementos de bajo nivel, pequeos detalle de la interfaz: colores, conos, etc.; realimentacin implica alto nivel de abstraccin, refleja problemas de mayor complejidad como cognitivos o de estructura. Inmediatez de la Respuesta: tiempo de retorno de Informacin. Intromisin: presencia de un observador o un sistema de registro.

170 Claros, I.D., Collazos, C.A.

Costo: recursos involucrados para la ejecucin del mtodo y su posterior anlisis. A estos criterios se pueden sumar tcnicas sugeridas como ms adecuadas al tipo de atributo que result prioritario en la ponderacin. Uniendo estos y otras particularidades propias del contexto (experiencias previas, conocimiento), se define la combinacin de mtodos idneos para la evaluacin de Usabilidad. Paso 4, Ejecucin de la Evaluacin: la descripcin de las tcnicas, solo sirven de gua para el diseo y desarrollo de herramientas prcticas. Es necesaria la adecuacin de cada tcnica su contexto de ejecucin. Es de recordar, que el propsito de realizar evaluacin no es tanto estimar una referencia numrica, sino extraer informacin acerca del sistema que permita mejorar al diseo y la interaccin con el usuario. Paso 5, Consolidacin general de resultados: como estrategia de consolidacin se propone: contrastar el Modelo de Medicin ponderado por las necesidades y objetivos de Usabilidad para el sistema, con un modelo anlogo generado por los resultados obtenidos de aplicar las tcnicas. A medida que las ponderaciones coincidan o, en el mejor de los casos, que los resultados obtenidos sean mayores que los esperados, el sistema habr alcanzado sus objetivos de Usabilidad. Este paralelo entre lo esperado y lo realmente encontrado, permite identificar las fortalezas y debilidades en la Usabilidad del sitio. A los resultados de este proceso de comparacin de le conoce como el Nivel de Usabilidad del Sitio Web. Al tratar de ejecutar de forma consistente los dos primeros pasos de esta propuesta, se llega a recolectar informacin acerca de Roles y Perfiles. Rol se refiere a los usuarios desde una perspectiva funcional, Perfiles por su parte, contempla el carcter humano de las personas que desempean esos Roles. El propsito con esta distincin, es definir una estrategia de abstraccin que permita llegar a conocer a las personas, con sus limitaciones, necesidades y propsitos sobre el sistema. Para capturar la informacin de Roles se propone utilizar plantilla definida en la tabla 2.
Tabla 2. Formato para la definicin de Roles.
Rol Descripcin Nombre del cargo, identificador Descripcin general

Tareas (Conjunto de actividades asociadas al Rol) Identificador Descripcin Tareas Relacionadas Competencias Laborales Nombre Breve descripcin Identificadores de tarea con las cuales se relaciona. Conjunto de habilidades y destrezas identificadas como necesarias para la ejecucin idnea de la tarea.

Identificado un Rol, definir Perfiles consiste en caracterizar a las personas que desempean estas funciones dentro de la organizacin o entorno. Para la definicin de Perfiles se propone utilizar la plantilla de la tabla 3.
Tabla 3. Formato para la definicin de Perfiles
Perfil Nombre

Propuesta Metodolgica para la Evaluacin de la Usabilidad en Sitios Web: Experiencia Colombiana 171 Descripcin Aspectos fsicos Competencias Laborales Aspectos Culturales Aspectos Cognitivos Aspectos del Entorno Habilidades Tecnolgicas Herramientas Familiares Vocabulario Afinidad y Ocio Aspectos colaborativos Aspectos de Supervisin Roles Descripcin general Caractersticas fsicas relacionadas con el uso de interfaces. Habilidades y destrezas con las cuales el perfil dispone para ejercer diferentes roles sobre el sistema. Caractersticas socio-culturales que puedan resultar de inters para el sistema. Caractersticas del aprendizaje y retencin de nueva informacin. Caractersticas del espacio fsico de trabajo, tales como: conexin, nivel de ruido, interrupciones, etc. Conocimientos especficos sobre tecnologas relacionadas con el sistema desarrollado. Listado de aplicaciones que maneja o se encuentra familiarizado, establecer el nivel de experiencia. Conceptos especializados que maneja. Elementos atractivos y de distraccin. Modelo de interaccin entre compaeros, mecanismos de comunicacin relacionados. Control de actividades, programacin de tareas, reportes de eficiencia y calidad. Identificadores de los roles en los cuales se ha identificado este perfil.

Ahora bien, es necesaria una descripcin detallada de las actividad o tareas que el usuario ejecutara (o ejecutar) sobre el sistema. Para definir tareas se propone utilizar la plantilla de la tabla 4.
Tabla 4. Formato para la definicin de Tareas
Nombre: Descripcin: Insumos: Nombre de la tarea Resumen del propsito y contexto de ejecucin Elementos e informacin necesaria ejecutar la tarea. Nombre Descripcin Proceso: Denominacin del insumo Modo en el cual el insumo aporta al desarrollo de la tarea. Pasos o comandos a utilizar para la ejecucin de la tarea.

Salidas deseadas: Fuentes de error:

Soluciones:

Vocabulario: Iconos: Metforas: Observacin:

# Paso Descripcin Secuencial Descripcin y propsito del paso. Puntos de restauracin dentro del proceso. Listado de posibles fallas. Nombre Descripcin Identificador Causa y efecto. Posibles soluciones dadas ante la ocurrencia de un fallo. Nombre Descripcin Fuente de error Flujos alternativos y mensaje de error Palabras claves utilizadas durante el contexto de la tarea. Elementos grficos representativos dentro de la tarea. Relacionadas con los concepto de la tarea. Observaciones adicionales del observador.

A continuacin se presentan los resultados de aplicar esta propuesta a la evaluacin de pginas del gobierno Colombiano.

172 Claros, I.D., Collazos, C.A.

4 Experimentacin
Se seleccionaron tres sitios Web del Gobierno Colombiano: el Ministerio de Educacin Nacional (http://www.mineducacion.gov.co), el Ministerio de Cultura (http://www.mincultura.gov.co) y el Instituto Colombiano para el Desarrollo de la Ciencia y la Tecnologa (COLCIENCIAS, http://www.colciencias.gov.co), para los cuales fueron aplicados los 5 pasos propuestos: Inicialmente se realiz una indagacin del contexto de cada institucin, del cual se determinaron Roles y Perfiles. Fueron seleccionados tres tipos de mtodos de evaluacin: evaluacin heurstica [17], entrevistas y revisin de estndares. Se seleccion esta combinacin por cuanto resultaba una adecuada combinacin de elementos subjetivos y objetivos y ofreca una visin integral sobre el estado real de la Usabilidad en los sitios. En total se realizaron 27 pruebas: un examen heurstico y revisin de 4 tipos de estndares: HTML, CSS, WAI y Estndar para la Publicacin de Contenidos en Pginas Gubernamentales [12], para cada sitio; adems de entrevistas discriminadas as: COLCIENCIAS 1 Nio, 5 Jvenes, 2 Adultos; Ministerio de Cultura: 1 Adulto, 1 Adulto Mayor; Ministerio de Educacin: 1Nio, 1 Adulto. Las entrevistas se llevaron acabo en un ambiente controlado en el cual se invit a los usuarios que mientras realizaban una serie de actividades dieran su opinin acerca de tpicos de usabilidad. En esencia se transform cada tpico del Modelo de Medicin en una pregunta que el moderador iba ayudando a responder al usuario mediante pequeas actividades que le permitan descubrir caractersticas del sitio. 4.1 Resultados Obtenidos La evaluacin heurstica refleja que aun cuando hay intentos interesantes por hacer las pginas Web estticamente agradables, al integrar diseos coloridos y muy grficos, fallan en elementos bsicos como los hipervnculos, manejo de ventanas emergentes, fuentes de texto, contenidos con prrafos muy largos o muy cortos, imgenes borrosas, muy pequeas o poco relacionadas con el contenido; pginas de inicio saturada, contenidos poco estructurados, redireccionamiento de pginas; sistemas inestables, frecuentes errores internos del servidor con manejo de mensajes totalmente inapropiados para los usuarios, por ejemplo errores en bases de datos; no todos los formularios validan sus campos, nula utilizacin de acceso rpido sobre campos de entrada o hipervnculos para los cuales es de gran utilidad; frecuentes errores de javascript; no hay formato de para la presentacin de descargas; no hay versiones con internacionalizacin en contenidos pertinentes para ello. Pero los sitios cumplen con el mnimo de informacin prevista por el estndar gubernamental, los tiempos de carga de las pginas son apropiados, la interaccin con el ciudadano ante comentarios y preguntas es inferior a 3 das, se cuentan con sistemas de bsqueda y ayuda omnipresentes. COLCIENCIAS maneja un servicio muy interesante de registro desde el cual se crea una cuenta para gestionar preguntas, comentarios o solicitar informacin. La informacin institucional result fcilmente referenciada. Pero como tal, son muy pocos los servicios dispuesto en-lnea. Los resultados obtenidos en las entrevistas fueron similares a los alcanzados por la evaluacin heurstica. Los usuarios detectaron la mayora de las falencias de diseo ya

Propuesta Metodolgica para la Evaluacin de la Usabilidad en Sitios Web: Experiencia Colombiana 173

mencionadas y agregaron que los sitios ofrecen la informacin bsica esperada pero dejan una impresin de simplicidad en la informacin. Los sitios resultaron poco creativos y atractivos. Para adultos y adultos mayores, las mayores fallas recaen en hipervnculos con diseos inapropiados. Los nios perdieron inters sobre la informacin al ver contenidos presentados de forma tediosa, poco ilustrada y con un vocabulario altamente tcnico para sus alcances. Los jvenes no tuvieron mayores quejas. El consenso comn era la falta de servicios reales a travs de este medio. Una frase que resume dicha inquietud es: Internet es un medio de consulta, es cierto, pero la tecnologa ha avanzado lo suficiente para poder ofrecer servicios avanzados en-lnea.

5 Conclusiones y Trabajo Futuro

Para evaluar la Usabilidad, es necesaria la ejecucin de un proceso completo de ingeniera que descubra y apropie el contexto del sistema evaluado. La seleccin y aplicacin de los mtodos y tcnicas que ofrece la Ingeniera de la Usabilidad (IU) no debe ser el resultado de un proceso subjetivo o aleatorio sino, de analizar las condiciones y necesidades que las interfaces intentan resolver. La propuesta metodolgica aqu presentada, resulto pertinente para la evaluacin de los sitios Web del Gobierno Colombiano, por cuanto oriento de forma sistemtica la apropiacin del contexto y ejecucin de algunas tcnicas de IU que permitieron detectar fallas sobre la interaccin de los sistemas. El nivel de Usabilidad presentado por las pginas Web del Gobierno Colombiano no es apropiado para la ciudadana objetivo. Los resultados de la experiencia realizada, reflejan falencias en la presentacin de contenidos, manejo de errores y aspectos de la navegacin por los sitios, entre otras. No se evidencian estrategias de recordacin o pedagoga que faciliten a los usuarios entender y aprovechar los recursos dispuestos por estas instituciones. Es mucho el trabajo por desarrollar en el rea de Usabilidad para Colombia. Se debe seguir aplicando y mejorando la propuesta metodolgica, igualmente es muy importante la apropiacin de mtodos y tcnicas de la IU para realizar con efectividad la evaluacin de otros sistemas. Este trabajo se enfoco en trabajar Usabilidad para la Web, pero son muchos los espacios de en los que dichos principios se deben aplicar: aplicaciones de escritorio o sistemas mviles, etc.

Agradecimientos
Trabajo parcialmente fundado por el Ministerio de Ciencia y Tecnologa, concesin TIN2004-08000-C03., Colciencias (Colombia) Proyecto No. 4128-14-18008 y Proyecto No. 030-2005. Tambin nos gustara agradecer a ParqueSoft-Colombia.

174 Claros, I.D., Collazos, C.A.

Referencias
1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. Alva, M.: Metodologa de Medicin y Evaluacin de la Usabilidad en Sitios Web Educativos, Tesis Doctoral, Universidad de Oviedo, 2005. Baeza, R., Rivera C., Velasco, J.: Arquitectura de la Informacin y Usabilidad en la Web, 2003. Bennett, J., The commercial impact of usability in interactive systems: Man-Computer Communication. InfoTech State-of-the-Art, InfoTech International, 1979 Brugos, J.; Fernandez de Arriba, M.: Development of adaptive Web sites with usability and accessibility features. AH2002: 501-504, 2002 Brugos, J., Fernandez, M.: Usability and accessibility in the specification of Web sites, ICEIS 2002: 871-876, 2002 Castillo, S.: Compromisos de la Evaluacin Educativa, Madrid, Person Educacin S.A., ISBN: 84-205-3562-1, 2002. Colomba, N., Chanes, G.: Evaluacin, nuevas concepciones, 2002 Collazos, C., Ramrez, A., Vivas, N.: La Formacin del Recurso Humano en HCI: Una Experiencia Colombiana, CLEI 2005, 2005. Davis, F. D. User acceptance of information technology: system characteristics, user performance and behavioral impacts, International Journal of Man-Machine Studies, 1993. Dix, A., Finlay, J., Abowd, G., Beale, R.: Human-computer interaction, Prentice Hall, 1998. Doll, W., Torkzadeh, G.: The measurement of end-user computing satisfaction. MIS Quarterly, 1988 Gobierno en Lnea, Polticas y Estndares para Publicar Informacin del Estado Colombiano en Internet, 2001 Goto K., Cotler E.: Web Redesign: Workflow that Works, New Riders, 2001. International Organization for Standardization: ISO, ISO/TR 16982:1998: Ergonomics of human-system interaction - Usability methods supporting human-centered design, 1998. Kieras, D.: Development and exploratory applications of a GOMS modeling tool for user interface evaluation, University of Michigan, 1996. Krug, S., Don't Make Me Think: A Common Sense Approach to Web. New Riders, 2000 Nielsen, J.: Usability Engineering, Academic Press, 1993. Nielsen, J.: User Interface Directions for the Web: Communications of the ACM, 1999 Olsina, L.: Metodologa Cuantitativa para la Evaluacin y Comparacin de la Calidad de Sitios Web, Tesis doctoral, UNLP, Argentina, 1999. Ramrez, A., Vivas, N.: Anlisis de lectura de textos informativos digitales en tres sitios Web institucionales del Departamento del Cauca, para disear e implementar una Gua de Estilo de Escritura para Web, Universidad del Cauca, 2005 Stufflebeam, D., Shinkfield, A.: Evaluacin Sistemtica, Madrid, Paids-MEC, 1987. Tramullas, J., Diseo de informacin: de la Usabilidad al diseo de interaccin. El Profesional de la Informacin, 2003. Usability Net, Stakeholder Meeting, 2006.

21. 22. 23.