Abstraction & Application 4 (2011) 9-25

UADY

La Calidad en los Sistemas de Gestión del

Aprendizaje
Victor Hugo Menéndez Domı́nguez, Marı́a Enriqueta Castellanos Bolaños

Facultad de Matemáticas, UADY

Periférico Norte Tablaje 13615, C.P. 97110, Mérida, México

mdoming@uady.mx, enriqueta.c@uady.mx

Abstract

A decisive factor in the advancement of e-Learning has been the development of Learning Management
Systems (LMS). With such systems, the e-Learning teacher’s work is greatly facilitated. A LMS is an
integrated environment that provides tools for communication, collaboration, management, assessment,
diagnosis and learning monitoring of registered student, which also allows control courses, students,
resources, etc. For many educational institutions, the selection of a LMS that provides a quality solution
to their needs for e-Learning is a common problem, given the large number of LMS available today. This
paper presents a review of several proposals that may be useful for evaluating the quality of an LMS. It
give us an overview of the main elements involved in the development of quality in these systems that
can be used to compare and choose an LMS according with the educational institutions needs.

Resumen

Un factor decisivo en el avance del e-Learning ha sido el desarrollo de los Sistemas de Gestión del
Aprendizaje (SGA). Gracias a este tipo de sistemas, la labor del profesor de e-Learning se ha facilitado
enormemente. Un SGA es un entorno integrado que ofrece herramientas para la comunicación, colabo-
ración, gestión, evaluación, diagnóstico y seguimiento del aprendizaje de los estudiantes registrados, lo
que permite también controlar cursos, alumnos, recursos, etc. Para muchas instituciones educativas, se-
leccionar el SGA que brinde una solución de calidad a sus necesidades de e-Learning es una problemática
común, dado el gran número de SGA disponibles hoy en dı́a. En este trabajo se presenta una revisión
de varias propuestas que pueden resultar útiles para evaluar la calidad de un Sistema de Gestión del
Aprendizaje. Nos brinda una visión de los principales elementos que intervienen en el desarrollo de la
calidad en estos sistemas que pueden ser empleados para comparar y elegir un SGA en función de las
necesidades educativas de las instituciones.

1. Introducción

Cuando Tim Bernes-Lee creó la World Wide Web tenı́a en mente establecer un espacio común y global
en donde todos los participantes se comunicaran e intercambiaran información [2]. En la actualidad, la gran
2010 M athematics Subject Classif ication. 97U50, 68N99.
Keywords and phrases : Quality, Learning Management Systems, LMS, Models, Calidad, Sistemas de Gestión del Apren-
dizaje, SGA, Modelos.

9
10 La Calidad en los Sistemas de Gestión del Aprendizaje

mayorı́a de las instituciones educativas son conscientes de que la Web tiene un gran impacto en la educación,
pues ofrece un sin fin de beneficios adicionales a la comunicación y obtención de información [5]. Hoy en dı́a,
la Web es unos de los medios más importantes para la enseñanza-aprendizaje a distancia. Los avances en las
tecnologı́as de la información, junto con los cambios en la sociedad, están creando nuevos paradigmas para
la Educación como el e-Learning, en donde la Web juega un papel importante [21].
El término e-Learning puede definirse en forma simple como el empleo de Internet para facilitar el
aprendizaje. A detalle, implica utilizar las herramientas disponibles en Internet y más especı́ficamente de la
World Wide Web para adaptar el ritmo de aprendizaje al alumno sin importar los lı́mites de espacio y de
tiempo [5].
Desde el aspecto tecnológico, el e-Learning ha evolucionado, partiendo desde las páginas HTML hasta
complejos sistemas donde se controla el aprendizaje de los participantes. Se pueden identificar cinco tipos
de tecnologı́as e-Learning que pueden ser utilizadas solas o combinadas para lograr un fin educativo [20]:

1. Lenguajes de programación. Permiten tener un completo control y flexibilidad en el desarrollo de los

mecanismos de interacción del aprendizaje en lı́nea. Su principal desventaja es que el mantenimiento
de los sistemas generados es una tarea laboriosa e implica contar con personal especializado. PHP,
ASP.NET e incluso Java son ejemplos de este tipo de lenguajes.

2. Sistemas de autorı́a. Emplean elementos, muchas veces visuales, que facilitan la construcción de apli-
caciones e-Learning sin necesidad de contar con conocimientos de programación. Su principal desventaja
es que ofrecen una funcionalidad limitada. Generalmente no incluyen los elementos de interacción pro-
pios de un sistema e-Learning, además que suelen estar diseñados para un lenguaje de programación
en particular. Algunos ejemplos de estos sistemas son Toolbook, Authorware, eXe o Xerte.

3. Sistemas de Gestión del Aprendizaje (LMS, Learning Management System). Están di-
señados para asistir al proceso de enseñanza-aprendizaje en un entorno virtual mediante un conjunto
de herramientas. Pueden tener una orientación hacia el alumno, el profesor o el proceso enseñanza-
aprendizaje. Existen numerosos ejemplos de LMS, siendo los más comunes Moodle, Dokeos y ATutor.

4. Sistemas de Gestión de Contenidos (CMS, Content Managemente System). Permiten tener

un control y orden de los recursos que pueden ser utilizados en un entorno no necesariamente educativo
pero que facilita la publicación de contenidos. Todos los elementos de información almacenados están
catalogados, lo que permite una búsqueda y exploración del contenido en forma sencilla. Ejemplos de
estos sistemas son Joomla, WordPress o Drupal.

5. Sistemas de Gestión de Contenidos de Aprendizaje (LCMS, Learning Content Manage-

ment System). Es un sistema especializado, independiente o integrado con el Sistema de Gestión del
Aprendizaje, que administra los contenidos de aprendizaje. Una vez que los recursos están almacenados
en este sistema, pueden ser combinados, asignados a distintos cursos, descargados desde el repositorio,
etc. Emplea estándares y tecnologı́as de interoperabilidad que facilitan el intercambio y la reutilización
de los materiales educativos. Merlot, Ariadne, Agrega o AGORA son ejemplos de LCMS.

De todas las tecnologı́as presentadas, el Sistema de Gestión del Aprendizaje es el más empleado. Nu-
merosas instituciones usan este tipo de aplicaciones para organizar y distribuir sus cursos en la Web [8].
Generalmente un Sistema de Gestión del Aprendizaje es fácil de usar, flexible en términos pedagógicos y efi-
ciente en términos de costos, además que organiza el contenido educativo y ofrece una serie de funcionalidades
para la comunicación y colaboración [9].
Este trabajo ha de considerarse como un documento que sirva para el análisis y la reflexión sobre la
calidad en los Sistemas de Gestión del Aprendizaje y otras herramientas asociadas. Pretende ser utilizado en
el seno de actividades de formación educativa-tecnológica que versen sobre este tema. Pero sobre todo ha de
ser tomado en cuenta para tener una visión de los principales elementos que intervienen en el desarrollo de la
calidad en estos sistemas y que pueden ser empleados en la comparación y elección de un Sistema de Gestión
del Aprendizaje. El estudio está enfocado más al aspecto tecnológico que al pedagógico de un Sistema de
Gestión del Aprendizaje.
V.H. Menéndez-Domı́nguez, M.E. Castellanos-Bolaños 11

El trabajo se estructura en cinco secciones, incluida ésta. En la sección 1 ha sido presentada una in-
troducción a la temática abordada. La sección 2 describe las caracterı́sticas de los Sistemas de Gestión del
Aprendizaje y la necesidad de contar con criterios de calidad. La sección 3 presenta los distintos marcos de
calidad para Sistemas de Gestión del Aprendizaje estudiados. Una valoración de las propuestas presentadas
es realizada en la sección 4. Finalmente, en la sección 5 se presentan las conclusiones y tendencias.

2. Sistemas de Gestión del Aprendizaje y la calidad

Un Sistema de Gestión del Aprendizaje (SGA, plataforma e-Learning) ofrece una interfaz uniforme para
estudiantes y profesores, además de promover la portabilidad de los recursos de aprendizaje y su interope-
rabilidad [14]. Se han utilizado ampliamente con propósitos educativos e instruccionales porque:

Permiten el mantenimiento y la reusabilidad de los recursos.

Soportan una interacción avanzada entre tutores, profesores y estudiantes.

Proporcionan un excelente grado de flexibilidad en términos de aprendizaje.

Liberan de las limitaciones de tiempo y espacio del aprendizaje.

Para cualquier institución, la elección de un SGA es compleja por varias razones [4]:

Existen muchas opciones comerciales o de libre distribución disponibles.

Aparecen constantemente nuevos Sistemas de Gestión del Aprendizaje.

Las actualizaciones de las versiones de los sistemas existentes pueden tener mejoras importantes.

Y esto origina numerosos problemas [4]:

Se emplean plataformas e-Learning que no cubren las necesidades básicas.

Los usuarios no utilizan el SGA.

El mantenimiento de la plataforma se vuelve una tarea complicada.

La integración con sistemas existentes no es posible o resulta compleja.

Se emplean otras plataformas alternativas (para un profesor o curso particular) al institucional.

Existen sitios que ofrecen análisis comparativos de SGA, muchos de ellos van más allá de comparar fun-
cionalidades o herramientas (¿tiene foro de discusión?) e incluyen funcionalidades en su evaluación (¿cómo
funciona?, ¿qué funciones realiza?). También existen estudios enfocados al aspecto pedagógico, las herra-
mientas que ofrecen, usabilidad, etc. [7, 15, 26]. Pero elegir un Sistema de Gestión del Aprendizaje no es
tarea fácil, es necesario identificar las caracterı́sticas de las distintas alternativas y determinar qué tan impor-
tantes son estas caracterı́sticas para los estudiantes, los profesores y la administración. Ante tantas opciones
existentes, se hace necesario realizar estudios sobre su calidad.
A pesar del gran número de plataformas disponibles, una de las barreras para una exitosa implantación
es la carencia de sistemas de alta calidad acordes a las necesidades de los usuarios. La calidad es un término
abstracto que asume un significado especı́fico adecuado al contexto en el cual es utilizado.
Cuando se habla de la calidad es importante considerar las regulaciones para una certificación de calidad
(estándares ISO), las cuales establecen estándares para asegurar la calidad de un producto de software. Un
estándar enfatiza que la calidad es un atributo que depende de varios factores: el usuario, el contexto, el
objetivo y el costo del producto [1].
12 La Calidad en los Sistemas de Gestión del Aprendizaje

La evaluación de las plataformas e-Learning implica una atención especial, y los evaluadores necesitan
guı́as apropiadas, ası́ como metodologı́as de evaluación efectivas [7]. Desafortunadamente, los estudios reali-
zados son simples e inadecuados a la importancia del término calidad o bien no contemplan todos los ámbitos
[22, 23, 24]. En muchos casos, los estudios están orientados a determinar las caracterı́sticas de un Sistema
de Gestión del Aprendizaje en función del análisis de una serie de categorı́as y presentan tablas con las
caracterı́sticas soportadas por los SGA seleccionados y un comparativo entre ellos [16].
La calidad en las plataformas e-Learning es un tema de investigación que se ha venido desarrollando en
los últimos años [22]. Esto debido principalmente al gran número de sistemas que podemos encontrar hoy
en dı́a. Ante esta gran diversidad de opciones surgen grandes carencias en cuanto a la calidad de los mismos
para satisfacer las necesidades de los usuarios.

3. Marcos de calidad para los Sistemas de Gestión del Aprendizaje

Para que la calidad exista es necesario que pueda entenderse en relación a un contexto, de manera
que las diferentes perspectivas y opiniones puedan ser consensuadas [25]. Un marco de referencia permite la
especificación de aspectos relevantes y criterios para definir la calidad, ası́ como la aplicación de esos criterios
en un contexto dado [24]. En la literatura existen varias propuestas de estos marcos de calidad que son la
base para estudios de evaluación de un Sistema de Gestión del Aprendizaje.

3.1. Caracterización de la calidad

Segun Kapp [20], la calidad de una plataforma e-Learning está dada por cinco caracterı́sticas:

1. Mantenimiento. La habilidad de mantener, aún por largo tiempo, la tecnologı́a seleccionada. Se debe
revisar que la aplicación separe la presentación del contenido. Las actividades diarias como crear cursos,
reciclarlos, eliminar usuarios, crear ejercicios, deben ser sencillas. Si extender o actualizar el SGA es
una tarea complicada, no debe considerarse.

2. Compatibilidad. Buscar soluciones que sean compatibles con otras existentes que permitan inter-
cambiar contenidos. Debe soportar estándares de intercambio como SCORM o IMS-CP. La interope-
rabilidad es la habilidad de tomar un curso y usarlo en otro SGA.

3. Usabilidad. La plataforma debe ser fácil de usar. Si la tecnologı́a uilizada por la plataforma es vista
como mala o complicada será abandonada. Se espera que el SGA sea intuitivo: debe ser fácil encontrar
elementos, ser simple y directo. La interfaz de la plataforma debe estar diseñada de manera que no sea
necesaria una larga fase de capacitación.

4. Modularidad. El SGA puede ser desarrollado como una colección intercambiable de objetos de co-
nocimiento o de funcionalidad. Cada uno de estos módulos es una pequeña pieza de contenido. Los
componentes u objetos de aprendizaje podrán ser reutilizados si cumplen con los requerimientos de los
usuarios.

5. Accesibilidad. La accesibilidad se presenta desde dos aspectos: el SGA es accesible para todos los
individuos a pesar de sus deficiencias fı́sicas, es decir, si está conforme con estándares de accesibilidad.
Las tecnologı́as empleadas por la plataforma están disponibles a todos los usuarios (componentes,
extensiones, caracterı́sticas del contenido).

Cada una de estas caracterı́sticas es crı́tica para el éxito. Muchas de ellas se traslapan pero si son evaluadas
de forma individual aseguran un completo entendimiento de las necesidades tecnológicas de una plataforma
e-Learning. Sin embargo Kapp no establece criterios de medición, dejando a los usuarios su definición.
V.H. Menéndez-Domı́nguez, M.E. Castellanos-Bolaños 13

Implementación Soporte Costo

Respuesta del vendedor Respuesta del vendedor Iniciales
Antecedentes del vendedor Estabilidad financiera Recurrentes
Madurez del software Grupos de usuarios
Madurez de la tecnologı́a Metodologı́a de desarrollo
Modificaciones Modificaciones
Consideraciones para desarrollos terceros Garantı́a
Asistencia de implementación por el vendedor Funciones de soporte
Calidad Calidad
Documentación
Capacitación

Cuadro 1: tres criterios con sus caracterı́sticas de evaluación [3].

3.2. Marco para la evaluación de un Sistema de Gestión del Aprendizaje

Para Beshears [3], un SGA puede ser evaluado sobre la base de cinco criterios:

1. Requerimientos conocidos. Habilidad de la plataforma para satisfacer los requerimientos académicos

y administrativos actuales de la organización, ası́ como los requerimientos futuros que hoy en dı́a se
conocen.

2. Requerimientos futuros desconocidos. Habilidad de modificar el SGA para cubrir los nuevos
requerimientos cuando se conozcan.

3. Implementación. Habilidad de implementar la plataforma fácilmente.

4. Soporte. Habilidad del vendedor para ofrecer soporte tanto a la plataforma como a la organización
en un futuro.

5. Costo. Costo total de la compra e implementación del SGA, junto con los costos de mantenimiento y
soporte.

Los evaluadores deben distribuir cien puntos entre los cinco criterios, donde el más importante recibe el
valor máximo. Cada uno de esos valores será el lı́mite que alcanzará el SGA en ese criterio. Para cada uno de
los criterios puede haber una lista de caracterı́sticas que serán utilizadas para evaluar a la plataforma. Las
caracterı́sticas de una misma categorı́a toman valores numéricos tales que su suma es igual al valor otorgado
a esa categorı́a.
Cada caracterı́stica es evaluada de forma independiente usando una escala del 0 al 5, donde 5 corresponde
al 100 % del valor otorgado a la caracterı́stica que se considera necesaria. La suma de todos estos valores
determina la calidad de la herramienta.
El cuadro 1 presenta las caracterı́sticas para tres criterios (implementación, soporte y costo). Para cada
caracterı́stica existe una definición que será utilizada para evaluar al SGA. Cuando no se definan, como en
el caso de los requerimientos, es la organización quien debe establecerla con base en sus objetivos o planes.

3.3. Marco para el análisis de la potencialidad y validez

El objetivo del marco planteado por Georgiakakis et al. [14] es establecer la utilidad y la calidad de uso
de un Sistema de Gestión del Aprendizaje. Para ello establece un proceso de dos pasos:

1. Explorar el SGA y determinar su naturaleza con base a sus caracterı́sticas.

2. Examinar la usabilidad y la utilidad, que son factores crı́ticos de aceptación.

14 La Calidad en los Sistemas de Gestión del Aprendizaje

Figura 1: criterios del modelo de evaluación de potencialidad y validez [14].

El modelo propuesto consta de una serie de criterios, tanto pedagógicos como técnicos (figura 1), siendo
su caracterı́stica principal el concepto de aceptación, el cual se divide en práctico y educativo.
En su primera parte emplea listas de cotejo para indicar el soporte a cierta caracterı́stica y además emplea
una matriz de decisión para identificar las caracterı́sticas que soporta el SGA con el propósito de clasificarlo.
Esto permite homologar las diferentes plataformas y hacer comparaciones más efectivas.
La segunda parte establece qué tan bien son soportadas las caracterı́sticas definidas previamente. Lo hace
por medio de una serie de criterios:

Fácil de aprender y comprender.

Eficiente en la realización de tareas.
Eficiente en la navegación.
Retorno a lugares seguros.
Agradable.

Cada tipo de usuario potencial de la plataforma realiza algunas actividades que luego evalúa con base a
los criterios, estableciendo valores del 1 al 5, donde el valor más bajo representa un pobre desempeño.

3.4. Marco TICS y metodologı́a eLSE

Lanzilotti et al. [22] proponen un nuevo marco llamado TICS (Tecnology, Interaction, Content, Services)
enfocado en los aspectos más importantes que deben ser considerados cuando se diseña o evalúa un Sistema
de Gestión del Aprendizaje. La propuesta enfatiza la interacción usuario-plataforma. Plantean que la calidad
de un SGA está definida por:
V.H. Menéndez-Domı́nguez, M.E. Castellanos-Bolaños 15

Elemento Descripción
Código de clasificación y tı́tulo Identifican de forma única a la TA
Foco de acción Describe el contexto, listando los componentes a ser evaluados
Intento Describe el problema que evalúa la TA indicando el objetivo
Descripción de la actividad Describe en detalle las actividades a realizar durante la TA
Salida Describe la salida esperada

Cuadro 2: plantilla para definir una tarea abstracta (TA) [7].

1. Tecnologı́a. Se especializa en la dimensión hipermedia, es decir, en aquellos problemas que pueden

hacer complejo el uso del sistema como la sobrecarga de información, la desorientación dentro del
espacio hipermedia, etc., ası́ como sus caracterı́sticas tecnológicas.

2. Interacción. Implica aspectos relacionados con la presentación del material educativo y de las herra-
mientas proporcionadas, ası́ como la actividad realizada por el usuario cuando trabaja con el SGA. En
particular la prevención de errores.

3. Contenido. Está enfocado al aspecto educativo, se refiere al proceso que ocurre cuando se realiza la
interacción. Considera los aspectos didácticos y pedagógicos.

4. Servicios. Se enfoca en las herramientas que facilitan y ayudan al usuario durante su trabajo dentro
del SGA: herramientas de comunicación, autoevaluación, ayuda, búsqueda, etc.

De estos aspectos se ha generado una colección de guı́as y una metodologı́a de evaluación denominada
eLSE que combina técnicas de inspección especı́ficas con la evaluación de usuarios. El proceso inicia con una
inspección de la plataforma por expertos para identificar posibles problemas. Luego se analiza la aplicación
con respecto a las dimensiones TICS y posteriormente se aplica una técnica de inspección basada en el uso de
tareas abstractas (TA). Estas inspecciones, llamadas inspecciones TA, describen las actividades que deben
ser realizadas [7].
Las TA’s pueden ser vistas como patrones de evaluación y están formuladas según una plantilla (cuadro
2). Las TA’s están definidas por la experiencia de los evaluadores y las observaciones de expertos y cubren
todas las dimensiones del modelo TICS. Se clasifican en dos categorı́as principales que se relacionan con las
dimensiones de TICS:

1. Aprendizaje del contenido: Actividad del usuario, proceso educativo.

2. Calidad de uso: Tecnologı́a hipermedia, presentación, servicios.

El resultado es un reporte que describe los problemas detectados y revisados conforme a las evaluaciones
utilizando la terminologı́a definida en las TA’s, lo que evita errores en la interpretación.

3.5. Calidad basada en las herramientas

EduTools es un sitio Web que proporciona revisiones, comparativos y servicios de consultorı́a para la
toma de decisiones relacionadas con el e-Learning [11]. Para EduTools, la calidad de un Sistema de Gestión
del Aprendizaje está basada en la presencia o ausencia de una serie de herramientas o procesos agrupados en
ocho categorı́as (cuadro 3) [10]. Para cada uno de estos elementos se ha definido un conjunto de caracterı́sticas
básicas que deben tener para apoyar al proceso de e-Learning.
Para clasificar un SGA en EduTools, el desarrollador completa un formulario donde indica las herra-
mientas que proporciona la plataforma y para cada una de ellas, las caracterı́sticas o funcionalidades que
ofrecen. La relación de herramientas y caracterı́sticas son lo suficientemente genéricas para ser utilizadas en
el proceso de categorizar cualquier SGA existente.
16 La Calidad en los Sistemas de Gestión del Aprendizaje

Categorı́a Herramientas
Foros de discusión
Intercambio de archivos
Correo interno
Herramientas de comunicación Apuntes/Bitácoras
Chat en tiempo real
Servicio de videoconferencia
Pantalla electrónica
Marcadores/Enlaces
Orientación/Ayuda
Herramientas de productividad Búsqueda interna
Calendario/Planificador
Trabajo en lı́nea/Fuera de lı́nea
Trabajo en grupo
Autoevaluaciones
Herramientas para el desarrollo del alumno
Comunidades estudiantiles
Portafolio
Autentificación
Autorización en cursos
Herramientas administrativas
Registro/Integración
Servicio de alojamiento externo
Administración de cursos
Ayuda en lı́nea para instructores
Herramientas de publicación de cursos Herramientas de control de calificaciones
Monitoreo de estudiantes
Evaluación y calificación automática
Accesibilidad
Plantillas de cursos
Administración del currı́culo
Diseño curricular Personalización del curso
Estándares de intercambio
Herramientas de diseño instruccional
Reutilización/Compartición de recursos
Requiere un navegador web
Requerimientos BD
Hardware/Software
Software del servidor
Requerimientos de hardware
Compañı́a
Costo
Precio/Licenciamiento Código abierto
Elementos adicionales
Versión

Cuadro 3: relación de categorı́as y herramientas definidas por EduTools [10].

V.H. Menéndez-Domı́nguez, M.E. Castellanos-Bolaños 17

Posteriormente, un grupo de expertos de EduTools evalúa la veracidad de la información enviada [11].

Al clasificar a los Sistemas de Gestión del Aprendizaje es posible construir cuadros comparativos mediante
un filtrado basado en las necesidades de los usuarios.

3.6. Sistemas de Gestión de Contenidos de código abierto

Uno de los objetivos de este estudio es identificar criterios útiles para la evaluación de una plataforma
e-Learning [12]. Se estableció un criterio de evaluación utilizando la experiencia directa y consultando otros
estudios para definir una lista detallada de caracterı́sticas. Para evaluar cada caracterı́stica se empleó una
escala del 0 al 5 donde 0 equivale a “no existe o pobre”, 3 es “un promedio básico estándar” y 5 significa
“excede las expectativas del estándar”.
Los criterios generales son trece y se listan a continuación. Para cada uno de ellos se define un grupo de
preguntas para evaluarlos.

1. Costo de uso.

2. Mantenibilidad.

3. Usabilidad y soporte.

4. Perfil del vendedor y de la herramienta.

5. Modularidad.

6. Acorde a estándares.

7. Capacidad de integración.

8. Integración de Objetos de Aprendizaje.

9. Efectividad y eficacia.

10. Escalabilidad.

11. Seguridad.

12. Consideraciones de hardware y software.

13. Soporte multilenguaje.

Adicional a estos criterios, se generó una lista de caracterı́sticas y herramientas que un Sistema de Gestión
del Aprendizaje debe tener. Estos elementos se agrupan en nueve categorı́as:

1. Administración.

2. Seguridad.

3. Acceso.

4. Integración con otros sistemas.

5. Diseño de cursos, desarrollo e integración.

6. Monitoreo de cursos.

7. Diseño de actividades.

8. Colaboración en lı́nea y comunicaciones.

9. Herramientas de productividad.
18 La Calidad en los Sistemas de Gestión del Aprendizaje

Figura 2: herramienta de evaluación de SGA, LMS Open Source [6].

Para facilitar aún más el proceso de evaluación de una plataforma, 3Waynwet desarrolló una herramienta
que está implementada como una hoja de cálculo (figura 2). La herramienta automatiza el proceso mediante
una serie de formularios que el evaluador debe llenar con algún valor de la escala (0-5) para generar una lista
de resultados [6].

3.7. Modelo de calidad ISO/IEC 2500

Este modelo es el resultado de la integración de las normas ISO/IEC 9126 e ISO 14598 [18]. Pretende
desarrollar productos de software conforme a su especificación y evaluación de la calidad. Ofrece una guı́a
para la utilización de una colección de estándares internaciones denominados Requisitos y Evaluación de
Calidad de Productos de Software (SQuaRE por sus siglas en inglés).
Define tres vistas para evaluar la calidad de un producto de software: la vista interna, relacionada con las
propiedades del software asociadas a las primeras fases del desarrollo (tamaño, complejidad, etc.); la vista
externa se enfoca a la validación del producto en términos de su efectividad y rapidez, uso de memoria,
etc., la vista de uso se refiere a la percepción del usuario con respecto a la efectividad del producto para la
ejecución de tareas [19].
Para cada vista se define una colección de métricas que pueden ser utilizadas como base, sobre la cual
establecer un modelo propio de calidad que debe ser cubierto por un SGA especı́fico. Es de esperarse que
las dos primeras vistas se correspondan a métricas asociadas al proceso de desarrollo de un producto de
software y pueden no ser relevantes para la elección de un SGA. Sin embargo, la vista de uso resulta útil
para establecer la calidad de un SGA desde el punto de vista del usuario.
Este modelo de calidad puede ser utilizado como un indicador de la calidad de un SGA para los educa-
dores y administradores. Esta información puede resulta útil de considerar al momento de la adquisición del
SGA ya que proporciona una base para la comparación [27]. El modelo define caracterı́sticas del producto
(funcionalidad, disponibilidad, eficiencia, mantenimiento y portabilidad), las cuales son a su vez divididas
en subcaracterı́sticas. El modelo proporciona una vista detallada que permite detectar las fortalezas y de-
bilidades de un sistema. Está enfocado a la toma de decisiones de compra proporcionando métricas para la
V.H. Menéndez-Domı́nguez, M.E. Castellanos-Bolaños 19

comparación.

3.8. Estándar ISO/IEC 19796-1

El estándar ISO/IEC 19796-1 es el primer estándar de calidad para el aprendizaje, la educación y la

capacitación. Es un marco de referencia que describe, compara, analiza e implementa la administración y
aseguramiento de la calidad en los proceso asociados al aprendizaje y que por ende pueden ser aplicados al
e-Learning. Permite comparar las distintas tendencias actuales y unificarlas en un modelo común de calidad.
Se basa en el Marco de Referencia para la Descripción de Calidad (RFDQ, Reference Framework for the
Description of Quality Approaches) [17]. Consta de dos partes:

1. Un modelo de procesos como clasificación de referencia.

2. Un esquema de descripción para el control de la calidad.

El modelo de procesos considera todo el ciclo de vida del e-Learning y puede ser utilizado para describir
cualquier escenario educativo. Lo anterior es, debido a que tiene las siguientes caracterı́sticas [25]:

1. Integración. Cualquier persona del área puede utilizar el modelo, permitiendo ser un marco común
de referencia entre las partes involucradas en los procesos educativos.
2. Completitud. Todos los procesos educativos son cubiertos por el modelo de referencia. El modelo
puede ser adaptado a cualquier escenario educativo seleccionando un subconjunto de sus procesos.
3. Apertura. No hay requerimientos en términos de los procesos o métodos utilizados dentro de los
procesos del modelo, solo se requiere una especificación de las relaciones y dependencias, los actores,
las métricas y medidas empleadas para satisfacer los requerimientos en un contexto determinado.
4. Adaptabilidad. Los subprocesos, objetivos y resultados de todos los procesos del modelo son adap-
tables y extensibles de forma individual, permitiendo adaptar el modelo a un contexto educativo y
organizacional.
5. Unicidad. Este modelo está enfocado en la calidad del e-Learning.

El modelo está dividido en siete categorı́as de procesos que contienen treinta y ocho subprocesos, todos
enfocados al proceso educativo, tal como se describen en el cuadro 4.
El modelo de procesos describe el ciclo de vida del proceso educativo, pero no contiene ninguna descripción
de las estructuras o procedimientos sobre cómo realizar dichos procesos. Esta información es proporcionada
por un modelo de descripción de procesos, el cual forma parte del estándar. Este modelo de descripción
define un formato para describir todos los procesos involucrados en el e-Learning (cuadro 5).
Para cada proceso del ciclo de vida se debe especificar un grupo de métodos y métricas que serán
utilizados para establecer la calidad en los procesos, los productos, los componentes y los servicios. El
estándar proporciona métodos y métricas de referencia que son descritos de forma genérica y pueden ser
utilizados en contextos genéricos para los procesos del ciclo de vida [13].

4. Crı́tica/valoración

Esta sección analiza las distintas opciones que han surgido para tratar de determinar el nivel de calidad
de un SGA, para todas ellas se realiza una valoración. Todas ellas contemplan aspectos similares o disı́miles
para evaluar una plataforma.
Las caracterı́sticas presentadas por Kapp [20] a pesar de ser lo suficientemente genéricas para ser aplicadas
a cualquier SGA tienen como principal inconveniente esa misma generalidad. No establece de forma clara
20 La Calidad en los Sistemas de Gestión del Aprendizaje

ID Categorı́a Subprocesos
NA.1 Inicialización
NA.2 Identificación de prioridades
NA Análisis de necesidades
NA.3 Definición de objetivos
NA.4 Análisis de demanda
FA.1 Análisis del contexto externo
FA.2 Análisis de los recursos del grupo
FA.3 Análisis de los grupos destino
FA Análisis de marco de trabajo
FA.4 Análisis del contexto institucional y organizacional
FA.5 Planeación de tiempo y presupuesto
FA.6 Análisis del entorno
CD.1 Objetivos del aprendizaje
CD.2 Contenidos
CD.3 Conceptos/Métodos didácticos
CD.4 Roles y actividades
CD.5 Organización
CD Concepción/Diseño CD.6 Elementos técnicos
CD.7 Diseño de interacción y medios
CD.8 Medios
CD.9 Comunicación
CD.10 Evaluación y pruebas
CD.11 Mantenimiento
DP.1 Realización del contenido
DP.2 Realización del diseño
DP Desarrollo/Producción DP.3 Realización de los medios
DP.4 Realización técnica
DP.5 Mantenimiento
IM.1 Evaluación de los recursos de aprendizaje
IM.2 Adaptación de los recursos de aprendizaje
IM Implementación IM.3 Activación de los recursos de aprendizaje
IM.4 Organización de uso
IM.5 Infraestructura técnica
LP.1 Administración
LP Proceso de aprendizaje LP.2 Actividades
LP.3 Revisión de niveles de competencia
EO.1 Planeación
EO.2 Realización
EO Evaluación/Optimización
EO.3 Análisis
EO.4 Optimización/Mejora

Cuadro 4: procesos y subprocesos del estándar ISO/IEC 19796-1 [13].

V.H. Menéndez-Domı́nguez, M.E. Castellanos-Bolaños 21

Atributo Descripción Ejemplo

ID Identificador único ID1234
Category Proceso principal Course Development
Process Name Nombre del proceso Method selection
Description Descripción del proceso “Within this process the didactic
concept and methods are evalua-
ted and selected”
Relations Relación con otros procesos “Before the method selection a
target group analysis must be
performed”; [Process 1.6]
Sub-processes/Sub-aspects Subprocesos/Subaspectos Method identification, Method
alternatives, Method prioriza-
tion
Objective Objetivo del proceso Adequate selection of one or mo-
re didactic concepts according to
learner preferences and learning
styles
Method Metolodogı́a para este proceso Method selection shall be based
on the target group taking into
account their competencies and
learning styles. Methods are se-
lected based on the teachers’ ex-
perience.
Result Resultados esperados para un Method specification, Docu-
proceso ments
Actors Responsable/Actores participan- Team Didactical Design, Project
tes leader
Metrics/Criteria Evaluación y métricas para este Criteria catalogue 3.2.2-3.2.6
proceso
Standards Estándar usado DIN EN ISO 9241, LOM, See
Method Guidelines Handbook
Annotation/Example Más información, ejemplos de
utilización

Cuadro 5: plantilla para describir un proceso de ISO/IEC 19796-1 [13].

22 La Calidad en los Sistemas de Gestión del Aprendizaje

una metodologı́a de medición, ni mucho menos un rango de valores que puedan ser utilizados para evaluarlas.
Por lo que el establecimiento de la calidad de una plataforma y la posible comparación con otra es difı́cil de
realizar por diferentes evaluadores si no existe una coordinación previa.
El marco presentado por Beshears [3] está enfocado al proceso de implementación de un SGA, más
que a sus caracterı́sticas. Por lo que su uso requiere que la institución tenga conocimiento, además de sus
requerimientos en términos de e-Learning, de todo este proceso de implementación. Para los usuarios novatos
el marco resulta complejo. Además, al no establecer criterios de evaluación especı́ficos para las categorı́as, las
mediciones pueden ser muy subjetivas. Por ejemplo, la caracterı́stica Metodologı́a de desarrollo es definida
como el grado de importancia de la metodologı́a utilizada para desarrollo de la plataforma y puede tomar
los valores de 0 (no importa), 5 (medianamente importante), 10 (debe permitir modificaciones fácilmente).
El modelo planteado por Georgiakakis [14] conjuga un aspecto importante desde el punto de vista del
usuario: la usabilidad. Plantea además un esquema de clasificación objetivo que permite agrupar distintos
SGA’s y poder ası́ establecer niveles que pueden ser empleados para la evaluación. Además que es sencillo de
utilizar. Sin embargo, las pruebas realizadas fueron hechas por expertos y en ambientes controlados. Falta
realizar más estudios, principalmente de campo, que confirmen la calidad del propio modelo.
La metodologı́a eLSE [22] es interesante por cubrir varios aspectos, enfocándose principalmente en la
parte tecnológica. Combina elementos de usabilidad, especı́ficamente la interacción usuario-sistema y define
una serie de guı́as claras y especı́ficas que facilitan su uso. Su principal ventaja es que utiliza inspecciones
basadas en patrones para la realización de las evaluaciones, lo que garantiza una evaluación más objetiva.
Al utilizar un lenguaje estándar para describir los resultados hace más fácil la difusión. Una desventaja es
que el número de AT’s generados pueden no cubrir todas las caracterı́sticas de un SGA.
Por otra parte, EduTools [10] tiene como punto a favor ofrecer un marco lo suficientemente genérico para
poder abarcar todas las plataformas e-Learning existentes, y tener un listado de funcionalidades deseables
para las distintas herramientas, lo que hace que el proceso de establecimiento o medición de la calidad
sea sencillo (seguir una lista de cotejo). Además, para cada una de las caracterı́sticas o herramientas tiene
definiciones simples y técnicas que hacen sencillo el proceso de medición. Por ejemplo, el proceso Gestión de
autoevaluación es definido como “Incluye el control de cuándo y dónde las evaluaciones pueden ser realizas
y bajo qué condiciones” y algunas de las caracterı́sticas que establece son: “Los profesores pueden crear
autoevaluaciones”, “Los profesores pueden restringir el acceso”, “Los profesores pueden ver los resultados
de los alumnos”, “El alumno puede ver las respuestas correctas”, etc. El marco puede ser extendido para
evaluar nuevas herramientas o caracterı́sticas. El listado fue obtenido de la experiencia de los investigadores
que conforman el grupo. Su principal desventaja es que el nivel de calidad está basado en la ausencia o
presencia de elementos, lo que implica hacer una larga revisión para determinar la calidad de un sistema.
El estudio de Commonwealth [12] está enfocado a las herramientas de código abierto, pero puede adaptarse
para su utilización en la medición de plataformas comerciales. Como punto a favor, el estudio establece una
metodologı́a de medición para un SGA, permitiendo ası́ obtener una medida de calidad. Esta medida es
cuantitativa. Su desventaja es que la medición es subjetiva y su valor está basado en una percepción global
del evaluador de las respuestas a preguntas genéricas que a veces no son lo suficientemente explı́citas. Por
ejemplo, la escalabilidad es valorada según dos preguntas: “¿El SGA es adecuado tanto para instituciones
pequeñas y grandes?”, “¿Qué tanto permite el SGA incrementar el contenido, la funcionalidad y el número
de usuarios?”, el evaluador debe contestar las preguntas (Sı́ o No) y sobre la base de todas sus respuestas
dar un valor general de 0 a 5.
El Modelo de Calidad ISO/IEC 25000 y el 9126 son genéricos y no definen elementos orientados a
actividades de enseñanza ni de aprendizaje. Es limitado en especificar algunas caracterı́sticas del software,
como por ejemplo, la usabilidad. Se sugiere que esta caracterı́stica sea extendida para incluir elementos tales
como la consistencia, la simplicidad y la legibilidad. Sin embargo, al definir una colección de caracterı́sticas y
la forma de medirlas (métricas) permiten establecer una colección de criterios objetivos que pueden resultar
útiles para la comparación de distintos SGA, limitando el impacto de las valoraciones subjetivas.
El estándar ISO/IEC 1976-1 [12, 13] tiene como principal desventaja estar enfocado en el proceso de
implementación de un esquema de aprendizaje (que puede ser realizado mediante e-Learning), más que en la
implementación de un SGA. El Sistema de Gestión del Aprendizaje no aparece como parte del estándar, sino
V.H. Menéndez-Domı́nguez, M.E. Castellanos-Bolaños 23

como parte del proceso llamado Implantación, especı́ficamente en el subproceso Infraestructura técnica. Por
lo que no establece criterios de calidad para un SGA. Sin embargo, el estándar proporciona un documento
enfocado a la definición genérica de métricas y mediciones de calidad, las cuales pueden ser utilizadas como
base para el desarrollo de medidas de calidad de una plataforma. Este documento aún está en proceso de
revisión. Es importante indicar que el modelo de referencia de procesos no incluye reglas en términos de
las secuencias de procesos o interdependencias entre ellos, ni tampoco alguna especificación en su imple-
mentación. Solo sirve como un marco que siempre necesita ser adaptado a la organización y el contexto
educativo.

5. Conclusiones

Los Sistemas de Gestión del Aprendizaje proporcionan la funcionalidad al e-Learning, ya que es el espacio
en donde los estudiantes pueden acceder, planear y gestionar el aprendizaje por sı́ mismos ası́ como interactuar
con otros alumnos, profesores, etc.
El objetivo fundamental de una plataforma e-Learning es servir de un repositorio de cursos, pero también
incorporan otro conjunto de herramientas que pueden agruparse de la siguiente forma:

Herramientas de distribución de contenidos.

Herramientas de comunicación y colaboración.

Herramientas de seguimiento y evaluación.

Herramientas de administración y asignación de permisos.

Con esto el SGA permite que:

Los profesores coloquen a disposición de los alumnos los objetivos del curso, su contenido y su regla-
mentación.

Los tutores y coordinadores supervisen el desarrollo del curso y el avance de cada alumno.

Los alumnos accedan a los contenidos, realicen la ejercitación prevista, se comuniquen entre sı́ y con
el tutor para resolver dudas y realizar trabajos en grupo.

Los administradores obtengan información inmediata del progreso del curso y de las acciones adminis-
trativas relacionadas, tales como la inscripción de alumnos, el historial de cursos, etc.

Aún cuando la evaluación de los SGA’s es fundamental para el establecimiento de niveles de calidad, las
guı́as y metodologı́as actuales resultan inapropiadas y poco efectivas. Las medidas actuales de la calidad de
una plataforma están enfocadas principalmente en una interpretación subjetiva y los criterios de evaluación
están descritos de forma muy vaga. Muchos investigadores han propuesto considerar los aspectos tecnológicos
junto a los pedagógicos en las evaluaciones de los SGA’s.
El simple listado de todas las funcionalidades de una plataforma es una buena métrica para definir su
potencial, pero no puede ser el único elemento empleado para el análisis y evaluación de los Sistemas de
Gestión del Aprendizaje. Lo importante de cualquier estudio es clasificar al SGA en categorı́as conforme a
objetivos especı́ficos y claros. Esto permite identificar qué puede realizar, qué necesidades puede cubrir, etc.
El éxito de un sistema e-Learning depende en gran medida de la parte tecnológica. La elección de una
plataforma e-Learning solo puede ser hecha luego de un proceso de evaluación de la calidad.
Diferentes perspectivas y soluciones intentan dar respuesta al tema de la evaluación de la calidad de
las plataformas. Sin embargo, hasta el momento ninguna propuesta por sı́ sola ha logrado cubrir todas las
necesidades que abarcan numerosas variables y factores. Desde diferentes organismos, instituciones y grupos
24 La Calidad en los Sistemas de Gestión del Aprendizaje

de investigación implicados, se reclama la necesidad de crear estándares de calidad, certificar la calidad o

evaluar la calidad de los SGA en sus diferentes contextos y niveles.
El desarrollo de la calidad depende de un contexto de uso. El involucrar a los evaluadores, usuarios y
organizaciones puede ser visto como un primer intento del desarrollo de la calidad. Es de esperarse que
en un futuro se desarrollen guı́as y metodologı́as efectivas orientadas al desarrollo de la calidad, lo que
permitirá obtener un Sistema de Gestión del Aprendizaje con un mayor impacto en el e-Learning.
Los estándares de calidad ofrecen un soporte valioso para la adopción y la implementación de la calidad,
especialmente el ISO/IEC 19796-1. Este último ofrece una serie de guı́as relacionadas con el aprendizaje, la
educación y la capacitación. Sin embargo, su implementación está aun en proceso y se requieren estudios e
investigaciones para evaluar a largo plazo los beneficios de este estándar en la práctica, especialmente en el
área de implantación tecnológica, donde el papel del SGA es fundamental.
Existen intentos por definir patrones de diseño para la evaluación del SGA, lo que permitirı́a disminuir
el tiempo para la preparación de las evaluaciones, además de ofrecer directivas explı́citas para evaluar la
funcionalidad de operaciones especı́ficas. Se está considerando el desarrollo de un repositorio de estos patrones
con el fin de que sean utilizados, extendidos y a largo plazo, aceptados.
Es importante resaltar que un componente muy importante en la evaluación de la calidad es la madurez
de la organización que utilizará el Sistema de Gestión del Aprendizaje. Si una institución tiene bien definidos
sus objetivos y planes a largo plazo en materia de e-Learning, podrá establecer las caracterı́sticas básicas
de un SGA, haciendo más sencilla su elección. No necesariamente el producto mejor valorado técnicamente
resulta el más adecuado para todas las organizaciones.

Agradecimientos
Este trabajo ha sido desarrollado gracias al apoyo del Consejo Nacional de Ciencia y Tecnologı́a (CO-
NACYT), el Consejo de Ciencia y Tecnologı́a del Estado de Yucatán (CONCYTEY) y el Programa de
Mejoramiento del Profesorado (PROMEP).

Referencias
[1] B.B. Chua, L.E. Dyson, Applying the ISO9126 model to the evaluation of an e-Learning system, Beyond the
comfort zone: Proceedings of the 21st ASCILITE Conference, R. Atkinson, C. McBeath, D. Jonas-Dwyer & R.
Phillips (Eds), Perth, 5-8 Diciembre (2004), pp. 184-190.
[2] T. Berners-Lee. Weaving the web: the original design and ultimate destiny of the world wide web, Harper Collins.
New York, NY. (2000).
[3] F. Beshears, Learning management system evaluation framework, University of California, Berkeley, (2001).
Disponible en http://www.immagic.com/eLibrary/ARCHIVES/GENERAL/UCB US/B010327B.pdf
[4] F. Beshears, Web-based learning management systems, University of California, Berkeley, (2000). Disponible en
http://socrates.berkeley.edu/ fmb/articles/web based lms.html
[5] P. Brogan, Using the web for interactive teaching and learning, Macromedia Inc., (1999). Disponible en
http://download.macromedia.com/pub/authorware/whitepapers/whitepaper interactive.zip
[6] Commonwealth of Learning, LMS evaluation tool user guide, Commonwealth of Learning, (2004). Disponible en
http://www.col.org/resources/publications/consultancies/Pages/2004-08-evalTool.aspx
[7] G. Covella, L. Olsina, Assessing quality in use in a consistent way, Proceedings of the 6th International Con-
ference on Web Engineering (Palo Alto, California, USA, Julio 11-14, 2006). ICWE ’06, ACM, New York, NY
263 (2006), pp. 1-8.
[8] F. Dı́az, M. Osorio, P. Amadeo, Evolución de los sistemas de software libre para soportar e-Learning,
III International Conference on Multimedia and ICT in Education Recent Research Developments
in Learning Technologies (Caceres, España, Junio 7-10 2005), FORMATEX, 1 (2005). Disponible en
http://www.formatex.org/micte2005/37.pdf.
V.H. Menéndez-Domı́nguez, M.E. Castellanos-Bolaños 25

[9] S. Downes, Feature: e-Learning 2.0, eLearn Magazine, ACM Press, 10 (2005). Disponible en
http://elearnmag.org/subpage.cfm?section=articles&article=29-1

[10] EduTools, ArchiveCMS: feature definitions, (2006). Disponible en

http://www.edutools.info/static.jsp?pj=4&page=HOME

[11] EduTools, CMS: eduTools editorial FAQ, (2006). Disponible en

http://www.edutools.info/static.jsp?pj=4&page=edFAQ

[12] G. Farrel G, COL LMS open source, COL (The Commonwealth of Learning), (2003). Disponible en
http://www.col.org/resources/publications/consultancies/Pages/2003-06-OpenSrc.aspx

[13] S. Forth, E. Childs, White paper on e-Learning specifications and standards, Recombo Inc., ITS Inc. (2003).

[14] P. Georgiakakis, A. Papasalouros, S. Retalis, K. Siassiakos, N. Papaspyrou, Evaluating the Usability of Web-
Based Learning Management Systems, THEMES in Education, 6, 1 (2005), pp. 45-59.

[15] L. Huey-Ing, Y. Min-Num, QoL guaranteed adaptation and personalization in e-Learning systems, IEEE Tran-
sactions on Education, IEEE, 48, 4 (2005), pp. 676-687.

[16] J. Itmazi, M. Gea, Survey: comparison and evaluation studies of learning management systems, MICROLEAR-
NING2005: Learning & Working in New Media Environments, International Conference, Innsbruck, Austria,
Junio 23-24 (2005).

[17] ISO/IEC JTC1 SC36 Information Technology for Learning, Education, and Training, Guide ISO/IEC
19796-1: How to use the new quality standard for learning, education, and training, (2006). Disponible en
http://isotc.iso.org/livelink/livelink/6031339/36N1440 Guide ISO IEC 19796-1. How to Use the New
Quality Standard for Learning Education and Training?func=doc.Fetch&nodeid=6031339

[18] ISO/IEC 25000:2005. Software Engineering – Software product Quality Require-

ments and Evaluation (SQuaRE) – Guide to SQuaRE, (2005). Disponible en
http://www.iso.org/iso/iso catalogue/catalogue tc/catalogue detail.htm?csnumber=35683

[19] www.iso25000.com. La Norma ISO/IEC 25000:2005, (2011). Disponible en

http://iso25000.com/index.php/25000.html

[20] K. Kapp, Five technological considerations when choosing an e-Learning solution, eLearn Magazine, ACM, 7
(2003). Disponible en http://www.elearnmag.org/subpage.cfm?section=best practices&article=16-1

[21] B. Khan. Web-based Instruction (WBI): What is it and why is it?. Web-based Instruction, Educational Tech-
nology Publications. (1997).

[22] R. Lanzilotti, C. Ardito, M. Costabile, A. De Angeli, eLSE methodology: a systematic approach to the e-Learning
systems evaluation, Educational Technology & Society, 9, 4 (2006), pp. 42-53.

[23] L. Mendoza, Modelo de evaluación para la adquisición de sistemas administradores de ins-

trucción, Congreso Internacional EDUCTEC2003, Caracas, Venezuela, (2003). Disponible en
http://www.ucv.ve/edutec/Ponencias/10.doc

[24] M. Rubio, Enfoques y Modelos de Evaluación del e-Learning, RELIEVE, 9, 2 (2003), pp. 101-120.

[25] C. Stracke, B. Hildebrandt, Quality development and quality standards in e-Learning: adoption, implementation,
and adaptation, Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommuni-
cation 2007 (EdMedia 2007), Chesapeake, VA: AACE, (2007), pp. 4158-4165.

[26] H. Uzunboylu, F. Ozdamli, Z. Ozcin, An evaluation of open source learning management systems according to
learners tools, Current Developments in Technology-Assisted Education, FORMATEX, 1 (2006).

[27] Visiolink Ltd. Qualitative evaluation systems of e-Learning, (2005). Disponible en

http://www.wbtworld.net/files/resources/articles/visiolink.pdf