Abstraction & Application 4 (2011) 9-25

UADY

La Calidad en los Sistemas de Gesti

on del
Aprendizaje
Victor Hugo Menendez Domnguez, Mara Enriqueta Castellanos Bola
nos
Facultad de Matematicas, UADY
Periferico Norte Tablaje 13615, C.P. 97110, Merida, Mexico
mdoming@uady.mx, enriqueta.c@uady.mx
Abstract
A decisive factor in the advancement of e-Learning has been the development of Learning Management
Systems (LMS). With such systems, the e-Learning teachers work is greatly facilitated. A LMS is an
integrated environment that provides tools for communication, collaboration, management, assessment,
diagnosis and learning monitoring of registered student, which also allows control courses, students,
resources, etc. For many educational institutions, the selection of a LMS that provides a quality solution
to their needs for e-Learning is a common problem, given the large number of LMS available today. This
paper presents a review of several proposals that may be useful for evaluating the quality of an LMS. It
give us an overview of the main elements involved in the development of quality in these systems that
can be used to compare and choose an LMS according with the educational institutions needs.
Resumen
Un factor decisivo en el avance del e-Learning ha sido el desarrollo de los Sistemas de Gesti
on del
Aprendizaje (SGA). Gracias a este tipo de sistemas, la labor del profesor de e-Learning se ha facilitado
enormemente. Un SGA es un entorno integrado que ofrece herramientas para la comunicaci
on, colaboraci
on, gesti
on, evaluaci
on, diagn
ostico y seguimiento del aprendizaje de los estudiantes registrados, lo
que permite tambien controlar cursos, alumnos, recursos, etc. Para muchas instituciones educativas, seleccionar el SGA que brinde una soluci
on de calidad a sus necesidades de e-Learning es una problem
atica
com
un, dado el gran n
umero de SGA disponibles hoy en da. En este trabajo se presenta una revisi
on
de varias propuestas que pueden resultar u
tiles para evaluar la calidad de un Sistema de Gesti
on del
Aprendizaje. Nos brinda una visi
on de los principales elementos que intervienen en el desarrollo de la
calidad en estos sistemas que pueden ser empleados para comparar y elegir un SGA en funci
on de las
necesidades educativas de las instituciones.

1.

Introducci
on

Cuando Tim Bernes-Lee cre

o la World Wide Web tena en mente establecer un espacio com
un y global
en donde todos los participantes se comunicaran e intercambiaran informacion [2]. En la actualidad, la gran
2010 M athematics Subject Classif ication. 97U50, 68N99.
Keywords and phrases : Quality, Learning Management Systems, LMS, Models, Calidad, Sistemas de Gesti
on del Aprendizaje, SGA, Modelos.

10

La Calidad en los Sistemas de Gestion del Aprendizaje

mayora de las instituciones educativas son conscientes de que la Web tiene un gran impacto en la educaci
on,
pues ofrece un sin fin de beneficios adicionales a la comunicacion y obtencion de informacion [5]. Hoy en da,
la Web es unos de los medios m
as importantes para la ense
nanza-aprendizaje a distancia. Los avances en las
tecnologas de la informaci
on, junto con los cambios en la sociedad, estan creando nuevos paradigmas para
la Educaci
on como el e-Learning, en donde la Web juega un papel importante [21].
El termino e-Learning puede definirse en forma simple como el empleo de Internet para facilitar el
aprendizaje. A detalle, implica utilizar las herramientas disponibles en Internet y mas especficamente de la
World Wide Web para adaptar el ritmo de aprendizaje al alumno sin importar los lmites de espacio y de
tiempo [5].
Desde el aspecto tecnol
ogico, el e-Learning ha evolucionado, partiendo desde las paginas HTML hasta
complejos sistemas donde se controla el aprendizaje de los participantes. Se pueden identificar cinco tipos
de tecnologas e-Learning que pueden ser utilizadas solas o combinadas para lograr un fin educativo [20]:
1. Lenguajes de programaci
on. Permiten tener un completo control y flexibilidad en el desarrollo de los
mecanismos de interacci
on del aprendizaje en lnea. Su principal desventaja es que el mantenimiento
de los sistemas generados es una tarea laboriosa e implica contar con personal especializado. PHP,
ASP.NET e incluso Java son ejemplos de este tipo de lenguajes.
2. Sistemas de autora. Emplean elementos, muchas veces visuales, que facilitan la construccion de aplicaciones e-Learning sin necesidad de contar con conocimientos de programacion. Su principal desventaja
es que ofrecen una funcionalidad limitada. Generalmente no incluyen los elementos de interaccion propios de un sistema e-Learning, ademas que suelen estar dise
nados para un lenguaje de programaci
on
en particular. Algunos ejemplos de estos sistemas son Toolbook, Authorware, eXe o Xerte.
3. Sistemas de Gesti
on del Aprendizaje (LMS, Learning Management System). Est
an dise
nados para asistir al proceso de ense
nanza-aprendizaje en un entorno virtual mediante un conjunto
de herramientas. Pueden tener una orientacion hacia el alumno, el profesor o el proceso ense
nanzaaprendizaje. Existen numerosos ejemplos de LMS, siendo los mas comunes Moodle, Dokeos y ATutor.
4. Sistemas de Gesti
on de Contenidos (CMS, Content Managemente System). Permiten tener
un control y orden de los recursos que pueden ser utilizados en un entorno no necesariamente educativo
pero que facilita la publicaci
on de contenidos. Todos los elementos de informacion almacenados est
an
catalogados, lo que permite una b
usqueda y exploracion del contenido en forma sencilla. Ejemplos de
estos sistemas son Joomla, WordPress o Drupal.
5. Sistemas de Gesti
on de Contenidos de Aprendizaje (LCMS, Learning Content Management System). Es un sistema especializado, independiente o integrado con el Sistema de Gesti
on del
Aprendizaje, que administra los contenidos de aprendizaje. Una vez que los recursos estan almacenados
en este sistema, pueden ser combinados, asignados a distintos cursos, descargados desde el repositorio,
etc. Emplea est
andares y tecnologas de interoperabilidad que facilitan el intercambio y la reutilizaci
on
de los materiales educativos. Merlot, Ariadne, Agrega o AGORA son ejemplos de LCMS.
De todas las tecnologas presentadas, el Sistema de Gestion del Aprendizaje es el mas empleado. Numerosas instituciones usan este tipo de aplicaciones para organizar y distribuir sus cursos en la Web [8].
Generalmente un Sistema de Gesti
on del Aprendizaje es facil de usar, flexible en terminos pedagogicos y eficiente en terminos de costos, adem
as que organiza el contenido educativo y ofrece una serie de funcionalidades
para la comunicaci
on y colaboraci
on [9].
Este trabajo ha de considerarse como un documento que sirva para el analisis y la reflexion sobre la
calidad en los Sistemas de Gesti
on del Aprendizaje y otras herramientas asociadas. Pretende ser utilizado en
el seno de actividades de formaci
on educativa-tecnologica que versen sobre este tema. Pero sobre todo ha de
ser tomado en cuenta para tener una visi
on de los principales elementos que intervienen en el desarrollo de la
calidad en estos sistemas y que pueden ser empleados en la comparacion y eleccion de un Sistema de Gesti
on
del Aprendizaje. El estudio est
a enfocado mas al aspecto tecnologico que al pedagogico de un Sistema de
Gesti
on del Aprendizaje.

V.H. Menendez-Domnguez, M.E. Castellanos-Bola

nos

11

El trabajo se estructura en cinco secciones, incluida esta. En la seccion 1 ha sido presentada una introducci
on a la tem
atica abordada. La seccion 2 describe las caractersticas de los Sistemas de Gesti
on del
Aprendizaje y la necesidad de contar con criterios de calidad. La seccion 3 presenta los distintos marcos de
calidad para Sistemas de Gesti
on del Aprendizaje estudiados. Una valoracion de las propuestas presentadas
es realizada en la secci
on 4. Finalmente, en la seccion 5 se presentan las conclusiones y tendencias.

2.

Sistemas de Gesti
on del Aprendizaje y la calidad

Un Sistema de Gesti
on del Aprendizaje (SGA, plataforma e-Learning) ofrece una interfaz uniforme para
estudiantes y profesores, adem
as de promover la portabilidad de los recursos de aprendizaje y su interoperabilidad [14]. Se han utilizado ampliamente con propositos educativos e instruccionales porque:
Permiten el mantenimiento y la reusabilidad de los recursos.
Soportan una interacci
on avanzada entre tutores, profesores y estudiantes.
Proporcionan un excelente grado de flexibilidad en terminos de aprendizaje.
Liberan de las limitaciones de tiempo y espacio del aprendizaje.
Para cualquier instituci
on, la elecci
on de un SGA es compleja por varias razones [4]:
Existen muchas opciones comerciales o de libre distribucion disponibles.
Aparecen constantemente nuevos Sistemas de Gestion del Aprendizaje.
Las actualizaciones de las versiones de los sistemas existentes pueden tener mejoras importantes.
Y esto origina numerosos problemas [4]:
Se emplean plataformas e-Learning que no cubren las necesidades basicas.
Los usuarios no utilizan el SGA.
El mantenimiento de la plataforma se vuelve una tarea complicada.
La integraci
on con sistemas existentes no es posible o resulta compleja.
Se emplean otras plataformas alternativas (para un profesor o curso particular) al institucional.
Existen sitios que ofrecen an
alisis comparativos de SGA, muchos de ellos van mas alla de comparar funcionalidades o herramientas (tiene foro de discusion?) e incluyen funcionalidades en su evaluacion (c
omo
funciona?, que funciones realiza?). Tambien existen estudios enfocados al aspecto pedagogico, las herramientas que ofrecen, usabilidad, etc. [7, 15, 26]. Pero elegir un Sistema de Gestion del Aprendizaje no es
tarea f
acil, es necesario identificar las caractersticas de las distintas alternativas y determinar que tan importantes son estas caractersticas para los estudiantes, los profesores y la administracion. Ante tantas opciones
existentes, se hace necesario realizar estudios sobre su calidad.
A pesar del gran n
umero de plataformas disponibles, una de las barreras para una exitosa implantaci
on
es la carencia de sistemas de alta calidad acordes a las necesidades de los usuarios. La calidad es un termino
abstracto que asume un significado especfico adecuado al contexto en el cual es utilizado.
Cuando se habla de la calidad es importante considerar las regulaciones para una certificacion de calidad
(est
andares ISO), las cuales establecen estandares para asegurar la calidad de un producto de software. Un
est
andar enfatiza que la calidad es un atributo que depende de varios factores: el usuario, el contexto, el
objetivo y el costo del producto [1].

12

La Calidad en los Sistemas de Gestion del Aprendizaje

La evaluaci
on de las plataformas e-Learning implica una atencion especial, y los evaluadores necesitan
guas apropiadas, as como metodologas de evaluacion efectivas [7]. Desafortunadamente, los estudios realizados son simples e inadecuados a la importancia del termino calidad o bien no contemplan todos los ambitos
[22, 23, 24]. En muchos casos, los estudios estan orientados a determinar las caractersticas de un Sistema
de Gesti
on del Aprendizaje en funci
on del analisis de una serie de categoras y presentan tablas con las
caractersticas soportadas por los SGA seleccionados y un comparativo entre ellos [16].
La calidad en las plataformas e-Learning es un tema de investigacion que se ha venido desarrollando en
los u
ltimos a
nos [22]. Esto debido principalmente al gran n
umero de sistemas que podemos encontrar hoy
en da. Ante esta gran diversidad de opciones surgen grandes carencias en cuanto a la calidad de los mismos
para satisfacer las necesidades de los usuarios.

3.

Marcos de calidad para los Sistemas de Gesti

on del Aprendizaje

Para que la calidad exista es necesario que pueda entenderse en relacion a un contexto, de manera
que las diferentes perspectivas y opiniones puedan ser consensuadas [25]. Un marco de referencia permite la
especificaci
on de aspectos relevantes y criterios para definir la calidad, as como la aplicacion de esos criterios
en un contexto dado [24]. En la literatura existen varias propuestas de estos marcos de calidad que son la
base para estudios de evaluaci
on de un Sistema de Gestion del Aprendizaje.

3.1.

Caracterizaci
on de la calidad

Segun Kapp [20], la calidad de una plataforma e-Learning esta dada por cinco caractersticas:
1. Mantenimiento. La habilidad de mantener, a
un por largo tiempo, la tecnologa seleccionada. Se debe
revisar que la aplicaci
on separe la presentacion del contenido. Las actividades diarias como crear cursos,
reciclarlos, eliminar usuarios, crear ejercicios, deben ser sencillas. Si extender o actualizar el SGA es
una tarea complicada, no debe considerarse.
2. Compatibilidad. Buscar soluciones que sean compatibles con otras existentes que permitan intercambiar contenidos. Debe soportar estandares de intercambio como SCORM o IMS-CP. La interoperabilidad es la habilidad de tomar un curso y usarlo en otro SGA.
3. Usabilidad. La plataforma debe ser facil de usar. Si la tecnologa uilizada por la plataforma es vista
como mala o complicada ser
a abandonada. Se espera que el SGA sea intuitivo: debe ser facil encontrar
elementos, ser simple y directo. La interfaz de la plataforma debe estar dise
nada de manera que no sea
necesaria una larga fase de capacitacion.
4. Modularidad. El SGA puede ser desarrollado como una coleccion intercambiable de objetos de conocimiento o de funcionalidad. Cada uno de estos modulos es una peque
na pieza de contenido. Los
componentes u objetos de aprendizaje podran ser reutilizados si cumplen con los requerimientos de los
usuarios.
5. Accesibilidad. La accesibilidad se presenta desde dos aspectos: el SGA es accesible para todos los
individuos a pesar de sus deficiencias fsicas, es decir, si esta conforme con estandares de accesibilidad.
Las tecnologas empleadas por la plataforma estan disponibles a todos los usuarios (componentes,
extensiones, caractersticas del contenido).
Cada una de estas caractersticas es crtica para el exito. Muchas de ellas se traslapan pero si son evaluadas
de forma individual aseguran un completo entendimiento de las necesidades tecnologicas de una plataforma
e-Learning. Sin embargo Kapp no establece criterios de medicion, dejando a los usuarios su definicion.

V.H. Menendez-Domnguez, M.E. Castellanos-Bola

nos
Implementaci
on
Respuesta del vendedor
Antecedentes del vendedor
Madurez del software
Madurez de la tecnologa
Modificaciones
Consideraciones para desarrollos terceros
Asistencia de implementaci
on por el vendedor
Calidad
Documentaci
on
Capacitaci
on

13
Soporte
Respuesta del vendedor
Estabilidad financiera
Grupos de usuarios
Metodologa de desarrollo
Modificaciones
Garanta
Funciones de soporte
Calidad

Costo
Iniciales
Recurrentes

Cuadro 1: tres criterios con sus caractersticas de evaluacion [3].

3.2.

Marco para la evaluaci

on de un Sistema de Gesti
on del Aprendizaje

Para Beshears [3], un SGA puede ser evaluado sobre la base de cinco criterios:
1. Requerimientos conocidos. Habilidad de la plataforma para satisfacer los requerimientos academicos
y administrativos actuales de la organizacion, as como los requerimientos futuros que hoy en da se
conocen.
2. Requerimientos futuros desconocidos. Habilidad de modificar el SGA para cubrir los nuevos
requerimientos cuando se conozcan.
3. Implementaci
on. Habilidad de implementar la plataforma facilmente.
4. Soporte. Habilidad del vendedor para ofrecer soporte tanto a la plataforma como a la organizaci
on
en un futuro.
5. Costo. Costo total de la compra e implementacion del SGA, junto con los costos de mantenimiento y
soporte.
Los evaluadores deben distribuir cien puntos entre los cinco criterios, donde el mas importante recibe el
valor m
aximo. Cada uno de esos valores sera el lmite que alcanzara el SGA en ese criterio. Para cada uno de
los criterios puede haber una lista de caractersticas que seran utilizadas para evaluar a la plataforma. Las
caractersticas de una misma categora toman valores numericos tales que su suma es igual al valor otorgado
a esa categora.
Cada caracterstica es evaluada de forma independiente usando una escala del 0 al 5, donde 5 corresponde
al 100 % del valor otorgado a la caracterstica que se considera necesaria. La suma de todos estos valores
determina la calidad de la herramienta.
El cuadro 1 presenta las caractersticas para tres criterios (implementacion, soporte y costo). Para cada
caracterstica existe una definici
on que sera utilizada para evaluar al SGA. Cuando no se definan, como en
el caso de los requerimientos, es la organizacion quien debe establecerla con base en sus objetivos o planes.

3.3.

Marco para el an
alisis de la potencialidad y validez

El objetivo del marco planteado por Georgiakakis et al. [14] es establecer la utilidad y la calidad de uso
de un Sistema de Gesti
on del Aprendizaje. Para ello establece un proceso de dos pasos:
1. Explorar el SGA y determinar su naturaleza con base a sus caractersticas.
2. Examinar la usabilidad y la utilidad, que son factores crticos de aceptacion.

14

La Calidad en los Sistemas de Gestion del Aprendizaje

Figura 1: criterios del modelo de evaluacion de potencialidad y validez [14].

El modelo propuesto consta de una serie de criterios, tanto pedagogicos como tecnicos (figura 1), siendo
su caracterstica principal el concepto de aceptacion, el cual se divide en practico y educativo.
En su primera parte emplea listas de cotejo para indicar el soporte a cierta caracterstica y ademas emplea
una matriz de decisi
on para identificar las caractersticas que soporta el SGA con el proposito de clasificarlo.
Esto permite homologar las diferentes plataformas y hacer comparaciones mas efectivas.
La segunda parte establece que tan bien son soportadas las caractersticas definidas previamente. Lo hace
por medio de una serie de criterios:
F
acil de aprender y comprender.
Eficiente en la realizaci
on de tareas.
Eficiente en la navegaci
on.
Retorno a lugares seguros.
Agradable.
Cada tipo de usuario potencial de la plataforma realiza algunas actividades que luego eval
ua con base a
los criterios, estableciendo valores del 1 al 5, donde el valor mas bajo representa un pobre desempe
no.

3.4.

Marco TICS y metodologa eLSE

Lanzilotti et al. [22] proponen un nuevo marco llamado TICS (Tecnology, Interaction, Content, Services)
enfocado en los aspectos m
as importantes que deben ser considerados cuando se dise
na o eval
ua un Sistema
de Gesti
on del Aprendizaje. La propuesta enfatiza la interaccion usuario-plataforma. Plantean que la calidad
de un SGA est
a definida por:

V.H. Menendez-Domnguez, M.E. Castellanos-Bola

nos
Elemento
C
odigo de clasificaci
on y ttulo
Foco de acci
on
Intento
Descripci
on de la actividad
Salida

15

Descripci
on
Identifican de forma u
nica a la TA
Describe el contexto, listando los componentes a ser evaluados
Describe el problema que eval
ua la TA indicando el objetivo
Describe en detalle las actividades a realizar durante la TA
Describe la salida esperada

Cuadro 2: plantilla para definir una tarea abstracta (TA) [7].

1. Tecnologa. Se especializa en la dimension hipermedia, es decir, en aquellos problemas que pueden
hacer complejo el uso del sistema como la sobrecarga de informacion, la desorientacion dentro del
espacio hipermedia, etc., as como sus caractersticas tecnologicas.
2. Interacci
on. Implica aspectos relacionados con la presentacion del material educativo y de las herramientas proporcionadas, as como la actividad realizada por el usuario cuando trabaja con el SGA. En
particular la prevenci
on de errores.
3. Contenido. Est
a enfocado al aspecto educativo, se refiere al proceso que ocurre cuando se realiza la
interacci
on. Considera los aspectos didacticos y pedagogicos.
4. Servicios. Se enfoca en las herramientas que facilitan y ayudan al usuario durante su trabajo dentro
del SGA: herramientas de comunicacion, autoevaluacion, ayuda, b
usqueda, etc.
De estos aspectos se ha generado una coleccion de guas y una metodologa de evaluacion denominada
eLSE que combina tecnicas de inspecci
on especficas con la evaluacion de usuarios. El proceso inicia con una
inspecci
on de la plataforma por expertos para identificar posibles problemas. Luego se analiza la aplicaci
on
con respecto a las dimensiones TICS y posteriormente se aplica una tecnica de inspeccion basada en el uso de
tareas abstractas (TA). Estas inspecciones, llamadas inspecciones TA, describen las actividades que deben
ser realizadas [7].
Las TAs pueden ser vistas como patrones de evaluacion y estan formuladas seg
un una plantilla (cuadro
2). Las TAs est
an definidas por la experiencia de los evaluadores y las observaciones de expertos y cubren
todas las dimensiones del modelo TICS. Se clasifican en dos categoras principales que se relacionan con las
dimensiones de TICS:
1. Aprendizaje del contenido: Actividad del usuario, proceso educativo.
2. Calidad de uso: Tecnologa hipermedia, presentacion, servicios.
El resultado es un reporte que describe los problemas detectados y revisados conforme a las evaluaciones
utilizando la terminologa definida en las TAs, lo que evita errores en la interpretacion.

3.5.

Calidad basada en las herramientas

EduTools es un sitio Web que proporciona revisiones, comparativos y servicios de consultora para la
toma de decisiones relacionadas con el e-Learning [11]. Para EduTools, la calidad de un Sistema de Gesti
on
del Aprendizaje est
a basada en la presencia o ausencia de una serie de herramientas o procesos agrupados en
ocho categoras (cuadro 3) [10]. Para cada uno de estos elementos se ha definido un conjunto de caractersticas
b
asicas que deben tener para apoyar al proceso de e-Learning.
Para clasificar un SGA en EduTools, el desarrollador completa un formulario donde indica las herramientas que proporciona la plataforma y para cada una de ellas, las caractersticas o funcionalidades que
ofrecen. La relaci
on de herramientas y caractersticas son lo suficientemente genericas para ser utilizadas en
el proceso de categorizar cualquier SGA existente.

16

La Calidad en los Sistemas de Gestion del Aprendizaje

Categora

Herramientas de comunicaci
on

Herramientas de productividad

Herramientas para el desarrollo del alumno

Herramientas administrativas

Herramientas de publicaci
on de cursos

Dise
no curricular

Hardware/Software

Precio/Licenciamiento

Herramientas
Foros de discusion
Intercambio de archivos
Correo interno
Apuntes/Bitacoras
Chat en tiempo real
Servicio de videoconferencia
Pantalla electronica
Marcadores/Enlaces
Orientacion/Ayuda
B
usqueda interna
Calendario/Planificador
Trabajo en lnea/Fuera de lnea
Trabajo en grupo
Autoevaluaciones
Comunidades estudiantiles
Portafolio
Autentificacion
Autorizacion en cursos
Registro/Integracion
Servicio de alojamiento externo
Administracion de cursos
Ayuda en lnea para instructores
Herramientas de control de calificaciones
Monitoreo de estudiantes
Evaluacion y calificacion automatica
Accesibilidad
Plantillas de cursos
Administracion del currculo
Personalizacion del curso
Estandares de intercambio
Herramientas de dise
no instruccional
Reutilizacion/Comparticion de recursos
Requiere un navegador web
Requerimientos BD
Software del servidor
Requerimientos de hardware
Compa
na
Costo
Codigo abierto
Elementos adicionales
Version

Cuadro 3: relaci
on de categoras y herramientas definidas por EduTools [10].

V.H. Menendez-Domnguez, M.E. Castellanos-Bola

nos

17

Posteriormente, un grupo de expertos de EduTools eval

ua la veracidad de la informacion enviada [11].
Al clasificar a los Sistemas de Gesti
on del Aprendizaje es posible construir cuadros comparativos mediante
un filtrado basado en las necesidades de los usuarios.

3.6.

Sistemas de Gesti
on de Contenidos de c
odigo abierto

Uno de los objetivos de este estudio es identificar criterios u

tiles para la evaluacion de una plataforma
e-Learning [12]. Se estableci
o un criterio de evaluacion utilizando la experiencia directa y consultando otros
estudios para definir una lista detallada de caractersticas. Para evaluar cada caracterstica se emple
o una
escala del 0 al 5 donde 0 equivale a no existe o pobre, 3 es un promedio basico estandar y 5 significa
excede las expectativas del est
andar.
Los criterios generales son trece y se listan a continuacion. Para cada uno de ellos se define un grupo de
preguntas para evaluarlos.
1. Costo de uso.
2. Mantenibilidad.
3. Usabilidad y soporte.
4. Perfil del vendedor y de la herramienta.
5. Modularidad.
6. Acorde a est
andares.
7. Capacidad de integraci
on.
8. Integraci
on de Objetos de Aprendizaje.
9. Efectividad y eficacia.
10. Escalabilidad.
11. Seguridad.
12. Consideraciones de hardware y software.
13. Soporte multilenguaje.
Adicional a estos criterios, se gener
o una lista de caractersticas y herramientas que un Sistema de Gesti
on
del Aprendizaje debe tener. Estos elementos se agrupan en nueve categoras:
1. Administraci
on.
2. Seguridad.
3. Acceso.
4. Integraci
on con otros sistemas.
5. Dise
no de cursos, desarrollo e integracion.
6. Monitoreo de cursos.
7. Dise
no de actividades.
8. Colaboraci
on en lnea y comunicaciones.
9. Herramientas de productividad.

18

La Calidad en los Sistemas de Gestion del Aprendizaje

Figura 2: herramienta de evaluacion de SGA, LMS Open Source [6].

Para facilitar a
un m
as el proceso de evaluacion de una plataforma, 3Waynwet desarrollo una herramienta
que est
a implementada como una hoja de calculo (figura 2). La herramienta automatiza el proceso mediante
una serie de formularios que el evaluador debe llenar con alg
un valor de la escala (0-5) para generar una lista
de resultados [6].

3.7.

Modelo de calidad ISO/IEC 2500

Este modelo es el resultado de la integracion de las normas ISO/IEC 9126 e ISO 14598 [18]. Pretende
desarrollar productos de software conforme a su especificacion y evaluacion de la calidad. Ofrece una gua
para la utilizaci
on de una colecci
on de estandares internaciones denominados Requisitos y Evaluaci
on de
Calidad de Productos de Software (SQuaRE por sus siglas en ingles).
Define tres vistas para evaluar la calidad de un producto de software: la vista interna, relacionada con las
propiedades del software asociadas a las primeras fases del desarrollo (tama
no, complejidad, etc.); la vista
externa se enfoca a la validaci
on del producto en terminos de su efectividad y rapidez, uso de memoria,
etc., la vista de uso se refiere a la percepcion del usuario con respecto a la efectividad del producto para la
ejecuci
on de tareas [19].
Para cada vista se define una colecci
on de metricas que pueden ser utilizadas como base, sobre la cual
establecer un modelo propio de calidad que debe ser cubierto por un SGA especfico. Es de esperarse que
las dos primeras vistas se correspondan a metricas asociadas al proceso de desarrollo de un producto de
software y pueden no ser relevantes para la eleccion de un SGA. Sin embargo, la vista de uso resulta u
til
para establecer la calidad de un SGA desde el punto de vista del usuario.
Este modelo de calidad puede ser utilizado como un indicador de la calidad de un SGA para los educadores y administradores. Esta informaci
on puede resulta u
til de considerar al momento de la adquisici
on del
SGA ya que proporciona una base para la comparacion [27]. El modelo define caractersticas del producto
(funcionalidad, disponibilidad, eficiencia, mantenimiento y portabilidad), las cuales son a su vez divididas
en subcaractersticas. El modelo proporciona una vista detallada que permite detectar las fortalezas y debilidades de un sistema. Est
a enfocado a la toma de decisiones de compra proporcionando metricas para la

V.H. Menendez-Domnguez, M.E. Castellanos-Bola

nos

19

comparaci
on.

3.8.

Est
andar ISO/IEC 19796-1

El est
andar ISO/IEC 19796-1 es el primer estandar de calidad para el aprendizaje, la educacion y la
capacitaci
on. Es un marco de referencia que describe, compara, analiza e implementa la administraci
on y
aseguramiento de la calidad en los proceso asociados al aprendizaje y que por ende pueden ser aplicados al
e-Learning. Permite comparar las distintas tendencias actuales y unificarlas en un modelo com
un de calidad.
Se basa en el Marco de Referencia para la Descripcion de Calidad (RFDQ, Reference Framework for the
Description of Quality Approaches) [17]. Consta de dos partes:
1. Un modelo de procesos como clasificacion de referencia.
2. Un esquema de descripci
on para el control de la calidad.
El modelo de procesos considera todo el ciclo de vida del e-Learning y puede ser utilizado para describir
cualquier escenario educativo. Lo anterior es, debido a que tiene las siguientes caractersticas [25]:
1. Integraci
on. Cualquier persona del area puede utilizar el modelo, permitiendo ser un marco com
un
de referencia entre las partes involucradas en los procesos educativos.
2. Completitud. Todos los procesos educativos son cubiertos por el modelo de referencia. El modelo
puede ser adaptado a cualquier escenario educativo seleccionando un subconjunto de sus procesos.
3. Apertura. No hay requerimientos en terminos de los procesos o metodos utilizados dentro de los
procesos del modelo, solo se requiere una especificacion de las relaciones y dependencias, los actores,
las metricas y medidas empleadas para satisfacer los requerimientos en un contexto determinado.
4. Adaptabilidad. Los subprocesos, objetivos y resultados de todos los procesos del modelo son adaptables y extensibles de forma individual, permitiendo adaptar el modelo a un contexto educativo y
organizacional.
5. Unicidad. Este modelo est
a enfocado en la calidad del e-Learning.
El modelo est
a dividido en siete categoras de procesos que contienen treinta y ocho subprocesos, todos
enfocados al proceso educativo, tal como se describen en el cuadro 4.
El modelo de procesos describe el ciclo de vida del proceso educativo, pero no contiene ninguna descripci
on
de las estructuras o procedimientos sobre como realizar dichos procesos. Esta informacion es proporcionada
por un modelo de descripci
on de procesos, el cual forma parte del estandar. Este modelo de descripci
on
define un formato para describir todos los procesos involucrados en el e-Learning (cuadro 5).
Para cada proceso del ciclo de vida se debe especificar un grupo de metodos y metricas que ser
an
utilizados para establecer la calidad en los procesos, los productos, los componentes y los servicios. El
est
andar proporciona metodos y metricas de referencia que son descritos de forma generica y pueden ser
utilizados en contextos genericos para los procesos del ciclo de vida [13].

4.

Crtica/valoraci
on

Esta secci
on analiza las distintas opciones que han surgido para tratar de determinar el nivel de calidad
de un SGA, para todas ellas se realiza una valoracion. Todas ellas contemplan aspectos similares o dismiles
para evaluar una plataforma.
Las caractersticas presentadas por Kapp [20] a pesar de ser lo suficientemente genericas para ser aplicadas
a cualquier SGA tienen como principal inconveniente esa misma generalidad. No establece de forma clara

20

La Calidad en los Sistemas de Gestion del Aprendizaje

ID

Categora

NA

An
alisis de necesidades

FA

An
alisis de marco de trabajo

CD

Concepci
on/Dise
no

DP

Desarrollo/Producci
on

IM

Implementaci
on

LP

Proceso de aprendizaje

EO

Evaluaci
on/Optimizaci
on

Subprocesos
NA.1 Inicializacion
NA.2 Identificacion de prioridades
NA.3 Definicion de objetivos
NA.4 Analisis de demanda
FA.1 Analisis del contexto externo
FA.2 Analisis de los recursos del grupo
FA.3 Analisis de los grupos destino
FA.4 Analisis del contexto institucional y organizacional
FA.5 Planeacion de tiempo y presupuesto
FA.6 Analisis del entorno
CD.1 Objetivos del aprendizaje
CD.2 Contenidos
CD.3 Conceptos/Metodos didacticos
CD.4 Roles y actividades
CD.5 Organizacion
CD.6 Elementos tecnicos
CD.7 Dise
no de interaccion y medios
CD.8 Medios
CD.9 Comunicacion
CD.10 Evaluacion y pruebas
CD.11 Mantenimiento
DP.1 Realizacion del contenido
DP.2 Realizacion del dise
no
DP.3 Realizacion de los medios
DP.4 Realizacion tecnica
DP.5 Mantenimiento
IM.1 Evaluacion de los recursos de aprendizaje
IM.2 Adaptacion de los recursos de aprendizaje
IM.3 Activacion de los recursos de aprendizaje
IM.4 Organizacion de uso
IM.5 Infraestructura tecnica
LP.1 Administracion
LP.2 Actividades
LP.3 Revision de niveles de competencia
EO.1 Planeacion
EO.2 Realizacion
EO.3 Analisis
EO.4 Optimizacion/Mejora

Cuadro 4: procesos y subprocesos del estandar ISO/IEC 19796-1 [13].

V.H. Menendez-Domnguez, M.E. Castellanos-Bola

nos

Atributo
ID
Category
Process Name
Description

Descripci
on
Identificador u
nico
Proceso principal
Nombre del proceso
Descripcion del proceso

Relations

Relacion con otros procesos

Sub-processes/Sub-aspects

Subprocesos/Subaspectos

Objective

Objetivo del proceso

Method

Metolodoga para este proceso

Result

Resultados esperados para un

proceso
Responsable/Actores participantes
Evaluacion y metricas para este
proceso
Est
andar usado

Actors
Metrics/Criteria
Standards
Annotation/Example

21

Ejemplo
ID1234
Course Development
Method selection
Within this process the didactic
concept and methods are evaluated and selected
Before the method selection a
target group analysis must be
performed; [Process 1.6]
Method identification, Method
alternatives, Method priorization
Adequate selection of one or more didactic concepts according to
learner preferences and learning
styles
Method selection shall be based
on the target group taking into
account their competencies and
learning styles. Methods are selected based on the teachers experience.
Method specification, Documents
Team Didactical Design, Project
leader
Criteria catalogue 3.2.2-3.2.6
DIN EN ISO 9241, LOM, See
Method Guidelines Handbook

M
as informacion, ejemplos de
utilizacion

Cuadro 5: plantilla para describir un proceso de ISO/IEC 19796-1 [13].

22

La Calidad en los Sistemas de Gestion del Aprendizaje

una metodologa de medici

on, ni mucho menos un rango de valores que puedan ser utilizados para evaluarlas.
Por lo que el establecimiento de la calidad de una plataforma y la posible comparacion con otra es difcil de
realizar por diferentes evaluadores si no existe una coordinacion previa.
El marco presentado por Beshears [3] esta enfocado al proceso de implementacion de un SGA, m
as
que a sus caractersticas. Por lo que su uso requiere que la institucion tenga conocimiento, ademas de sus
requerimientos en terminos de e-Learning, de todo este proceso de implementacion. Para los usuarios novatos
el marco resulta complejo. Adem
as, al no establecer criterios de evaluacion especficos para las categoras, las
mediciones pueden ser muy subjetivas. Por ejemplo, la caracterstica Metodologa de desarrollo es definida
como el grado de importancia de la metodologa utilizada para desarrollo de la plataforma y puede tomar
los valores de 0 (no importa), 5 (medianamente importante), 10 (debe permitir modificaciones facilmente).
El modelo planteado por Georgiakakis [14] conjuga un aspecto importante desde el punto de vista del
usuario: la usabilidad. Plantea adem
as un esquema de clasificacion objetivo que permite agrupar distintos
SGAs y poder as establecer niveles que pueden ser empleados para la evaluacion. Ademas que es sencillo de
utilizar. Sin embargo, las pruebas realizadas fueron hechas por expertos y en ambientes controlados. Falta
realizar m
as estudios, principalmente de campo, que confirmen la calidad del propio modelo.
La metodologa eLSE [22] es interesante por cubrir varios aspectos, enfocandose principalmente en la
parte tecnol
ogica. Combina elementos de usabilidad, especficamente la interaccion usuario-sistema y define
una serie de guas claras y especficas que facilitan su uso. Su principal ventaja es que utiliza inspecciones
basadas en patrones para la realizaci
on de las evaluaciones, lo que garantiza una evaluacion mas objetiva.
Al utilizar un lenguaje est
andar para describir los resultados hace mas facil la difusion. Una desventaja es
que el n
umero de ATs generados pueden no cubrir todas las caractersticas de un SGA.
Por otra parte, EduTools [10] tiene como punto a favor ofrecer un marco lo suficientemente generico para
poder abarcar todas las plataformas e-Learning existentes, y tener un listado de funcionalidades deseables
para las distintas herramientas, lo que hace que el proceso de establecimiento o medicion de la calidad
sea sencillo (seguir una lista de cotejo). Ademas, para cada una de las caractersticas o herramientas tiene
definiciones simples y tecnicas que hacen sencillo el proceso de medicion. Por ejemplo, el proceso Gesti
on de
autoevaluaci
on es definido como Incluye el control de cuando y donde las evaluaciones pueden ser realizas
y bajo que condiciones y algunas de las caractersticas que establece son: Los profesores pueden crear
autoevaluaciones, Los profesores pueden restringir el acceso, Los profesores pueden ver los resultados
de los alumnos, El alumno puede ver las respuestas correctas, etc. El marco puede ser extendido para
evaluar nuevas herramientas o caractersticas. El listado fue obtenido de la experiencia de los investigadores
que conforman el grupo. Su principal desventaja es que el nivel de calidad esta basado en la ausencia o
presencia de elementos, lo que implica hacer una larga revision para determinar la calidad de un sistema.
El estudio de Commonwealth [12] est
a enfocado a las herramientas de codigo abierto, pero puede adaptarse
para su utilizaci
on en la medici
on de plataformas comerciales. Como punto a favor, el estudio establece una
metodologa de medici
on para un SGA, permitiendo as obtener una medida de calidad. Esta medida es
cuantitativa. Su desventaja es que la medicion es subjetiva y su valor esta basado en una percepcion global
del evaluador de las respuestas a preguntas genericas que a veces no son lo suficientemente explcitas. Por
ejemplo, la escalabilidad es valorada seg
un dos preguntas: El SGA es adecuado tanto para instituciones
peque
nas y grandes?, Que tanto permite el SGA incrementar el contenido, la funcionalidad y el n
umero
de usuarios?, el evaluador debe contestar las preguntas (S o No) y sobre la base de todas sus respuestas
dar un valor general de 0 a 5.
El Modelo de Calidad ISO/IEC 25000 y el 9126 son genericos y no definen elementos orientados a
actividades de ense
nanza ni de aprendizaje. Es limitado en especificar algunas caractersticas del software,
como por ejemplo, la usabilidad. Se sugiere que esta caracterstica sea extendida para incluir elementos tales
como la consistencia, la simplicidad y la legibilidad. Sin embargo, al definir una coleccion de caractersticas y
la forma de medirlas (metricas) permiten establecer una coleccion de criterios objetivos que pueden resultar
u
tiles para la comparaci
on de distintos SGA, limitando el impacto de las valoraciones subjetivas.
El est
andar ISO/IEC 1976-1 [12, 13] tiene como principal desventaja estar enfocado en el proceso de
implementaci
on de un esquema de aprendizaje (que puede ser realizado mediante e-Learning), mas que en la
implementaci
on de un SGA. El Sistema de Gestion del Aprendizaje no aparece como parte del estandar, sino

V.H. Menendez-Domnguez, M.E. Castellanos-Bola

nos

23

como parte del proceso llamado Implantaci

on, especficamente en el subproceso Infraestructura tecnica. Por
lo que no establece criterios de calidad para un SGA. Sin embargo, el estandar proporciona un documento
enfocado a la definici
on generica de metricas y mediciones de calidad, las cuales pueden ser utilizadas como
base para el desarrollo de medidas de calidad de una plataforma. Este documento a
un esta en proceso de
revisi
on. Es importante indicar que el modelo de referencia de procesos no incluye reglas en terminos de
las secuencias de procesos o interdependencias entre ellos, ni tampoco alguna especificacion en su implementaci
on. Solo sirve como un marco que siempre necesita ser adaptado a la organizacion y el contexto
educativo.

5.

Conclusiones

Los Sistemas de Gesti

on del Aprendizaje proporcionan la funcionalidad al e-Learning, ya que es el espacio
en donde los estudiantes pueden acceder, planear y gestionar el aprendizaje por s mismos as como interactuar
con otros alumnos, profesores, etc.
El objetivo fundamental de una plataforma e-Learning es servir de un repositorio de cursos, pero tambien
incorporan otro conjunto de herramientas que pueden agruparse de la siguiente forma:
Herramientas de distribuci
on de contenidos.
Herramientas de comunicaci
on y colaboracion.
Herramientas de seguimiento y evaluacion.
Herramientas de administraci
on y asignacion de permisos.
Con esto el SGA permite que:
Los profesores coloquen a disposici
on de los alumnos los objetivos del curso, su contenido y su reglamentaci
on.
Los tutores y coordinadores supervisen el desarrollo del curso y el avance de cada alumno.
Los alumnos accedan a los contenidos, realicen la ejercitacion prevista, se comuniquen entre s y con
el tutor para resolver dudas y realizar trabajos en grupo.
Los administradores obtengan informacion inmediata del progreso del curso y de las acciones administrativas relacionadas, tales como la inscripcion de alumnos, el historial de cursos, etc.
A
un cuando la evaluaci
on de los SGAs es fundamental para el establecimiento de niveles de calidad, las
guas y metodologas actuales resultan inapropiadas y poco efectivas. Las medidas actuales de la calidad de
una plataforma est
an enfocadas principalmente en una interpretacion subjetiva y los criterios de evaluaci
on
est
an descritos de forma muy vaga. Muchos investigadores han propuesto considerar los aspectos tecnol
ogicos
junto a los pedag
ogicos en las evaluaciones de los SGAs.
El simple listado de todas las funcionalidades de una plataforma es una buena metrica para definir su
potencial, pero no puede ser el u
nico elemento empleado para el analisis y evaluacion de los Sistemas de
Gesti
on del Aprendizaje. Lo importante de cualquier estudio es clasificar al SGA en categoras conforme a
objetivos especficos y claros. Esto permite identificar que puede realizar, que necesidades puede cubrir, etc.
El exito de un sistema e-Learning depende en gran medida de la parte tecnologica. La eleccion de una
plataforma e-Learning solo puede ser hecha luego de un proceso de evaluacion de la calidad.
Diferentes perspectivas y soluciones intentan dar respuesta al tema de la evaluacion de la calidad de
las plataformas. Sin embargo, hasta el momento ninguna propuesta por s sola ha logrado cubrir todas las
necesidades que abarcan numerosas variables y factores. Desde diferentes organismos, instituciones y grupos

24

La Calidad en los Sistemas de Gestion del Aprendizaje

de investigaci
on implicados, se reclama la necesidad de crear estandares de calidad, certificar la calidad o
evaluar la calidad de los SGA en sus diferentes contextos y niveles.
El desarrollo de la calidad depende de un contexto de uso. El involucrar a los evaluadores, usuarios y
organizaciones puede ser visto como un primer intento del desarrollo de la calidad. Es de esperarse que
en un futuro se desarrollen guas y metodologas efectivas orientadas al desarrollo de la calidad, lo que
permitir
a obtener un Sistema de Gesti
on del Aprendizaje con un mayor impacto en el e-Learning.
Los est
andares de calidad ofrecen un soporte valioso para la adopcion y la implementacion de la calidad,
especialmente el ISO/IEC 19796-1. Este u
ltimo ofrece una serie de guas relacionadas con el aprendizaje, la
educaci
on y la capacitaci
on. Sin embargo, su implementacion esta aun en proceso y se requieren estudios e
investigaciones para evaluar a largo plazo los beneficios de este estandar en la practica, especialmente en el
area de implantaci

on tecnol
ogica, donde el papel del SGA es fundamental.
Existen intentos por definir patrones de dise
no para la evaluacion del SGA, lo que permitira disminuir
el tiempo para la preparaci
on de las evaluaciones, ademas de ofrecer directivas explcitas para evaluar la
funcionalidad de operaciones especficas. Se esta considerando el desarrollo de un repositorio de estos patrones
con el fin de que sean utilizados, extendidos y a largo plazo, aceptados.
Es importante resaltar que un componente muy importante en la evaluacion de la calidad es la madurez
de la organizaci
on que utilizar
a el Sistema de Gestion del Aprendizaje. Si una institucion tiene bien definidos
sus objetivos y planes a largo plazo en materia de e-Learning, podra establecer las caractersticas b
asicas
de un SGA, haciendo m
as sencilla su eleccion. No necesariamente el producto mejor valorado tecnicamente
resulta el m
as adecuado para todas las organizaciones.

Agradecimientos
Este trabajo ha sido desarrollado gracias al apoyo del Consejo Nacional de Ciencia y Tecnologa (CONACYT), el Consejo de Ciencia y Tecnologa del Estado de Yucatan (CONCYTEY) y el Programa de
Mejoramiento del Profesorado (PROMEP).

Referencias
[1] B.B. Chua, L.E. Dyson, Applying the ISO9126 model to the evaluation of an e-Learning system, Beyond the
comfort zone: Proceedings of the 21st ASCILITE Conference, R. Atkinson, C. McBeath, D. Jonas-Dwyer & R.
Phillips (Eds), Perth, 5-8 Diciembre (2004), pp. 184-190.
[2] T. Berners-Lee. Weaving the web: the original design and ultimate destiny of the world wide web, Harper Collins.
New York, NY. (2000).
[3] F. Beshears, Learning management system evaluation framework, University of California, Berkeley, (2001).
Disponible en http://www.immagic.com/eLibrary/ARCHIVES/GENERAL/UCB US/B010327B.pdf
[4] F. Beshears, Web-based learning management systems, University of California, Berkeley, (2000). Disponible en
http://socrates.berkeley.edu/ fmb/articles/web based lms.html
[5] P. Brogan, Using the web for interactive teaching and learning, Macromedia Inc., (1999). Disponible en
http://download.macromedia.com/pub/authorware/whitepapers/whitepaper interactive.zip
[6] Commonwealth of Learning, LMS evaluation tool user guide, Commonwealth of Learning, (2004). Disponible en
http://www.col.org/resources/publications/consultancies/Pages/2004-08-evalTool.aspx
[7] G. Covella, L. Olsina, Assessing quality in use in a consistent way, Proceedings of the 6th International Conference on Web Engineering (Palo Alto, California, USA, Julio 11-14, 2006). ICWE 06, ACM, New York, NY
263 (2006), pp. 1-8.
[8] F. Daz, M. Osorio, P. Amadeo, Evoluci
on de los sistemas de software libre para soportar e-Learning,
III International Conference on Multimedia and ICT in Education Recent Research Developments
in Learning Technologies (Caceres, Espa
na, Junio 7-10 2005), FORMATEX, 1 (2005). Disponible en
http://www.formatex.org/micte2005/37.pdf.

V.H. Menendez-Domnguez, M.E. Castellanos-Bola

nos

25

[9] S. Downes, Feature: e-Learning 2.0, eLearn Magazine, ACM

http://elearnmag.org/subpage.cfm?section=articles&article=29-1

Press,

10

(2005).

Disponible

en

[10] EduTools, ArchiveCMS: feature definitions, (2006). Disponible en

http://www.edutools.info/static.jsp?pj=4&page=HOME
[11] EduTools, CMS: eduTools editorial FAQ, (2006). Disponible en
http://www.edutools.info/static.jsp?pj=4&page=edFAQ
[12] G. Farrel G, COL LMS open source, COL (The Commonwealth of Learning), (2003). Disponible en
http://www.col.org/resources/publications/consultancies/Pages/2003-06-OpenSrc.aspx
[13] S. Forth, E. Childs, White paper on e-Learning specifications and standards, Recombo Inc., ITS Inc. (2003).
[14] P. Georgiakakis, A. Papasalouros, S. Retalis, K. Siassiakos, N. Papaspyrou, Evaluating the Usability of WebBased Learning Management Systems, THEMES in Education, 6, 1 (2005), pp. 45-59.
[15] L. Huey-Ing, Y. Min-Num, QoL guaranteed adaptation and personalization in e-Learning systems, IEEE Transactions on Education, IEEE, 48, 4 (2005), pp. 676-687.
[16] J. Itmazi, M. Gea, Survey: comparison and evaluation studies of learning management systems, MICROLEARNING2005: Learning & Working in New Media Environments, International Conference, Innsbruck, Austria,
Junio 23-24 (2005).
[17] ISO/IEC JTC1 SC36 Information Technology for Learning, Education, and Training, Guide ISO/IEC
19796-1: How to use the new quality standard for learning, education, and training, (2006). Disponible en
http://isotc.iso.org/livelink/livelink/6031339/36N1440 Guide ISO IEC 19796-1. How to Use the New
Quality Standard for Learning Education and Training?func=doc.Fetch&nodeid=6031339
[18] ISO/IEC
25000:2005.
Software
Engineering

Software
product
Quality
Requirements
and
Evaluation
(SQuaRE)

Guide
to
SQuaRE,
(2005).
Disponible
en
http://www.iso.org/iso/iso catalogue/catalogue tc/catalogue detail.htm?csnumber=35683
[19] www.iso25000.com.
La
Norma
http://iso25000.com/index.php/25000.html

ISO/IEC

25000:2005,

(2011).

Disponible

en

[20] K. Kapp, Five technological considerations when choosing an e-Learning solution, eLearn Magazine, ACM, 7
(2003). Disponible en http://www.elearnmag.org/subpage.cfm?section=best practices&article=16-1
[21] B. Khan. Web-based Instruction (WBI): What is it and why is it?. Web-based Instruction, Educational Technology Publications. (1997).
[22] R. Lanzilotti, C. Ardito, M. Costabile, A. De Angeli, eLSE methodology: a systematic approach to the e-Learning
systems evaluation, Educational Technology & Society, 9, 4 (2006), pp. 42-53.
[23] L. Mendoza, Modelo de evaluaci
on para la adquisici
on de sistemas
trucci
on, Congreso Internacional EDUCTEC2003, Caracas, Venezuela,
http://www.ucv.ve/edutec/Ponencias/10.doc

administradores de ins(2003). Disponible en

[24] M. Rubio, Enfoques y Modelos de Evaluaci

on del e-Learning, RELIEVE, 9, 2 (2003), pp. 101-120.
[25] C. Stracke, B. Hildebrandt, Quality development and quality standards in e-Learning: adoption, implementation,
and adaptation, Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunication 2007 (EdMedia 2007), Chesapeake, VA: AACE, (2007), pp. 4158-4165.
[26] H. Uzunboylu, F. Ozdamli, Z. Ozcin, An evaluation of open source learning management systems according to
learners tools, Current Developments in Technology-Assisted Education, FORMATEX, 1 (2006).
[27] Visiolink
Ltd.
Qualitative
evaluation
systems
of
http://www.wbtworld.net/files/resources/articles/visiolink.pdf

e-Learning,

(2005).

Disponible

en