EVALUACIN DE LA CALIDAD DE LA TECNOLOGA EDUCATIVA

OLIVERIO BARRERA SANCHEZ

TUTOR
JORGE ENRIQUE REYES FERR

UNIVERSIDAD DE SANTANDER UDES

MAESTRIA GESTIN DE LA TECNOLOGA EDUCATIVA
2015

EVALUACIN DE UN SISTEMA DE GESTIN DEL APRENDIZAJE

(LMS)
Un LMS (Learning Management System) es un sistema de gestin de aprendizaje
online, que permite administrar, distribuir, monitorear, evaluar y apoyar las diferentes
actividades previamente diseadas y programadas dentro de un proceso de formacin
completamente virtual (eLearning), o de formacin semi-presencial (Blended Learning).
(Caellas, 2010)
Su conceptualizacin est orientada a que stos sean fcilmente accesibles,
amigables, intuitivos y flexibles, permitiendo ser utilizados tanto por los administradores,
coordinadores y formadores, como por los estudiantes de un determinado curso, en cualquier
momento y lugar, mientras se disponga de conexin a Internet. Por otro lado, tambin
potencian de forma destacable la interaccin online entre todos los agentes implicados dentro
de un proceso de aprendizaje con componente online.
Los sistemas LMS tienen amplios propsitos educativos, la eleccin de una
plataforma se vuelve compleja ya que en el mercado hay opciones comerciales y de libre
distribucin, constantemente aparecen nuevos sistemas de gestin del aprendizaje y las
actualizaciones de las versiones suelen tener mejoras importantes, por lo tanto, todo esto
genera problemas para la toma de decisiones en cuanto a la evaluacin de calidad se refiere.
Esto lleva a que se determine las caractersticas y objetivos que se requieren para satisfacer
las necesidades de los estudiantes, profesores y administradores.

CARACTERIZACIN DE LA CALIDAD
Segn (Menndez & Castellanos, 2011), Kapp plantea que la calidad de una
plataforma e-Learning est dada por cinco caractersticas: Mantenimiento, Compatibilidad,
Usabilidad, Modularidad y Accesibilidad. Al ser evaluadas de forma individual aseguran el
entendimiento de las necesidades tecnolgicas. Cada una de estas caractersticas es crtica
para el xito. Muchas de ellas se traslapan pero si son evaluadas de forma individual aseguran
un completo entendimiento de las necesidades tecnolgicas de una plataforma e-Learning.
Sin embargo Kapp no establece criterios de medicin, dejando a los usuarios su definicin.

MARCO PARA EL ANLISIS DE LA POTENCIALIDAD Y VALIDEZ

Georgiakakis establece la utilidad y calidad de uso de un LMS a travs de un proceso
de dos pasos: Explorar y determinar su naturaleza con base a sus caractersticas y Examinar
la usabilidad y la utilidad. El modelo propone una serie de criterios tanto pedaggicos como
tcnicos y a su vez lo divide en prctico y educativo. Emplea listas de cotejo y una matriz de
decisin para identificar las caractersticas y clasificarlo. Despus de definidas las
caractersticas procede a establecer una serie de criterios como: Fcil de aprender y
comprender, Eciente en la realizacin de tareas, Eciente en la navegacin, Retorno a
lugares seguros y Agradable. Los valores con los que se evala son del 1 al 5
MARCO PARA LA EVALUACIN
Segn Beshears la evaluacin se puede hacer por los criterios: Requerimientos
conocidos, Requerimientos futuros desconocidos, Implementacin, Soporte y Costo. Se
distribuyen 100 puntos entre ellos, tambin se puede realizar una lista de caractersticas para
cada uno de ellos del 0 al 5. La suma de todos estos valores determina la calidad de la
herramienta.
CALIDAD BASADA EN LAS HERRAMIENTAS
Se basa en la presencia o ausencia de herramientas clasificados en ocho categoras y
en un conjunto de herramientas, la cual encontramos en un sitio web llamado EduTools.
Mediante un formulario el desarrollador indica las herramientas que proporciona el sistema,
donde ser evaluado por un grupo de expertos.
Las categoras y algunas herramientas son: herramientas de comunicacin como chat,
foro; herramientas de productividad como marcadores, bsqueda interna; herramientas para
el desarrollo del alumno como Autoevaluaciones, portafolio; herramientas administrativas
como Autenticacin, Registro; herramientas de publicacin de cursos como herramientas de
control de calificaciones, monitoreo de estudiantes; Diseo curricular como plantillas de
cursos, administracin del currculo; Hardware/software como requiere un navegador web,
requerimientos BD; Precio/licenciamiento como costo, cdigo abierto.

SISTEMAS DE GESTIN DE CONTENIDOS DE CDIGO ABIERTO

Define trece criterios generales: Costo de uso, Mantenibilidad, Usabilidad y soporte,
Perl del vendedor y de la herramienta, Modularidad, Acorde a estndares, Capacidad de
integracin, Integracin de Objetos de Aprendizaje, Efectividad y ecacia, Escalabilidad,
Seguridad, Consideraciones de hardware y software y Soporte multilenguaje. Adems de eso
una lista de caractersticas y herramientas: Administracin, Seguridad, Acceso, Integracin
con otros sistemas, Diseo de cursos, desarrollo e integracin, Monitoreo de cursos, Diseo
de actividades, Colaboracin en lnea y comunicaciones y Herramientas de productividad.
Cada caracterstica emplea una escala de 0 a 5 donde 0 es no existe o pobre, 3 es
promedio bsico estndar y 5 excede las expectativas del estndar.
ESTNDARES DE EDUCACIN A DISTANCIA
En este contexto existen organizaciones que crean normas, estndares y
especificaciones para la interoperabilidad y calidad del servicio entre LMS, entre ellas:
ADL (Advanced Distributed Learning Initiative)
ADL (Advanced Distributed Learning) es una iniciativa del Departamento de
Defensa (DoD) de los Estados Unidos para implementar y desarrollar herramientas y
tecnologas de aprendizaje. Fue creada con el auspicio de la Oficina del Subsecretario de
Defensa para Personal y Preparacin (Office of the Under Secretary of Defense for Personnel
and Readiness. OUSD P&R) para potenciar el uso de las tecnologas de la informacin para
modernizar el aprendizaje estructurado. (Wikipedia, 2014)
La ADL fue la impulsora del estndar de e-learning internacional SCORM y
actualmente promociona el desarrollo de Tin Can API, y desarrolla principios y guas de
trabajo necesarias para el desarrollo y la implementacin eficiente, efectiva y en gran escala
de formacin educativa sobre nuevas tecnologas Web.
AICC (Aviation Industry CBT Committee)
Creado en 1988, AICC es un grupo internacional de profesionales del entrenamiento y
capacitacin basada en tecnologa. (Gobierno Venezolano). Es una organizacin sin fines de

lucro, rene a los formadores de la aviacin, los desarrolladores de cursos, los proveedores
de software, diseadores y fabricantes para desarrollar normas, recomendaciones de
tecnologa y anlisis de las mejores prcticas, compartiendo los estndares y realizando
un proceso de certificacin, as mismo los miembros contribuyen a desarrollar las
normas de las tecnologas de la informacin de vanguardia.
Sus objetivos son conseguir una formacin ms rentable, eficiente y sostenible. de
entre todas sus recomendaciones, la gua CMI (computer-managed instruction) es la que ha
tenido ms impacto. (Bligoo)
Los objetivos de la AICC son los siguientes:
1. Asistir en la elaboracin de guas de referencia aeronutica que promueven las
ventajas econmicas y la eficacia de los medios de entrenamiento computarizado.
2. Permitir la interoperabilidad entre los diferentes productos y plataformas de uso de la
tcc
3. Proporcionar un foro abierto para la discusin del entrenamiento de tcc (terapia
cognitivo-conductual) y los sistemas de tecnologa de la formacin en general.
Fue el primer organismo creado para crear un conjunto de normas que permitiese el
intercambio de cursos CBT (Computer Based-Training) entre diferentes sistemas. Las
especificaciones del AICC cubren nueve reas principales, que van desde los objetos de
aprendizaje (LO) hasta los LMS. Normalmente, cuando una compaa dice que cumple con
las especificaciones AICC, significa que cumple con al menos una de estas directivas y
recomendaciones (AGRs):
AGR 01: AICC Publications
AGR 02: Courseware Delivery Stations
AGR 03: Digital Audio
AGR 04: Operating/Windowing System
AGR 05: CBT Peripheral Devices
AGR 06: Computer-Managed Instruction
AGR 07: Courseware Interchange

AGR 08: Digital Video

AGR 09: Icon Standards: User Interface
AGR 10: Web-Based Computer-Managed Instruction
AICC se basa en la comunicacin mediante mensajes HTTP para conseguir que se
produzca la correcta interpretacin de los cursos por parte del LMS, llamndose a este
protocolo mediante las siglas HACP, que significan HTTP AICC CMI Protocol. La facilidad
de uso del lenguaje HTML, unido a que es muy fcil de interpretar incluso por aquellos
docentes con nociones informticas bsicas, es un punto a favor de AICC frente a SCORM.
Sin embargo, est claro que a niveles profesionales las posibilidades de JavaScript frente a
HTML son casi ilimitadas. (CEIDC, 2010).
En el caso de AICC el gran problema es que este obliga a que los desarrolladores
empleen el sistema de codificacin ISO 8859, que es el que permite que se vean
correctamente los caracteres propios de la lengua inglesa, pero que es muy problemtico con
los caracteres propios, por ejemplo, del castellano, impidiendo por lo tanto el poder utilizar
los sistemas de codificacin UNICODE, que son los que se emplean a modo general en la
zona europea.
IMS (Global Learning Consorcio)
IMS Global Learning Consortium es un grupo independiente, sin nimo de lucro que
inici su labor en 1997 impulsado por el NLII (National Learning Infrastructure Initiative)
que es una organizacin apoyada por Educase. Aunque inicialmente surgi como una
iniciativa en EEUU, ahora en IMS participan instituciones educativas de todo el mundo
(desde universidades a pequeas empresas de formacin), fabricantes, y vendedores de
aplicaciones software para la educacin. (Ministerio de Educacion y Ciencia)
IMS Global trabaja en pos del avance de tecnologa que pueda aplicarse a gran escala
y mejorar de manera asequible la participacin y los logros educativos. Los miembros de
IMS son proveedores lderes, instituciones y organizaciones gubernamentales que hacen
posible el futuro de la educacin colaborando con iniciativas de interoperabilidad y adopcin.
IMS patrocina Learning Impact, un programa de premios y conferencia globales para
reconocer el impacto de la tecnologa innovadora en el acceso a, la asequibilidad y calidad de
la educacin. (PRNewswire-HISPANIC PR WIRE, 2014)

La misin de IMS es desarrollar y promover especificaciones abiertas para facilitar las

actividades del aprendizaje en lnea. El trabajo de la IEEE fue recogido por esta corporacin
privada fundada por algunas de las empresas ms importantes del sector. Su objetivo fue la
creacin de un formato que pusiese en prctica las recomendaciones de la IEEE y la AICC.
Actualmente es el principal promotor y desarrollador de especificaciones abiertas
orientadas a la enseanza electrnica. Su objetivo es que, a partir de estas especificaciones, se
consiga la interoperabilidad de aplicaciones y servicios en la enseanza electrnica para que
los autores de contenidos y de entornos puedan trabajar conjuntamente.
IMS tiene muchas especificaciones (actualmente tiene 16 especificaciones) ya que
cada una de ellas est enfocada en una necesidad distinta del proceso de enseanza. Hay
especificaciones que se refieren a metadatos de los objetos educativos, al formato de
empaquetamiento y distribucin de los cursos, a la informacin del usuario, a la
secuenciacin de contenidos educativos, o incluso al diseo de la actividad educativa en su
conjunto
IEEE LTSC (Learning Technology Standards Committee)
El comit de estandarizacin de las tecnologas aplicadas al aprendizaje, Learning
Technologies Standarization Committee, (LTSC) perteneciente al Institute of Electrical and
Electronic Engineers (IEEE), cubre prcticamente todos los aspectos del aprendizaje basado
en ordenador. Su misin principal es desarrollar estndares tcnicos, prcticas recomendadas
y guas para componentes software, herramientas, tecnologas y mtodos de diseo que
faciliten el desarrollo, implantacin, mantenimiento e interoperabilidad de implementacin
de sistemas educativos.
LTSC est organizado en subcomits que se encargan de reas de trabajo
determinadas como la definicin de la arquitectura de sistemas de e-learning o la definicin
de metadatos para objetos educativos. En estos momentos el rea de mayor impacto es la
relacionada con los metadatos de los recursos educativos, ya que el estndar Learning Object
Metadata (estndar IEEE 1484.12.1 2002) es el estndar oficial que ms se est utilizando
actualmente en e-learning.

El LTSC se encarga de preparar normas tcnicas, prcticas y guas recomendadas para

el uso informtico de componentes y sistemas de educacin como de su interoperacin. El
estndar IEEE 1484.11.1-4 evala los LMS
ISO / IEC ISO / IEC TR 29163-4:2009
ISO / IEC TR 29163-4:2009 cubre lo esencial de Learning Management System
(LMS) agrupa los diferentes estndares como IMS, AICC y ADL.
PROJECT OKI
Por sus siglas en ingls (Open Knowledge Initiative, Iniciativa de Conocimiento
Abierto) busca encontrar las ventajas y beneficios que ofrece para el desarrollo de LMS.
OKI, de MIT es un proyecto de colaboracin con la Universidad de Stanford, el
Dartmouth College, la Universidad de Harvard, la Universidad Estatal de Carolina del Norte,
la Universidad de Michigan, la Universidad de Pennsylvania, y la Universidad de Wisconsin.
El OKI se describe as mismo en su sitio en Internet como una arquitectura que
desarrolla y promueve las especificaciones que describen cmo los componentes de un
entorno de software se comunican entre s y con otros sistemas empresariales; no es ms que
una arquitectura abierta y extensible para tecnologa utilizada en el aprendizaje,
especialmente la educacin superior.
Las especificaciones de OKI permiten la interoperabilidad sostenible y la integracin
mediante la definicin de normas para la Arquitectura Orientada a Servicios (SOA) y la
llamada definicin de interfaces de servicio abierto (OSIDs). A travs de este trabajo OKI
busca abrir nuevas oportunidades de mercado a travs de una amplia gama de dominios de
aplicacin de software.
PORTAFOLIO
Portafolio crea especificaciones y normas que describe el tipo de informacin que
puede ser almacenada en el portafolio y como debe llevarse a cabo este registr a nivel de
datos. El portafolio del estudiante es un medio de " tareas" dinmicas y progresivas sobre las

principales fortalezas y logros del aprendizaje. Describe los documentos y materiales, los
cuales colectivamente sugieren el alcance y la calidad de las actividades del estudiante.
W3C
El Consorcio World Wide Web (W3C) es una comunidad internacional donde
las organizaciones, personal con tiempo completo y el pblico en general trabajan
conjuntamente para desarrollar estndares Web y accesibilidad. Liderado por el inventor de
la Web Tim Berners-Lee, se describen especificaciones de accesibilidad en la web y que
abarcan los LMS.
LMS normas y estndares
Los Sistema de Gestin de Aprendizaje que emplea las TIC para su funcionamiento,
debe entenderse como un Software que media los procesos inmersos en estos sistema. Como
es un Software debe revisarse desde el punto de vista de evaluativo obedeciendo a los
aspectos tcnicos segn la norma ISO/IEC 9126 sin ser tan riguroso. La norma ISO/IEC 9126
busca poder medir la calidad de un programa informtico.
Entendiendo por calidad la propiedad o conjunto de propiedad es inherentes al
software que permiten determinar su valor. Para ello propone la descomposicin del
atributo calidad en otros ms sencillos y fciles de medir. De esta forma se establecen los
requisitos de la calidad de un programa y se consigue un mayor conocimiento del programa
estudiado
MODELO DE CALIDAD ISO/IEC 2500
Es la integracin de las normas ISO/IEC 9126 e ISO 14598, que pretende el
desarrollo de productos de software conforme a su especificacin y evaluacin de calidad.
Define tres vistas para evaluar dicha calidad, la vista interna, relacionada con las propiedades
del software asociadas a las primeras fases del desarrollo (tamao, complejidad, etc.); la vista
externa se enfoca a la validacin del producto en trminos de su efectividad y rapidez, uso de
memoria, etc., la vista de uso se reere a la percepcin del usuario con respecto a la
efectividad del producto para la ejecucin de tareas. Cada vista define una serie de mtricas y

aunque las dos primeras vistas no son relevantes, la vista de uso resulta til desde el punto de
vista del usuario.
Este modelo permite detectar fortalezas y debilidades de un sistema y se enfoca en la
toma de decisiones para la compra y comparacin
ESTNDAR ISO/IEC 19796-1
Este es el primer estndar de calidad para el aprendizaje, la educacin y la
capacitacin. Se basa en el Marco de Referencia para la Descripcin de Calidad (RFDQ) y
consta de dos partes: un modelo de procesos como clasicacin de referencia y
un esquema de descripcin para el control de la calidad. El modelo de procesos considera
todo el ciclo de vida del e-Learning y tiene las siguientes caractersticas: integracin,
completitud, apertura, adaptabilidad y unicidad. Adems se divide en siete categoras
(anlisis

de

necesidades,

anlisis

de

marco

de

trabajo,

concepcin/diseo,

desarrollo/produccin, implementacin, proceso de aprendizaje y evaluacin/optimizacin) y

treinta y ocho subprocesos, donde se debe especificar los mtodos y mtricas a tener en
cuenta.
El modelo de descripcin de procesos, contiene la descripcin de las estructuras
o procedimientos sobre cmo realizar dichos procesos.
PROS Y CONTRA DE LAS PROPUESTAS Y MODELOS
La propuesta presentada por Kapp tiene como inconveniente su generalidad al no
establecer de forma clara una metodologa ni un rango de valores para la evaluacin.
En cuanto a la de Beshears est enfocado al proceso de implementacin lo que quiere
decir que se vuelve complejo para aquellos que no tienen conocimiento al respecto.
En cambio Georgiakakis plantea un aspecto importante que es la usabilidad, traza un
esquema de clasificacin y unos niveles, que lo hacen sencillo de utilizar, slo que su
evaluacin lo hacen expertos y en ambientes controlados.
En cuanto al marco TICS, se puede ver su enfoque a la parte tecnolgica, donde cobra
importancia la interaccin usuario-sistema. Su principal ventaja son las inspecciones basadas

en patrones, hacindola objetiva, slo que el nmero de ATs generados puede no cubrir
todas las caractersticas.
EduTools ofrece un marco genrico y un listado de funcionalidades deseables para las
herramientas, haciendo su medicin sencilla mediante una lista de cotejo. Pero su desventaja
radica en la presencia o ausencia de elementos que hacen que se realice una larga revisin de
la calidad del sistema.
La herramienta de cdigo abierto establece una metodologa cuantitativa para aplicar
a la evaluacin de calidad de un sistema LMS, solo que esta medicin es subjetiva y su valor
esta dado en la percepcin global.
La integracin de las normas ISO 9126 e ISO 14598 da como resultado una
metodologa genrica que no involucra elementos de enseanza-aprendizaje, esto lo hace
limitado, aunque su ventaja es que se puede definir una coleccin de caractersticas y la
forma en que sern medidas, estableciendo unos criterios objetivos que evitaran las
valoraciones subjetivas.
En cuanto al modelo ISO/IEC 19796-1, se enfoca mucho en el proceso de
implementacin de un esquema de aprendizaje, haciendo que el LMS no sea parte del
estndar sino parte de un subproceso. Su ventaja radica en que proporciona un documento
enfocado a la generacin de mtricas y mediciones de calidad.

REFERENCIAS BIBLIOGRFICAS.
Libro Electrnico Multimedial: Evaluacin de la Calidad de la Tecnologa Educativa.
Captulo IV. Evaluacin de la Calidad del Software Educativo.
Enhancing ISO/lEC 25021 Quality Measure. Elements for wider application within
ISO 25000 series. Dominique, S.-L., & Witold, S. (2000).
Revisin de Modelos para Evaluacin de Software Educativo. Cova, A., Arrieta, X.,
&Duran, J. (2007).
La Calidad en los Sistemas de Gestin del Aprendizaje. Mndez, V., & Domnguez,
C. M.(2011)
Bligoo. (s.f.). http://estandarelearning.bligoo.com. Recuperado el 2 de Noviembre de
2014, de http://estandarelearning.bligoo.com/estandares-e-learning#.VF_QB_mUc4I
Caellas, M. A. (2010). http://www.centrocp.com. Recuperado el 01 de Noviembre de
2014, de http://www.centrocp.com/lms-y-lcms-funcionalidades-y-beneficios/
CEIDC.
Recuperado

(2
el

de

Septiembre
01

de
de

2010).

http://tecnofilos.aprenderapensar.net.

Noviembre

de

2014,

de

http://tecnofilos.aprenderapensar.net/2010/09/02/scorm-frente-a-aicc-%C2%BFque-ventajasy-desventajas-presenta-cada-uno-de-estos-estandares/
Gobierno Venezolano. (s.f.). http://ead.opsu.gob.ve. Recuperado el 01 de Noviembre
de 2014, de http://ead.opsu.gob.ve/OA/R2-UT1-U3%20/paginas/P10.html
Lanzilotti, R., Ardito, C., Costabile, M., & De Ange, A. (2006). eLSE methodology: a
systematic approach to the e-Learning system evaluation. Educational Technology & Society,
9, 4 , 42-53.
Menndez, D. V., & Castellanos, B. M. (2011). La Calidad en los Sistemas de
Gestin del Aprendizaje. Abstraction & Application 4 , 9-25.
Ministerio de Educacion y Ciencia. (s.f.). http://ares.cnice.mec.e. Recuperado el 01 de
Noviembre de 2014, de http://ares.cnice.mec.es/informes/16/contenido/4.htm

PRNewswire-HISPANIC
http://www.prnewswire.com.

PR

WIRE.

Recuperado

el

(28
2

de

de

Octubre

Noviembre

de
de

2014).

2014,

de

http://www.prnewswire.com/news-releases/ims-global-learning-consortium-otorga-el-mayornivel-de-certificacion-al-item-banking-system-de-ets-280703172.html
Wikipedia. (3 de Abril de 2014). http://es.wikipedia.org. Recuperado el 2 de
Noviembre de 2014, de http://es.wikipedia.org/wiki/Advanced_Distributed_Learning