Documentos de Académico
Documentos de Profesional
Documentos de Cultura
: 1138-2783
Renata Marciniak
Joaquín Gairín Sallán
Universitat Autónoma de Barcelona (España)
Resumen
Abstract
Carrying out the assessment of the quality of virtual education implies taking into account
a set of dimensions determinant for its definition. New quality models are created in order
to propose, describe and assess such dimensions. Nevertheless, these models do not always
offer a common perspective when it comes to the dimensions of the assessment of the quality
of virtual education. Moreover, no comparative studies have been carried out regarding those
models. The purpose of this article is to carry out a comparative analysis of several models
designed to assess the quality of virtual education. The article focuses on the assessment
dimensions proposed by the analyzed models in order to determine those considered to be
the most relevant and frequently applied. The author sums up a bibliographical research
based on a comparative analysis of a number of models and assessment dimensions drafted,
among others, by researchers, universities and assessment organizations. All the analyzed
models have been offered to the universities in order to improve the quality of their virtual
education. According to the results of the research, the most relevant assessment dimensions
are: institutional context, impact/results, program/course development, program/course
assessment, educators, and technological infrastructure. It should be noted that some of the
dimensions are used by several existing models, while other are only used by some of them.
Furthermore, the definition of each dimension may vary depending on the model. As a result,
it can be concluded that there are no unified criteria to be applicable to the abovementioned
dimensions.
Evaluar la calidad educativa desde una modalidad presencial y una modalidad virtual
requiere de parámetros distintos, que den respuesta al modelo pedagógico en el que se
sustentan, a sus fines y objetivos, y a los perfiles de ingreso y egreso que caracterizan
a los estudiantes en cada una de las modalidades (Veytia y Chao, 2013, p. 12).
218 RIED. Revista Iberoamericana de Educación a Distancia (2018), 21(1), pp. 217-238.
DOI: http://dx.doi.org/10.5944/ried.21.1.16182 – ISSN: 1138-2783 – E-ISSN: 1390-3306
R. Marciniak; J. Gairín Sallán
Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes
METODOLOGÍA DE LA INVESTIGACIÓN
220 RIED. Revista Iberoamericana de Educación a Distancia (2018), 21(1), pp. 217-238.
DOI: http://dx.doi.org/10.5944/ried.21.1.16182 – ISSN: 1138-2783 – E-ISSN: 1390-3306
R. Marciniak; J. Gairín Sallán
Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes
• Actividad formativa.
• Materiales de formación.
• Plataformas tecnológicas.
• Relación coste/beneficio.
222 RIED. Revista Iberoamericana de Educación a Distancia (2018), 21(1), pp. 217-238.
DOI: http://dx.doi.org/10.5944/ried.21.1.16182 – ISSN: 1138-2783 – E-ISSN: 1390-3306
R. Marciniak; J. Gairín Sallán
Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes
Año de
Modelo/ Dimensiones de
diseño Objetivo del modelo
Autor evaluación
y país
El modelo está orientado a Reacción de los participantes
evaluar el impacto de una frente a los diferentes
determinada acción formativa elementos que ha conformado
Modelo de los 1994
a través de cuatro niveles que la acción formativa.
cuatro niveles/ Estados
se refieren a cuatro ámbitos Aprendizaje conseguido.
Kirkpatrick Unidos
bien diferenciados: afectivo, Transferencia alcanzada.
cognitivo, comportamental y Impacto en función del efecto
organizativo. en los resultados económicos.
Modelo de los
Docencia.
Cinco Niveles
1994 Asegurar el conocimiento y las Materiales del curso.
de Evaluación/
Estados competencias en el estudiante Currículum.
Marshall &
Unidos de educación virtual. Módulos de los cursos.
Shriver (en
Transferencia del aprendizaje.
Kirkpatrick)
Contexto socio institucional.
Metas y objetivos
Modelo Facilitar la evaluación de la
1998 Componentes.
Integrado/ institución en general o una de
España Procesos.
García Aretio las titulaciones que imparte.
Resultados.
Mejora.
224 RIED. Revista Iberoamericana de Educación a Distancia (2018), 21(1), pp. 217-238.
DOI: http://dx.doi.org/10.5944/ried.21.1.16182 – ISSN: 1138-2783 – E-ISSN: 1390-3306
R. Marciniak; J. Gairín Sallán
Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes
Año de
Modelo/ Dimensiones de
diseño Objetivo del modelo
Autor evaluación
y país
Características institucionales.
Modelo
Proporcionar un conjunto Características de los
Sistémico/ 1998
de variables que interactúan destinatarios de la formación.
Van Slyke, Estados
como factores predictores del Características del curso.
Kittner & Unidos
éxito del curso on-line. Características de la
Belanger
formación a distancia.
Análisis.
2000 Diseño.
Modelo ADDIE/ Diseño y evaluación de
Estados Desarrollo.
McGriff módulos de curso virtual.
Unidos Implementación.
Evaluación.
Assuring the
Quality of Especialización del docente.
Online Learning Asegurar la calidad en los Preparación de estudiante.
2001
in Australian programas de estudios de Infraestructura tecnológica.
Australia
Higher educación virtual. Objetivos de aprendizaje
Education/ reutilizables.
Oliver
Standars for
Quality Online
Courses/ 2002 Guiar el diseño y evaluación Tecnología.
Michigan Estados de la calidad de cursos Uso.
Virtual Unidos virtuales. Diseño instruccional.
University
(MVU)
Pedagógica.
Tecnología.
Diseño de interfaz.
Revisión crítica de productos y
CAPEODL/ 2005 Evaluación.
servicios de
Badrul Canadá Gestión.
e-learning.
Soporte de recursos.
Ética.
Cuestiones institucionales.
Contexto.
Modelo para la Diseño.
Ayudar a tomar decisiones
Evaluación de Producción.
en relación con la calidad
la Calidad del 2006 Puesta en marcha del curso/
de la formación a través de
E-learning/ España programa.
los sistemas de aprendizaje
Marcelo, Gago Implementación del curso/
abierto y a distancia.
& Marcelo programa.
Seguimiento.
Año de
Modelo/ Dimensiones de
diseño Objetivo del modelo
Autor evaluación
y país
Perfil de curso/programa.
Facilitar y guiar el proceso de
Criteria, Pedagogía.
autoevaluación de programas
Indicators and 2006 Economía.
de educación virtual de la
Standards/ Bélgica Organización.
manera más eficiente y eficaz
EFMD Tecnología.
posible.
Cultura.
Contenidos de aprendizaje.
Modelo de Asegurar la calidad de
Organización de contenidos.
Evaluación la impartición de cursos
2007 Retroalimentación del
de la Calidad a distancia basados en
España alumnado.
en Entorno los distintos tipos de
Acción tutorial.
Virtual/ Fidalgo modalidades.
Otros indicadores.
Modelo de Planificación estratégica.
Evaluación de Evaluación de experiencias Programa.
Experiencias formativas basadas en la Diseño del curso.
2008
E-learning/ integración de campus Desarrollo o puesta en marcha
España
Ejarque, virtuales mediante un método del curso.
Buendía, de evaluación. Apoyo al estudiante.
& Hervás Apoyo al profesor.
Modelo de
Evaluación
de Calidad
Ayuda a las instituciones de Organización del curso.
de cursos
2008 la educación superior a llevar Diseño del curso.
Virtuales/
Polonia a cabo la autoevaluación de Desarrollo del curso.
Asociación
cursos virtuales. Evaluación del curso.
de E-learning
Académico de
Polonia (SEA)
Diseño.
Evaluation Ayuda a plantear,
2009 Creación.
Logic Model/ implementar, evaluar y
Estados Aplicación.
University of comunicar el programa a
Unidos Evaluación y modificación de
Wiscosin (UW) todos los interesados.
programa.
Información general sobre el
Open programa.
ECBCheck/ Destinatarios del programa.
European Apoyar a organizaciones con Calidad de contenido.
2010
Foundation la revisión del éxito de sus Diseño del programa.
Bélgica
for Quality in programas del e-learning. Diseño gráfico.
E-Learning Tecnología.
(EFQUEL) Evaluación y revisión de
programa.
226 RIED. Revista Iberoamericana de Educación a Distancia (2018), 21(1), pp. 217-238.
DOI: http://dx.doi.org/10.5944/ried.21.1.16182 – ISSN: 1138-2783 – E-ISSN: 1390-3306
R. Marciniak; J. Gairín Sallán
Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes
Año de
Modelo/ Dimensiones de
diseño Objetivo del modelo
Autor evaluación
y país
Modelo de
Contribuir a la mejora de la
Autoevaluación 2010 Tecnología.
calidad en la enseñanza de
de Programas América Formación.
educación superior a distancia
de Educación Latina y Diseño instruccional.
en todas las instituciones de
a Distancia/ Caribe Servicios y soporte.
América Latina y el Caribe.
CALED
Mejorar la calidad de Planificación de evaluación.
PDPP Model/ 2012 cursos virtuales a través de Desarrollo de evaluación.
Zhang & Jiang China evaluación continua de los Proceso de evaluación.
mismos. Evaluación de producto.
Factor tecnológico.
E-quality Factor institucional.
Framework for Mejorar la calidad de la Factor de diseño institucional.
2012
E-learning/ educación virtual de manera Apoyo de la facultad.
Suecia
Masoumi & explícita o implícitamente. Apoyo al estudiante.
Lindström Factor de evaluación.
Factor pedagógico.
Design and
Development
Model of Servir como valor añadido
Entrada.
a Quality para cada institución que
2014 Proceso.
Assurance desee utilizarlo como parte del
Kenia Resultados.
Framework/ aseguramiento interno de la
Revisión.
Africa Virtual calidad de cursos virtuales.
University
(AVU)
Planificación estratégica.
Modelo de Ayudar a las universidades
Contexto institucional.
evaluación a realizar la evaluación
2015 Metodología.
de educación comparativa de la calidad de
España Proceso de enseñanza-
virtual/ educación virtual ofrecida con
aprendizaje.
Marciniak un benchmark (líder).
Plataforma virtual.
E-xcellence
Model/The Gestión estratégica.
Proponer la metodología y
European Diseño curricular.
2016 recursos de apoyo para el
Association Diseño del curso.
Unión aseguramiento de la calidad
of Distance Entrega del curso.
Europea de educación virtual en
Teaching Apoyo al personal.
educación universitaria.
Universities Apoyo al estudiante.
(EADTU)
Modelo
1 2 3 4 5 6 7 8 9 10 11 12 13 14 115 16 17 18 19 20 21 22 23 24 25 No
Dimensiones
Contexto
1 8
institucional
2 Contexto externo 1
Características
3 de la formación a 1
distancia
4 Estudiantes 9
Apoyo al
5 3
estudiante
6 Apoyo al docente 2
7 Docentes 6
8 Entrada 4
Infraestructura
9 8
tecnológica
10 Diseño 6
11 Desarrollo 7
Implementación
12 3
del curso
13 Evaluación 4
14 Seguimiento 1
Resultados/
15 7
impacto
Diseño
16 2
instruccional
Diseño de
17 plataforma 3
virtual
18 Accesibilidad 2
19 Economía 3
Gestión del
20 1
entorno virtual
21 Ética 1
22 Organización 2
23 Cultura 1
24 Ayuda 1
Feedback al
25 1
alumno
228 RIED. Revista Iberoamericana de Educación a Distancia (2018), 21(1), pp. 217-238.
DOI: http://dx.doi.org/10.5944/ried.21.1.16182 – ISSN: 1138-2783 – E-ISSN: 1390-3306
R. Marciniak; J. Gairín Sallán
Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes
Modelo
1 2 3 4 5 6 7 8 9 10 11 12 13 14 115 16 17 18 19 20 21 22 23 24 25 No
Dimensiones
26 Tutoría 1
Planificación
27 3
estratégica
28 Mejora 1
29 Análisis 1
30 Supuestos 1
31 Salidas 1
Información
32 sobre el 1
programa
Factor de diseño
33 1
institucional
34 Revisión 1
35 Pedagogía 16
Estrategia de
36 4
enseñanza
Objetivos
37 4
formativos
Contenidos
38 4
temáticos
Materiales y
39 7
recursos
40 Actividades 1
Evaluación de
41 5
aprendizaje
Proceso de
42 4
enseñanza
Autor o nombre del modelo: 1-Kirkpatric, 2-García Aretio, 3-Van Slyke et al.,
4-Marshall & Shriver, 5-McGriff, 6-Oliver, 7-MVU, 8-OLC, 9-Badrul, 10-Marcelo et
al., 11-EFMD CEL, 12-eMM, 13-Fidalgo, 14- Ejarque et al., 15-SEA, 16-University
of Wiscosin, 17- ECBCheck Model, 18-CALED, 19-UNIQUe, 20- Zhang & Jiang, 21-
UNE66181, 22-Masoumi & Lindström, 23-AVU, 24-Marciniak, 25-EADTU.
A partir del análisis de 42 dimensiones propuestas por 25 modelos, se observa
que no existe una dimensión que sea común para todos los modelos analizados, sin
embargo, algunas de ellas se repiten frecuentemente (aunque algunas con diferente
denominación), lo que significa que son consideradas como más relevantes y
esenciales para evaluar la calidad de educación virtual. Entre dichas dimensiones
se encuentran: contexto institucional, infraestructura tecnológica, estudiantes,
docentes, pedagogía, y dimensiones que permiten evaluar el ciclo de vida del curso
(o programa), es decir, la fase de su diseño, desarrollo y resultados. Al estudiar
exhaustivamente estas dimensiones, se notan los diferentes significados asignados
a cada una por los autores. Mientras que, por ejemplo, Van Slyke (1998) relaciona
la dimensión de “contexto institucional” con la capacidad de la organización para
230 RIED. Revista Iberoamericana de Educación a Distancia (2018), 21(1), pp. 217-238.
DOI: http://dx.doi.org/10.5944/ried.21.1.16182 – ISSN: 1138-2783 – E-ISSN: 1390-3306
R. Marciniak; J. Gairín Sallán
Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes
DISCUSIÓN Y CONCLUSIONES
Sin embargo, Jung y Latchem (2012) sostienen que la educación virtual es tan
diferente en su organización, inscripción y operación de la educación tradicional,
que no se pueden aplicar los mismos mecanismos y dimensiones para evaluar la
calidad de las dos modalidades de educación. Evaluar la calidad educativa desde
una modalidad presencial y desde una modalidad virtual requiere de parámetros y
modelos adecuados a los contextos en los que se producen y desarrollan (Marciniak,
2016; Silvio, 2006; Veytia y Chao, 2013).
Como resultado de la polémica sobre cómo evaluar la calidad de la educación
virtual, hasta la fecha se han desarrollado múltiples modelos que intentan dar
respuesta a dicha pregunta. En el presente artículo se analizaron los modelos
más representativos, incidiendo en las dimensiones que proponen para evaluar la
antemencionada calidad con el propósito de saber ¿qué dimensiones proponen?,
¿cómo las definen?, ¿cuáles de ellas son más relevantes o más frecuentemente
consideradas por los modelos analizados?
A partir del análisis de las 42 dimensiones propuestas por 25 modelos se observa
que no existe una dimensión que sea común para todos los modelos de calidad
analizados, sin embargo, algunos modelos poseen dimensiones iguales, por lo que
podemos deducir que tienen un núcleo común y, a la vez, integran dimensiones
divergentes, así como los significados que asignan a las dimensiones elegidas.
232 RIED. Revista Iberoamericana de Educación a Distancia (2018), 21(1), pp. 217-238.
DOI: http://dx.doi.org/10.5944/ried.21.1.16182 – ISSN: 1138-2783 – E-ISSN: 1390-3306
R. Marciniak; J. Gairín Sallán
Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes
Por otra parte, dichos modelos presentan ciertas debilidades. Una de ellas es
la carencia de un consenso en cuanto al número de dimensiones; hay modelos que
proyectan evaluar sólo tres dimensiones y otros hasta ocho. Otra debilidad se manifiesta
en el diferente significado asignado a las dimensiones. Sus interpretaciones son muy
diferentes dependiendo del autor que las formuló y de la metodología empleada para
alcanzarlas. Dichas debilidades hacen necesario elaborar un modelo, que contribuya
con diversos componentes a generar un modelo aplicable a la evaluación de calidad
de educación virtual, integrando las dimensiones comunes y de mayor relevancia.
NOTAS
1.
Por la educación virtual se entiende aquella en la que “el énfasis se pone en que tanto
los materiales de estudio como la relación entre docentes y estudiantes se realiza
exclusivamente a través de las redes de comunicación, fundamentalmente Internet”
(García Aretio, 2014, p. 27).
2.
Para este artículo se define los modelos de calidad de educación virtual o marcos
de referencia como sistemas integrales que buscan evaluar, diagnosticar, mejorar y
mantener la calidad de educación virtual (Orozco, 2014).
3.
Se entiende las dimensiones de la calidad de educación virtual como los aspectos o
elementos que los evaluadores tienen en cuenta cuando evalúan la calidad de dicha
educación.
REFERENCIAS BIBLIOGRÁFICAS
234 RIED. Revista Iberoamericana de Educación a Distancia (2018), 21(1), pp. 217-238.
DOI: http://dx.doi.org/10.5944/ried.21.1.16182 – ISSN: 1138-2783 – E-ISSN: 1390-3306
R. Marciniak; J. Gairín Sallán
Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes
236 RIED. Revista Iberoamericana de Educación a Distancia (2018), 21(1), pp. 217-238.
DOI: http://dx.doi.org/10.5944/ried.21.1.16182 – ISSN: 1138-2783 – E-ISSN: 1390-3306
R. Marciniak; J. Gairín Sallán
Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes
238 RIED. Revista Iberoamericana de Educación a Distancia (2018), 21(1), pp. 217-238.
DOI: http://dx.doi.org/10.5944/ried.21.1.16182 – ISSN: 1138-2783 – E-ISSN: 1390-3306