Resultados

¿Qué cambios en la calidad de la enseñanza experimentaron los estudiantes

universitarios en relación con la transición a la enseñanza a distancia debido a la
pandemia?
En la tabla 1 se presentan los resultados de una serie de pruebas t para comprobar las
diferencias significativas entre las medias de respuesta previa al ensayo retrospectiva y
las medias de respuesta posterior al ensayo para cada uno de los tres principios UDL, así
como para los dos aspectos de la comunicació n con el instructor. La tabla incluye el
nú mero de estudiantes que respondieron a ambos ítems (N), la estadística de la prueba
(t), la probabilidad de un error de Tipo I si se rechaza la hipó tesis nula (p), y un tamañ o
de efecto de diferencia media estacionada (g*). Una diferencia media estandarizada es
independiente

de importancia estadística, lo que lo hace insensible al tamañ o de las muestras y generalizable en

diferentes aná lisis y estudios (Ives, 2003). Sin embargo, la d de Cohen y la g de Hedges son susceptibles a
pequeñ os sesgos de muestra. La medida del tamañ o del efecto que utilicé fue Hedges g con una corrección
para este pequeñ o sesgo muestral (Durlak, 2009; Hedges & Olkin, 1985). Aunque el tamañ o de nuestra
muestra no se consideraría pequeñ o, adopté esta medida del tamañ o del efecto como una cuestió n de
buenas prá cticas y consistencia.

Las cinco comparaciones arrojaron diferencias estadísticamente significativas entre las

experiencias anteriores y posteriores al cambio a la instrucció n en línea inducido por la
pandemia. Ademá s, estos resultados muestran que estas pruebas tienen un poder estadístico
adecuado para detectar pequeñ os efectos (Cohen, 1988). Cuatro de las medidas de calidad de la
instrucció n se volvieron má s pobres después del cambio a la instrucció n en línea. Dos de ellos
tenían un gran tamañ o de efecto (frecuencia de comunicació n e interacció n), uno tenía un
tamañ o de efecto medio (utilidad de comunicació n) y otro tenía un tamañ o de efecto pequeñ o
(acció n y expresiones). Ademá s, los estudiantes informaron que la representació n mejoró
después de la transició n a la instrucció n en línea, con un tamañ o de efecto pequeñ o.

Doscientos veintiocho de los participantes informaron que preferían las clases en línea sobre la instrucció n
presencial, mientras que 1.125 informaron que preferían la instrucció n presencial. Para todos los
participantes, la calidad de las puntuaciones de instrucció n antes del cambio en línea se restaba de las
puntuaciones de calidad de instrucció n después del cambio para crear puntuaciones de ganancia para cada
participante, para cada uno de los cinco medidores de
calidad de la enseñ anza. Usando el aná lisis unidireccional de la varianza (ANOVAs), comparé la
calidad de las puntuaciones de ganancia de instrucció n en estos dos grupos. Debido a que algunas de
estas comparaciones fallaron una prueba de homogéneneidad de la varianza, las estadísticas de
Welch son reportadas. Los resultados se presentan en la Tabla 2. En todos los casos, los estudiantes
que prefirieron la instrucció n presencial también informaron experiencias significativamente má s
pobres con la calidad de la instrucció n que los estudiantes que prefirieron la instrucció n en línea.
Tres de los tamañ os de efecto son grandes, mientras que los otros dos son pequeñ os.

¿Era diferente la calidad de las experiencias de instrucción de los estudiantes

universitarios elegibles para los servicios de discapacidad?
Ciento cuarenta y siete de los participantes declararon que reunían las condiciones para recibir
servicios de desarticulació n. Las estadísticas descriptivas para los estudiantes elegibles y otros
estudiantes son

reportado en la Tabla 3. Las puntuaciones negativas de ganancia media indican una reducció n en la
calidad instructiva. De acuerdo con los resultados de la primera pregunta de la investigació n, ambos
grupos reportaron puntajes de ganancia positivos para los puntajes de ganancia de Representació n,
lo que indica una mejora en Representació n tras la transició n a la instrucció n en línea, y los
estudiantes elegibles para servicios de discapacidad reportaron una mayor mejora en la
representació n. Ambos grupos informaron de una calidad inferior para los otros cuatro aspectos
relacionados con la calidad de la instrucció n, pero en cada caso, los estudiantes con derecho a
recibir servicios para personas con discapacidad informaron de una disminució n menor de la
calidad de la instrucció n. En general, el efecto del paso a la enseñ anza en línea parecía tener un
efecto menos negativo para los estudiantes que podían optar a los servicios de discapacidad.
Los resultados de las comparaciones entre grupos se presentan en la Tabla 4. Aunque el efecto del
paso a la instrucció n en línea fue menos negativo para los estudiantes elegibles para los servicios
de discapacidad para las cinco medidas de calidad de la instrucció n, solo la comparació n de
Engagement alcanzó un nivel convencional de significació n estadística. Esta fue también la ú nica
comparació n para la cual el tamañ o del efecto aumentó al nivel de un efecto pequeñ o, indicando
que los estudiantes elegibles para los servicios de discapacidad tuvieron una reducció n
significativamente menor en el compromiso en sus clases que los estudiantes que no eran
elegibles.

¿El acceso a los materiales de instrucción y de los cursos fue diferente según las
especialidades o clases o las preferencias para la instrucción en línea o presencial?
Las especialidades de los estudiantes fueron identificadas por la universidad o escuela que
albergaba su campo de estudio primario, y categorizadas sobre la base de las normas
internacionales establecidas por la Organizació n de las Naciones Unidas para la Educació n, la
Ciencia y la Cultura (Instituto de Estadística de la UNESCO. (2015). Norma Internacional de
Clasificación: Campos de Educación y Formación 2013 (CINE-F 2013)- Descripciones detalladas de
campos. Recuperado de Montreal, 2013). Aunque los estudiantes de periodismo reportaron las
mejores experiencias con los cuatro ítems, y los estudiantes de educació n reportaron la
experiencia má s pobre para tres de los cuatro ítems, no hubo diferencias estadísticamente
significativas entre las medias de cualquiera de las 11 unidades o estudiantes no declarados. Las
medias y las desviaciones típicas de estas comparaciones figuran en el cuadro 5.

Para el aná lisis de todas las clases, los cuatro ANOVAs ó mnibus fueron significativos. Las pruebas
de Tukey identificaron varios pares de medias significativamente diferentes para cada uno de los
cuatro elementos de acceso - un total de 25 comparaciones de pares significativas. A lo largo de
los cuatro ítems, los estudiantes de doctorado reportaron peores experiencias de acceso que cada
una de las cuatro clases de pregrado, representando 16 de las diferencias medias significativas.
Los tamañ os de efecto para estas diferencias abarcaban el rango de mediano a grande. Siete de
las diferencias significativas restantes fueron entre los estudiantes de maestría y algunas de las
clases de pregrado. Los tamañ os de efecto para estas diferencias fueron casi todos en
el pequeñ o rango. Só lo una de las comparaciones significativas implicó comparar a los
estudiantes de segundo grado con los de segundo grado que no estaban en un programa de grado.
En el cuadro 6 se indican las medias y las desviaciones típicas de los cuatro elementos de acceso
en cada clase. En el cuadro 7 se indican los valores de p y las medidas del tamañ o del efecto para
las comparaciones significativas por pares.

Las comparaciones de la accesibilidad entre los estudiantes que prefirieron la instrumentació n

presencial y los que no lo hicieron se recogen en la tabla 8. En todos los casos, los estudiantes que
preLa instrucció n presencial también reportó experiencias de accesibilidad significativamente má s
pobres que los estudiantes que prefirieron la instrucció n en línea. Los tamañ os de efecto variaban
de pequeñ os a grandes.
El acceso a la enseñanza y a los materiales de los cursos fue diferente para los estudiantes universitarios elegibles
para servicios de discapacidad?
La muestra de participantes para este estudio incluyó 153 estudiantes que reportaron ser elegibles para
servicios para discapacitados. Los estudiantes elegibles reportaron un mejor acceso para tres de los cuatro
ítems, y
peor acceso para uno de ellos. Sin embargo, ninguna de las diferencias medias entre los dos grupos
significació n aproximada (todos los valores p fueron>0,18), lo que sugiere que las experiencias de acceso de
los dos
grupos eran similares.

Debate y conclusión

Calidad de la enseñanza

Sobre la base de investigaciones anteriores, se prevé una disminució n de la calidad de la instrucció n

después de la transició n a la instrucció n en línea. Al mismo tiempo, la calidad percibida de la
instrucció n en línea está relacionada con có mo aceptar a los estudiantes son instrucció n en línea
(Larmuseau, 2019). Nuestros propios resultados encontraron que esto es cierto tanto para la
frecuencia como para la utilidad de la comunicació n del instructor. Este resultado es consistente
con el trabajo previo que muestra que la disponibilidad de instructores es un predictor de las
percepciones de los estudiantes sobre la calidad de la instrucció n en las clases en línea (Slaydon et
al., 2020). Estos resultados sugieren que los instructores podrían mejorar la calidad percibida de su
instrucció n en línea mejorando su disponibilidad y comunicació n con los estudiantes.

También relacionados con la calidad de la instrucció n, los estudiantes en este estudio informaron
que dos principios del Diseñ o Universal para el Aprendizaje (UDL), Engagement y Acció n y
Expresió n, fueron significativamente más pobres después de la transició n a la instrucció n en línea.
De hecho, la caída en Engagement fue la mayor de todas las dimensiones de efecto para las cinco
medidas de calidad de la instrucció n. Las actividades en línea sincró nicas está n relacionadas con
una mejor participació n en las clases en línea (Weiler, 2012), y la investigació n previa ha
demostrado que algunos elementos de diseñ o para las actividades en línea son má s eficaces para
mejorar el compromiso de los estudiantes que otros (Cun- dell & Sheepy, 2018).

Los estudiantes informaron que el elemento de representació n de la UDL realmente mejoró

después de la transició n al aprendizaje en línea. Este resultado se dio en todos los participantes, así
como en los subgrupos de la tasa sepa de participantes elegibles o no elegibles para servicios de
discapacidad. Una hipó tesis para explicar este hallazgo es que las limitaciones de la instrucció n en
línea pueden requerir que los instructores sean má s creativos acerca de su presentació n de
contenido que en las aulas cara a cara. Esta hipó tesis debería abordarse en futuras investigaciones.

Los cambios en la calidad percibida de la instrucció n pueden atribuirse a cambios en la calidad real
de la instrucció n. Sin embargo, otras variables también pueden ayudar a explicar estos cambios. Por
ejemplo, una percepció n general de que la instrucció n en línea es de menor calidad puede
introducir un sesgo en las percepciones relativas a la instrucció n cara a cara. En este con-texto, los
estudiantes que prefirieron la instrucció n en línea sobre la instrucció n presencial reportaron
experiencias significativamente má s positivas sobre la calidad de la instrucció n en línea, en
comparació n con la instrucció n presencial, que los estudiantes que prefirieron la instrucció n
presencial.
Estos resultados con respecto a la calidad de la instrucció n sugieren que el impacto del cambio a la
instrucció n en línea relacionado con el COVID-19 no resultó en una reducció n global uniforme en la calidad
de la instrucció n. En cambio, el impacto puede ser más complejo, con algunos elementos de calidad
instructiva que se benefician del cambio a la instrucció n en línea. En particular, el principio de
representació n de la UDL mejoró tras el paso a la instrucció n en línea. Esta complejidad justifica una mayor
investigació n para comprender má s claramente dó nde la calidad de la instrucció n se beneficiaría má s de la
mejora de los recursos.

Los estudiantes que eran elegibles para los servicios de discapacidad informaron una caída
significativamente menor en el compromiso después de la transició n en línea, que otros
estudiantes informaron. Los estudiantes elegibles para los servicios de discapacidad también
reportaron cambios menos negativos para las otras cuatro medidas de la calidad de la
instrucció n, pero estas diferencias medias no fueron estadísticamente significativas. Una
hipó tesis plausible que se probará en futuras investigaciones sería que el contacto con las
oficinas de cam-pus que prestan servicios para personas con discapacidad puede haber ayudado
a apoyar el compromiso de los estudiantes elegibles. Las otras cuatro medidas de calidad de la
instrucció n está n má s directamente relacionadas con lo que está sucediendo en el curso, y
pueden no beneficiarse de la labor del personal de apoyo que presta servicios para personas con
discapacidad. Los resultados de este estudio indican que el cambio a la instrucció n en línea puede
haber impactado diferencialmente a algunos estudiantes má s que a otros. Si bien esta posibilidad
justifica una mayor investigació n, estos impactos diferenciales pueden justificar intervenciones
má s diferenciadas para el apoyo estudiantil.

Accessibility

No hubo diferencias estadísticamente significativas entre los medios de los colegios o escuelas
dentro de la universidad para cualquiera de las cuatro medidas de accesibilidad. Ademá s, no
hubo diferencias significativas en las medidas de accesibilidad entre los estudiantes que podían
acceder a los servicios para personas con discapacidad y los que no.

Los resultados fueron má s variados entre los estudiantes con diferente nivel de clase. El patró n má s
llamativo fue que los estudiantes de doctorado reportaron má s dificultad en las cuatro medidas de
accesibilidad que cualquiera de los cuatro grupos de pregrado. Los tamañ os de los efectos fueron en su
mayoría pequeñ os para el acceso a Internet y la fiabilidad de los dispositivos, medios para software de
comunicació n y grandes para herramientas de colaboració n. Este patró n podría sugerir que los estudiantes
de doctorado estaban recibiendo menos apoyo para la accesibilidad, pero no está claro por qué podría ser.
Algunas evidencias sugieren que los estudiantes de doctorado, al menos en el Reino Unido, encontraron que
el bloqueo pandémico interfirió con su capacidad de demandar sus actividades de investigació n, mientras
que tampoco tenían garantías de extensiones u otras consideraciones de sus universidades. (Byrom, 2020).
Otra hipó tesis es que los estudiantes doc- torales son típicamente mayores que los estudiantes
universitarios, y los estudiantes de doctorado, al menos en algunos campos, pueden ser menos fá ciles con las
tecnologías digitales. Este es un hallazgo preocupante que merece una investigació n más profunda. Los
estudiantes de maestría también reportaron una dificultad significativamente mayor con el software de
comunicació n que cada una de las cuatro clases de pregrado, y estos tamañ os de efecto estaban en el rango
pequeñ o. Para estos resultados, el cambio a la instrucció n en línea ha impactado diferencialmente los
problemas de accesibilidad para algunos estudiantes más que otros. Esta investigació n, y las replicaciones
sistemá ticas, pueden guiar las decisiones sobre el apoyo estudiantil.

No es de extrañ ar que los estudiantes que prefirieron la instrucció n en línea reportaron una
dificultad significativamente menor con la accesibilidad para las cuatro medidas. Los
estudiantes que prefirieron la instrucció n en línea también informaron haber tomado
significativamente má s cursos en línea que otros estudiantes antes de la transició n a la
instrucció n en línea (Welch=292.581, p=0.009, g* = 0.21). Tres de esos resultados dieron
tamañ os de efecto pequeñ os, mientras que el resultado para herramientas de colació n dio un
tamañ o de efecto grande. Tal vez las herramientas de colaboració n son particularmente
vulnerables a la transició n a la instrucció n en línea. Este patró n se refleja en los resultados para
los estudiantes de doctorado en el pá rrafo anterior.

Al interpretar estos resultados deben tenerse en cuenta las circunstancias de la pandemia COVID-19. En
primer lugar, el paso a la instrucció n en línea fue obligatorio en lugar de voluntario. En segundo lugar, la
transició n inicial en la primavera de 2020 ocurrió mientras las clases ya estaban en curso. Eso significa que
los estudiantes hicieron la transició n inicial a la instrucció n en línea dentro de las mismas clases que ya
estaban tomando cara a cara. En tercer lugar, durante la pandemia, los estudiantes se enfrentaron a desafíos
emocionales adicionales que pueden haber influido en sus experiencias con la transició n. No está claro lo
que estos resultados podrían implicar para situaciones donde los estudiantes han elegido voluntariamente
la instrucció n en línea frente a la instrucció n cara a cara cuando no se enfrentan a una crisis significativa
como la pandemia COVID-19.