Invirtiendo el flip: ¿puro bombo o hay esperanza?

Lauren Calimerisa a, Katherine M. Sauer b

a
Department of Economics, St. John Fisher College, 3690 East Avenue, Kearney 417, Rochester, NY 14618-3597, USA
b
University of Colorado, 1800 Grant St., Suite 400, Denver, CO 80203,USA

International Review of Economics Education 20 (2015) 13–28

________________________________________

RESUMEN
El aula invertida fue fundada en la pedagogía centrada en el alumno, con la idea de que los estudiantes
retienen más información mediante el uso de técnicas de aprendizaje activo durante la clase, en comparación a
estar sentado en un curso basado en conferencia. Ponemos en práctica un experimento aleatorio para
cuantificar el efecto de invertir el aula sobre los resultados de aprendizaje de estudiantes de economía.
Comparamos los puntajes de exámenes estandarizados, de estudiantes que experimentaron un aula invertida
con aquellos que experimentaron un aula tradicional, en cursos de Principios de Microeconomía. Los resultados
de la regresión de mínimos cuadrados muestran que, tras un período de ajuste negativo, los estudiantes que
experimentaron el aula invertida puntuaron significativamente más alto en exámenes parciales y finales que
aquellos del grupo de control. La magnitud de estos efectos sugiere mejoras en las puntuaciones de los
estudiantes de un límite inferior de dos tercios a un grado completo de calificación alfabética.

2. Metodología

2.1. Diseño experimental

Durante el semestre de otoño de 2013, la instructora dictó dos secciones de Introducción a la Microeconomía
de 55 min cada una, una después de la otra: a las 9:05 am y las 10:10 am, los lunes, miércoles y viernes en el
mismo salón. (3)1 Los estudiantes matriculados en los dos cursos no conocían las diferencias entre los cursos,
excepto los horarios. Usando un simple lanzamiento de moneda, se asignó aleatoriamente a las secciones los
grupos de comparación y de tratamiento. El curso flipped se considera el grupo de tratamiento, mientras que el
curso tradicional es considerado el grupo de comparación. En el primer día de clase, la instructora informó a los
estudiantes que se estaba investigando la efectividad de diferentes técnicas de enseñanza y que su
investigación estaba aprobada por el Comité de Ética (4)2, pero no indicó cuáles eran las diferentes técnicas, ni
tampoco explicó qué grupo era considerado el grupo de tratamiento y qué grupo se consideró el grupo de
control. Todos los estudiantes, de ambas clases, indicaron la voluntad de participar en el estudio y habilitar al
instructor para acceder a sus registros.

1
El aula era un salón de clases con gradas, con una capacidad para 40 alumnos. Los estudiantes utilizaban sillas
acolchadas con ruedas, siendo el aula más adecuada para una clase magistral ya que los estudiantes no tenían
escritorios propios que pudieran maniobrar para actividades, teniendo que reordenar el espacio para experimentos y
demostraciones difíciles.
2
Un Comité de Ética Académico o comité de revisión de asuntos de personas, es responsable de revisar y aprobar todas
las investigaciones en seres humanos para asegurar que la investigación es ética y cumple con todas las directrices
federales e institucionales. Por lo tanto, la investigación presentada en nuestro documento se llevó a cabo de manera
que cumpla con todas las directrices federales y específicas de la institución.
Ambos grupos tuvieron acceso a los mismos problemas de Aplia, guías de lectura para el texto, pruebas de
práctica y algunas guías de trabajo para la clase. Tanto los apuntes de clase como el material de lectura
proporcionados por la instructora, eran idénticos en todos los grupos, con la excepción de las conferencias
pre-grabadas para el grupo de tratamiento para su revisión antes de la clase, mientras que el grupo de
comparación experimentó estas conferencias durante la clase. Por lo tanto, mientras que los apuntes de clase
eran exactamente los mismos, incluyendo las definiciones, explicaciones y ejemplos, el grupo de comparación
tenía la ventaja de ser capaz de interactuar en la conferencia y hacer preguntas de inmediato, mientras que el
grupo de tratamiento tuvo que esperar hasta la clase para hacer preguntas.

La instructora enseñó al grupo de comparación tal como había enseñado tradicionalmente a los cursos
introductorios de microeconomía durante cinco semestres. Ella dio una conferencia a los estudiantes sobre el
material de un capítulo determinado, tal vez les mostró un clip de una película o programa de televisión que
ilustren el concepto en el "mundo real" y al final de cada capítulo, los alumnos completaban guías de trabajo en
clase. Los estudiantes trabajaban en estas guías en forma individual, en parejas o en grupos de trabajo. Para
hacer las tareas, los estudiantes leen el texto y completan las tareas de Aplia.

En la clase invertida, los estudiantes experimentaron las conferencias a través de los vídeos que la instructora
creó. Para grabar los videos de las conferencias utilizó Echo 360. Todos los videos estaban en un formato
similar: un esquema base de PowerPoint con un fondo negro. Definiciones, datos y algunos textos fueron pre-
cargados en la presentación de PowerPoint, donde los artículos podían animarse con un clic. Usando tecnología
de captura de pantalla, la instructora registró en off, la voz para la presentación de las diapositivas, y donde fue
necesario (orig. ‘adecuado’. NdT), ella hizo anotaciones en las diapositivas utilizando una tecnología lápiz-tableta.
Por ejemplo, en los videos, los ejes y los títulos de los gráficos se animaron para “dibujarse” en la pantalla, a la
vez que, la instructora dibujaba a mano las curvas de oferta y demanda, sombreaba las áreas de excedente de
consumidor y productor y resolvía los cálculos a mano. En otro ejemplo, formatos de tablas se cargaron
previamente en el PowerPoint, pero la instructora explicaba cómo llenarlas mientras las completaba
manualmente en las grabaciones. Para mantener el interés ( orig. ‘interesantes’. NdT) en los videos (como si el
contenido no fuera suficiente!) la instructora incluyó cliparts prediseñados u otras imágenes desde Internet
cuando fue apropiado. Los videos variaban en longitud desde 4 hasta 21 min, con un promedio de 11 min y una
desviación estándar de 4 min.

Los estudiantes en la clase invertida revisaban 1 a 4 vídeos para la preparación de la siguiente clase. Durante el
primer día de clase, la instructora mostró a los estudiantes cómo acceder a los vídeos y cómo tomar notas
mientras se visualizaban. Ella mostró a los estudiantes cómo hacer pausa y rebobinar los vídeos si era
necesario. También los guió través de cómo podrían tomar notas. Incentivó a los estudiantes a observar y
tomar notas de los videos de las conferencias, tomándoles un quiz diario en el que fueron autorizados a utilizar
sus notas. Los quices se basaban en el video (s) visto para ese día de clase. Los quices fueron pruebas de "5
min" que contiene cinco preguntas verdadero / falso, selección múltiple y/ o de respuesta abierta ( orig.
‘preguntas en blanco’. NdT), valiendo cada pregunta un punto. Las preguntas eran de conocimiento, de tal manera
que los estudiantes que habían visto los videos y tomado buenos apuntes, fácilmente habrían ganado 4 o 5, de
5, en los cuestionarios. Debido a que la instructora tenía una política de asistencia a la clase tradicional, que
permite a los estudiantes faltar a 6 clases sin penalización, eliminó los 6 quices con más bajas notas. Esto
permitió a los estudiantes perder clases y no ser penalizado, perderse videos de conferencias, venir sin
preparación a clase si fuese necesario o simplemente tener mala calificación en quices de vez en cuando y no
sufrir mayores consecuencias.

Mientras los estudiantes rendían sus quices diarios, la instructora devolvía los quices anteriores y se preparaba
para las actividades de clase. Posteriormente, consultaba si había preguntas sobre cualquiera de los materiales,
pero por lo general los estudiantes no hacían preguntas. Después del quiz, los estudiantes participaban en
diferentes actividades dependiendo del día y el material.

Los lunes y miércoles, la clase participaba en diversas actividades, incluido experimentos, tales como el juego
de mercado, para el tema de oferta y demanda (5)3 o el experimento de la pelota de tenis (6)4, para el tema de
producción y costos; análisis y discusión de los artículos de prensa más populares, tales como declaraciones
positivas/normativas y controles de precios; revisión de videoclips de programas de televisión (p. ej. The
Colbert Report) y la posterior discusión y análisis de los mismos; creación de mapas conceptuales y mindmaps;
y completando las guías de trabajo relativas a cada una de las actividades. También, las guías de trabajo que
completaban los estudiantes eran idénticas a las completaban aquellos de la clase tradicional, para cada
capítulo.

Para mantener la mayor coherencia entre las dos clases, y para identificar mejor el efecto del flipping, ambos
grupos tenían la misma tarea en Aplia. Dado que los estudiantes en la clase flipped pasaron su tiempo fuera de
la clase viendo los videos de las conferencias, los viernes fueron designados "Días Aplia" durante los cuales los
estudiantes trabajaban individualmente, en parejas o en grupos, para resolver problemas. La instructora
circulaba por la habitación y respondía preguntas o trabajaba en los problemas con los estudiantes que
solicitaban la ayuda. A veces, trabajaba con un solo estudiante pero más a menudo lo hizo con parejas de
estudiantes que estaban trabajando en la tarea de manera conjunta (7)5.

2.2. Datos

Puesto que la clase invertida tiene la ventaja de trabajar en Aplia durante la clase y ya que también tenían
quices como parte de su calificación final, la calificación global no fue utilizada para evaluar la efectividad . En su
lugar, las puntuaciones brutas estandarizadas de los exámenes parciales y el examen final, se utilizaron para
3
El ‘juego de mercado’ consiste en dividir la clase en forma aleatoria entre compradores y vendedores. Los estudiantes
cuentan con distintivos de papel que indican si es un comprador o vendedor de una aplicación ( orig. ‘widget’, NdT) (u otro
elemento) además de su máxima intención de pago (o el costo mínimo). Su objetivo es, ya sea comprar el widget a un
menor o igual valor que su disposición a pagar o, vender el widget a mayor o igual valor que su costo. Los estudiantes
interactúan como en un mercado para encontrar un socio comercial. Las transacciones se registran para llegar a un
precio global de equilibrio. El juego puede realizar en múltiples rondas para ilustrar diferentes conceptos y teorías.
4
El experimento de ‘pelotas de tenis’ ilustra la temática de producción y costos y el concepto de producto marginal
decreciente. El instructor coloca una caja con pelotas de tenis en un extremo de la sala de clase y un balde vacío en el
otro extremo. Los voluntarios se convierten en "trabajadores" que transportan una pelota a la vez, desde la caja hasta el
balde. Cada pelota transferida se considera una unidad de producción. A medida que más trabajadores se añaden al
espacio limitado por el capital, menos bolas son transferidas. La asignación de salarios y costos de capital, ilustran los
conceptos de costos fijos y variables. Registrar los datos permite el cálculo de los diferentes tipos de costos.
5
En Aplia, a los estudiantes se les permitió tratar cada problema hasta tres veces diferentes y cada vez se les dio una
versión diferente del problema. Dado que las versiones no son necesariamente las mismas de estudiante a estudiante,
aquellos que trabajan juntos a menudo tienen que "resolver" y pensar a través de dos versiones diferentes para ayudarse
mutuamente. Si bien esto ha hecho más difícil para los estudiantes el trabajo en conjunto, los obligó también a pensar
acerca de los problemas de una manera más general y que piensen en los problemas más a fondo que si estuvieran
trabajando por su cuenta.
evaluar la eficacia del flipped sobre los resultados de los estudiantes (8)6. Ambas clases recibieron los mismos
exámenes, dos exámenes de mitad de semestre y un examen final. Los exámenes parciales no fueron
acumulativos, pero sí el examen final. Por lo tanto, en cierto sentido, el examen final indica lo que los
estudiantes aprendieron en el curso en su totalidad. Todos los exámenes estaban estructurados de la misma
forma y contenían preguntas de completación de definiciones, preguntas de verdadero/falso, preguntas de
selección múltiple y preguntas de respuesta corta.

Para evitar el sesgo no intencional en la evaluación, a los estudiantes se les asignaron números aleatorios para
cada uno de sus exámenes y escribieron estos números en la hoja de portada para sus exámenes en lugar de
sus nombres. Además la instructora mezcló los exámenes de ambas clases antes de la revisión para garantizar
que no sabía los exámenes a quiénes estaba revisando/calificando. Una vez que terminó la evaluación, la
instructora ordenó los exámenes y escribió los nombres de los estudiantes en sus exámenes.

Si bien se esperaba que los estudiantes en la clase tradicional leyeran los textos fuera del tiempo de clase,
muchos no lo hacen, por lo que el tiempo del curso que los estudiantes de la clase tradicional gastan fuera del
horario presencial de clase, podría ser inferior al de los estudiantes en el aula invertida . Para evaluar si la
diferencia de tiempo era un factor y para controlar el uso del tiempo fuera de la clase, al final de cada semana,
ambos grupos informaron el tiempo estimado semanal dedicado a tareas, utilizando una encuesta de la
herramienta Qualtrics (Fig. 1) (9)7.

Encuesta sobre Tiempo Dedicado a Tareas

Econ ID# _________ Semana ___________________
Por favor, complete lo mejor que recuerde y de la forma más veraz y honesta posible.
La semana pasada, ¿cuánto tiempo invirtió en cada una de las siguientes actividades del curso, fuera de nuestro horario
de clases juntos?
La lectura del libro (incluyendo tomar notas mientras lee) ______ horas y ______ minutos
Traspasando o estudiando los apuntes de la conferencia ______ horas y ______ minutos
Trabajando en los problemas Aplia asignados ______ horas y ______ minutos
Trabajando en problemas prácticos ______ horas y ______ minutos
Revisando / resolviendo las tareas trabajadas en clase ______ horas y ______ minutos
Elaborando tarjetas ‘Ayuda-memoria’ ______ horas y ______ minutos
Solucionando Test de aplicación ______ horas y ______ minutos
Otras Actividades (enumere) ______ horas y ______ minutos
Total de la semana ______ horas y ______ minutos
Por favor, comente sobre el tiempo que usted dedicó a este curso la semana pasada fuera de nuestras reuniones de
clase. ¿Está satisfecho con su estrategia? ¿Le gustaría cambiar algo? Además, explique por favor si hubo alguna razón
que le impidió estudiar tanto como le hubiera gustado, (por ejemplo, un llamado urgente sobre un puesto de trabajo,
simplemente no podía encontrar la motivación, tenía que estudiar para una prueba de una clase diferente, etc.)

Para proporcionar a los estudiantes la confianza de que no serían penalizados o juzgados por sus respuestas y
para fomentar la honestidad en la presentación de informes, a los estudiantes se les asignó otro número
aleatorio por motivos de privacidad. Dado que la instructora no podía forzar el llenado de la encuesta,
incentivó a los estudiantes a completarla ofreciendo crédito adicional en su calificación del examen final para
6
Para la estandarización se utilizaron los puntajes brutos para excluir el crédito adicional y curvas que no indican el
aprendizaje de los estudiantes.
7
Todas las encuestas fueron convertidas a formato online, pero contenían las mismas preguntas como se ve en las
figuras. Las encuestas están disponibles en formato online, a petición.
aquellos que lo hicieron consistentemente (se añadieron 5 puntos si todas las encuestas fueron completadas, 4
puntos por dejar una sin completar y 3 puntos por dejar dos). La instructora informó a los estudiantes que no
iba a mirar las respuestas de las encuestas hasta después de que ella haya presentado las calificaciones del
semestre, pero antes de hacerlo, miraría el registro sólo para asignar los puntos de crédito extra.

Por lo tanto, estos datos tal vez parciales pues se basan en la capacidad de memoria, sufren de un sesgo de
selección y los estudiantes todavía pueden haber sentido la presión de sobreestimar. Por lo tanto, estos datos
se incluyen solamente en los análisis de sensibilidad y las pruebas de robustez.

Los datos demográficos de los estudiantes se obtuvieron de los registros de la universidad y la información
adicional no incluida en los registros de la facultad tales como: si el estudiante trabajó o participó en deportes
o clubes, el tipo de acceso a Internet y la información de educación de los padres, se obtuvo mediante una
encuesta Qualtrics (Fig. 2). Una vez más, la instructora ofreció crédito adicional a los estudiantes que
completaron esta encuesta. Nuevamente, estos datos son un auto-reporte y pueden sufrir debido a la
autoselección o por memoria defectuosa. Estos datos, por tanto, están incluidos únicamente en los análisis de
sensibilidad.

Por favor, conteste las siguientes preguntas en la medida de su conocimiento. ¡Gracias!

1. ¿Trabaja durante el año académico?

- Sí - No
2. Si trabaja durante el año académico, en promedio, ¿cuántas horas por semana trabaja usted?

3. ¿Juega algún deporte en la Facultad?

- Sí - No
4. ¿Pertenece a algún club en la Facultad?
- Sí - No
5. ¿Durante el semestre, qué tipo de acceso a Internet tiene actualmente en su residencia fuera del campus?
- N/A, vivo en el campus - Módem (Dial up) - Satelital
- Ninguno - Alta velocidad/Banda ancha - Otro
6. ¿Cuál es su edad en años?
- 17 -18 -19 -20 -21 -22 -23
- 24 -25 -26 -27 -28 -29 -30 -Sobre 30
7. ¿Cuál es el nivel educacional más alto de su madre?
- Menor que secundaria - Associate's Degree (2 años)
- Secundaria - Bachelor's Degree (4 años)
- Universitaria - Graduate Degree (MBA, MA, MS, PhD, JD, MD, etc.)

8. ¿Cuál es el nivel educacional más alto de su padre?

- Menor que secundaria - Associate's Degree (2 años)
- Secundaria - Bachelor's Degree (4 años)
- Universitaria - Graduate Degree (MBA, MA, MS, PhD, JD, MD, etc.)

Figura 2.

Por último, las opiniones de los estudiantes con respecto a la clase invertida se obtuvieron utilizando una
encuesta final Qualtrics (Fig. 3). Una vez más, la instructora ofreció crédito adicional a los estudiantes que
completaron esta encuesta. Nuevamente, estos datos son un auto-reporte y pueden sufrir debido a la
autoselección o por memoria defectuosa. Por lo tanto, estos datos se incluyen sólo con fines descriptivos.
 Encuesta de Estudiantes
Econ ID# _________________
Califique su nivel de aceptación de las siguientes afirmaciones, marcando la casilla correspondiente.
Ni de
Totalmen Totalmente
De Acuerdo
te de Desacuerdo en
Acuerdo Ni en
Acuerdo Desacuerdo
Desacuerdo
Prefiero un formato de aula "invertida" a un formato
de conferencia "tradicional"
Prefiero un formato de conferencia tradicional
Preferiría un modelo híbrido en el que algunos temas
sean conferenciados en una clase y los otros sean
invertidos
Creo que he aprendido más Economía con este
formato de clase
Preferiría tomar mi próximo curso de Economía con
este tipo de formato de la clase
Disfruté trabajar en grupo en la clase

Aprendí mucho trabajando en grupo en la clase

Hay demasiado trabajo que hacer fuera de la clase
para este curso
Trabajé más en esta clase que en mis otras clases este
semestre
La carga de trabajo para este curso fue adecuada
Leí el libro de texto de esta clase, más de lo que
tendría que hacerlo en otras clases de economía.
Leí el libro de texto de esta clase, menos de lo que
tendría que hacerlo en otras clases de economía.
Leí el libro de texto de esta clase, lo mismo que lo
haría en cualquier clase de economía.
Tuve dificultades para tomar notas y prestar atención
en la conferencia.
Otros comentarios:

Lamentablemente, aunque el sistema Eco 360 intenta rastrear tanto el número de estudiantes que se
conectan, los vídeos que ven, y el porcentaje de los vídeos que revisan como el porcentaje de los videos que
completan, un análisis de los datos y poniéndose además en contacto con Eco 360, indicó que los datos
estaban estropeados. Otro punto débil que llamó la atención de la instructora después del término del
semestre, fue que el sistema en ese momento era incapaz de realizar un seguimiento de los estudiantes que se
conectaban vía un iPhone o iPad (10)8. Por lo tanto, no hemos podido incluir controles respecto a la visualización
de vídeos.

3. Modelamiento

Utilizamos un modelo de regresión múltiple para evaluar el efecto de invertir la clase en los resultados de los
estudiantes. La regresión múltiple nos permite estimar con mayor precisión el efecto que tiene el flipping en los
puntajes de las pruebas, ya que incorpora controles adicionales para otros factores que afectan los resultados
de las pruebas, lo que explica de manera más completa la variación de los puntajes de las pruebas, en
comparación con una simple diferencia en los promedios de los test. Por lo tanto, se estimó el siguiente
modelo:

EXAMi = α + βFLIPi + Si’γ + Xi’δ + ui (3.1)(1)

donde EXAM es la puntuación bruta normalizada sobre el estudiante i, en la primera prueba parcial, segunda
prueba parcial o el examen final, para los estudiantes i = 1 ... n. FLIP es una variable ficticia ( orig. ‘dummy’.NdT)
igual a ‘uno’, si el estudiante estaba inscrito en la clase invertida y ‘cero’ si el estudiante estaba inscrito en la
clase tradicional. S es un vector de controles académicos, que incluye el número de inasistencias, si el
estudiante recibió AP (orig. ‘Advanced Placement’. ‘Cursos Avanzados’ en Secundaria. NdT) o crédito universitario en la
escuela secundaria, si el estudiante tomó un AP sobre Economía y los puntajes SAT de Matemáticas y Lenguaje
(11)9
. Se espera que todos estos controles se relacionaran positivamente con los resultados de las pruebas, con
la excepción de las inasistencias, ya que los estudiantes más capaces en general, tomarán cursos AP y tienen
puntajes SAT más altos en comparación con los estudiantes con menores capacidades. Se esperaba que las
inasistencias estuvieran asociadas negativamente con los resultados del examen, ya que los estudiantes se
perderán materiales y actividades de clase, disminuyendo de este modo el aprendizaje en general. X es un
vector de controles demográficos que incluye el género, edad, origen étnico, nivel de educación materna y
paterna y los ingresos del hogar. Los efectos teóricos del género y la edad son ambiguos. Por un lado, las
mujeres generalmente les va mejor en la universidad que los hombres (DiPrete y Buchmann, 2013), pero la
Economía es también un campo dominado por los hombres. Por lo general, las expectativas a priori podrían
sugerir que la edad tiene un efecto positivo y significativo sobre resultados de las pruebas, ya que los
estudiantes de mayor edad tienden a tomar la escuela, ya sea más seriamente, a trabajar más duro, o en
general a saber cómo estudiar de manera más eficaz en comparación con los estudiantes más jóvenes. Como
una prueba de robustez, también se estimó una especificación más parsimoniosa de la ecuación. (3.1) (1).

Si hay un efecto positivo de invertir la clase sobre las calificaciones obtenidas, se podría argumentar que el
flipping simplemente está haciendo que los estudiantes inviertan más tiempo en Economía fuera de la clase.
Por lo tanto, como pruebas de robustez, estimamos el siguiente modelo:

EXAMi = α + βFLIPi + TOT’i t + Si’γ + Xi’δ + ui (3.2)(2)

8
No está claro si el error de seguimiento se había corregido al momento de escribir este documento. Además, Echo 360
era consciente de los problemas con los datos y los estadísticos estaban trabajando para resolver los problemas y
mejorar sus estadísticas y la opciones de informes para los usuarios. En general, la autora estuvo extremadamente
contenta con la simplicidad y facilidad de uso del Eco 360.
9
Dado que la mayoría de los estudiantes eran alumnos del primer semestre de primer año, el uso del GPA no era factible.
Los GPA de la escuela secundaria no se utilizaron ya que los GPA no son comparables en todas las escuelas, distritos y
estados.
donde TOT es un vector de controles de ‘tiempo dedicado a responsabilidades’, que incluye el tiempo, auto-
reportado, dedicado a ver vídeos, leer el libro, estudiar para los exámenes, hacer la tarea y otras actividades.

Además de evaluar el impacto cuantitativo de invertir la clase en los resultados de los estudiantes, las
percepciones de los estudiantes hacia la clase y el aprendizaje son importantes también. Por lo tanto, para
evaluar la recepción y las percepciones de los estudiantes al flipping, proporcionamos un análisis cualitativo de
las experiencias y opiniones informadas por los alumnos.