¿La mejor combinación?

Invirtiendo la clase de Principios de

Microeconomía
Neal H. Olitsky, Sarah B. Cosgrove

University of Massachusetts Dartmouth, Department of Economics, 285 Old Westport Rd, N Dartmouth, MA 02747,
USA

International Review of Economics Education 21 (2016) 1–11

_______________________________________

RESUMEN
Este estudio ofrece un análisis exhaustivo de un experimento que intenta reducir costos y mejorar los
resultados del aprendizaje a través de una clase "semi-presencial-invertida". Discernimos los efectos de
esta pedagogía sobre los resultados del aprendizaje en los cursos de Principios de Microeconomía.
Controlamos las variables de antecedentes principales y el uso de diferencias-en-diferencias con un
estimador de coincidencias, para comprobar si los estudiantes en las clases invertidas aprenden las
herramientas y conceptos económicos mejor que los estudiantes con clases interactivas y tareas en línea,
pero sin conferencias en línea. Los resultados sugieren que la mejora promedio de los estudiantes es
significativamente mayor en las clases invertidas que en clases no invertidas, aunque la diferencia en la
mejora es modesta.

3. Diseño Experimental

Este experimento compara los resultados de evaluación de los estudiantes en clases semi-presenciales
tipo moderadas (o ‘no-flipped’. NdT), con los resultados de los estudiantes en una clase semi-presencial tipo
agresiva (o ‘flipped’. NdT). La muestra se compone de los resultados de evaluación de tres clases de
Principios de Microeconomía a través de dos semestres. El grupo de control se compone de dos clases de
60 alumnos: una en el semestre de otoño 2013 y una en el semestre de primavera de 2014, reunidas los
martes y jueves durante 75 minutos cada día. El grupo de tratamiento es una clase flipped de 120
estudiantes, a partir del semestre de primavera de 2014, que también se reúnen los martes y jueves,
durante 75 minutos cada día. Las tres clases observadas fueron listadas como "semi-presencial" en el
horario de clases para que los estudiantes no estuvieran al tanto de cualquier diferencia en las clases al
momento de la inscripción. Si bien los estudiantes, después de conocer el formato de clase durante la
primera semana, podrían haberse cambiado de una clase de primavera 2014 a la otra, ninguno de los
estudiantes que abandonó la clase no-flipped se matriculó en la clase flipped y ninguno de los
estudiantes que abandonó la clase flipped se matriculó en la clase no-flipped. También es importante
tener en cuenta que Principios de Microeconomía es una clase requerida no solo para las carreras de
Economía y de Negocio, sino que también abarca un requisito de educación general para todos los
estudiantes de la Universidad. A diferencia de otras escuelas, no hay un orden prescrito en el cual se
requiera o se anime a los estudiantes a inscribirse en Principios de Microeconomía y Principios de
Macroeconomía. Por lo tanto, los estudiantes que se inscriben en las clases de primavera no deben ser
considerados como "off track" en comparación con los estudiantes que se inscriben en la clase de otoño,
o viceversa. Sólo un alumno inscrito en el curso del semestre de primavera de 2013 se repitió en el curso
del semestre de otoño 2014. Esta observación fue excluida del estudio. Un resumen de las diferencias
entre los grupos de control y de tratamiento, está disponible en la Tabla 1 y se describe a continuación.

Tabla 1
Diseño Experimental de los grupos de Control y Tratamiento
Grupo de Control Grupo Tratamiento
N° de clases Face-to Face 19 encuentros, excluyendo exámenes 14 encuentros, excluyendo exámenes
(F2F)

N° de horas de instrucción 23,75 hrs. 17,5 hrs.

F2F
N° de clases F2F ofrecidas Dos clases de 75 minutos Una clase de 75 minutos
por semana

Época de recolección de  Sep – Dic 2014 (límite 60 estudiantes por Ene. – May 2014 (límite 120 estudiantes
datos clase) por clase)
 Ene. – May 2014 (límite 60 estudiantes por
clase)

N° de estudiantes presentes Máximo 60 Máximo 60

para clases F2F

Expectativas pre F2F  Leer Capítulo(s)  Leer Capítulo(s)

 Completar breve cuestionario online de  Ver y tomar notas de videos de charlas
opciones múltiples y baja dificultad.

Actividades de clase F2F  Charla interactiva  Completar breve cuestionario de

 Actividades en pequeños grupos opciones múltiples y baja dificultad,
ocasionales (10% del tiempo) online
 Actividades en grupos pequeños (90%
del tiempo)

Expectativas post F2F Seguimiento completo de los trabajos en el Seguimiento completo de los trabajos en
Sistema de Tareas Online el Sistema de Tareas Online

Asistentes para enseñanza Ninguno Los mismos dos upperclassmen

de pregrado (ayudantes) apoyaron al grupo de
tratamiento a lo largo del período de
tratamiento

Los estudiantes en las clases de control se reunieron en forma presencial ( orig. ‘face-to-face’, ‘F2F’. NdT)
durante 19 clases (23,75 hrs.) o el 83% de las clases programadas y tuvieron actividades online, en lugar
de clase en el otro 17% de las clases programadas, excluyendo los días de prueba. Se esperaba que los
estudiantes leyeran el(los) capítulo(s) del libro correspondiente antes de asistir a su clase presencial esa
semana. Las reuniones presenciales consistían principalmente en conferencias interactivas, con breves
ejercicios en parejas y pequeños grupos de trabajo por un total del 10% aproximadamente del tiempo de
la clase presencial. Las actividades en línea eran foros de discusión que implicaron investigar y escribir
sobre ejemplos de temas tratados en clase (por ejemplo, soluciones de compromiso entre la equidad y la
eficiencia, las externalidades) y la creación y publicación de problemas originales, similares a los
cubiertos en la clase (por ejemplo, la especialización y el comercio, la producción y los cálculos de
costos).1 No hubo asistentes de enseñanza de pregrado para las clases de control.

La clase de tratamiento se reunió de manera presencial durante 14 clases (17,5 hrs.) o aproximadamente
el 61% de las clases programadas y tenía actividades online en lugar de la clase en el otro 39% de las
clases programadas, excluyendo los días de prueba. Esta clase se dividió al azar en dos grupos con 60
alumnos cada uno. Un grupo asistió a clases presenciales, los días martes y trabajó en línea el resto de la
semana, mientras que el otro grupo asistió a clases presenciales los días jueves y trabajó en línea el resto
de cada semana.2 Se esperaba que los estudiantes leyeran el(los) capítulo(s) correspondiente libro de
texto y también que visualizaran, estudiaran y tomaran notas de los videos de charlas pre-grabadas,
antes de asistir a su clase presencial durante esa semana. Al inicio de cada clase completaban un
cuestionario breve (orig. ‘quiz’. NdT) de 6-10 preguntas de opción múltiple, para incentivar la preparación
para la clase. A mitad del semestre, se les permitió a los estudiantes utilizar sus apuntes al rendir los quiz
para proporcionar un incentivo adicional para prepararse para la clase. Los videos fueron tomados por
un Profesor Asociado con más de diez años de experiencia en la enseñanza de este curso, utilizando el
software Camtasia Relay para capturar audio y los correspondientes textos en una PC-tablet usando
OneNote.3

Durante el tiempo de clase, los estudiantes de la clase de tratamiento trabajaron en grupos de tres o
cuatro integrantes asignados al azar, en problemas de dificultad creciente que cubrían los temas de los
vídeos de esa semana. Los estudiantes fueron asignados aleatoriamente en diferentes grupos durante
cada período de clase, para que se mezclaran estudiantes con diferentes capacidades y niveles de
motivación. Algunas de las preguntas estaban en formato de opción múltiple, en consonancia con los
cuestionarios y pruebas unitarias y algunos eran problemas de respuesta abierta. 4 La mayoría de las
preguntas requirió la aplicación y el análisis de los temas de la semana. Además, algunas cuestiones
referentes a la evaluación y la síntesis, se incluyeron al final de la lección. El profesor y dos ayudantes de
enseñanza de grado, circulaban a través de los grupos para responder preguntas y ayudar a los
estudiantes.

Para captar de mejor forma el verdadero efecto del rediseño curricular, muchos aspectos del curso
fueron consistentes entre los grupos de control y tratamiento. Se requirió que los dos grupos usaran el

1
Este grupo de control coincide con el formato semi-presencial en el que no se encontraron beneficios previamente
(Olitsky and Cosgrove,2013; Cosgrove and Olitsky, 2014).
2
Para asegurar que todos los estudiantes en la clase flipped recibieran la misma cantidad de tiempo presencial,
dado el calendario de vacaciones para el semestre y excluyendo los días de prueba, los 120 estudiantes se
reunieron los dos primeros días de clase y en las dos clases previas a las pruebas de unidades.
3
Ciertamente, el desarrollo de los videos requiere un costo sustancial de tiempo; sin embargo, hacemos caso
omiso de este costo mediante la elaboración de nuestro propio argumento ahorrativo, ya que los vídeos son
reutilizables para las clases futuras a un costo marginal cero.
4
Ejemplos de los trabajos en clase, están disponibles por los autores para quienes lo soliciten.
mismo libro de texto y el correspondiente sistema de tareas en línea con las tareas y fechas de
vencimiento idénticas. Todo el material de lectura era el mismo, aunque el modo de entrega fue
diferente entre los grupos de control y tratamiento. El mismo instructor enseñó a todos los estudiantes
en los grupos de control y tratamiento. Todas las pruebas fueron administradas en el mismo horario y
eran idénticas a través de las clases; sin embargo, se distribuyeron varias versiones de pruebas para
disuadir el engaño.

Los datos de evaluación utilizados en este estudio fueron recogidos en dos momentos distintos durante
la clase. A todos los estudiantes, tanto en el grupo de tratamiento como en el de control, se les dio un
idéntico pre-test de 25 preguntas en su primer día de clase. Si bien no se les otorgó crédito por el pre-
test, se alentó a los estudiantes para que lograran la mejor puntuación que fuera posible. No se
distribuyó ningún resultado de esta prueba preliminar a los estudiantes, ni se les devolvieron los
cuestionarios. También, a todos los estudiantes, tanto en el grupo de control como en el grupo de
tratamiento, se les dio la misma prueba de 25 preguntas en el último día de clase, como una post-
prueba, por la que se concedió crédito adicional. Mediante la aprobación de nuestro Comité de Ética
(orig. ‘IRB’. Institutional Review Board. NdT) se nos permitió notificar a los estudiantes en el último día de clase,
que eran parte de un experimento y obtener así su consentimiento en ese momento, a fin de no influir
en su comportamiento durante el semestre.

El pre/post-test no era de carácter general, sino más bien específico para el contenido del curso, con
preguntas como las que se encuentran en un examen del curso. El pre/post-test incluye nueve preguntas
de la primera unidad y ocho preguntas de la segunda y tercera unidades, con preguntas de diferentes
grados de dificultad.5 El pre/post-test no es un examen general de conocimiento económico, sino más
bien una prueba diseñada para evaluar el plan de estudios específico del curso. La primera unidad cubrió
los capítulos introductorios, centrándose en la curva de posibilidades de producción (Capítulo 2) ventaja
comparativa y comercio (Capítulo 3), el modelo de oferta/demanda (Capítulo 4) y elasticidad (Capítulo
5). La segunda unidad cubrió la política pública y su efecto en los resultados del mercado, incluyendo la
intervención del gobierno (Capítulo 6), la eficiencia del mercado (Capítulo 7), impuestos (Capítulo 8),
externalidades (Capítulo 10), los bienes públicos (Capítulo 11) e introducción a la teoría de la empresa,
abarcando costos de producción (Capítulo 13). La tercera unidad se centró en los modelos de mercado,
cubriendo las empresas competitivas (capítulo 14), el monopolio (capítulo 15), la competencia
monopolística (capítulo 16) y el oligopolio (Capítulo 17).

La recolección de datos de evaluación en dos puntos nos permite medir los cambios diferenciales en el
aprendizaje que se producen durante el semestre. Además, al separar el análisis en unidades, podemos
analizar la posibilidad de que el flipping afectará a los estudiantes de manera diferente ya sea en base a
la naturaleza del material o en base a la cantidad de tiempo que tienen para ajustarse al modo invertido

5
Para más detalles sobre nuestro método de cálculo de los índices de dificultad y de discriminación de las
preguntas, por favor véase el Apéndice A.
 4. Metodología

Para estimar los efectos de los cursos invertidos, empezamos por la obtención de las diferencias-en-
diferencias brutas (DID) de rendimiento entre los estudiantes de la clase flipped y los estudiantes en las
clases no-flipped. Siguiendo la notación convencional, sea Yi el resultado del estudiante i. Además, sea Di
el indicador de tratamiento, tomando un valor de uno, si el individuo i había tomado una clase flipped y
cero, en caso contrario. Analizamos la diferencia en las puntuaciones en el pre-test y el post-test,
utilizando un indicador variable que toma un valor de uno, si la observación es una puntuación de post-
test y un valor de cero, si se trata de puntuación de pre-test; esto se registró mediante la variable POSTi.
Dada la notación anterior, obtenemos la DID bruta mediante la estimación:

Yi = β0 + β1 Di + β2 POSTi + β3 (POST x D)i + εi (1)

El siguiente conjunto de modelos que estimamos, son regresiones DID aumentadas, para representar las
características individuales que no varían con el tiempo ( orig. ‘time-invariant’. NdT), incluyendo datos
demográficos, características individuales y el rendimiento académico. El modelo DID aumentado es
como sigue:

Yi = β0 + β1 Di + β2 POSTi + β3 (POST x D)i + Xi βx + εi (2)

donde Xi es una matriz que consta de los controles mencionados.

Uno de los supuestos fundamentales del procedimiento de estimación DID, es el supuesto "tendencia
común" (Angrist y Pischke, 2009). La suposición ‘tendencia común’ es la afirmación de que en ausencia
de tratamiento, el cambio en los resultados sería el mismo, en promedio, tanto para el grupo de
tratamiento como para el grupo control. En el contexto del presente estudio, el supuesto ‘tendencia
común’ establece que los estudiantes en la clase flipped hubieran mostrado el mismo cambio en las
calificaciones de evaluación como los de la clase no-flipped, si los de la clase flipped no fueran expuestos
al tratamiento (por ejemplo, clase invertida). El supuesto tendencia común se puede escribir como sigue:

E(Y0t – Y0t’ |D = 1) = E(Y0t – Y0t’ |D = 0) (3)

En la ecuación anterior Y0t representa el resultado ‘no tratado’ en el período post-tratamiento y Y 0t'
representa el resultado no tratado en el período pre-tratamiento. Además, debido a que sólo
observamos los resultados ‘tratados’ ( orig. ‘flipped’. NdT) de los estudiantes en la clase flipped, el lado
izquierdo de la ecuación (3) es una hipótesis que no se puede observar. Además, Angrist y Pischke
(2009), señalan una manera de refutar o comprobar la hipótesis de tendencia común, y es examinar
varios períodos de pre-tratamiento y examinar si las tendencias de pre-tratamiento parecen similares
entre los grupos de tratamiento y control. Desafortunadamente para el presente estudio, sólo hay una
observación de pre-tratamiento, haciendo imposible este tipo de verificación. Como resultado de ello,
nos basamos en un procedimiento de estimación alternativo, lo que debilita la exigencia de que esta
suposición se valide (Blundell y Costa Dias, 2009).

Además del modelo ‘DID aumentada’, empleamos diferencias-en-diferencias con un estimador de

coincidencias (MDID) presentado en Heckman et al. (1998) y discutido en varios otros estudios (Smith y
Todd 2005; Caliendo y Kopeinig, 2008; Blundell y Costa Dias 2009). El estimador MDID determina el
efecto de un tratamiento acondicionando los resultados sobre la puntuación de propensión, la
probabilidad de que un individuo reciba el tratamiento. Los puntajes de propensión entonces, se utilizan
para generar el resultado contrafactual (‘hipotético’.NdT) para aquellos en el grupo de tratamiento,
condicionando sobre características observables. 6

Como se señaló en Caliendo y Kopeinig (2008) y Blundell y Costa Dias (2009), el estimador MDID tiene
ventajas sobre el modelo DID aumentado. El enfoque DID estándar, asume una relación lineal entre el
estado del tratamiento y el resultado. Por el contrario, el estimador de coincidencias DID, no asume
ninguna relación funcional entre el estado de tratamiento y el resultado, estimando esta relación no-
paramétricamente. Este desvío de los supuestos paramétricos, incrementa la flexibilidad del
procedimiento de estimación y mejora la fiabilidad de las estimaciones (Caliendo y Kopeinig, 2008). A
pesar de que el estimador de coincidencias DID reduce el sesgo de las estimaciones, también reduce la
eficiencia de las estimaciones. Como resultado, la aplicación de este procedimiento conduce a una
reducción de la significancia de las estimaciones de los coeficientes.

5. Datos y análisis descriptivo

La muestra utilizada en el presente estudio coteja la información de tres fuentes: el rendimiento del
curso, los expedientes de los estudiantes y los perfiles estudiantiles de la universidad. En primer lugar,
los datos de ejecución del curso proporcionan las variables de resultado, el indicador flipped/no-flipped y
los registros de asistencia. Los datos de resultado se obtienen a partir de las evaluaciones de los
estudiantes. Examinamos los efectos de la inversión de la clase (orig. ‘the flipping’. NdT) para cada una de las
tres unidades del curso, así como una comparación general entre el pre y post-test. Los resultados de la
evaluación se expresan como un porcentaje de preguntas contestadas correctamente. En segundo lugar,
con la aprobación del IRB, cotejamos los datos de rendimiento de los estudiantes con sus expedientes
académicos. Esto proporciona controles importantes para el logro académico, incluyendo el número de
clases de economía tomadas en semestres anteriores, la calificación universitaria promedio ( orig. ‘College
GPA’. Grade Point Average. NdT ) acumulativa de un estudiante y el número acumulado de créditos
universitarios obtenidos en semestres anteriores. Por último, el perfil universitario del estudiante,
proporciona la información demográfica base como el género, la raza y el origen étnico, la información
sobre carreras o especialización universitaria (las previstas y las declaradas), los puntajes de la prueba
admisión universitaria SAT (‘Scholarship Aptitude Test’. NdT) y si el estudiante vive en el campus. Las siguientes
variables son variables indicadoras, que toman un valor de 1, si la respuesta es ‘sí’, y 0 si la respuesta es
‘no’: el encuestado es blanco, el encuestado es negro, el encuestado es de sexo masculino, residente en
el campus y, especializado en negocios.

6
Para una explicación detallada de la estimación MDID, consulte el Apéndice A.
La Tabla 2 presenta las estadísticas descriptivas de las variables utilizadas, tanto para la muestra
agrupada como para las clases flipped y no flipped por separado. En cuanto a las medias de las
evaluaciones, emergen varios patrones. En primer lugar, en ambos modos de realización de los cursos, se
observó una mejoría entre el pre-test y el post-test. En segundo lugar, los estudiantes en la clase flipped
muestran una gran mejoría, en promedio, entre el pre-test y post-test; sin embargo, para algunas
comparaciones pre/post, el aumento es bastante modesto. Este aumento de la mejora es más
pronunciado cuando se miran las 25 preguntas del pre-test en comparación con las 25 preguntas post-
test. En este caso, los estudiantes en la clase flipped mostraron una mejora promedio que fue de
aproximadamente 5% (1,35 preguntas) más grande que sus pares no-flipped. Las clases flipped y no
flipped presentan un aspecto similar respecto a los controles adicionales. Con pocas excepciones, los
estudiantes en la clase flipped tienen valores promedio similares para los controles. Las excepciones son
las siguientes. En primer lugar, los estudiantes en la clase flipped han tomado un poco más de clases de
economía, en promedio. En segundo lugar, los estudiantes en las clases no-flipped tienen promedios
generales (orig. ‘GPAs’. NdT) más altos, en promedio, que sus contrapartes volteado, con un GPA de 2,92
(en comparación con un GPA de 2,71). En tercer lugar, los estudiantes en la clase no –flipped han
tomado, en promedio, aproximadamente seis créditos más (aproximadamente dos clases). En cuarto
lugar, los estudiantes en la clase flipped tienen mayores puntuaciones del SAT, con un promedio que es
29 puntos más alto que sus contrapartes no-flipped, desviación estándar 0,25 aproximadamente.
Aunque estas diferencias son modestas, empleamos un enfoque de adecuación para asegurar que los
grupos de tratamiento y de control se asemejen por sobre estas características medibles.