Está en la página 1de 38

Valor Académico Agregado

Indicador de calidad
de educación incluyente

Por: Daniel Bogoya M., 2016

1
Algunas fuentes…
Amrein-Beardsley (2008), Bishop & Wössmann
(2002), Bogoya & Bogoya (2013), Hanushek
(1979), Hanushek, Jackson & Kain (1978),
Hanushek & Raymond (2001), Hanushek &
Rivkin (2012), Metzler & Wössmann (2010),
Ray (2006), Tymms & Dean (2004), Stufflebeam
& Shinkfield (1995), Wössmann (2004)…
2
Modelo conceptual (Stufflebeam, 95)
Resultados (+)
Potencial
Proyecto educativo (Saber Pro,
académico del
(profesores, biblioteca, desempeño
estudiante
laboratorios, preguntas de laboral…)
(Saber 11)
investigación, escritura
Potencial propia, sensibilidad
socioeconómico Resultados (-)
social, cuerpo
del estudiante (Proporción de
normativo…)
(estrato) estudiantes que
abandonan)
Entorno (estudiante,
familia, sociedad…)
3
Aproximación al concepto

Variación de logro académico (desarrollo


cognitivo o nivel de competencia) de un
grupo de estudiantes, entre el inicio y el
término de un período, respecto de la
tendencia de variación trazada por el
universo de grupos considerados.
4
Uso normal (Hanushek & Raymond, 01)

Rendición de cuentas de la eficacia


relativa de instituciones educativas
(incluyentes), considerando resultados
factibles, pues el estado al final de un
período depende en alto grado del
estado inicial del estudiante.
5
Condición (Amrein-Beardsley, 08)

El aporte al logro académico del


estudiante, conferido por instituciones
educativas y profesores, se estima con
instrumentos de evaluación válidos que
permitan calcular en forma confiable los
estados inicial y final de un período.
6
Significancia (Ray, 06)

Depende, entre otras variables, del


número de estudiantes evaluados. A
mayor tamaño de la población,
corresponde mayor confiabilidad
(precisión) del valor estimado para la
efectividad de una institución educativa.
7
Volatilidad (Ray, 06)

La variación del logro académico fluctúa


relativamente poco entre dos años
consecutivos. Una volatilidad de la
variación reduce la confiabilidad de la
estimación. En poblaciones pequeñas, se
sugiere tomar promedios de varios años.
8
Cima (Tymms & Dean, 04)

Es incierta la estimación de la variación


de logro académico de estudiantes que
al inicio de un periodo se localizan en la
cima de la escala generada. En los casos
de cima, es posible tomar el promedio
de varios estudiantes.
9
Norma y criterio

Pruebas con escalas diferentes conducen


a una comparación normativa, por decil
o percentil…
En contraste, pruebas en una misma
escala permiten análisis referidos a
criterio…
10
Estimación en tres fases

1. Modelo matemático con variables


de entrada, salida y control;
2. Resultados de logro académico, al
inicio y al término de un período;
3. Regresión y cálculo del valor de los
coeficientes del modelo.
11
Advertencia (Hanushek et al, 74)

En una regresión, si bien el coeficiente


de determinación es mayor para los
datos agregados (que para los datos
individuales), los efectos independientes
se oscurecen en dicho agregado y es
difícil desenredarlos. (Falacia ecológica).
12
Propuesta inicial (Hanushek, 79)

Desempeño de un estudiante en función


de antecedentes familiares, influencia de
pares, aporte de la institución y
capacidades innatas.

13
Idea de intervalo (Hanushek, 79)

Desempeño al término de un período en


función del estado de las variables al
inicio de dicho período: noción de valor
agregado.

14
Reagrupación (Hanushek & Rivkin, 12)

Desempeño en un grado en función de


aportes escolares y de pares, incidencia
familiar y de vecindad, y capacidad
individual del estudiante.

15
Una función (Bishop & Wössmann, 02)

Calidad en función de capacidad de


aprendizaje y esfuerzo de los
estudiantes, y efectividad de uso y
cantidad de recursos utilizados.

16
La familia (Wössmann, 04)

Correlación entre antecedente familiar y


logro académico muy baja y con
frecuencia negativa. Coeficiente igual a -
0,11 (TIMSS 95), para diferencia de logro
entre estudiantes con padres sin
secundaria y con padres profesionales.
17
La familia (Wössmann, 04)

18
Fuente: Wössmann, L. (2004). How equal are educational opportunities? CESIFO Working Paper No 1162, p. 17.
El profesor (Metzler & Wössmann, 10)

Una desviación estándar en el saber del


profesor eleva el logro del estudiante en
cerca de 10% de una desviación estándar
(Perú 04). El resultado no se afecta por
número horas o métodos de enseñanza
ni por la motivación del estudiante.
19
Propuesta (Bogoya & Bogoya, 13)

Estado al término de un período en


función del estado al inicio, el contexto,
una constante, el valor agregado y el
error de estimación.

20
Versión lineal

El valor agregado de un grupo se estima


como el promedio de las desviaciones
individuales de los resultados
observados.

21
Caso de estudio

120 programas de administración de


empresas en Colombia, con resultados
de 10.782 estudiantes evaluados en
pruebas nacionales de estado, al inicio
(Saber 11) y al término (Saber Pro) del
ciclo de educación superior.
22
Fuente de datos

La data empleada fue organizada a partir


de las tablas disponibles en el sitio del
Instituto Colombiano para la Evaluación
de la Educación, ICFES:
ftp://ftp.icfes.gov.co

23
Universo considerado

Programas con al menos 20 estudiantes,


cuyos resultados son mayores que cero,
tanto en las pruebas Saber Pro como en
Saber 11. En las primeras, la versión
2009, y en las segundas, el año
respectivo de presentación.
24
Desviación (error) al nivel individual

25
Error en función de datos omitidos (%)

26
Universo depurado

Se considera un conjunto de 10.566


estudiantes, luego de retirar el 2% de los
datos más alejados. Los resultados de
puntaje (Saber 11 y Saber Pro) se
normalizan con media igual a cero y
desviación estándar igual a uno.
27
Estudiantes en función del error

28
Saber Pro vs valor estimado (individual)

29
Saber Pro vs valor estimado (programa)

30
Valor agregado por programa

31
Conclusiones

1. El valor académico agregado (VAA) es


una herramienta valiosa para reconocer
la eficacia de un proyecto educativo, si
sus estudiantes logran resultados de
aprendizaje mayores que los señalados
en la tendencia del universo.
32
Conclusiones

2. Se ha desarrollado un modelo lineal


de cuatro variables: dos variables para
establecer niveles de aprendizaje, una al
inicio y otra al término de un período;
una variable para estimar el entorno; y
una variable para calcular el VAA.
33
Conclusiones

3. El modelo propuesto se resolvió con


resultados alcanzados por una muestra
de 10.782 estudiantes, pertenecientes a
120 programas de administración de
empresas de Colombia, que presentaron
la prueba Saber Pro en el año 2009.
34
Conclusiones

4. Por la naturaleza normativa del


enfoque empleado, la localización de un
programa en la escala generada es
relativa al universo considerado. Es
necesario controlar variables de
contexto que se consideren cruciales.
35
Conclusiones

5. Se estudió el efecto de variables de


control como número de semestres
cursados, tipo de colegio donde se
termina bachillerato y género. Los
resultados muestran que estas variables
son irrelevantes.
36
Conclusiones

6. Los resultados alcanzados en Saber 11


(inicio de educación superior) son trece
veces más potentes que la condición
socioeconómica de los estudiantes, para
explicar la varianza de los resultados
obtenidos en Saber Pro.
37
Coordenada

https://sites.google.com/a/unal.edu.co/danielbogoya

38