Está en la página 1de 18

La

Relacin entre Es/maciones de


Valor Agregado de Profesores y sus
Resultados en la Evaluacin Docente
Sandy Taut, Edgar Valencia, Jorge Escobar
Presentacin en COLMEE 2012

San/ago, 5 octubre, 2012

Financiado por Fondecyt No. 1120441

Validacin de sistemas de medicin


Agenda de validacin de la Evaluacin
Docente (Taut, Santelices & Manzi, 2011).
Evidencia sobre validez en base de relaciones
con otras variables (AERA, APA & NCME, 1999):
aprendizaje de los alumnos en pruebas
estandarizadas (SIMCE).

Denicin de Valor Agregado


a nivel profesor
Valor Agregado (VA) intenta capturar la
contribucin especca del profesor al aprendizaje
de sus alumnos usando al menos dos mediciones de
desempeo de los mismos alumnos en el /empo.

VA controla al menos por el punto de par/da de los
alumnos y en muchos casos incluye variables
adicionales de caracters/cas de los alumnos y del
contexto, todos los cuales describen aspectos que
inuyen en la labor docente pero que estn fuera
del control directo del profesor.

Ver Braun, 2010


3

Estudios similares
En Estados Unidos, correlacin entre medidas de Valor
Agregado del profesor y evaluacin basada en
estndares u otras medidas son posi/vas y de magnitud
pequea a moderada (Milanowski, 2004, 2011; Hill,
Kapitula & Umland, 2011; Gates Founda/on, 2012).
En Chile, reciente estudio de MINEDUC (2012) - sin
u/lizar VAM muestra correlaciones entre SIMCE 4
bsico y ED de 0.12 en mat y 0.10 en leng
Todos estos estudios muestran cierta evidencia que
apoya a la validez convergente de diferentes medidas del
desempeo docente.
4

Pregunta de Inves/gacin
Existe evidencia que apoye la validez de la
Evaluacin Docente usando aprendizaje de los
estudiantes como criterio de desempeo
docente?

Hiptesis: Resultado de Evaluacin Docente est
posi/vamente (0.3) asociado con es/maciones de Valor
Agregado del profesor.

Bases de datos u/lizados


Evaluacin Docente: datos 2005-2010.
Registro Docente 2005 2006: vincula
docentes a cursos.
Rendimiento y matricula 1 medio 2005 y 2
medio 2006: vincula alumnos a cursos.
Aprendizaje de los alumnos: SIMCE 8vo-2do
(2004-2006), Lenguaje y Matem/ca.

Muestras nales
Solo se incluyen alumnos y docentes que han estado
trabajando juntos tanto en 1o medio como en 2o medio.
Solo se incluyen profesores si /enen datos completos de al
menos N=10 alumnos.
Muestra 2006: se calculan resultados de correlacin entre
docentes evaluados en 2006 y resultados de sus alumnos.
Tamao
Alumnos
Cursos
Profesores
Cursos / Profesor
Media alumno / profesor
Min alumnos / profesor
Max alumnos / profesor
Escuelas
!

Lenguaje Matemtica
Total
Total
27156
27601
1187
1187
761
725
1.56
1.65
35.68
38.07
10
10
187
327
476
477

Lenguaje Matemtica
2006
2006
6045
5552
245
233
165
154
1.48
1.51
36.64
36.05
10
10
187
130
90
95
7

Los seis modelos


Modelos que NO son VAM (tribute to the economists):
M1 (Pseudo-VA1): covariables a nivel estudiante, pero sin
rendimiento previo
M2 (Pseudo-VA2): covariables a nivel estudiante y aula, pero sin
rendimiento previo

Modelos VAM sin covariables (tribute to Tennessee):
M3 (VA1): solo rendimiento previo a nivel alumno
M4 (VA2): solo rendimiento previo a nivel alumno y aula

Modelos VAM con covariables (tribute to complexity):
M5 (VA3): covariables a nivel alumno, incl. rendim. previo
M6 (VA4): covariables a nivel alumno y aula, incl. rendim. previo

RESULTADOS DE MODELOS DE
VALOR AGREGADO
10

Resultados de es/maciones de VA
SIMCE Matem/ca, M6 ms completo, muestra 2006 y resultados ED Portafolio 2006

Portafolio
Insatisfactorio
Bsico
Competente
!

N
6
107
38

VA
-0.16
-0.01
0.05

D.E.
0.26
0.21
0.19

%VA>0
16.67
17.76
21.05

Resultados de es/maciones de VA
SIMCE Matem/ca, M6 ms completo, muestra 2006 y resultados ED Portafolio 2006

12

RESULTADOS DE CORRELACIONES
ENTRE VA Y ED
13

Correlaciones VA-ED:
Muestra 2006 Matem/ca (n=150)

AE
EP
IRT
M1
M2
PF
TOTAL
!

logro
-0.01
0.13
0.11
0.22**
0.21*
0.26**
0.24**

M1
0.04
0.11
0.11
0.26**
0.26**
0.32**
0.28**

M2
0.10
0.07
0.08
0.14
0.31**
0.24**
0.21**

dif
0.04
0.10
0.16
0.28**
0.24**
0.32**
0.28**

M3
0.03
0.10
0.16
0.25**
0.23**
0.29**
0.26**

M4
0.09
0.02
0.18*
0.19**
0.18*
0.21**
0.19*

M5
0.07
0.08
0.14
0.27**
0.27**
0.33**
0.28**

M6
0.09
0.00
0.17*
0.21**
0.19*
0.23**
0.20*

Correlaciones VA-ED:
Muestra 2006 Lenguaje (n=164)

AE
EP
IRT
M1
M2
PF
TOTAL
!

logro
-0.07
0.05
0.05
0.06
0.10
0.11
0.09

M1
-0.07
0.01
0.05
0.03
0.15
0.10
0.08

M2
-0.09
-0.01
-0.05
0.02
0.22**
0.12
0.07

dif
-0.03
0.09
0.06
0.11
0.20*
0.17*
0.16*

M3
-0.06
0.10
0.05
0.10
0.18*
0.17*
0.16*

M4
-0.05
0.11
0.03
0.13
0.22**
0.20*
0.18*

M5
-0.08
0.07
0.05
0.10
0.23**
0.19*
0.16*

M6
-0.06
0.10
0.02
0.13
0.24**
0.21**
0.19*

Resumen
Correlaciones entre ED y VA estn cerca de lo
esperado comparado con estudios
internacionales similares y entregan evidencia
de validez convergente.
Evidencia ms fuerte de validez existe
respecto del portafolio de la ED y para la
muestra 2006 que vincula la ED con VA del
mismo ao.

Limitaciones de los datos disponibles


Carencia de datos de varios aos de un mismo
profesor para inves/gar la estabilidad de las
es/maciones y correlaciones.
Carencia de pruebas ver/calmente alineadas
(8vo-2do): distancia de dos aos entre
primera y segunda medicin y dis/ntos
contenidos.

17

Preguntas pendientes
Cmo se relacionan las es/maciones de VA del
mismo profesor en dis/ntos cursos y aos?
Cmo se relacionan las es/maciones de VA con
resultados en las dis/ntas dimensiones del
portafolio?
Cmo se ven cambiados las es/maciones de VA al
incluir un tercer nivel escuela o comuna, o
efectos jos escuela o comuna?
Cmo cambian los resultados al tener datos con
un vnculo ms directo entre dis/ntas medidas de
aprendizaje y prc/cas docente?
18

También podría gustarte