El Concepto de Escuela Efectiva en un

Sistema de Responsabilizacin de
Escuelas
Ernesto San Martn
Facultad de Educacin, Pontificia Universidad Catlica de Chile
Facultad de Matemticas, Pontificia Universidad Catlica de Chile
Centro de Medicin MIDE UC, Pontificia Universidad Catlica de Chile
Centro de Polticas y Prcticas Educacionales CEPE-UC
Center for Operations Research and Econometrics CORE, Universit catholique de Louvain, Blgica

Seminario Clasificacin de Escuelas : Antecedentes y Escenarios Probables

Septiembre 24, 2013
Trabajo conjunto con Alejandro Carrasco

Contexto Legal

El Artculo 17 de la Ley 20.529 establece que la Agencia de Calidad de

la Educacin debe ordenar los establecimientos educacionales.
Para ello, la Agencia debe determinar una metodologa de ordenacin,
para lo cual debe considerar los siguientes aspectos:
Resultados de aprendizaje en pruebas estandarizadas.
Otros indicadores de calidad de la educacin (ya aprobados por el CNED).
Caractersticas de los alumnos de cada establecimiento educacional.
Indicadores de progreso o valor agregado.

Pontificia Universidad Catlica de Chile, E. San Martn

Septiembre 2013

El alcance de la interpretacin de esta ley

La legislacin debe ser interpretada por medio de posibles

metodologas estadsticas que sean tiles para ordenar escuelas.
No es la primera vez en la historia de Chile que un texto legal requiera
una interpretacin formal (matemtica o estadstica):
La Constitucin de 1925, en su Artculo 25 requiere que se establezca un
porcedimiento de eleccin de Senadores y Diputados que d por
resultado una efectiva proporcionalidad en la representacin de las
opiniones y partidos polticos. El Decreto Ley 542 interpret este
requerimiento por medio del establecimiento de un mtodo matemtico
que formaliza el concepto de proporcionalidad.
Una situacin similar ocurre con la Constitucin de 1980, Artculo 47, y el
establecimiento de un mtodo matemtico a cargo de la Ley 18.700,
Artculo 109bis.

Pontificia Universidad Catlica de Chile, E. San Martn

Septiembre 2013

El alcance de la interpretacin de esta ley

La legislacin debe ser interpretada por medio de posibles

metodologas estadsticas que sean tiles para ordenar escuelas.
No es la primera vez en la historia de Chile que un texto legal requiera
una interpretacin formal (matemtica o estadstica):
La Constitucin de 1925, en su Artculo 25 requiere que se establezca un
porcedimiento de eleccin de Senadores y Diputados que d por
resultado una efectiva proporcionalidad en la representacin de las
opiniones y partidos polticos. El Decreto Ley 542 interpret este
requerimiento por medio del establecimiento de un mtodo matemtico
que formaliza el concepto de proporcionalidad.
Una situacin similar ocurre con la Constitucin de 1980, Artculo 47, y el
establecimiento de un mtodo matemtico a cargo de la Ley 18.700,
Artculo 109bis.

Pontificia Universidad Catlica de Chile, E. San Martn

Septiembre 2013

Prctica poltica y Consenso terico

Al menos el ejemplo de la Constitucin de 1925 nos muestra cmo la

prctica poltica fue asegurada y fundamentada en un consenso
terico: desde inicios del siglo XX se fue elaborando una interpretacin
formal del concepto de proporcionalidad (Maza, 1913).
Dicha interpretacin se enriqueci por medio de una teora matemtica
de los sistemas de asignacin parlamentaria (Huntington 1921, 1928,
1931, 1941), de modo que la discusin de la prctica poltica en torno a
la representaccin proporcional debe (debera) centrarse en los
aspectos terico-conceptuales, y no en posibles escenarios resultantes
de determinadas prcticas polticas (escenarios simulados).

Pontificia Universidad Catlica de Chile, E. San Martn

Septiembre 2013

Partiendo por donde no hay que partir . . .

Motivads por el Acta No. 32 del Consejo de la Agencia de Calidad de la

Educacin, podramos preguntarnos cmo decidir por las virtudes de
una u otra metodologa en base a escenarios simulados.
Con fines ilustrativos, utilizaremos las aplicaciones 2004 y 2006 del
SIMCE de matemticas. Ajustamos 5 modelos de ordenacin:
Modelo M1: similar al usado por la Agencia (segn el Acta mencionada; ver tambin OECD, 2008),
donde uno de los factores explicativos es el SIMCE Matemticas 2004, adems de un efecto
composicional y una proporcin de selectividad declarada.
Modelo M2: M1 ms los niveles educacionales de padre y madre.
Modelo M3: similar al usado por la Agencia (segn el Acta mencionada), donde los factores
explicativos son la proporcin de selectividad y los niveles de educacin de padre y madre.
Modelo M4: similar a un HLM (segn consta en el Acta mencionada).
Modelo M5: una extensin de M4.

Pontificia Universidad Catlica de Chile, E. San Martn

Septiembre 2013

50
0

Efectividad bajo M3

50

50
0

50

Efectividad bajo M4

Simulaciones empricas . . . hay diferencias y no hay

diferencias!

50

50

50

50

50

50

Efectividad bajo M5

Efectividad bajo M1

50

50

50
0
50

Efectividad bajo M4

Efectividad bajo M1

Pontificia Universidad Catlica de Chile, E. San Martn

50

50
Septiembre 2013

Escuela, lo haces bien o lo haces mal? . . . esa es la

cuestin
El objetivo del Sistema Nacional de Aseguramiento de la Calidad es
identificar las escuelas que lo hacen bien, as como las escuelas que lo
hacen mal.
Esta identificacin tiene consecuencias importantes para las escuelas:
Las escuelas que lo hacen bien podrn, si as lo estiman conveniente,
trasferir sus prcticas educativas a las escuelas que lo hacen mal: la
legislacin permite que dichas escuelas formen ATEs.
Las escuelas que lo hacen mal de forma permanente, caern en causal
de cierre, siendo el incumplimieto de ciertos estndares de calidad lo que
las llevar al cierre definitivo.

La metodologa de ordenacin de escuelas tiene por objetivo distinguir

esos dos tipos de escuelas.

Pontificia Universidad Catlica de Chile, E. San Martn

Septiembre 2013

Sigamos por donde no hay que ir . . .

Consideremos el 10 % de las escuelas que lo hacen mal segn M1: el
62.1 % de stas cambia de categora con M3.

50

Indicadores de efectividad

50

o M1
o M3

100

150

200

250

300

350

400

SIMCE 2006 promedio

Pontificia Universidad Catlica de Chile, E. San Martn

Septiembre 2013

Un paso en falso ms . . .

100

100

50

50

Indicadores de efectividad

0
50

Indicadores de efectividad

50

51 % de escuelas que lo hacen mal con M3 cambia de categora con

M5, y el 38 % de las que lo hace bien con M3 bajan con M5.

150

200

250

300

350

SIMCE 2006 promedio

Pontificia Universidad Catlica de Chile, E. San Martn

400

150

200

250

300

350

400

SIMCE 2006 promedio

Septiembre 2013

Conceptualizacin de una escuela efectiva

Una interpretacin coherente de la legislacin debe centrarse en

aspectos conceptuales:
Sentido educacional del output.
La efectividad de una escuela est entre los inputs.
Requerimiento bsico: responsabilizar a la escuela por aquello de lo cual
es responsable, y no por aquello que nno est a su alcance.

Es necesario enfatizar la relacin conceptual entre outputs e inputs: lo

que hace la escuela como input es siempre en relacin al output . . . de
ah que el output debe tener sentido educacional.

Pontificia Universidad Catlica de Chile, E. San Martn

Septiembre 2013

Descomposicin fundamental

En general, todo output se puede descomponer de la siguiente manera:

Outputij

Inputs a nivel de estudiante y de escuela ij +

+ Efecto escuela j +
+ Error idiosincrticoij .

El efecto escuela se define formalmente como aquel que induce una

correlacin entre los outputs de los estudiantes que pertenecen a una
misma escuela.
Una especificacin que conlleva a responsabilizar de manera no justa a
una escuela, no distingue entre el efecto escuela y el error
idiosoncrtico.

Pontificia Universidad Catlica de Chile, E. San Martn

Septiembre 2013

Escuela efectiva: una analoga

La efectividad de una escuela se define como la diferencia entre el
output predicho por covariables y el efecto escuela, y el output predicho
por solo las covariables (lo cual significa estar en una escuela
promedio).

Y = Logro

E(Yij | Xij, uj)

E(Yij | Xij)

Pontificia Universidad Catlica de Chile, E. San Martn

E(Yij | Xij, uj)

X = Educ. madre

Septiembre 2013

Criterios para evaluar crticamente la interpretacin de la

legislacin
La escuela debe estar presente en la metodologa de ordenacin de
forma tal que los outputs de los estudiantes pertenecientes a una
escuela estn correlacionados entre s precisamente porque la escuela
induce dicha correlacin.
Dichos outputs deben tener sentido educacional.
Satisfechas las dos condiciones anteriores, es necesario usar la
definicin formal de efectividad escolar para decidir qu covariables
incorporar en el modelo. En particular, es necesario insistir en el uso de
uan caracterstica individual qu incluye con creces aspectos
socio-econmicos y de capital cultural: mediciones estandarizadas
(puntajes longitudinales). Omitirla significa crear un problema de
especificacin incorrecta.
Hay sistemas nacionales de calidad de la educacin que se cien al
canon anterior (UK, Polonia) . . . es el consenso terico que, una vez
asumido, permite interpretar las simulaciones de prcticas polticas.
Pontificia Universidad Catlica de Chile, E. San Martn

Septiembre 2013

Referencias

Esta presentacin est basada en investigaciones desarrolladas en el contexto de los siguientes proyectos:
Proyecto FONDECYT No. 1110315, School Effectiveness and Value Added Models: From
Quantitative Analysis to Qualitative Outcomes (E. San Martn (IP), A. Carrasco).
Proyecto ANILLO SOC 1107, Statistics for Public Policy in Education: Analysis and
Decision-Making of Observational Studies (E. San Martn (Director), J. Gonzlez, C. Flores, A.
Carrasc, G.Page, R. De la Cruz).
FONIDE FE-11268, Polticas de admisin, evolucin composicional y efectividad escolar de
escuelas ante la reciente institucionalidad que prohbe seleccionar alumnos (A. Carrasco (IP), C.
Flores, E. San Martn, G. Gutirrez).

Pontificia Universidad Catlica de Chile, E. San Martn

Septiembre 2013

Referencias

E. San Martn y A. Carrasco (2012). Clasificacin de Escuelas en la Nueva Institucionalidad Educativa:

Contribucin de Modelos de Valor-Agregado para una Responsabilizacin Justa. Serie Temas de la Agenda
Pblica, Centro de Polticas Pblicas UC 7, No. 53.
A. Carrasco and E. San Martn (2012). Voucher System and School Effectiveness: Reassessing School
Performance Difference and Parental Choice Decision-making. Estudios de Economa 39, 123-141.
J. Manzi, E. San Martn and S. Van Bellegem (2013). School System Evaluation by Value Added Models
Under Endogeneity. Forthcoming in Psychometrika.
E. San Martn & A. Carrasco (2013). Criterios para Evaluar la Metodologa Oficial de Clasificacin de
Escuelas: Un Asunto Tcnico o Conceptual?. Aparecer en Propuestas para Chile 2013, Centro de
Polticas pblicas UC.

Pontificia Universidad Catlica de Chile, E. San Martn

Septiembre 2013