opinin

SIMCE: PASADO, PRESENTE Y FUTURO DEL SISTEMA NACIONAL DE EVALUACIN

formaciones que ha experimentado el Sistema nacional de Medicin de la Calidad de la Educacin (SiMCE) desde su creacin en 1988 hasta nuestros das, y se analizan los trascendentales desafos que deber enfrentar el sistema de evaluacin en un futuro prximo, producto de la entrada en vigencia de la Ley de Aseguramiento de la Calidad de la Educacin (2011) que reconfigura la institucionalidad del sistema escolar. Palabras clave: educacin, evaluaciones externas, estndares, rendicin de cuentas. Recibido: abril 2011; aceptado: mayo 2011. SIMCE: PAST, PRESENT AND FUTURE OF ThE NATIONAL EVALUATION SYSTEM Juan Bravo
Abstract: This article describes the main transformations

that SIMCE (the Chilean national evaluation system of learning achievements) has undergone since its creation

Juan Bravo M. Magster en Ciencias de la Educacin, Pontificia Universidad Catlica de Chile. Director Sistema nacional de Medicin de la Calidad de la Educacin (SiMCE), Ministerio de Educacin (juan.bravo@mineduc.cl).
Estudios Pblicos, 123 (invierno 2011).

.c e

pc

hi

Resumen: En este artculo se describen las principales trans-

le

.c l

Juan Bravo

190

EstUdios PbliCos

in 1988. The transcendental challenges that the evaluation system must face in the near future are analyzed in light of the entry into force of regulations that redesign the framework of the school system. Keywords : education, external evaluation, standards, accountability. Received: April 2011; accepted: May 2011.

a evaluacin de logros de aprendizaje de los estudiantes es un factor clave para determinar los avances en materia de calidad y equidad educacional, as como para identificar y superar las debilidades e insuficiencias de los sistemas educativos nacionales. En el contexto latinoamericano, Chile ha sido pionero en la creacin y consolidacin de un sistema de evaluacin de logros de aprendizaje, dado que a travs de una serie de mediciones a lo largo de los aos ha sido posible determinar los logros de aprendizaje de los estudiantes y relacionarlos con el contexto escolar y social en el que se producen, de manera de aportar evidencia emprica para orientar la toma de decisiones de poltica educativa. Adicionalmente, los resultados de las evaluaciones han permitido retroalimentar las prcticas pedaggicas y de gestin en los establecimientos, mediante la distribucin de reportes para docentes y directivos, la organizacin de seminarios de difusin de los resultados y la realizacin de jornadas de anlisis en los establecimientos educacionales. En la actualidad, la labor de evaluar los logros de aprendizaje de los estudiantes recae directamente en el Ministerio de Educacin (Mineduc), institucin que cumple esta tarea a travs del componente evaluacin de la Unidad de Curriculum y Evaluacin del SiMCE1. Este artculo tiene como objetivo describir las principales transformaciones que ha experimentado el sistema nacional de evaluacin
la sigla empleada para identificar al sistema nacional de evaluacin de logros de aprendizaje es SiMCE (Sistema de Medicin de la Calidad de la Educacin); no obstante, su propsito principal es la medicin de resultados de aprendizaje.
1

.c e

pc

hi

le

.c l

Introduccin

jUan bravo

191

futuro prximo, producto de la entrada en vigencia de la normativa que reconfigura la institucionalidad del sistema escolar. Para esto, en la primera parte del documento se describe la historia del SiMCE, desde su creacin hasta nuestros das; a continuacin se detalla la situacin actual del sistema, y por ltimo, en la tercera parte, se analizan los principales desafos que deber enfrentar en un futuro inmediato. 1. Un sistema que se enmarca dentro de una larga tradicin evaluativa

SiMCE desde su creacin, y analizar los desafos que enfrentar en un

Los orgenes del SiMCE se remontan a la dcada de los 60, cuando en 1968 se rinde la primera prueba nacional, destinada a medir los logros de aprendizaje de los estudiantes en 8 ao bsico. Dicha prueba se aplic anualmente hasta 1971 y posteriormente se descontinu. En 1982 se implement el Programa de Evaluacin del rendimiento Escolar (PEr) para 4 y 8 ao bsico; este programa fue diseado y ejecutado por el departamento de investigacin y tecnologa de la Universidad Catlica (diCtUC), mediante un convenio con el Mineduc. El PEr se entendi como una herramienta para hacer efectiva la descentralizacin de la educacin, al trasladar la iniciativa sobre el mejoramiento educativo a los docentes, directivos, y padres y apoderados, proporcionando informacin sobre los resultados de aprendizaje de los estudiantes (Himmel, 1997). Entre los aos 1985 y 1986 se crea el Sistema de Evaluacin de la Calidad de la Educacin (SECE), a cargo del Centro de perfeccionamiento, Experimentacin e investigaciones pedaggicas (CpEip) del Ministerio de Educacin, con el objetivo de analizar los datos generados por el PEr (romn, 1999). En 1988 se puso en marcha el SiMCE, sistema destinado en principio a evaluar el rendimiento escolar y la calidad de la educacin impartida en los niveles 4 y 8 bsico de todos los establecimientos educacionales del pas. Entre sus objetivos originales destacaban:

proporcionar asistencia al Ministerio de Educacin en su tarea normativa y en la supervisin del sistema.

.c e

pc

hi

le

.c l

1.1. Los orgenes del sistema nacional de evaluacin, SIMCE

192

EstUdios PbliCos

brindar apoyo a las autoridades regionales y locales en la supervisin, adems de prestarles apoyo tcnico. Estimar la calidad de la educacin impartida en cada establecimiento educacional; comparar dichos resultados, buscar los factores explicativos y evaluar los resultados de los programas pedaggicos. orientar la actividad de perfeccionamiento docente, las acciones de supervisin y la asignacin de recursos.

Tal como se seal previamente, a partir de 1992 el SiMCE se institucionaliza en el Mineduc; no obstante, su instalacin en el sistema y el reconocimiento por parte de los establecimientos no concluye sino hasta mediados de la dcada de los 90, cuando comienzan a publicarse en un diario de circulacin nacional los resultados de cada establecimiento, y tanto los docentes como los directivos reconocen que el SiMCE es un medio til para la gestin pedaggica (Himmel, 1997). De hecho, desde el comienzo de la publicacin de los resultados, esta se convirti en un hito no slo para los establecimientos educacionales,
La cultura evaluativa implica la posesin de competencias profesionales en evaluacin educativa, el liderazgo organizativo y el uso de la informacin producto de la evaluacin en la labor cotidiana. En el caso del SiMCE, esta cultura evaluativa se ha ido desarrollando gradualmente en el tiempo, lo que ha contribuido a consolidar este sistema.
2

1.2. La institucionalizacin del sistema y el surgimiento de una cultura evaluativa2

.c e

Finalmente, en 1992 el Mineduc asume el control del SiMCE, basando esta iniciativa en la Ley orgnica Constitucional de Enseanza (LoCE) de marzo de 1990, la cual establece que: Corresponder al Ministerio de Educacin pblica disear los instrumentos que permitan el establecimiento de un sistema para la evaluacin peridica, tanto de la enseanza bsica como media, de los objetivos fundamentales y contenidos mnimos de esos niveles (Decreto Ley n 40, Mineduc, 1990). Esta normativa tambin determina las principales caractersticas del sistema, a saber: las pruebas deben evaluar el marco curricular vigente, se debe evaluar al finalizar cada ciclo escolar, y se deben hacer pblicos los resultados de cada establecimiento.

pc

hi

le

.c l

jUan bravo

193

En 1998, el SiMCE cambi su dependencia dentro del Ministerio de Educacin y de ser una unidad que dependa directamente de la Subsecretara de Educacin, pas a formar parte de la Unidad de Currculum y Evaluacin (UCE). En un primer perodo como parte de la UCE comprendido entre los aos 1998 y 2003 se priorizaron tres lneas de desarrollo del SiMCE (Meckes, 2003), a saber:

Alinear las pruebas nacionales con la reforma curricular y comunicar los nuevos lineamientos de la evaluacin a los docentes, con el propsito de contribuir a la implementacin del nuevo currculum en la sala de clases. Modernizar las metodologas de anlisis de la evaluacin, posibilitando las comparaciones de los resultados entre aos, y el anlisis de tendencias a lo largo del tiempo.

1.3. La consolidacin del sistema y la Comisin SIMCE

.c e

sino tambin para la opinin pblica, debido a la gran cobertura que le otorgan los medios de comunicacin masiva. Entre 1992 y 1997 las evaluaciones censales se concentraron en logros acadmicos de Castellano y Matemticas (la evaluacin de Ciencias naturales e Historia y Geografa se realizaba muestralmente), recogindose tambin informacin sobre desarrollo personal de los alumnos, actitudes hacia el medio ambiente, desarrollo de la creatividad, y sobre la aceptacin de la labor educacional por parte de los padres, como tambin informacin tcnico-administrativa de los establecimientos (Meckes, 2003). El modelo de medicin utilizado durante este periodo fue la Teora Clsica de las pruebas; esta metodologa permiti determinar y reportar el porcentaje promedio de respuestas correctas de los estudiantes sobre el total de preguntas presentadas en cada prueba, a nivel de establecimiento. Los resultados obtenidos eran comparables entre establecimientos o agrupaciones de establecimientos dentro de un mismo ao; pero no eran comparables entre distintos aos, debido a que la construccin de las pruebas y su metodologa de anlisis no consideraban los resguardos tcnicos requeridos para ello. Sin embargo, desgraciadamente los puntajes comenzaron a ser utilizados para establecer comparaciones entre aos, a pesar de estas limitaciones.

pc

hi

le

.c l

194

EstUdios PbliCos

Dar impulso a la participacin de Chile en diversos estudios internacionales con el propsito de situar el rendimiento de los estudiantes chilenos en un contexto internacional y retroalimentar el diseo curricular.

En primer lugar, las pruebas se orientaron a la evaluacin del nuevo marco curricular, enfatizando la medicin de habilidades cognitivas de orden superior, mediante la incorporacin de preguntas orientadas a la medicin de stas, tales como las preguntas abiertas o de desarrollo que se incorporaron en todas las pruebas. Adems, se puso nfasis en la publicacin de ejemplos de preguntas, puesto que la difusin de ejemplos de preguntas y respuestas de los estudiantes, en el caso de las preguntas abiertas, constitua una forma de comunicar a los docentes cules eran las expectativas de aprendizaje asociadas al marco curricular. otro de los avances importantes del SiMCE consisti en la actualizacin del modelo de medicin utilizado, ya que en 1998 se cambi el modelo de medicin, reemplazando el uso de la Teora Clsica por la teora de respuesta al tem (tri), para puntuar las pruebas. La adopcin de esta nueva metodologa facilit la comparacin de resultados entre aos, as como la descripcin de niveles de desempeo de los estudiantes, a partir de los resultados. Tambin se dio impulso a la participacin de Chile en diversos estudios internacionales, organizados por la Asociacin internacional de Educacin (iEA), la organizacin para la Cooperacin y el Desarrollo Econmico (oCDE), y la oficina regional de Unesco. as el SiMCE llev adelante el Primer Estudio regional Comparativo y Explicativo (PErCE) del Laboratorio Latinoamericano de la Calidad de la Educacin dependiente de Unesco, en 1997; las primeras aplicaciones del Estudio internacional de Tendencias en Matemticas y Ciencias (TiMSS 1999 y 2003) y del Estudio internacional de Educacin Cvica (iCCS 1999), dependientes de la iEA; y la primera aplicacin del programa internacional de Evaluacin de Estudiantes (piSA) dependiente de la oCDE, en 2000. Adicionalmente es importante mencionar que a partir de la evaluacin del ao 2000 se comenzaron a publicar los resultados de los establecimientos en la prensa y en la pgina web, comparndolos con los puntajes promedio obtenidos por aquellos establecimientos con similares caractersticas socioeconmicas. Esto con el propsito de contar

.c e

pc

hi

le

.c l

jUan bravo

195

con un referente de comparacin que permitiera distinguir el aporte de variables propias del desempeo del establecimiento y aquellas que son menos controlables por estos.
1.3.1. La Comisin SIMCE

En 2003, el Ministerio de Educacin convoc un comit de expertos de diversos mbitos institucionales relevantes para el sistema educacional chileno, para constituir la Comisin para el Desarrollo y Uso del sistema de Medicin de la Calidad de la Educacin (Comisin SiMCE), con el objetivo de elaborar un diagnstico sobre el sistema nacional de evaluacin y la informacin que este otorga, y proporcionar alternativas de mejoramiento orientadas a optimizar su impacto sobre la calidad de los aprendizajes (Meckes, 2003). La Comisin fue una primera instancia de reflexin sobre los alcances que tena el SiMCE y sobre la necesidad de responder a las demandas del sistema educacional chileno en el mbito de la evaluacin de aprendizajes. El diagnstico que entreg la Comisin permiti corroborar que el SiMCE era un sistema metodolgicamente slido, que gozaba de gran credibilidad entre los distintos actores educativos, pero que era utilizado principalmente para focalizar recursos, instalar incentivos vinculados a los resultados y evaluar el impacto de las polticas (Mineduc, 2003). Los usos pedaggicos de la informacin de resultados resultaban muy restringidos, dado que la informacin reportada a los docentes muchas veces careca de significado para orientar sus prcticas. adems, se detect que el uso de la informacin de resultados, por parte de los padres y apoderados, era prcticamente nulo. Finalmente, la Comisin recogi la preocupacin por el impacto negativo de las prcticas de seleccin y de exclusin de estudiantes con bajo rendimiento, como estrategias para mejorar los resultados del SiMCE y, asimismo, se detect cierta tendencia de los establecimientos a concentrar sus mejores recursos y esfuerzos en las generaciones evaluadas por el SiMCE, en desmedro de las que no lo eran. En cuanto a los propsitos del SiMCE, la Comisin recomend que el sistema debiera obtener y proveer informacin sobre los aprendizajes logrados por los estudiantes para:

permitir el monitoreo de resultados a nivel nacional y orientar decisiones de poltica educativa;

.c e

pc

hi

le

.c l

196

EstUdios PbliCos

retroalimentar las prcticas pedaggicas y de gestin de los docentes y directivos, con el fin de mejorar los procesos de enseanza y aprendizaje; comunicarlos a las familias de los estudiantes y a la comunidad con el objetivo de promover el compromiso responsable de los involucrados y permitir la rendicin de cuentas de sostenedores, directivos y docentes.

La Comisin tambin entreg una serie de recomendaciones orientadas a favorecer un mejor uso de los resultados del SiMCE por parte de los actores educativos; a aumentar el impacto de la evaluacin en el sistema escolar, mediante un aumento de su periodicidad; y a entregar informacin que facilite la implementacin de incentivos ms justos y vlidos. En primer lugar, sugiri reportar los resultados en relacin con expectativas nacionales de logro o estndares de desempeo, para otorgar un mayor significado y utilidad pedaggica a los resultados del SiMCE. Tambin recomend establecer canales de informacin ms directos, para informar eficazmente a los padres y apoderados de los estudiantes acerca de los resultados obtenidos, en cada establecimiento. por otra parte, la Comisin sugiri evaluar ms niveles educativos cada ao e incorporar nuevas reas curriculares a la medicin, como por ejemplo ingls y Educacin Tecnolgica, con el propsito de promover una implementacin ms amplia del currculum, por parte de los establecimientos. por ltimo, recomend asociar consecuencias a los avances alcanzados por los establecimientos, a partir de los resultados obtenidos por un grupo de estudiantes entre un nivel evaluado y el siguiente, utilizando indicadores de progreso educativo o valor agregado. Tambin cabe destacar que en 2004 un grupo de especialistas de la oCDE realiz una evaluacin de las polticas educacionales de Chile (oCDE, 2004b), que deriv en una serie de recomendaciones de mejora para el SiMCE. En general, estas recomendaciones fueron coincidentes con las recomendaciones que haba realizado la Comisin SiMCE, por lo que, en conjunto con estas ltimas, orientaron el desarrollo del sistema durante los aos siguientes. por ltimo, es importante aclarar que las recomendaciones de mejoramiento, tanto de la Comisin como de la revisin de la oECD,

.c e

pc

hi

le

.c l

jUan bravo

197

estuvieron fundadas en una sugerencia de base referida a conservar las principales caractersticas del SiMCE, es decir, mantener:

su foco central en los aprendizajes, la calidad de censal de la medicin de 4, 8 y 2 medio, la publicacin de los resultados de cada establecimiento, la confidencialidad de los puntajes individuales, el reporte de informacin para contextualizar los resultados y la entrega de informacin sobre equidad en los logros de aprendizaje, la participacin en mediciones internacionales, el acceso a la informacin para fines de investigacin.

Entre 2005 y 2010 se implement la mayor parte de las recomendaciones surgidas de la Comisin SiMCE y de la evaluacin de polticas educacionales realizada por la oCDE. no obstante, cabe sealar que antes de la ejecucin de estas recomendaciones se reestructur internamente la organizacin, para operar de manera ms eficiente en relacin con las nuevas demandas emanadas de dichas instancias. En este contexto, el SiMCE incorpor a su estructura a la hasta ese entonces independiente rea de Estudios internacionales, y cre dos instancias directamente dependientes de la Coordinacin nacional: la Coordinacin Tcnica (a cargo de los equipos de evaluaciones nacionales e internacionales, esto es, los equipos disciplinarios, de medicin, y de anlisis y comunicacin de resultados) y la Coordinacin de Gestin (a cargo de programar y monitorear la ejecucin de los procesos y su correspondiente control de calidad, adems de ser la contraparte de la UPlaG, en los procesos operativos del SiMCE). En el perodo 2005-2010 destac ntidamente la realizacin de una serie de acciones que permitieron reportar resultados segn estndares de desempeo o niveles de logro, como se les denomin en el mbito nacional. En efecto, durante este perodo se implementaron progresivamente pruebas referidas a niveles de logro en 4 ao bsico y 8 ao bsico; lo que represent un gran avance para el sistema, puesto que implic un cambio de foco en la entrega de informacin sobre resultados SiMCE para los docentes y directivos, poniendo mayor nfasis en

.c e

pc

hi

le

1.4. La evolucin del sistema post-Comisin SIMCE

.c l

198

EstUdios PbliCos

los aprendizajes que mostraban los estudiantes que en los promedios de los puntajes obtenidos (Meckes, 2007). Adems, entre 2007 y 2010 se publicaron los documentos de descripcin de los niveles de logro (nL) de Lectura, Educacin Matemtica, Comprensin del Medio natural y Comprensin del Medio Social y Cultural, que incluyen orientaciones para su uso, tanto en la interpretacin de los resultados como en el diagnstico de los aprendizajes de los estudiantes evaluados. otra accin destacable del periodo se refiere a la intensificacin de la frecuencia de la medicin nacional y a permitir el seguimiento de una misma cohorte de estudiantes a lo largo de su trayectoria escolar. En este mbito, en 2005 se inici la medicin anual de 4 ao bsico, que en los aos sucesivos y hasta la fecha es acompaada por las pruebas de 2 ao medio y de 8 ao bsico, alternadamente. En 2009, se cont con la primera cohorte que haba rendido la prueba en 4 ao bsico y 8 ao bsico, posibilitando la realizacin de un primer estudio de indicadores de progreso educativo y la entrega de recomendaciones para su eventual incorporacin al reporte de resultados de 8 ao bsico. Ese mismo ao se realiz un escalamiento vertical entre las pruebas de 4 y 8 bsico de Lectura y Educacin Matemtica, referidas a los nL, lo que permiti determinar el avance alcanzado por los estudiantes (Montt et al., 2010). respecto del aumento de la accesibilidad de las pruebas SiMCE, tambin se realizaron acciones importantes: en 2008 se realiz un estudio piloto para evaluar a estudiantes de 4 ao bsico con discapacidad visual y auditiva (estudiantes ciegos, con baja visin y sordos). El xito de este estudio permiti que en 2009 y 2010 se aplicara esta evaluacin especial, en lectura y Matemtica, de manera censal en la regin Metropolitana y en valparaso. En otro mbito y con el objeto de promover el uso de los resultados de medicin por parte de los distintos actores educativos, en 2006 se realiz un estudio sobre acceso, comprensin y uso de los resultados del SiMCE, y conforme a ello, posteriormente se introdujeron modificaciones al informe para docentes y directivos, y al informe para padres y apoderados que se haba comenzado a distribuir ese mismo ao. Adems, se elabor un nuevo informe destinado a acadmicos y autoridades de gobierno, al que en forma paulatina se incorpor la informacin relativa a anlisis descriptivos y explicativos de factores asociados a

.c e

pc

hi

le

.c l

jUan bravo

199

los logros de aprendizaje de los estudiantes. Asimismo, se estableci un vnculo cooperativo permanente con la Divisin de Educacin General (DEG), para fortalecer la jornada de anlisis de resultados que coordinaba y supervisaba dicho organismo (Montt et al., 2010). otro hito importante dentro del perodo 2005-2010 fue la incorporacin de nuevas reas curriculares al SiMCE, dado que se realizaron por primera vez: una evaluacin de la produccin escrita, en 4 ao bsico; una evaluacin de Educacin Fsica, en 8 ao bsico; y una evaluacin de ingls, en 3er ao medio. La promocin de un mayor uso de los resultados de estudios internacionales fue otra accin destacada del perodo. En este contexto, en 2006 se aplic el segundo Estudio regional Comparativo y Explicativo (sErCE); en 2009 el segundo el Estudio internacional de Educacin Cvica; y en 2006, la segunda aplicacin del programa internacional de Evaluacin de Estudiantes (piSA). posteriormente se convoc a diversos investigadores nacionales para que realizaran estudios sobre la base de dichos resultados, orientados hacia la propuesta de polticas educativas en diversos mbitos. Estos estudios fueron compilados en una publicacin SiMCE a fines de 2009. Ese mismo ao tambin se aplic la prueba piSA 2009, con acento en Lectura, que incorpor, por primera vez, una evaluacin electrnica sobre comprensin de textos. Finalmente, cabe destacar que durante el perodo se realizaron diversas acciones de fortalecimiento institucional. En 2007 y 2009, con el objeto de formar y mantener los recursos humanos, se dictaron cursos de capacitacin a los miembros de todos los equipos de trabajo. Durante 2008 se adopt una poltica de remuneraciones que permiti nivelar las remuneraciones, tanto dentro de los equipos como entre los coordinadores de las distintas reas. En 2009 se elabor un organigrama y mapa de funciones del SiMCE (Montt et al., 2010). 2. La situacin actual del sistema nacional de evaluacin Despus de ms de dos dcadas de funcionamiento ininterrumpido el SiMCE es un componente clave del sistema educativo nacional que ha contribuido al mejoramiento de la calidad y equidad de la educacin, informando sobre el desempeo de los estudiantes en diferentes

.c e

pc

hi

le

.c l

200

EstUdios PbliCos

2.1. Visin y misin institucional

En la actualidad, la visin del sistema apunta a que ste se transforme en una institucin lder a nivel nacional e internacional en evaluacin educacional, que informa eficaz y oportunamente a los distintos actores educativos, acerca de los resultados de aprendizaje del sistema escolar y sus factores asociados, contribuyendo a asegurar una educacin de calidad para todos los estudiantes del pas. En cuanto a su misin institucional, el SiMCE pretende contribuir al mejoramiento de la calidad y equidad de la educacin, obteniendo y comunicando informacin til, vlida y confiable sobre resultados de aprendizaje del sistema escolar y sus factores asociados. Lo anterior, tanto a nivel nacional, regional y comunal, como de los establecimientos educacionales. El SiMCE realiza sus funciones de acuerdo a lo que establece la normativa legal vigente, y enmarcado en las polticas de educacin del MinEdUC y en la ley de presupuesto vigente.

.c e

pc

sectores de aprendizaje del currculum nacional y relacionndolo con el contexto escolar y social en el que estos aprenden. para lograr este objetivo, el SiMCE ha desarrollado instrumentos de evaluacin que consisten en pruebas y cuestionarios de contexto. Las pruebas evalan el logro de los objetivos Fundamentales y Contenidos Mnimos obligatorios (oF-CMo) del marco curricular vigente en diferentes sectores de aprendizaje. En su mayora, se aplican anualmente a nivel nacional y son de carcter censal. Los cuestionarios de contexto, por su parte, son respondidos por cada uno de los estudiantes evaluados, por sus padres o apoderados y por sus profesores. Estos instrumentos permiten recoger informacin acerca de todos ellos, la que se utiliza para realizar anlisis de factores asociados y contextualizar los resultados obtenidos por los estudiantes en las pruebas SiMCE. Adems de las mediciones nacionales, el SiMCE ha gestionado e implementado en Chile la aplicacin de evaluaciones internacionales cuyos resultados permiten situar a nuestro pas en el contexto regional o global, y de este modo determinar los niveles de desempeo de los estudiantes chilenos respecto de estndares internacionales.

hi

le

.c l

jUan bravo

201

2.2. Propsitos del sistema

El SiMCE no ha experimentado mayores cambios con relacin a sus propsitos desde que la Comisin SiMCE entreg sus recomendaciones en 2003; por ello, an procura:

FiGUra n 1:

tEndEnCia dE los rEsUltados dE lECtUra En 4 bsiCo

.c e

En este sentido, no cabe duda que los resultados recientes de SiMCE y piSA (Mineduc, 2010 y 2011) con relacin a los logros alcanzados por los estudiantes de enseanza bsica y media durante la ltima dcada (vanse Figuras n 1, 2 y 3) son un buen ejemplo del impacto

pc

hi

le

monitorear los resultados de aprendizaje del sistema escolar, a nivel nacional e internacional; y orientar decisiones de poltica educativa, a partir del anlisis de factores asociados; retroalimentar las prcticas pedaggicas y de gestin de los docentes y directivos, con el fin de mejorar los procesos de enseanza y aprendizaje; promover la rendicin de cuentas de los docentes, directivos y sostenedores; y el involucramiento de los padres y apoderados, comunicndoles los resultados de las evaluaciones.

.c l

: indica que el puntaje promedio es similar al de la evaluacin anterior. : indica que el puntaje promedio es significativamente ms alto que el de la evaluacin anterior. +: indica que la diferencia entre los puntajes del ao 1999 y 2010 es estadsticamente significativa.

202

EstUdios PbliCos

FiGUra n 2:

tEndEnCia dE los rEsUltados dE EdUCaCin MatEMtiCa En 4 bsiCo.

FiGUra n 3:

tEndEnCia dE los rEsUltados dE lECtUra dE los EstUdiantEs dE 15 aos En Pisa.

.c e

pc

: indica que el puntaje promedio es similar al de la evaluacin anterior. : indica que el puntaje promedio es significativamente ms alto que el de la evaluacin anterior. =: indica que no hay diferencia significativa entre los puntajes del ao 1999 y 2010.

hi

le

.c l

jUan bravo

203

que puede llegar a tener el SiMCE, en la medida que cumple con sus propsitos, dado que aporta evidencia sobre los resultados de las polticas implementadas (campaas, programas educativos, planes de mejoramiento, etc.) y, al mismo tiempo, abre nuevas interrogantes acerca de cmo mejorar los resultados sostenidamente a lo largo del tiempo.
2.3. Organigrama y funciones

w w

.c e

FiGUra n 4:

orGaniGraMa dEl siMCE

pc

hi

Actualmente el SiMCE se organiza en dos reas principales, a saber: el rea de pruebas nacionales y el rea de estudios internacionales, dependientes de la coordinacin nacional y de la coordinacin tcnica (vase Figura n 4). El rea de pruebas nacionales est conformada por el Equipo de Diseo de instrumentos, el Equipo de operaciones de Campo, el Equipo procesamiento y Anlisis de Datos, y el Equipo de Comunicacin de resultados. tambin forman parte de esta rea los proyectos ms recientes del SiMCE, a saber: las evaluaciones para estudiantes con necesidades

le

.c l

204

EstUdios PbliCos

educativas especiales, la evaluacin de Educacin Fsica, y la evaluacin de ingls. El rea de Estudios internacionales, por su parte, est conformada por las coordinaciones nacionales de los estudios internacionales en los que participa Chile: piSA, TiMSS, tErCE, y Educacin Cvica. En el rea de pruebas nacionales, el Equipo de Diseo de instrumentos es el encargado de definir los marcos de evaluacin y/o especificaciones de las pruebas y cuestionarios; elaborar las preguntas y sus pautas o criterios de correccin. En las evaluaciones internacionales es responsable de la traduccin y adaptacin de las pruebas. El Equipo de operaciones de Campo, por su parte, es responsable del diseo operativo de la aplicacin nacional y de apoyar la implementacin de los operativos nacionales correspondientes a los estudios internacionales. El Equipo procesamiento y Anlisis de Datos se ocupa de realizar los anlisis que permiten el clculo de puntajes de los estudiantes, la determinacin del porcentaje de estudiantes correspondiente a cada nivel de logro, y la construccin de los ndices estadsticos utilizados para reportar los resultados. El Equipo de Comunicacin de resultados est encargado de que los resultados del SiMCE sean comprendidos y utilizados adecuadamente por los docentes, directivos, padres y apoderados, y sostenedores de los establecimientos. Finalmente, el rea de estudios internacionales, realiza la contraparte tcnica en la elaboracin, aplicacin y anlisis de las pruebas internacionales en las que participa Chile, a saber, piSA, TiMSS, Educacin Cvica y los estudios del Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (PErCE, sErCE y tErCE). En cuanto a las reas de apoyo para el funcionamiento del SiMCE (operaciones y logstica, tecnologas de la informacin, licitaciones y compras, y administracin y finanzas) cabe sealar que estas dependen directamente de la Coordinacin de la UCE, puesto que tambin son requeridas por el resto de los componentes de esta (currculum, textos escolares y centros de recursos de aprendizaje). 3. La transicin del SIMCE hacia una nueva institucionalidad
3.1. La Ley General de Educacin

La promulgacin de la Ley General de Educacin (Ley n 20.370 de 2009) marc el comienzo de una serie de cambios a nivel del sistema educativo que modificarn substancialmente el sistema nacional de eva-

.c e

pc

hi

le

.c l

jUan bravo

205

Disear e implementar el sistema nacional de evaluacin de logros de aprendizaje. Esta medicin verificar el grado de cumplimiento de los objetivos generales a travs de la medicin de estndares de aprendizaje referidos a las bases curriculares nacionales de educacin bsica y media. La Agencia deber contar con instrumentos vlidos y confiables para dichas evaluaciones, que se apliquen en forma peridica a lo menos en un curso, tanto en el nivel de educacin bsica como en el de educacin media, e informar los resultados obtenidos. Coordinar la participacin de Chile en mediciones internacionales de aprendizaje de los estudiantes. Disear e implementar un sistema de evaluacin del desempeo de los establecimientos y sostenedores educacionales. Esta evaluacin estar basada en estndares indicativos de desempeo de

luacin. Esta ley establece reformas que afectan de manera directa la institucionalidad y funciones del SiMCE, especficamente en lo que refiere a las evaluaciones de desempeo de los establecimientos educacionales y las mediciones de resultados para determinar el logro de los estndares de aprendizaje, y a la implementacin de sistemas de informacin pblica y de rendicin de cuentas. La ley establece la creacin de un Sistema nacional de Aseguramiento de la Calidad de la Educacin (vase Figura n 5), que deber encargarse de garantizar el cumplimiento de los estndares de calidad a travs de cuatro instituciones. por una parte, el Ministerio de Educacin, organismo que propone las bases curriculares, los programas de estudio y los estndares de calidad, y da apoyo a los establecimientos para su cumplimiento; el Consejo nacional de Educacin, organismo que aprueba las bases, planes y estndares de calidad concebidos por el ministerio. En tercer lugar, la Agencia de Calidad de la Educacin, que aparece como la entidad responsable de evaluar e informar sobre la calidad de los establecimientos educacionales, y por ltimo, la Superintendencia de Educacin, organismo cuya principal responsabilidad es fiscalizar que los establecimientos cumplan con las normas educacionales y den cuenta pblica, cuando sean requeridos. Segn lo sealado en la Ley General de Educacin, las principales atribuciones que tendr la Agencia de Calidad de la Educacin para cumplir con sus objetivos sern las siguientes:

.c e

pc

hi

le

.c l

FiGUra n 5:

sistEMa dE asEGUraMiEnto dE la Calidad dE la EdUCaCin

206

w w w .c e

pc le

EstUdios PbliCos

hi .c l

jUan bravo

207

los establecimientos, elaborados por el Ministerio de Educacin y aprobados por el Consejo nacional de Educacin. informar pblicamente los resultados obtenidos a nivel nacional y por cada establecimiento educacional evaluado.

Sin embargo, la vigencia de la Ley General de Educacin depende de la promulgacin de otra ley, la Ley de Aseguramiento de la Calidad, actualmente en su ltimo trmite legislativo. En este proyecto de ley se especifican las funciones de la agencia de la Calidad y de la Superintendencia de Educacin, precisndose que la primera ser responsable de:

3.2. Los nuevos desafos del sistema nacional de evaluacin (SIMCE)

Es evidente, a partir de lo sealado anteriormente que el SiMCE formar parte de la Agencia de la Calidad, por lo que en ese contexto se ver obligado a enfrentar una serie de desafos para dar respuesta a los requerimientos de la nueva institucionalidad. En primer lugar ser necesario elaborar un nuevo calendario de evaluaciones que contemple la aplicacin de pruebas en una mayor cantidad de niveles educacionales y reas curriculares, as como la recopilacin de informacin relativa a otros indicadores de calidad, para llevar a cabo una ordenacin vlida y confiable de los establecimientos educacionales (X. vanni j. bravo, 2010). Este incremento de las evaeva luaciones adicionalmente permitir contar con un registro de la trayectoria escolar de cada estudiante, que posibilitara llevar a cabo mediciones de progreso educativo y/o valor agregado de los establecimientos. En cuanto a los niveles que se deberan incorporar a la evaluacin, sera

.c e

pc

hi

le

.c l

Llevar a cabo la evaluacin de estndares de aprendizaje y otros indicadores de calidad educativa. Efectuar la ordenacin de establecimientos en funcin de los resultados de aprendizaje y otros indicadores de calidad educativa. realizar las evaluaciones del desempeo de los establecimientos educacionales, en base a estndares indicativos de desempeo. validar los mecanismos de evaluacin de docentes y directivos. informar pblicamente los resultados obtenidos a nivel nacional y por cada establecimiento educacional evaluado.

208

EstUdios PbliCos

recomendable considerar la inclusin de mediciones censales en 2 y 6 ao bsico, puesto que esto permitira que todos los establecimientos del pas, sin excepcin, puedan contar con un diagnstico de los conocimientos y habilidades de sus estudiantes al comienzo y al final de la enseanza bsica, ya que se debe tener en cuenta que las reformas a aplicarse dentro de los prximos aos situaran a 6 bsico como el ltimo nivel de la enseanza bsica. por otra parte, tambin ser importante enfrentar el desafo de evaluar nuevas reas de aprendizaje, incorporando reas que hasta ahora no haban sido abordadas, pero que no por ello son menos importantes. Este solo sera el caso de Escritura y Tecnologas de informacin y Comunicacin, dado que Educacin Fsica e ingls fueron incorporadas recientemente a la evaluacin. otro desafo importante ser delinear e implementar acciones orientadas a optimizar la entrega de informacin a los padres y apoderados, teniendo en consideracin sus necesidades concretas de informacin acerca de la calidad de la educacin impartida por los establecimientos educacionales. para esto ser fundamental contar con reportes que integren de manera comprensible y til toda la informacin que estar disponible sobre la evaluacin de los establecimientos, especialmente su categora segn la ordenacin. Adems, tambin ser importante planificar cuidadosamente las acciones de difusin de esta informacin considerando tanto soportes impresos como digitales, de manera de facilitar el acceso de los distintos usuarios. En el mbito de la comunicacin y difusin, es clave que la entrega de ms y mejor informacin a los padres y apoderados de los estudiantes se complemente con una profundizacin de la entrega de informacin a docentes y directivos. por esto, ser fundamental elaborar y comunicar, a la brevedad posible, los estndares de aprendizaje de los estudiantes y los estndares de desempeo de los establecimientos, para que los docentes y directivos cuenten con informacin pertinente para retroalimentar sus prcticas y puedan dar respuesta a las crecientes demandas externas. Asimismo, sera recomendable adelantar la fecha en que se comunican los resultados de las pruebas nacionales; incorporar indicadores de logro por subreas o ejes curriculares, en la entrega de resultados; y profundizar los anlisis de factores asociados al rendimiento escolar, para que la informacin entregada a los docentes sea ms oportuna y til.

.c e

pc

hi

le

.c l

jUan bravo

209

Tal como se indic anteriormente, la ordenacin de los establecimientos conlleva varios desafos tcnicos, puesto que se requerir optimizar las tcnicas de recogida de datos de los indicadores de calidad y de nivel socioeconmico, as como desarrollar e implementar una metodologa para llevar a cabo una ordenacin vlida, confiable y til de los establecimientos educacionales, en base a estndares de aprendizaje y otros indicadores de calidad educativa. En este sentido, ser esencial identificar diversos indicadores de calidad educativa y planificar anticipadamente su recopilacin, contemplando, entre estos, indicadores de progreso y/o valor agregado en la entrega de resultados; de manera de no continuar posponiendo su utilizacin para la ordenacin de los establecimientos. Finalmente, es importante tener en consideracin que previo a la implementacin de la nueva institucionalidad ser necesario reevaluar la estructura organizacional del SiMCE, para asegurar que esta pueda dar respuesta eficaz a sus nuevos requerimientos. no obstante, cabe sealar que en este aspecto ser fundamental dar nfasis desde un inicio a la captacin, formacin y retencin de recursos humanos competentes y bien calificados, puesto que de esto depender en ltimo trmino la capacidad real del sistema para dar respuesta a las nuevas demandas institucionales (t. Postlethwaite t. Kellaghan, 2008). Por otra parte, tambin ser importante disear e implementar una estrategia que permita establecer convenios a mediano y largo plazo con los proveedores de productos y servicios ms crticos del sistema, va convenios y/o licitaciones pblicas, dado que esto tambin podra transformarse en una limitante para su crecimiento y expansin.

Los sistemas nacionales de evaluacin son un componente caracterstico de los sistemas educativos con alto desempeo (oCDE, 2004b; M. barber M. Mourshed, 2007), por lo que es indudable que la implementacin del SiMCE a fines de los 80 constituy una medida visionaria que anticip en ms de una dcada polticas educativas que comenzaron a implementarse posteriormente, a nivel internacional. Sin embargo, la evidencia comparada ha demostrado recientemente que el impacto de los sistemas de evaluacin puede ser muy limitado si estos no se articulan adecuadamente con otras polticas educacio-

.c e

4. Comentarios finales

pc

hi

le

.c l

210

EstUdios PbliCos

referencias

barber, M. M. Mourshed (2007). How the Worlds Best-Performing School Systems Come Out On Top. londres, inglaterra: McKinsey Company. Himmel, E. (1997). impacto de los sistemas de Evaluacin del rendimiento Escolar: El Caso de Chile. En b. lvarez y M. ruizCasares (eds.), Evaluacin y Reforma Educativa: Opciones de Poltica. PrEal. Hopkins, D. (2007). Every School a Great School. Open University Press. UK: berkshire. Meckes, L. (2003). SiMCE: Su Desarrollo y sus Desafos Actuales. Revista Pensamiento Educativo vol. 33, pp. 160178, santiago, Chile. (2007). Evaluacin y Estndares: Logros y Desafos para Lograr impacto en Calidad Educativa. Revista Pensamiento Educativo vol. 40, pp. 351-371, Santiago, Chile. Mineduc, Comisin para el desarrollo y Uso del siMCE (2003). Evaluacin de Aprendizajes para una Educacin de Calidad. Santiago, Chile. Unidad de Currculum y Evaluacin (2010). informe nacional de resultados de Pisa 2009. santiago, Chile. Unidad de Currculum y Evaluacin (2011). resultados nacionales SiMCE 2010. Santiago, Chile. Montt, p. et al. (2010). Memoria de la Unidad de Currculum y Evaluacin 2006-2010: Funciones, organizacin y Agenda. Documento interno Santiago, Chile: Ministerio de Educacin. oCDE (2004a). What Makes Schools System perform? Seeing School System Trough the prism of piSA. pars: oCDE. (2004b). revisin de Polticas nacionales de Educacin. organizacin para la Cooperacin y el Desarrollo Econmico. Chile, Francia: oCDE.

.c e

pc

hi

le

nales (D. Hopkins, 2007). por esto, el trnsito del SiMCE a una nueva institucionalidad y su insercin dentro del Sistema de Aseguramiento de la Calidad constituye un gran avance, puesto que lo sita como un componente ms de un eficaz sistema de rendicin de cuentas, y no como la nica herramienta disponible para evaluar el desempeo de los estudiantes, los establecimientos, e inclusive de los docentes. por ltimo, es importante destacar la capacidad del SiMCE para evolucionar a lo largo del tiempo, adaptndose en ms de una oportunidad a nuevas demandas externas. Sin duda, este rasgo ha sido esencial para permitir su permanencia en el tiempo y ha contribuido, en forma determinante, a incrementar su valoracin social. no obstante, cabe advertir que esto ha sucedido porque, en general, ha sido posible alcanzar un punto de equilibrio entre elementos de continuidad y cambio, en sus distintas etapas; lo cual debera tenerse muy en cuenta en el trnsito del sistema a una nueva institucionalidad.

.c l

jUan bravo

211

Postlethwaite, t., t. Kellaghan (2008). national assessment of Educational Achievement. Educational Policy Series. pars: international Academy of Education and the international institute for Educational planning. romn, M. (1999). Usos alternativos del siMCE: Padres, directores y Docentes. Documentos n 5, CiDE, Santiago, Chile. vanni, X. j. bravo (2010). En bsqueda de una Educacin de Calidad para Todos: El Sistema nacional de Aseguramiento de la Calidad. En S. Martinic y G. Elacqua (eds.), Fin de Ciclo? Cambios en la Gobernanza del Sistema Educativo. Santiago, Chile: UnEsCo/PUC.

.c e

pc

hi

le

.c l