Pruebas SEPA

Sistema de Evaluacin de Progreso del Aprendizaje

SEPA (www.sepauc.cl) es un sistema de evaluacin externo y estandarizado, desarrollado por MIDE UC, el Centro de Medicin de la Universidad Catlica (www.mideuc.cl), que consiste en un conjunto de pruebas estandarizadas orientadas a evaluar los aprendizajes de los alumnos desde 1 bsico a III medio en Lenguaje y Matemtica, basadas en el marco curricular vigente. SEPA permite conocer los aprendizajes logrados por los estudiantes de un establecimiento en cada ao escolar y a lo largo del ciclo escolar, desde 1 bsico hasta III medio1, incorporando la metodologa de valor agregado (VA). Esta metodologa permite trazar la trayectoria de los aprendizajes en el tiempo y establecer el aporte efectivo que el establecimiento hace a ellos, a travs del uso de sofisticadas tcnicas estadsticas que pases como EEUU e Inglaterra han incorporado slo en aos recientes. MIDE UC realiza desde el 2006 un trabajo pionero para su utilizacin en Chile. De este modo, el objetivo de SEPA es proporcionar informacin vlida y confiable acerca de los aprendizajes logrados por los alumnos con el fin de retroalimentar y apoyar la toma de decisiones por parte de los equipos directivos y tcnicos, las fundaciones que apoyan o asesoran a colegios y los propios docentes. Las pruebas han sido construidas por un equipo de especialistas de MIDE UC incluyendo profesores, psiclogos, estadsticos y diseadores grficos, entre otros, liderados por el Director del Centro, Jorge Manzi (Psiclogo Universidad Catlica y Doctor en Psicologa Universidad de California). En el ao 2007 se llev a cabo la primera aplicacin de pruebas SEPA, que incluy ms de 7.000 alumnos en distintos colegios de la RM, VI y VIII regiones. En el ao 2008 fueron evaluados ms de 26.000 estudiantes, en ms de 100 establecimientos de la RM, II, VI, VII, VIII, IX y X regiones. En el ao 2009 SEPA evalu a 145 establecimientos de distintas dependencias en 9 regiones del pas, con un total de 36.831 alumnos en Lenguaje y 35.303 alumnos en Matemtica. Durante el 2010, se evaluaron cerca de 74.000 estudiantes provenientes de 258 establecimientos educacionales ubicados en 12 regiones del pas. La entrega de resultados SEPA se realiza a travs de un sistema computacional en plataforma Web. Entre los reportes entregados estn resultados por establecimiento, nivel, curso y por alumno. Adems, tras la segunda medicin se entregan reportes de progreso y de valor agregado. La plataforma Web permite tambin descargas de documentos asociados a la evaluacin como descripcin de ejes temticos, rbricas de correccin de preguntas abiertas, etc. Sumado a lo anterior, se pueden descargar las bases de datos de los resultados para realizar cruces y los anlisis de la informacin que cada establecimiento estime conveniente.

En el futuro, MIDE UC proyecta ampliar el sistema a otros niveles y sectores.

CARACTERSTICAS GENERALES DE LAS PRUEBAS

Las pruebas son escritas e incluyen preguntas cerradas (de opcin mltiple) y 2 preguntas abiertas que se entregan a los establecimientos para su aplicacin y correccin por los docentes de cada curso2. El nmero de preguntas y el tiempo de aplicacin de las pruebas vara segn el nivel educacional de los alumnos: Nivel
1 Bsico 2 Bsico 3 Bsico 4 Bsico 5 Bsico 6 Bsico 7 Bsico 8 Bsico I Medio II Medio III Medio

N de Preguntas
22/25 preguntas 30 preguntas 35 preguntas 40 preguntas 40 preguntas 40 preguntas 50 preguntas 50 preguntas 50 preguntas 50 preguntas 50 preguntas

Tiempo de Aplicacin (*)

60 minutos 60 minutos 90 minutos 90 minutos 90 minutos 90 minutos 90 minutos 90 minutos 90 minutos 90 minutos 90 minutos

(*) Desde el momento en que el estudiante comienza a responder la prueba.

Los resultados de la correccin de las preguntas abiertas no forma parte del puntaje estandarizado.

EL PROCESO DE CONSTRUCCIN DE LAS PRUEBAS

La elaboracin de las pruebas SEPA sigue rigurosos procedimientos y estndares tcnicos utilizados habitualmente en el desarrollo de instrumentos y que son empleados a nivel internacional por las agencias y organismos ms reconocidos en el mbito de la medicin educacional. Dicho proceso incluye las siguientes etapas sucesivas: Anlisis curricular: en esta etapa se efecta un anlisis curricular para mapear los objetivos y contenidos obligatorios para el sector y nivel objetivo, as como un modelo cognitivo de referencia que identifica las habilidades a medir. A partir de ambas fuentes, se disean tablas de especificaciones que orientan la construccin de los temes o preguntas. Construccin de temes: a partir del marco antes indicado, Comisiones Tcnicas conformadas por docentes con formacin y experiencia en aula en el sector respectivo y en la elaboracin de instrumentos de medicin producen temes bajo la conduccin y supervisin de un coordinador especialista. Estas comisiones producen un banco de temes que debe contener al menos tres veces la cantidad de temes que conformarn las pruebas en sus formas definitivas. La produccin de temes se lleva a cabo en parte de manera individual, seguido de un trabajo colectivo de anlisis por comisin, a partir del cual se seleccionan solo los temes que cumplen de mejor forma las condiciones definidas por las tablas de especificaciones. Evaluacin de temes por expertos: un experto en el sector y un experto en medicin educacional, evalan aspectos claves de las preguntas emanadas de las comisiones, tales como su consistencia con el marco curricular y su correcta formulacin desde el punto de vista conceptual y mtrico. Este anlisis busca asegurar la validez de contenido de las preguntas y un nuevo grupo de temes puede ser descartado del proceso si no cumple las condiciones establecidas. Estudio de campo (aplicacin experimental): las preguntas seleccionadas en la etapa anterior son sometidas a un diseo grfico para su presentacin a los alumnos y, enseguida, son ensambladas en un nmero de formas experimentales (versiones de las pruebas destinadas a estudios de campo). Estas formas son aplicadas a muestras de alumnos de distintos establecimientos y caractersticas. Anlisis psicomtrico: los datos obtenidos en la aplicacin experimental son digitados y se generan bases de datos que permiten analizar las propiedades mtricas de las preguntas, empleando distintos indicadores provenientes tanto de la teora clsica de la medicin como de la teora de respuesta del tem (TRI), tales como: el grado de dificultad de cada tem, su capacidad de discriminacin en trminos psicomtricos y el porcentaje de omisin, entre otros. Ensamblaje de formas definitivas: las preguntas, que por sus propiedades mtricas son seleccionadas luego del estudio de campo, se utilizan para ensamblar las pruebas definitivas (existen distintas formas por cada nivel y sector). Estas pruebas son las empleadas en las aplicaciones contratadas por los colegios y sostenedores, utilizando cuadernillos impresos.

ACERCA DE LA METODOLOGA DE VALOR AGREGADO

Adems de los resultados tradicionalmente entregados por los sistemas de evaluacin a travs de pruebas, SEPA proporciona indicadores de valor agregado (VA), gracias a la aplicacin de modelos y tcnicas estadsticas que constituyen un desarrollo de punta en la medicin educacional a nivel mundial. Conocer el VA de un establecimiento implica reconocer cunto ha aportado dicha institucin en el progreso de los aprendizajes de sus alumnos. Para ello, es necesario conocer el progreso experimentado por los alumnos, lo que exige al menos dos mediciones sucesivas (por ejemplo, 2011 y 2012). La metodologa de VA implica incorporar al anlisis tanto el rendimiento previo de cada alumno como datos respecto de otras variables que inciden en su desempeo y no dependen del establecimiento, por ejemplo el nivel socioeconmico y/o el gnero de los estudiantes. El modelo de VA que subyace a la construccin y anlisis de resultados de las pruebas SEPA permite controlar el efecto de dichas variables sobre el resultado de los estudiantes, para establecer cunto ha aportado efectivamente el colegio a su progreso. Por ello, los establecimientos que contratan las pruebas SEPA deben comprometerse a proporcionar a MIDE UC informacin adicional sobre sus estudiantes a travs de Cuestionarios Complementarios, que MIDE UC entrega oportunamente para ser completados antes de la segunda medicin.

FECHAS RELEVANTES
Inscripcin: Los colegios y sostenedores interesados en la aplicacin de las pruebas deben suscribir un convenio con MIDE UC Universidad Catlica, indicando el nmero de cursos y alumnos a evaluar, las pruebas a aplicar (Lenguaje y/o Matemtica) y los aos en los que desea realizar la evaluacin. RECUERDE: Para contar con indicadores de Valor Agregado se requieren al menos 2 mediciones sucesivas (por ejemplo, aos 2011 y 2012). La inscripcin para las pruebas se lleva a cabo entre los meses de enero y julio, hasta completar el cupo mximo de aplicaciones fijado por MIDE UC para cada ao. Posterior a esa fecha, la inscripcin de las pruebas queda sujeta a la evaluacin del cupo existente , aplicndose un adicional del 10% sobre el precio de referencia de las pruebas . Aplicacin de pruebas: La aplicacin de las pruebas SEPA en cada establecimiento educacional es realizada por profesionales capacitados de MIDE UC, estableciendo as las mismas condiciones de aplicacin y resguardando la validez de las mismas. Las pruebas se aplican al trmino del ao escolar con el fin de poder evaluar los aprendizajes esperados para ese ao. La aplicacin de las pruebas se realiza entre la ltima semana de octubre y fines de noviembre. Las fechas exactas de aplicacin para cada curso y prueba son fijadas por MIDE UC para ajustarse a exigencias logsticas y de aplicacin estandarizada, y comunicadas a cada colegio oportunamente para facilitar el proceso y reducir al mximo posible la interferencia con las actividades escolares regulares.

Entrega de resultados: Los resultados de cada colegio son entregados a stos durante la primera semana de enero, a travs del sistema computacional en plataforma Web. En el caso de los colegios que completan al menos una segunda medicin (es decir, en los que se ha aplicado las pruebas por dos aos seguidos), a los resultados del ao escolar se agregan los indicadores de progreso (por establecimiento, nivel, curso y alumno) que tambin son entregados la primera semana de enero. Debido a la complejidad de los anlisis estadsticos asociados al clculo del valor agregado, estos resultados (por establecimiento y nivel) se reportan en la plataforma Web durante el mes de marzo.

ACERCA DE LA APLICACIN DE LAS PRUEBAS

Las pruebas SEPA se aplican en forma colectiva (por curso), por personal seleccionado y capacitado por MIDE UC. No se precisa apoyo de los profesores del establecimiento para la fase de aplicacin y para cautelar las condiciones de evaluacin es necesario que ellos no permanezcan en la sala desde el momento en que sus alumnos comienzan a responder las pruebas. El personal de MIDE UC lleva y retira todas las pruebas despus de la aplicacin. Para evitar que interfieran en el desempeo de los alumnos factores como el cansancio, las pruebas de Lenguaje y Matemtica deben aplicarse en das distintos.

RESULTADOS ENTREGADOS
Las Pruebas SEPA proporcionan resultados por establecimiento, nivel, curso y por alumno. Adems, tras la segunda medicin se entregan reportes de progreso y de valor agregado. Adems, para cada sector evaluado, se entrega el resultado total en distintas formas (por ejemplo, puntaje estandarizado y porcentaje de logro) as como resultados por eje temtico (reas de contenido curricular incluidas en cada prueba). Como se seal, los sostenedores, fundaciones y/o establecimientos que contratan las Pruebas SEPA obtienen, a travs de un sistema computacional en plataforma Web, los reportes descritos, con la ventaja de acceder a ellos desde cualquier lugar a travs de Internet. Adems, el sistema permite acceder -mediante filtros, opciones de descarga y otras herramientas- a tablas, grficos y bases de datos por colegio y/o curso, facilitando el mejor aprovechamiento de la informacin por parte de los usuarios. Los datos reportados incluyen comparaciones con grupos de referencia, por ejemplo, los establecimientos que comparten un mismo sistema de financiamiento o dependencia (particular pagado, particular subvencionado y municipal). Asimismo, cuando se han realizado al menos dos aplicaciones de las pruebas, SEPA entrega indicadores del progreso del aprendizaje de los alumnos entre un nivel de enseanza y otro y estimaciones acerca del aporte del establecimiento a dicho progreso: Valor Agregado por nivel. Cabe destacar que todos los convenios suscritos para la aplicacin de SEPA incluyen una clusula de confidencialidad que asegura la no divulgacin de los resultados obtenidos por cada colegio. Esa divulgacin slo puede ser realizada por decisin de cada contratante y empleando exclusivamente los datos correspondientes a su aplicacin.

APRENDIZAJES CLAVES SUBVENCIN ESCOLAR PREFERENCIAL (SEP)

Cabe destacar que en caso que se deseen obtener resultados para los Aprendizajes Claves establecidos por la Ley de Subvencin Escolar Preferencial (Ley SEP) de Matemtica y Lenguaje de 1 a 4 bsico, MIDE UC ha elaborado un complemento a la prueba SEPA que permite reportar dichos resultados en los documentos oficiales del Ministerio de Educacin. Los resultados de los Aprendizajes Claves sern reportados a travs de un informe en papel entregado a la escuela.

VALORES DE REFERENCIA
Los valores de referencia de las pruebas SEPA, para el ao 2011 son los siguientes:

Establecimiento

Valor Prueba SEPA

Particular Pagado y Particular Subvencionado con ms de 1 UF de copago Municipal y Particular Subvencionado con copago hasta 1 UF

0.195 UF

0.175 UF

Establecimiento

Sector Lenguaje

Valor Prueba SEPA/SEP 0,235 UF 0,205 UF

Municipal y Particular Subvencionado Matemtica

Cabe destacar que los valores mencionados corresponden a cada prueba aplicada a un alumno inscrito e incluye la aplicacin de dicha prueba en cada establecimiento educacional por parte de profesionales de MIDE UC.

CONTACTO
Para ms informacin, viste nuestra pgina Web www.sepauc.cl, o contacte directamente al Equipo de Difusin y Ventas de SEPA a los telfonos (2) 354 1717, (08) 8273276, o al correo electrnico: murquieta@uc.cl , sepa@uc.cl