Documentos de Académico
Documentos de Profesional
Documentos de Cultura
HERRAMIENTA DE MEJORA EN
LA GESTIÓN DEL APRENDIZAJE (2)
11 DE OCTUBRE DE 2017
MARÍA ANGÉLICA MENA
VISIÓN GENERAL CLASES EVALUACIÓN
Más formativa
y mejor sumativa
EVALUACIÓN SUMATIVA
IDEAS PARA HACERLA MEJOR
¿QUÉ ES LA EVALUACIÓN SUMATIVA?
REPARACIÓN 12
Desarrollo Responsabilización
Mejoramiento
¿PARA QUÉ PODRÍA SERVIR UNA MEDICIÓN A GRAN
ESCALA, SEGÚN LOS DOS GRANDES PROPÓSITOS QUE
TIENEN ESTE TIPO DE MEDICIONES?
Responsabilización:
• En general, sistemas de aseguramiento de la calidad
basados en la responsabilización tienden a enfatizar la
rendición pública de cuentas (la publicación de los
resultados obtenidos) y suelen asociar consecuencias de
algún tipo, ya sea en la forma de incentivos o sanciones,
por los resultados.
• La rendición de cuentas se funda en la necesidad de
responder por el eficiente uso de recursos públicos y por
la responsabilidad asumida de alcanzar las metas
educacionales para la población escolar que se le ha
confiado.
Informe Equipo de Tarea SIMCE 2014
PROPÓSITOS Y USOS
Monitoreo y mejoramiento Cuenta pública o
responsabilización
-Tendencias, evolución en el tiempo. -Informar y dar cuenta a la opinión
Sistema pública.
-Evaluar efectividad de programas e intervenciones.
nacional -Políticas de incentivo o
-Focalizar recursos.
-Informar el diseño curricular. reconocimiento.
Bajo Apoyo
EVALUACIONES A GRAN ESCALA EN
AMÉRICA LATINA
Ravela, 2008
MEDICIONES EDUCACIONALES EN CHILE:
LARGA Y NUTRIDA TRAYECTORIA
Participación en pruebas
internacionales: Evaluación de profesores
•TIMSS 1999-2003 -AEP desde 2002 hasta 2015
•SIALS-PIACC 1998-2014 -Evaluación docente desde 2003
•PISA 2000-2006-2009-2012-2015 -Inicia desde 2008
•Cívica 2000-2008-2016 - Pruebas Sistema de Desarrollo
•LLECE 1997-2006-2013 profesional Docente desde 2016
¿QUÉ ES UNA EVALUACIÓN ESTANDARIZADA?
Comunicación de
Análisis de datos
resultados
¿Uso?
EVALUACIÓN A GRAN ESCALA
UNA MIRADA A NUESTRA EVALUACIÓN NACIONAL: SIMCE
SIMCE
Resultados públicos
• Se espera con estas políticas
1995 mejorar la calidad de la
educación.
• Supuestos: rendición de
SNED: sistema de cuentas y política de
incentivo económico incentivos por sí mismas
para los colegios con producen los efectos
mejor desempeño. deseados.
SIMCE
• Se agrega la función de
contribuir a focalizar 1998 • Se incluye en resultados la
recursos: seleccionar
escuelas para aplicar • Mayor alineación con marco información por grupos
programas específicos (P- curricular. socioeconómicos, para
900; escuelas críticas). • Se incluyen preguntas favorecer su comprensión.
abiertas.
1990s
• Se complementan resultados
con pruebas internacionales.
2000
SIMCE
Se comienza a informar:
• qué proporción de alumnos se encuentra
en cada NL
• qué aprendizajes y habilidades supone cada
NL, para cada subsector
EJEMPLOS DE NIVELES DE LOGRO
EN LECTURA 4° BÁSICO
aprendizaje
SIMCE: Niveles de EJEMPLOS DE ÍTEMES
aprendizaje
SIMCE: Niveles de EJEMPLOS DE ÍTEMES
aprendizaje
ORDENACIÓN DE ESTABLECIMIENTOS
Clasificación de los
establecimientos
CONSECUENCIAS DE LA ORDENACIÓN
(LEY SNAC 20.529)
• Entrega de información pública del desempeño de los establecimientos.
Categoriza en: Desempeño Insuficiente,Medio-Bajo,Medio y Alto.
• Determina la frecuencia de las visitas de evaluación indicativas de
desempeño.
• Determina el grado de libertad para administrar el uso de recursos
entregados por la ley SEP.
• Determina la incorporación del establecimiento al Registro de Entidades
de Apoyo Técnico Pedagógico.
• Identifica necesidades de apoyo.
• Determina la obligación de informar a los padres para la elección de
escuelas.
• Determina la revocación del Reconocimiento Oficial para escuelas con
Desempeño Insuficiente reiterado (4 años).
METODOLOGÍA DE LA ORDENACIÓN
Dimensiones Indicadores Peso
Resultados respecto de Estándares de aprendizaje 67,0 %
estándares de aprendizaje Puntajes SIMCE 3,3 %
Tendencia SIMCE 3,3 %
Autoestima académica y motivación escolar 3,3 %
Clima de convivencia escolar 3,3 %
Participación y formación ciudadana 3,3 %
Hábitos de vida saludable 3,3 %
Otros Indicadores de Calidad Asistencia 3,3 %
Equidad de género 3,3 %
Retención escolar 3,3 %
Titulación técnico-profesional 3,3 %
PROPÓSITO DEL SIMCE
1. Monitoreo
PROPÓSITO DEL SIMCE
1. Monitoreo
¿QUÉ INFORMACIÓN ENTREGA EL SIMCE A LAS
ESCUELAS?
Simplificación en la
interpretación de los resultados.
Manzi, 2010
CUANDO SE CRUZA CON NSE, LAS DIFERENCIAS
ENTRE TIPOS DE ESTABLECIMIENTOS CAMBIAN…
¿AHORA QUÉ CONCLUIMOS?
MUN PS PP
Manzi, 2010
RESULTADOS NACIONALES SIMCE
¿QUÉ INFORMACIÓN ENTREGA EL SIMCE A LAS
ESCUELAS?
¿QUÉ INFORMACIÓN ENTREGA EL SIMCE A LAS
ESCUELAS?
¿QUÉ INFORMACIÓN ENTREGA EL SIMCE A LAS
ESCUELAS?
¿QUÉ INFORMACIÓN ENTREGA EL SIMCE A
LAS ESCUELAS?
LO QUE NO SE DEBE HACER AL ANALIZAR
RESULTADOS SIMCE
• Atribuir resultados a profesores individuales.
• Comparar promedios entre asignaturas directamente (ej. interpretar
que el resultado en MAT es mejor que el de LEN porque el puntaje es
superior).
• Comparar los puntajes promedios de una misma asignatura que
obtienen estudiantes de distintos niveles (ni nacionales ni del
establecimiento).
• Reducir la información disponible promediando asignaturas.
• Prestar más atención a la diferencia numérica que al símbolo o no
considerar la significancia al comparar dos promedios (decir: “subieron
los resultados aunque no significativamente” es un error si se indica
que la diferencia no es significativa).
• Comparar los resultados de aprendizaje de los estudiantes con
resultados nacionales no es recomendable. Es mejor hacerlo con un
referente más cercano (ej. GSE).
LO MÁS IMPORTANTE: EL USO QUE SE HACE
DE LAS EVALUACIONES ESTANDARIZADAS
¿PARA QUÉ SE PUEDEN USAR LAS EVALUACIONES
ESTANDARIZADAS DE GRAN ESCALA A NIVEL DE
ESTABLECIMIENTO?
1. Para comprender las expectativas de aprendizaje a nivel
nacional e internacional: clarificar el norte que se quiere
alcanzar y analizar las evaluaciones internas a la luz de ellas.
2. Para analizar y monitorear los propios resultados en relación
con parámetros externos tanto relativos (comparaciones con
otros) como absolutos (estándares y criterios) y en el tiempo.
3. Para comprender cómo progresa el desempeño en un área de
aprendizaje: niveles de logro en pruebas nacionales e
internacionales.
Estudios empíricos sobre tareas más y menos complejas para establecer patrones
de progreso del aprendizaje
4. Mejorar las propias prácticas de evaluación (interna).
5. Para informar la gestión con la información acumulada sobre
factores que inciden en los resultados.
COMPRENSIÓN, VALORACIÓN Y USOS DEL SIMCE POR
PARTE DE PROFESORES Y DIRECTIVOS – ESTUDIOS
NACIONALES
*Esto y mucho más en el Informe del Equipo de Tarea que revisó el SIMCE en 2014
COMPRENSIÓN, VALORACIÓN Y USOS DEL SIMCE POR
PARTE DE PROFESORES Y DIRECTIVOS – ESTUDIOS
NACIONALES
• Pruebas
Nivel IV
HABILIDADES POR NIVEL DE DESEMPEÑO
MATEMÁTICAS 6° BÁSICO
EJEMPLO DE ÍTEMS (6° BÁSICO)
Nivel II Nivel IV
Algunos resultados,TERCE 2013
TENDENCIA SERCE-TERCE LECTURA 3°
BÁSICO
DISTRIBUCIÓN NIVELES DE DESEMPEÑO
TERCE LECTURA 3° BÁSICO
DIFERENCIAS DE PUNTAJE PROMEDIO ENTRE
NIÑAS Y NIÑOS EN TERCE LECTURA 6° BÁSICO
TERCE-ESTUDIANTES Y SUS FAMILIAS
Ítems
Contenido estático
Contenido no estático (animaciones, simulaciones
interactivas)
Formatos de respuesta
Opción múltiple simple
Respuesta construida/abierta
Opción múltiple compleja (selección de drop-down, mover
elementos para completar diagramas, usar una simulación
para generar y luego seleccionar datos para fundamentar una
conclusión).
PISA: RESOLUCIÓN DE PROBLEMAS
2003 • 2012 • 2015
Capacidad que tiene una • Capacidad que tiene una • Resolución colaborativa de
persona de emplear los persona para comprometerse problemas: capacidad que
procesos cognitivos para en procesos cognitivos que la tiene una persona para
enfrentar y resolver situaciones llevan a comprender y resolver participar de manera efectiva
reales para las que el método de situaciones problemáticas para en un proceso por el cual dos
solución no resulta obvio de las que el método de solución o más individuos tratan de
modo inmediato, y donde los no resulta obvio de modo resolver un problema,
conocimientos requeridos no se inmediato. Voluntad de la compartiendo el
enmarcan dentro de una única persona para involucrarse con conocimiento, habilidades y el
área de matemáticas, ciencias o estas situaciones hasta esfuerzo necesarios para
lectura. conseguir el desarrollo del llegar a una solución.
Resultados: propio potencial, como un • Resultados:
Entre un 5% a 70% de los ciudadano reflexivo y • Finales de 2016.
estudiantes resuelve los constructivo.
problemas complejos • Resultados:
En la mayoría de los países, el Chile mejor que los pocos países
10% no resuelve los problemas de LA que rindieron la prueba,
pero por debajo del promedio
básicos.
OECD.
PISA 2009 Y 2012: PAÍSES PARTICIPANTES
NIVELES DE DESEMPEÑO EN PISA
PISA: EJEMPLO ÍTEMS
PISA: EJEMPLO ÍTEMS
PISA: EJEMPLO ÍTEMS
PISA: EJEMPLO ÍTEMS
En Chile participaron:
5585 estudiantes de 4º básico de 200 colegios
5835 estudiantes de 8º básico de 193 colegios
INSTRUMENTOS
TIMSS 2015 MATEMÁTICAS (%)
TIMSS 2015 CIENCIAS (%)
DEFINICIONES TIMSS: DOMINIO
MATEMÁTICA
DEFINICIONES TIMSS: DOMINIO CIENCIAS
EJEMPLOS ÍTEMS TIMSS
EJEMPLOS ÍTEMS TIMSS
EJEMPLOS ÍTEMS TIMSS
Algunos resultados, TIMMS 2011
RESULTADOS: PUNTAJES PROMEDIO MATEMÁTICA
4º BÁSICO SEGÚN PIB PER CÁPITA
RESULTADOS: DISTRIBUCIÓN SEGÚN NIVELES
DE DESEMPEÑO MATEMÁTICA 4º BÁSICO
RESULTADOS: PUNTAJES PROMEDIO SEGÚN
GÉNERO EN 4º BÁSICO MATEMÁTICA
REFERENCIAS
Estudio Internacional de Educación Cívica y formación ciudadana ICCS 2009. Primer Informe
Nacional de Resultados, (2010). Santiago: Ministerio de Educación de Chile.
Informes de Resultados SIMCE 2013.
Informe de resultados PISA 2006 y 2000, específicamente análisis de ejemplos de preguntas.
Informes Nacionales de Resultados SIMCE 2009, capítulos referidos a factores asociados a los
resultados.
Niveles de Logro SIMCE. http://www.agenciaeducacion.cl/categoria/biblioteca-digital/
PISA Evaluación de las competencias para el siglo XXI, (2011). Santiago: Ministerio de Educación de
Chile.
Ravela, P., Arregui, P.,Valverde, G., Wolfe, R., Ferrer, G., Martínez, F., Aylwin, M. y Wolff, L. (2008). Las
Evaluaciones Educativas que América Latina Necesita. Documento de Trabajo N° 40. Santiago de Chile:
PREAL.
Ravela, P.,Valverde, G.,Wolfe, R. y Esquivel, J. M. (2001). Los próximos pasos: ¿cómo avanzar en la
evaluación de aprendizajes en América Latina? Documento de Trabajo Nº 20: Santiago de Chile: PREAL.
Resultados TIMMS Estudio Internacional de Tendencias en Matemática y Ciencias, (2011). Santiago:
Ministerio de Educación de Chile.
TERCE Tercer Estudio Regional Comparativo y Explicativo, (2014). Santiago: Agencia Calidad de la
Educación.