Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Como Saber Si Aprenden
Como Saber Si Aprenden
Cmo saber
si
Contenido
aprenden
nuestros
estudiantes?
Presentacin
El Sistema Nacional de
Evaluacin Educativa: una
estructura en construccin
Qu son los Excale?
Cules son los
objetivos de los Excale?
Cules son
las caractersticas
de los Excale?
Qu factores influyen
en el aprendizaje?:
Cuestionario de contexto
Diseo, construccin
y validacin
de los Excale
Calendario
de evaluacin
del aprendizaje
Qu evalan
los Excale?
Evaluar para qu?:
la importancia de contar
con pruebas nacionales
Presentacin
ul es el desempeo de nuestros estudiantes en lectura y matemticas? Poseen los conocimientos y habilidades que deberan tener
de acuerdo con el plan de estudios? Cmo saber si aprenden nuestros estudiantes? Responder a estas preguntas no es sencillo. Menos an si se
considera que Mxico cuenta con un sistema educativo nacional, 32 subsistemas educativos estatales, ms de 24.2 millones de alumnos y 205 mil escuelas,
pblicas y privadas, en educacin bsica (ciclo escolar 2003-2004), en regiones
con diferentes niveles de desarrollo. Los Exmenes de la Calidad y el Logro
Educativos (Excale), aplicados por primera vez en junio de 2005, cuyos resultados se conocern en 2006, buscan responder a estas preguntas. Diseados bajo
la coordinacin del Instituto Nacional para la Evaluacin de la Educacin
(INEE), los Excale evalan la calidad de la educacin bsica en Mxico y ayudan
a identificar sus fortalezas y debilidades. En este documento, preparado por
la Fundacin Este Pas, se abordan las principales caractersticas, objetivos y
componentes de los Excale, una nueva generacin de pruebas nacionales para
conocer qu saben y pueden aprender nuestros estudiantes.
l o s E x m enes de l a C a l i d a d y e l L o g r o E d u c at i v o s de l I N E E Q u s o n y c m o se c o ns t r u y en ?
as pruebas, exmenes e instrumentos de evaluacin que se aplican en Mxico en los distintos niveles educativos del Sistema Educativo Nacional
(SEN), pretenden integrarse a una estructura compuesta
por leyes y normas, instancias gubernamentales e instrumentos de poltica pblica que podran constituir un
La Secretara
de Educacin Pblica
El Instituto Nacional
para la Evaluacin
de la Educacin
define el
elabora el
propone la
Educativo
Plan Nacional
de Desarrollo
Nacional
Programa Nacional
de Educacin
Educacin
Superior
Poltica Nacional de
Evaluacin Educativa
Educacin Media
Superior
Grupos tcnicos
Evala la Educacin
(uno por cada Excale)
Bsica y Media Superior
Organismos
especializados en
evaluacin de
educacin superior
(p.ej. Ceneval)
Evala la
Educacin
Media
Superior
y Superior
Educacin Bsica
os Exmenes de la Calidad y el
Logro Educativos (Excale) son
pruebas diseadas por el Instituto Nacional para la Evaluacin de
la Educacin que se aplican a alumnos que cursan la educacin bsica
y media superior en Mxico para
conocer qu es lo que efectivamente
saben (conocimientos) y pueden hacer (habilidades) en
distintas disciplinas,
a nivel estatal y nacional, y por estrato y
modalidad educativa.
Los Excale fueron aplicados por
primera vez en junio de 2005 a una muestra representativa de estudiantes de 6 de
primaria y 3 de secundaria. En
aos prximos se aplicarn pruebas diseadas con la metodologa
de los Excale a alumnos de 3 de
primaria (2006), 3 de preescolar
(2007) y 3 de bachillerato (2008),
Evaluacin
de alumnos o del
Sistema Educativo?
Los Excale evalan la calidad de
la educacin del
Sistema Educativo Nacional (SEN) y no de
estudiantes y escuelas en
lo individual. Los Excale son
aplicados a muestras de estudiantes. Las escuelas que
participan son seleccionadas
para ser representativas de
las entidades federativas,
del pas y de los estratos y
las modalidades del SEN.
En 2005, la muestra fue de
alrededor de 2,800 escuelas
donde se imparte 6 de primaria y 2,400 que imparten
3 de secundaria. En ambos
casos se aplicaron los Excale
a 110 mil estudiantes, aproximadamente.
En cada escuela participante slo un grupo de
estudiantes, seleccionado de
manera aleatoria, responde
el examen. Cada alumno
responde slo una parte
de todas las preguntas que
comprende el Excale, pero
en conjunto todos los estudiantes responden todas las
preguntas. Las respuestas se
combinan y los resultados se
reportan por entidad federativa, estrato y modalidad.
l o s E x m enes de l a C a l i d a d y e l L o g r o E d u c at i v o s de l I N E E Q u s o n y c m o se c o ns t r u y en ?
partir del anlisis realizado por el Instituto Nacional para la Evaluacin de la Educacin y un grupo de expertos sobre las experiencias en
evaluacin educativa en Mxico y en otros pases, se estableci que
los Exmenes de la Calidad y el Logro Educativos deban tener tres caractersticas bsicas: criteriales, apegados al currculo y matriciales.
1|
Criterial
Evalan a profundidad el dominio de los estudiantes en una disciplina. Los resultados se interpretan a
partir de la cantidad y tipo de material que el estudiante sabe y maneja
del universo total de conocimientos
y habilidades evaluados.
2|
apegados al currculo
Los Excale evalan el aprendizaje adquirido por los alumnos respecto de lo que se busca que aprendan segn lo establecen los planes y
programas de estudio (currculo formal). Es decir, se evala qu tanto el
aprendizaje de los alumnos se acerca
o se aleja del currculo formal.
Bloques
de preguntas
a
g
1+2
h
2
1+3
f
j
1+4
2+3
2+4
3+4
Cuadernillos
3|
matricial
Las preguntas que incluyen los Excale buscan evaluar
todos los contenidos relevantes
que establece el currculo. Pero
los estudiantes slo pueden responder de forma eficiente, en
un lmite de tiempo, una parte de todas las preguntas de la
prueba.
Por ello, se forman conjuntos o bloques de preguntas. Los
diferentes bloques se combinan
y se forman cuadernillos de
preguntas que responde cada
alumno. Cada estudiante contesta slo una parte de todas
las preguntas del Excale, pero
en conjunto todos los estudiantes responden todas las
preguntas.
Para los Excale de Espaol y
Matemticas de 6 de primaria
aplicados en 2005, por ejemplo,
se formaron 28 cuadernillos diferentes.
Alumnos
Fuente: Elaborado por Fundacin Este Pas con base en INEE, Plan General de Evaluacin del Aprendizaje.
Proyectos Nacionales e Internacionales, 2005.
Qu es el currculo?
El currculo est formado por el plan y los programas de estudios de un curso, grado, ciclo o
nivel educativo. Adems del contenido de las asignaturas, el currculo incluye las competencias
que se desea alcancen los alumnos, los mtodos de enseanza, los criterios y procedimientos de
evaluacin y los materiales de apoyo didctico, entre otros.
En un sentido ms amplio, el currculo comprende tambin aspectos no explcitos que intervienen en
el aprendizaje: concepciones y valores implcitos en los planes y programas de estudio, las actitudes, y los
preconceptos y prejuicios que el maestro inculca a los alumnos en su interaccin con ellos, entre otros.
(4)
Polticas
pblicas
Partido
gobernante
Estos
factores...
Recursos
Magisterio
Polticas
pblicas
Qu es evaluacin?
La evaluacin educativa
consiste en
comparar el
resultado de una medicin,
una prueba, por ejemplo,
con un punto de referencia
que establece lo que los
alumnos deberan saber, el
currculo, por ejemplo. Si
se aplica una prueba para
medir el aprendizaje de
un grupo de alumnos, se
piensa que esto es una evaluacin, pero no es as. La
prueba slo permite medir
el aprendizaje.
Evaluar es emitir un juicio como resultado de comparar una realidad emprica
(el resultado de una prueba)
con un parmetro normativo previamente definido (el
resultado deseado en una
prueba). Esta comparacin
permite saber si el aprendizaje es satisfactorio o
insatisfactorio.
Recursos
didcticos
Partido
gobernante
Clima
escolar
Perfil
profesional
del maestro
Entorno
escolar
Recursos
Organizacin
escolar
Infraestructura
y equipo
Entorno
familiar
Infraestructura
y equipo
Rendimiento
del grupo
Entorno
personal
Problemas
educativos
locales
... e influyen
en...
Escuelas
Currculo formal
Lo que los alumnos
deben saber
Saln
de clases
Alumno
Currculo logrado
Lo que los alumnos
efectivamente saben
Fuente: Elaborado por Fundacin Este Pas con base en INEE, Plan General de Evaluacin del Aprendizaje. Proyectos Nacionales e Internacionales, 2005.
(5)
l o s E x m enes de l a C a l i d a d y e l L o g r o E d u c at i v o s de l I N E E Q u s o n y c m o se c o ns t r u y en ?
Etapa 2
Diseo y
elaboracin de
cuestionarios
de contexto
Etapa 3
Diseo y
desarrollo
de sistema
de informacin
Asesores
en medicin y
validacin
del INEE aportan
ideas para
el Plan
El INEE
prepara una
propuesta
de Plan
El Consejo
Tcnico del
INEE debe
aprobar la
propuesta
de Plan
Especialistas
elaboran una
propuesta
de cuestionario
de contexto
El INEE
complementa
la propuesta
de especialistas
El Consejo
Tcnico del
INEE aprueba
los cuestionarios
de contexto
Especialistas disean
un sistema de informacin y de base
de datos, que ser
alimentado en las fases
y etapas siguientes
Productos
La Junta
Directiva del
INEE da la
aprobacin
final del Plan
Plan General
de Evaluacin
del Aprendizaje
Cuestionarios
de contexto que
indagan los
factores que
influyen en el
aprendizaje
El INEE
aprueba
el sistema
de informacin
y de base
de datos
Sistema de
informacin
y base de datos
para ser utilizado
en las siguientes
etapas
> fase ii
Administracin y desarrollo
de los Excale: un proceso colegiado
Para desarrollar pruebas de calidad,
los Excale se construyen mediante un
proceso colegiado en el que participan autoridades educativas, expertos
en diversos temas, maestros en ejercicio en distintas asignaturas, modalidades y estratos educativos, y autores de libros de texto, entre otros.
El desarrollo de los Excale se sustenta en
la conformacin y participacin de cinco comits externos al INEE, integrados por distintos
miembros cada uno. Estos comits participan
de forman sucesiva en las diferentes etapas de
construccin y aplicacin de los Excale y le dan
validez y consistencia a todos los procesos.
Define niveles
de logro y
puntuaciones
min. y mx. para
cada nivel
(ETAPA 14)
Define qu se
debe evaluar
en los Excale
(ETAPA 4)
Comit
Acadmico
Comit
de Niveles
de Logro
Revisa que
las preguntas
no tengan
sesgos
culturales
o de gnero
(ETAPA 7)
(6)
Comit
de Validez
y Sesgo de
Reactivos
Define las
caractersticas
Comit
de cada
Especificador pregunta
de Reactivos de los Excale
(ETAPA 5)
Comit
Constructor
de Reactivos
Elabora
las preguntas
de los Excale
(ETAPA 6)
Etapa 5
Especificacin
de Reactivos
(preguntas)
Productos
El INEE
capacita a
los Comits
Acadmicos
(uno por Excale)
Tabla de
contenidos
de cada prueba
El INEE capacita
a los Comits
que elaboran las
Especificaciones
de Reactivos
(uno por Excale)
Especificaciones
de preguntas
(reactivos) de
cada prueba
Etapa 7
Validacin
de preguntas
Etapa 8
Piloteo de
preguntas y
cuestionarios
de contexto
El INEE capacita
a los Comits
Constructores
de Reactivos
(uno por Excale)
El INEE capacita
a los Comits
de Validacin y
Sesgo de Reactivos
(uno por Excale)
El INEE disea la
muestra piloto y capacita a coordinadores
estatales de evaluacin
de las entidades que
participan en el piloto
Productos
Tres reactivos
por especificacin (se guardan
en el sistema
de informacin)
Impresin de cuadernillos
con reactivos (preguntas)
para la aplicacin de la
prueba piloto del Excale
Dos reportes de
validacin por
cada reactivo
(pregunta)
Base de datos
con resultados
del piloto
> fase IV
Coordinacin y asesora
INEE
Direccin de Pruebas
y Medicin
Asesores
en Medicin
Asesores
en Validacin
Grupos tcnicos
(uno por cada Excale)
(7)
l o s E x m enes de l a C a l i d a d y e l L o g r o E d u c at i v o s de l I N E E Q u s o n y c m o se c o ns t r u y en ?
Etapa 10
Edicin, armado
e impresin de
pruebas Excale
Productos
El INEE y asesores en
medicin analizan los
resultados del piloto
(Etapa 8) y seleccionan
los reactivos (preguntas)
a ser utilizadas en la aplicacin general del Excale
A cada cuadernillo
(formas) con bloques
de preguntas se agrega
el cuestionario
de contexto
Se hacen tantas
combinaciones
de bloques
como sea posible para armar
cuadernillos
(formas)
Bloques de
reactivos y
estructura de
cuadernillos
(formas)
Cuestionarios
de los Excale
impresos
> fase V
Etapa 11
Muestreo
poblacional
Etapa 12
Validacin
de preguntas
Especialistas disean
la muestra de estudiantes,
maestros y directores
a la que se aplican los Excale
El INEE capacita
a los 32 coordinadores
estatales de
evaluacin del pas
para la aplicacin
de los Excale
El INEE revisa
y aprueba el diseo
de la muestra
Se distribuyen los
cuadernillos de
los Excale y estos
son aplicados por
personal contratado
para el caso
Diseo
y muestra
poblacional
Al recibir los cuadernillos respondidos,
el INEE captura los
resultados en la base
de datos
> fase VI
(8)
Base de datos
con resultados
de los Excale
capturados
Etapa 13
Anlisis inicial
de resultados
de los Excale
Etapa 14
El INEE capacita
a los Comits
de Niveles
de Logro
(uno por prueba)
Definicin
de niveles de
logro educativo
Etapa 15
Elaboracin de
informe tcnico
de resultados
del aprendizaje
Asesores en medicin
del INEE hacen
propuestas sobre tipos
de anlisis a realizar
de los resultados de
los Excale
Primer informe
tcnico sobre
anlisis de
resultados
Documento que
establece los
niveles de logro
y puntuaciones
mnima y
mxima
Informe tcnico
sobre resultados
del aprendizaje
asociados
con el contexto
Asesores en validacin
del INEE proponen
la realizacin
de estudios de validez
Reinicia
la Fase II
de los Excale
del siguiente
ao
(9)
Publicacin del
informe anual:
La calidad de
la educacin
bsica en
Mxico del INEE
Productos
Reportes
tcnicos de
Estudios
de Validez
Publicaciones
sobre la validez
de los Excale
l o s E x m enes de l a C a l i d a d y e l L o g r o E d u c at i v o s de l I N E E Q u s o n y c m o se c o ns t r u y en ?
6 de primaria
(2005)
6 de primaria
(2007)
6 de primaria
(2009)
6 de primaria
(2005)
3 de secundaria
(2007)
3 de bachillerato
(2009)
Aos escolares
2005
2006
3 Preescolar
2007
2010
E, M
6 Primaria
E, M
3 Secundaria
E, M
2011
2012
2013
E, M
N, S
E, M
E, M
N, S
Excale de Espaol
M
Excale de Matemticas
N
Excale de Ciencias Naturales
S
Excale de Ciencias Sociales
PISA
Pruebas del Programa
para la Evaluacin Internacional
de Estudiantes (evaluacin en
Lectura, Matemticas, Ciencias
y Solucin de problemas a
jvenes de 15 aos de edad)
E, M
N, S
E, M
N, S
LLECE
(10)
2016
E, M
E, M
N, S
E, M
PISA
2015
E, M
N, S
E, M
E, M
PISA
LLECE
2014
E, M
E, M
N, S
3 Bachillerato
Nota:
E
2009
E, M
N, S
3 Primaria
Evaluaciones
internacionales
2008
E, M
E, M
N, S
E, M
E, M
N, S
Espaol
Qu se evala?
Estrategias de comprensin lectora
Reflexin sobre
los cdigos escritos
Redaccin
Matemticas
Medicin
Geometra
Tratamiento
de la informacin
Prediccin y azar
Procesos de cambio
Tema
Espaol
Qu se evala?
Comprensin de lectura
Reflexin sobre
los cdigos escritos
Redaccin
Aritmtica
lgebra
Geometra
Probabilidad
3 de secundaria
Matemticas
6 de primaria
Comprensin de lectura
Fuente: INEE,
Plan General
de Evaluacin
del Aprendizaje.
Proyectos
Nacionales
e Internacionales. Excale,
Exmenes de
la Calidad y el
Logro Educativos, 2005.
l o s E x m enes de l a C a l i d a d y e l L o g r o E d u c at i v o s de l I N E E Q u s o n y c m o se c o ns t r u y en ?
Consejo Directivo
Presidente
Federico Reyes Heroles
Estructura Operativa
Director General
Director General Adjunto
Director de Indicadores Educativos
Director de Pruebas y Medicin
Directora de Evaluacin de Escuelas
Directora de Proyectos Internacionales
Director Ejecutivo
Eduardo A. Bohrquez
Director de Informtica
Director de Administracin y Finanzas
Director de Asuntos Jurdicos
Consejeros
Rosa Mara Rubalcava
Fernando Serrano Migalln
(12)
Coordinacin Acadmica
Roberto Castellanos C.
Coordinacin Administrativa
Brbara Castellanos R.
Unidad de Investigacin
Laura Crespo, Amanda de la Garza,
Erick Rodrguez, Paulina Ruiz
Unidad de Comunicacin Estratgica
Aldo Gonzlez, Vania Montalvo,
Aziyad Uriarte, Alejandro Vzquez
Diseo Marcela Rivas
Ilustraciones Cristina Medrano