Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Cuaderno 28 A Web
Cuaderno 28 A Web
Educativa
Felipe Martnez Rizo*
CUADERNO No. 28
Coleccin Cuadernos
de Investigacin
ISSN 1665-9457
*Director General del Instituto Nacional para la Evaluacin de la Educacin
Este texto puede consultarse en: www.inee.edu.mx
Contenido
Introduccin
La tarea del INEE como investigacin
1.
5
5
7
10
11
12
13
2.
17
17
18
19
26
3.
29
29
29
Conclusin
32
carcter metodolgico para producir o perfeccionar
instrumentos, tcnicas y procedimientos de evaluacin; y de tipo bsico que incluye estudios explicativos
y trabajos tericos.
Con plena conciencia de la amplitud de la tarea
definida en los prrafos anteriores, el Plan aade
que, para lograr la mayor riqueza de trabajos y perspectivas sobre la evaluacin de la calidad educativa, el
INEE desarrollar proyectos de investigacin y buscar
que otras instituciones y acadmicos los realicen.
El Plan Maestro aade que la investigacin ser
una tarea de todas las reas del Instituto, cada una en
su mbito y en estrecha colaboracin entre ellas.
Como parte de la visin del INEE en el futuro, el
Plan establece que, en el ao 2010, el Instituto ser
reconocido como centro de investigacin de calidad y
habr hecho importantes contribuciones al desarrollo
de la metodologa evaluativa en los pases de la regin. Este punto se precisa diciendo que, en la fecha
mencionada:
Estarn operando mecanismos institucionales
para asegurar la calidad acadmica de los productos de investigacin generados por el INEE,
los cuales constituirn una aportacin relevante
al conocimiento de la situacin de la educacin
mexicana.
Con la colaboracin de instituciones nacionales
e internacionales, se habr puesto en marcha un
programa para el desarrollo y fomento de la investigacin, que contemple la realizacin de estudios
independientes, tesis de posgrado y estancias sabticas.
Se habrn realizado estudios explicativos complejos sobre los determinantes del logro escolar e
iniciado estudios de valor agregado y el impacto
social de la educacin.
Se habrn elaborado estudios para la validacin
de instrumentos, as como para la construccin de
tipologas de escuelas ms pertinentes.
1. Investigaciones terminadas
y en proceso
Algunos productos de investigacin del INEE corresponden en especial al trabajo de una u otra de sus
reas; otros son el resultado del trabajo de varias de
ellas. En lo que sigue se distinguen unos y otros.
1.1. Trabajos del INEE en general
Trabajos ya difundidos
En este rubro se ubican los informes que el Instituto
ha publicado al final de cada ao, desde el primero
en que tuvo actividad, con el ttulo genrico de La
calidad de la educacin bsica en Mxico. Durante los
primeros cuatro aos esos informes se realizaron
con el resumen de los trabajos desarrollados durante el ao por todas las reas del Instituto; a partir
de 2007 tendrn un enfoque temtico. Pese a los
esfuerzos por hacer estas y otras obras derivadas
de las evaluaciones del INEE accesible a no especialistas, la informacin que contienen no deja de ser
compleja. Para facilitar su lectura, la informacin
tcnica va acompaada por la interpretacin que
hace de ella el INEE. Los ltimos informes incluyen
un apartado de advertencias para el lector, en el que
se llama la atencin sobre algunas limitaciones y
otras caractersticas de la informacin, las cuales
debern ser consideradas para extraer conclusiones
debidamente sustentadas en los datos disponibles.
Desde luego, las interpretaciones presentadas
por el INEE no son las nicas posibles, y debern
complementarse con las realizadas por otros lectores. El Instituto tiene la expectativa de que este vasto cmulo de informacin sea revisado cuidadosa
y crticamente por sus lectores, generando anlisis
propios a la luz del conocimiento que cada quien
tiene de su entorno. Ser de gran utilidad conocer
interpretaciones alternativas que, seguramente,
complementarn y enriquecern las que se presentan en los documentos difundidos por el INEE.
destaca los principales desafos para el Sistema
Educativo Nacional que se desprenden de las
evaluaciones hechas por el INEE en 2004.
La calidad de la educacin bsica en Mxico, 2005.
Este informe hace tres aportaciones novedosas
sobre el sistema educativo nacional:
El anlisis de la dispersin de la poblacin rural en localidades muy pequeas, con un crecimiento que hace necesario revisar la oferta
educativa para esa creciente poblacin dispersa. Destaca la importancia de las escuelas
de organizacin incompleta o multigrado,
como una estrategia pedaggica que podra
ser impulsada.
El anlisis del acceso y permanencia de los
alumnos en el sistema educativo, con datos
sobre los flujos escolares de la poblacin de
tres a 17 aos, y desde el primer grado de
preescolar hasta el cuarto de enseanza media superior. Se ofrece informacin actualizada sobre desercin, reprobacin y tasa de no
conclusin, as como cifras de egresados y de
certificados de terminacin de estudios.
Los principales hallazgos del estudio comparativo entre 2000-2005, cuya finalidad fue
comparar el nivel de aprendizaje alcanzado
por los alumnos en esos dos momentos, estudio que, por primera vez en el pas, evalu
la tendencia del rendimiento escolar a lo largo de cinco aos, para conocer los posibles
avances y retrocesos.
La calidad de la educacin bsica en Mxico,
2006.
El Informe recoge tanto los resultados de los trabajos ms recientes del INEE, como algunos de
los ms importantes de los aos anteriores. De
esta manera se forma una visin ms completa de la calidad educativa en el pas. En sus tres
partes y los captulos que las integran, el informe
recoge los principales elementos derivados de
los trabajos de construccin de indicadores, evaluacin de recursos y procesos de las escuelas,
y evaluacin del aprendizaje alcanzado por los
alumnos al final de la primaria y la secundaria.
Otros textos que no son productos de un rea del INEE
en particular, incluyen un conjunto de trabajos hechos
durante 2003 por estudiosos de varias instituciones de
Mxico y otros pases, por invitacin del Instituto. La
mayor parte de esos trabajos aprovech la informacin de las bases de datos derivadas de la aplicacin
de las Pruebas de Estndares Nacionales aplicadas por
la SEP de 1998 a 2002. En 2003 la SEP entreg al INEE
las bases de datos derivadas de esas pruebas, que fueron el punto de partida de las evaluaciones del Instituto, hasta que fueron sustituidas por las pruebas Excale
(Exmenes de la Calidad y el Logro Educativos), a partir
de 2005. Los trabajos basados en anlisis de esas bases
de datos fueron los siguientes:
Estudio Sobre las Desigualdades Educativas en
Mxico: La Incidencia de la Escuela en el Desempeo Acadmico de los Alumnos y el rol de los
Docentes. Ernesto Trevio Villarreal y Germn I.
Trevio Gonzlez.
Contextualizacin Sociocultural de las Escuelas de
la Muestra de Estndares Nacionales (1998-2002).
Tabar Fernndez Aguerre, con la asesora de
Rosa Mara Rubalcava.
Determinantes Sociales, Organizacionales e Institucionales de los Aprendizajes en la Educacin
Primaria en Mxico: Un Anlisis de Tres Niveles
(2001). Tabar Fernndez Aguerre, con la colaboracin de Emilio Blanco Bosco.
Factores Socioculturales Asociados al Rendimiento de los Alumnos al Trmino de la Educacin
Primaria: Un estudio de las Desigualdades Educativas en Mxico (Anlisis descriptivo). Ernesto
Trevio Villarreal y Germn I. Trevio Gonzlez.
Factores Externos e Internos a las Escuelas que Influyen en el Logro Acadmico de los Estudiantes
de Nivel Primaria en Mxico, 1998-2002 (Anlisis
comparativo entre entidades con diferente nivel
de desarrollo). Carlos Muoz Izquierdo, Alejandro
Mrquez, Andr Sandoval e Hidalia Snchez.
La Enseanza Secundaria en Mxico 2002. Una
Exploracin de Modelos Explicativos de Resultados de Aprendizaje y Caractersticas del Alumno,
del Entorno Familiar y Escolar (Habilidades de
comprensin lectora y resolucin de problemas
matemticos). Margarita Zarrilla Fierro y Francisco Jos Muro Gonzlez.
Factores Asociados al Aprendizaje del Lenguaje y
las Matemticas en 13 estados de Mxico. 3 y 4
grados en educacin bsica. Rubn Cervini.
Perfiles de las Escuelas Primarias Eficaces en Mxico 2001. Tabar Fernndez Aguerre.
Otros trabajos de 2003 revisaron elementos de
las pruebas TIMSS (siglas en ingls del Tercer Estudio
Internacional de Matemticas y Ciencias).
Tercer Estudio Internacional de Matemticas y
Ciencias Naturales (TIMSS): Resultados de Mxico en 1995 y 2000. Eduardo Backhoff Escudero y
Guillermo Solano Flores.
La Traduccin de Pruebas en Comparaciones Internacionales: Un Estudio Preliminar. Aspectos lingsticos de la traduccin de TIMSS 1995. Guiller-
equidad. Los captulos se referirn a las telesecundarias, los cursos comunitarios y la educacin de los alumnos indgenas, as como a las
desigualdades del entorno familiar de los alumnos y las de la oferta educativa.
1.2. Trabajos de la Direccin de Pruebas y Medicin
Los productos bsicos de esta Direccin son los informes en que se analizan los resultados de las aplicaciones anuales de pruebas de rendimiento. Estas
aplicaciones se basan en una planeacin de largo
plazo, aprobada en su momento por el Consejo Tcnico del INEE.
Segn este plan, se sigue un ciclo de cuatro aos,
a lo largo del cual se evalan sucesivamente cuatro
grados clave de la educacin bsica: el tercero de la
educacin preescolar; el tercero y el sexto de primaria; y el tercero de secundaria.
Esta planeacin comenz a implementarse desde 2004, con la preparacin de las primeras aplicaciones de sexto de primaria y tercero de secundaria,
que se hicieron en 2005, y cubrieron solamente las
materias de espaol y matemticas, si bien con una
cobertura muy amplia de los contenidos de los programas correspondientes. En el caso de espaol, en
particular, la evaluacin no se limit a la lectura y
los conocimientos sobre la lengua, como es habitual, sino que incluyeron la ortografa y la expresin
escrita. Estas pruebas se denominan Exmenes de la
Calidad y el Logro Educativos, Excale.
Las pruebas aplicadas en 2006 a nios de tercero de primaria incluyeron adems ciencias naturales, geografa, historia y educacin cvica. En 2007
se aplicaron pruebas de ejecucin sobre competencias lingsticas y matemticas a alumnos del tercer
grado de preescolar.
Los informes ya difundidos de esta rea del INEE
se refieren a estas aplicaciones; en lo relativo a 2003
y 2004, los resultados son los de las Pruebas de Estndares Nacionales desarrolladas por la Direccin
General de Evaluacin de la SEP desde 1998, asumidas por el INEE a partir de su creacin; desde 2005
los informes se refieren a las pruebas Excale del INEE.
Durante los primeros aos se produjo slo un informe por ao; progresivamente se han ido abordando
aspectos particulares con mayor profundidad.
Trabajos ya difundidos
Resultados de las Pruebas de Estndares Nacionales 2002-2003.
Resultados de las Pruebas de Estndares Nacionales 2003-2004.
Estos dos informes (difundidos slo en forma
electrnica) presentan los resultados de las dos
ltimas aplicaciones de las pruebas de Lectura
y Matemticas desarrolladas desde 1998 por la
SEP, en especial relativos al sexto grado de primaria y al primero de secundaria. Los anlisis se
hicieron originalmente con base en los resultados crudos de las aplicaciones, sin correcciones
por ponderacin. Posteriormente, el Dr. Richard
Wolfe, del Ontairo Institute for Students in Education de la Universidad de Toronto, quien asesor
el diseo muestral utilizado para las aplicaciones
de las pruebas nacionales de lectura y matemticas desde sus inicios, hizo un estudio de validacin de la muestra empleada en 2003, as como
un anlisis de los resultados, haciendo correcciones por ponderacin.
Estudio comparativo de la educacin bsica en
Mxico 2000-2005.
Este trabajo tuvo el propsito de comparar los
aprendizajes logrados por los estudiantes de 6
de primaria y 3 de secundaria en Comprensin
Lectora y Matemticas en los aos 2000 y 2005,
con el fin de conocer las tendencias del Sistema
Educativo Nacional en ese lapso.
Los anlisis de las bases de datos derivadas de la
aplicacin de las Pruebas Nacionales de Estndares de 1998 a 2002 mostraron que, por diversas
razones tcnicas, los resultados anuales no eran
comparables entre s, por lo que era imposible
establecer tendencias de manera confiable. Las
razones tcnicas que llevaron a esta conclusin
pueden verse en el Cuaderno de Investigacin
N 12.
El diseo de las nuevas pruebas Excale buscar,
entre otras cosas, poder comparar los resultados
a lo largo del tiempo, pero esto slo ser posible
a partir del ao 2005, y no en forma retroactiva,
como es obvio. Para tener una idea de la evolucin de los niveles de aprendizaje en aos anteriores, el INEE decidi aplicar nuevamente, por
nica vez, las Pruebas de Estndares Nacionales
de Comprensin Lectora y Matemticas aplicadas
por la SEP en el ao 2000 para evaluar a estudiantes de 6 de primaria y 3 de secundaria. De esta
manera fue posible una aproximacin a las tendencias de los niveles de aprendizaje durante el
lustro 2000-2005.
El aprendizaje del espaol y las matemticas en la
educacin bsica en Mxico: sexto de primaria y
tercero de secundaria, 2005.
Trabajos en proceso
Aprendizaje y condiciones escolares en Mxico.
Segunda parte del trabajo anterior, utilizando
tcnicas multinivel con el enfoque del Dr. Willms,
y centrando ahora la atencin a los factores de la
oferta escolar, para estudiar el impacto que tienen las condiciones de los centros escolares en
el aprendizaje de los estudiantes, una vez que se
toman en cuenta sus condiciones socioculturales.
Errores ortogrficos de los alumnos de 3 y 6 de
primaria y de 3 de secundaria.
Este trabajo, cuya terminacin est prevista para
diciembre de 2007, se basa en el anlisis de cerca
de 15,000 textos escritos por los sustentantes de
los Excale de Expresin Escrita que se aplicaron
en 2005 y 2006.
El aprendizaje en tercero de preescolar: competencias lingsticas y matemticas.
En los meses de mayo y junio de 2007, se aplicaron pruebas especiales, de ejecucin, a una
muestra representativa nacional de alumnos de
tercero de preescolar. Este informe, que se difundir en agosto de 2008, presentar los resultados
de este trabajo, innovador en su gnero en nuestro pas.
Dos investigaciones ms estn en sus etapas iniciales:
Capital lingstico (o disponibilidad lxica) de los
estudiantes de educacin bsica.
Se transcribirn y analizaran los textos escritos
por aproximadamente 15,000 estudiantes de 3
y 6 de primaria y de 3 de secundaria.
Anlisis de errores matemticos de estudiantes de
educacin bsica.
10
11
12
Nacional de Poblacin (Conapo) y otras bases de
datos del propio INEE para contextualizar los resultados encontrados. Los resultados son representativos a nivel nacional y por estratos.
Disciplina, violencia y consumo de sustancias nocivas a la salud en escuelas primarias y secundarias
en Mxico.
Los datos presentados en este trabajo provienen
de acercamientos complementarios al tema en
cuestin. Uno de estos acercamientos, de gran
escala, recupera la informacin obtenida a travs
de los cuestionarios de contexto aplicados en
2005 a alumnos y docentes de primaria y secundaria, junto con los Exmenes de la Calidad y el
Logro Educativos (Excale).
El otro acercamiento tuvo un enfoque cualitativo; su muestra estuvo constituida por veinte
escuelas de las modalidades pblicas en que se
ofrece este nivel educativo: secundarias Generales, Tcnicas y Telesecundarias. El objetivo principal del estudio fue describir estos distintos tipos
de escuelas en varias dimensiones relativas a su
organizacin, funcionamiento y las problemticas que enfrentan. En este caso la informacin
proviene fundamentalmente de entrevistas a
alumnos, docentes y directivos de las secundarias estudiadas.
El anlisis de la violencia, el consumo de alcohol
y tabaco en las escuelas, as como de algunos
rasgos de la disciplina aplicada a su interior, tiene un carcter fundamentalmente exploratorio
en ambos acercamientos.
Trabajos en proceso
Estudio Cualitativo en Escuelas Secundarias de
Mxico
El rea elabora varios reportes derivados de un
estudio realizado en 20 secundarias pblicas de
cinco entidades federativas, cuyo objetivo general fue desarrollar desde una perspectiva cualitativa un diagnstico de la situacin de escuelas de
diverso tipo de Mxico en las distintas dimensiones
que las caracterizan como unidades organizacionales, atendiendo tanto a los recursos como a los
resultados escolares y poniendo especial nfasis en
los procesos escolares y de aula. Estn en proceso
de elaboracin un reporte general y varios que
desarrollan temas particulares:
Los procesos escolares en veinte escuelas secundarias de Mxico desde la perspectiva de la
eficacia escolar. Un estudio cualitativo.
13
14
8)
9)
10)
11)
12)
13)
14)
15)
16)
17)
18)
19)
20)
21)
22)
23)
24)
25)
15
17
18
Manual de Funciones de la Direccin de Pruebas y
Medicin.
Manual de Procedimientos de la Direccin de Pruebas y Medicin.
Plan General de Evaluacin del Aprendizaje. Proyectos Nacionales e Internacionales.
Manual Tcnico. Diseo de Exmenes de la Calidad
y el Logro Educativos.
Manual Tcnico. Especificaciones de Reactivos.
Manual Tcnico. Construccin de Reactivos.
Manual Tcnico. Validacin de Reactivos.
Manual Tcnico. Muestreo Poblacional.
Manual tcnico. Establecimiento de niveles de
competencia.
Protocolo de calificacin. Reactivos de respuesta
construida de Espaol: Expresin Escrita 6 de primaria y 3 de secundaria.
Protocolo de calificacin. Reactivos de respuesta
construida de Espaol: Expresin Escrita 3 de primaria.
Protocolo de calificacin. Reactivos de respuesta
construida de Ciencias Sociales 3 de primaria.
Manual Tcnico. Especificaciones de Reactivos.
Educacin Preescolar.
Manual Tcnico. Construccin de Reactivos. Educacin Preescolar.
Protocolo de evaluacin. Sistema de codificacin
de errores ortogrficos.
2.2. Biblioteca y Hemeroteca del INEE
Dada la naturaleza del trabajo acadmico, para el
personal de un organismo dedicado a la investigacin es fundamental la existencia de un buen centro
de documentacin, con libros (biblioteca) y publicaciones peridicas (hemeroteca). En la actualidad es
fundamental el acceso a las fuentes de informacin
de tipo electrnico, sin duda, pero los acervos que
utilizan soportes convencionales siguen siendo fundamentales.
Por ello, y en forma congruente con su naturaleza, desde sus inicios el INEE ha dado gran importancia a la formacin de una biblioteca y una hemeroteca de dimensiones modestas pero de gran calidad
por su alto nivel de especializacin.
En la actualidad el Centro de Documentacin del
Instituto cuenta con un acervo de ms de cuatro mil
libros, incluyendo obras de referencia fundamentales, y recibe regularmente ms de 70 ttulos de
publicaciones peridicas, adems de tener acceso a
varios recursos electrnicos. Los nmeros de las revistas son ya ms de 1,200 que, sumados a los libros
y otros materiales, arrojan un total de ms de cinco
mil quinientos documentos. El acervo est distribuido en las dos sedes del INEE, en las ciudades de
Mxico y Aguascalientes.
El Centro de Documentacin del Instituto es
particularmente rico, desde luego, en obras de
evaluacin educativa y psicometra, as como en
materiales curriculares que son fundamentales
para la elaboracin de las pruebas de rendimiento. Destacan tambin las obras de estadstica,
especialmente las relacionadas con anlisis de
datos de todo tipo. Hay tambin obras de educacin, psicologa, sociologa, economa, lingstica,
filosofa, computacin, comunicacin y administracin.
Ya se ha mencionado el especial valor de la seccin de referencia, que incluye obras como la International Encyclopedia of Social & Behavioral Sciences,
International Encyclopedia of Education, Encyclopedia of Educational Research, Encyclopedia of Biostatistics, Encyclopedia of Evaluation, Sage Encyclopedia
of Social Science Research Mwethods, los sucesivos
volmenes de la obra Educational Measurement, y
diversos handbooks, entre otras obras de este importante subgrupo de una buena biblioteca acadmica.
En septiembre de 2007 el acervo estaba conformado como sigue:
Materiales
Libros
CD ROM
Mxico
Ags.
Total
2,622
1,459
4,081
95
89
184
Disquetes
DVD
Cajitas c/tarjetas
Tesis
11
Videocasetes
Nmeros de
publicaciones
peridicas
CD-Rom Revistas
15
15
1,024
183
1,207
Total
3,754
1,765
5,519
Porcentaje
68 %
32 %
100 %
Ttulo
American Educational Research Journal
Applied Measurement in Education
Applied Psychological Measurement
Assessment in Education
British Journal of Mathematical and
Statistical Psychology
Bordn
Cero en Conducta
Digest of Education Statistics
Economics of Education Review
Educational Assessment
Educational and Psychological Measurement
Educational Evaluation and Policy
Analysis
Educational Measurement
Educational Research and Evaluation
Evaluation
Evaluation and Program Planning
Evaluation Review
Harvard Education Letter
Harvard Educational Review
Higher Education Management and
Policy
International Journal of Testing
Journal of Economic Literature
Journal of Educational and Behavioral
Statistics
Journal of Educational Measurement
Journal of Population Economics
Main Science and Technology Indicators
Measurement
Mental Measurements Yearbook
Multivariate Behavioral Research
National Education Goals
New Directions for Evaluation
Psychological Methods
Psychometrika
Qualitative Inquiry
Quality and Quantity
Reports of the National Center for
Science Education
Review of educational Research
Review of Research in Education
School Effectiveness and School Improvement
Sociological Methodology
Sociological Methods& Research
Structural Equation Modeling
Studies in Educational Evaluation
The American Economic Review
Vigencia
2003200320032007200320062000200520032002200320032003200420052005200320032003200520032003-
2003-
24
20032003-
25
26
2006200320052003200520052005,
200620032003200320032003200320032005200320032003200320032003,
2005,
20072003-
19
Ttulo
Apuntes del Instituto de Evaluacin
Boletn Ceneval
Carta Informativa
Confluencia
Cooperacin Acadmica
Decisio
Educacin
Educacin 2001
Educacin Productividad y Empleo
(Boletn del FMED)
Educar
Educare
Enlace Educativo
Expresiones
Horizontes
Innovacin, Tecnologa y Negocios
(Boletn del FMED)
Investigacin y Ciencia
La huella del Conafe
Letra Viva
Matemticas para Todos
Review of Assessment Activities
Revista de la Educacin Superior
Revista de Educacin
Revista Interamericana de Educacin
de Adultos
Revista Mexicana de Investigacin
Educativa
Visin Educativa Aguascalientes
Visin Educativa Sonora
Vigencia
2006200320052003200320032004199720052002200320042005200320052003200620052005200620042006200420022005
2003
1.
2.
3.
4.
Ttulo
Higher Education Management and
Policy.
SourceOECD Education and Skills.
SourceOECD Science and Information
Technology
SourceOECD Education Statistics
Vigencia
2005200520052005-
20
de campo, con la aplicacin de pruebas de rendimiento y otros instrumentos a muestras de sujetos
de todo el pas.
Con distintos grados de precisin, segn las caractersticas de la poblacin objetivo y del propsito
de cada evaluacin, las muestras son diseadas de
manera que permitan hacer anlisis a nivel nacional,
estatal y por tipo de servicio. Los instrumentos utilizados, por otra parte, no se reducen a las pruebas
de rendimiento, sino que incluyen cuestionarios
para ser respondidos por los alumnos, los maestros
y los directores de escuela, as como guas de cotejo
y otros. En conjunto, se recoge informacin sobre
decenas de variables de importancia para la evaluacin de la calidad del sistema educativo nacional,
entendida en un sentido muy amplio.
El INEE proceso la informacin recolectada en
sus operativos, y realiza diversos anlisis, que sirven de base para la elaboracin de los informes en
que se plasman los resultados de las evaluaciones.
Es claro, sin embargo, que la informacin es tan
abundante y rica que ningn anlisis puede pretender agotarla. Es tambin posible que anlisis
hechos por otros estudiosos, an sobre los mismos
datos y con los mismos enfoques, lleguen a conclusiones diferentes.
Por ello las bases de datos del INEE, con toda la
informacin necesaria para su utilizacin, estn disponibles para que las utilice cualquier investigador
ajeno al Instituto que quiera hacer sus propios anlisis de la informacin que contienen.
En los siguientes puntos se describen las bases actualmente disponibles. La nica informacin
que no se incluye en ellas, de conformidad con las
normas de la Ley de Transparencia y Acceso a la Informacin Pblica Gubernamental, es la que tiene
que ver con datos confidenciales. Se aade que los
Proyecto
Estndares
Nacionales
2003
Ciclo
escolar
evaluado
2002-2003
Encuestado
Alumno
Alumno
Estndares
Nacionales
2004
2003-2004
Docentes
Instructores
comunitarios
Directores
Aspecto evaluado
Logro de Comprensin lectora y
Matemticas
Cuestionario de
contexto
Logro de Comprensin lectora y
Matemticas
Cuestionario de
contexto
Cuestionario de
contexto
Cuestionario de
contexto
Grado/Nivel
5 Primaria
6 Primaria
1 Secundaria
2 Secundaria
3 Secundaria
6 Primaria
3 Secundaria
Disponibilidad
Nacional
Por modalidad
educativa
Entidad federativa
Entidad-modalidad
Liberada
Nacional
Por modalidad
educativa
Entidad federativa
Entidad-modalidad
Liberada
Comparativo
2000-2005
1999-2000
Alumno
6 Primaria
3 Secundaria
2004-2005
Alumno
Excale 06
2004-2005
Docentes
Directores
Alumno
Excale09
2004-2005
Docentes
Directores
Alumno
Excale 03
2005-2006
Docentes
Directores
Ortografa
2004-2006
Alumno
Alumno
Excale 00
2006-2007
Docentes
Directores
Alumno
Excale 06
2006-2007
Docentes
Directores
Logro de Espaol
(Comprensin
lectora, Reflexin
sobre la lengua y
Escritura) y Matemticas
6 Primaria
Cuestionario de
contexto
Cuestionario de
contexto
Cuestionario de
contexto
Logro de Espaol
(Comprensin
lectora, Reflexin
sobre la lengua y
Escritura) y Matemticas
6 Primaria
Cuestionario de
contexto
Cuestionario de
contexto
Cuestionario de
contexto
Logro de Espaol
(Comprensin
lectora, reflexin
sobre la lengua y
escritura), Matemticas, Ciencias Naturales, Educacin
3 Primaria
Cvica, Historia,
Geografa
Cuestionario de
contexto
Cuestionario de
contexto
Cuestionario de
contexto
3 Primaria
Logro en Ortografa 6 Primaria
3 Secundaria
Logro de Lenguaje
y Comunicacin
y Pensamiento
matemtico
Cuestionario de
3 Preescolar
contexto
Cuestionario de
contexto
Cuestionario de
contexto
Logro de Espaol y
Matemticas
Cuestionario de
contexto
6 Primaria
Cuestionario de
contexto
Cuestionario de
contexto
Nacional
Por modalidad
educativa
Entidad federativa
Entidad-modalidad
Nacional
Por modalidad
educativa
21
Liberada
Liberada
Nacional
Por modalidad
educativa
Entidad federativa
Entidad-modalidad
Liberada
Nacional
Por modalidad
educativa
Entidad federativa
Entidad-modalidad
Liberada
Nacional
Por modalidad
educativa
Entidad federativa
Entidad-modalidad
Por liberarse en
octubre de 2007
Nacional
Por modalidad
educativa
Por liberarse en
2008
Nacional
Por modalidad
educativa
Por liberarse en
2008
Nacional
Por modalidad
educativa
Por liberarse en
2008
22
Bases derivadas de la aplicacin de las pruebas
PISA
Resultados de las pruebas
La base de datos disponible en el portal del INEE
corresponde a PISA 2003. La informacin se proporciona en formato de texto ( txt ) e incluye los
desempeos por alumno y por plantel educativo en los tres dominios de la evaluacin matemticas, lectura y ciencias. Junto con las bases,
se proporcionan los Archivos de Control con las
etiquetas y descripcin de las variables para los
programas SPSS y SAS .
Adems de las bases de datos, se incluyen los dos
cuestionarios elaborados por PISA y aplicados en
Mxico para encontrar factores contextuales familiares, sociales y del mbito escolar, que inciden en el aprendizaje y desarrollo de habilidades
de los estudiantes:
Cuestionario para el alumno. (idioma: espaol;
formato: doc )
Cuestionario para la escuela. (idioma: espaol;
formato: doc )
Tambin se proporcionan dos documentos tcnicos que son necesarios para comprender la codificacin y estructura de las bases de datos y el
diseo terico del estudio:
Reporte Tcnico de PISA 2003 (idioma: ingls; formato: pdf )
Manual de la base de datos de PISA 2003 (idioma:
ingls; formato: pdf )
Bases derivadas de los estudios de la Direccin
de Evaluacin de Escuelas
Bases del Estudio de Infraestructura Escolar
de primarias y secundarias de Mxico
Las bases de datos de primaria y secundaria contienen la informacin recabada por un observador externo a la escuela mediante una Gua de cotejo de
recursos materiales. Los datos se recogieron en el
operativo de los Excale y sus respectivos cuestionarios de contexto durante el ciclo 2004-2005. Ambas
bases incluyen todas las variables sobre las que se
obtuvo informacin a travs de la aplicacin de la
Gua y los ndices construidos mediante la combinacin de algunas de las variables originales.
Base de datos del nivel primaria
Para el nivel de primaria se tiene informacin de
2753 planteles que permite tener representatividad de los siguientes dominios: urbana pblica,
rural pblica, educacin indgena, cursos comunitarios y privada.
Se destacan a continuacin los ndices que se
reportan en el informe Infraestructura escolar en
Variables
que lo integraron
Existencia de espacios Laboratorio o saln de cmputo
fsicos de apoyo a la
Biblioteca
enseanza
Sala de profesores
Saln de actividades artsticas
/ msica
Direccin
Tienda escolar, cooperativa,
Existencia de espacios cafetera
Almacn o bodega
administrativos y de
Patio de recreo
uso comn
reas verdes o jardines
Tipo de bao
Nombre del ndice
Variables que lo integraron
Mantiene bien pintados muros,
techos y fachada
Mantiene limpios muros,
techos y fachada
En su estructura, presenta cuarteadoras, fisuras o
indicadores visibles de que la
Mantenimiento y
construccin se encuentra en
conservacin de las
mal estado
instalaciones
Mantiene bien pintadas y funcionales la cancelera y puertas
Mantiene bien conservada la
vidriera (lminas de vidrio, de
cristal o plstico, transparentes
o translcidas, se encuentran
en buen estado)
Se encuentra ordenado
(mobiliario en su lugar, botes
de basura distribuidos en los
distintos espacios, etc.)
Se encuentra limpio al interior
(entrada, patio, espacios comunes, etc.)
Se encuentra limpio al exterior
(rea que lo circunda)
Mantiene limpios muros,
techos y fachada
Ambiente agradable
del aula
Variables
que lo integraron
Mobiliario, equipo y materiales en su lugar (es un espacio
ordenado)
Condiciones de higiene adecuadas (limpio)
Muros, puertas y ventanas bien
pintados
Ambientacin de clase adecuada (se encuentran materiales didcticos y trabajos de
estudiantes, as como grficos
o alguna representacin del
desempeo de los alumnos en
los muros del aula)
Un pizarrn o pintarrn en buenas condiciones (bien pintado,
completo, etc.)
Mantenimiento y
conservacin de las
instalaciones
Variables
que lo integraron
Mantiene bien pintados muros, techos y fachada
En su estructura, presenta cuarteadoras, fisuras o
indicadores visibles de que la
construccin se encuentra en
mal estado
Mantiene bien pintadas y
funcionales la cancelera y
puertas
Mantiene bien conservada la
vidriera (lminas de vidrio, de
cristal o plstico, transparentes o translcidas, se encuentran en buen estado)
Se encuentra ordenado
(mobiliario en su lugar, botes
de basura distribuidos en los
distintos espacios, etc.)
Se encuentra limpio al interior
(entrada, patio, espacios comunes, etc.)
Se encuentra limpio al exterior
(rea que lo circunda)
Mantiene limpios muros,
techos y fachada
Ambiente agradable
del aula
23
24
contextualizar a nivel de localidad, se recuper el
ndice de marginacin que elabora el Consejo Nacional de Poblacin (Conapo).
Base del estudio Violencia, disciplina y consumo de sustancias nocivas en primarias y
secundarias
Para el estudio se utilizaron cuatro bases de datos conformadas con la informacin levantada a
travs de los cuestionarios de contexto aplicados
en primaria y secundaria a profesores y alumnos
durante el operativo 2005 de Excale. Estas bases
contienen los datos correspondientes a todas las
variables contempladas por los cuestionarios,
aunque en el marco de este estudio slo se utilizaron aquellas directamente relacionadas con
los temas de inters (disciplina, violencia, consumo de sustancias) y con otros factores que se utilizaron en los anlisis de asociacin reportados
en el informe. Las bases proceden de muestras
amplias que tienen representatividad nacional y
por estrato excepto la de profesores de secundaria. La cantidad de profesores, alumnos y escuelas que representa se presenta en la siguiente
tabla.
Escuela
N
Urbano Pblico
Rural Pblico
Educacin Indgena
Cursos Comunitarios
Privadas
Total
865
873
356
235
441
2,770
Generales
Tcnicas
Telesecundarias
Privadas
Total
566
544
751
536
2397
Alumnos
%
Primaria
31.2
21662
31.5
10716
12.9
4217
8.5
731
15.9
10532
100.0
47858
Secundaria
23.6
16600
22.7
16093
31.3
9720
22.4
9838
100.0
52251
Profesores
%
45.3
22.4
8.8
1.5
22.0
100.0
9857
5377
2288
235
4612
22369
44.1
24.0
10.2
1.1
20.6
100.0
31.8
30.8
18.6
18.8
100.0
2085
1744
1105
1237
6171
33.8
28.3
17.9
20.0
100.0
Fuente: Aguilera, Muoz y Orozco (2007). Disciplina, violencia y consumo de sustancias nocivas a la salud en escuelas primarias y
secundarias de Mxico. Mxico: INEE. Pg. 16
Bases de alumnos
Son dos bases, una para cada nivel, que presentan informacin de contexto de los alumnos de
sexto grado y tercero de secundaria que fueron
evaluados en las pruebas Excale. Ambas cuentan
con datos que tienen representatividad nacional
y por estrato. En los dos niveles educativos se
ndice de
victimizacin
(los alumnos
como vctimas
de violencia)
Bases de profesores
Tambin son dos bases, una por cada nivel educativo. La de primaria integra datos de todos los
docentes de la escuela y todos los grados; los datos contenidos en ella tienen representatividad
nacional y por estrato, no as en secundaria, debido a que solamente presenta informacin de
los profesores de matemticas y espaol de los
grupos evaluados.
Aunque existe informacin de contexto muy
amplia, solamente se retoman 27 variables que
estn relacionadas con el tema del estudio y algunas caractersticas personales del docente y
de las escuelas donde laboran. Estas bases contienen adems los cuatro ndices que se construyeron a partir de algunas variables significativas
de las bases de datos originales. Las variaciones
por nivel en la integracin de estos ndices son
mnimas como se puede ver en el siguiente cuadro:
ndice
ndice de
violencia dentro
de la escuela
ndice
25
26
o Tercer grado en escuelas no multigrado.
o Cuarto grado en escuelas no multigrado.
o Quinto grado en escuelas no multigrado.
o Sexto grado en escuelas no multigrado.
o Primaria multigrado.
o Primaria comunitaria.
Alumnos: de cuarto y quinto grado.
La base de datos del director contiene informacin relativa los siguientes temas: servicios infraestructura y espacios escolares; equipo, material y mobiliario escolar; programas y organizacin escolar y
perfil profesional del director.
En las bases de datos de docentes hay secciones
que se comparten y otras que son exclusivas de algn informante, de esta manera los temas indagados son los siguientes:
Grado
1
2
3
4
5
6
Instructores
comunitarios
Multigrado
Parte comn
Datos demogrficos
Perfil profesional
Trayectoria y situacin
laboral
Hbitos de lectura
Satisfaccin docente
rea acadmica
Apoyo a las funciones
docentes
Recursos materiales
Caractersticas del aula
Parte especial
Comprensin lectora
Clima escolar
Clima escolar
Comprensin lectora
Comprensin lectora
Clima escolar
Comprensin lectora
Comprensin lectora para 1
Comprensin lectora 4 y 5
Las bases de datos de los alumnos recopilan informacin sobre: aspectos demogrficos, hbitos
de lectura y prcticas para el desarrollo de la comprensin lectora.
A partir de las variables originales se construyeron los siguientes ndices:
ndice de prcticas para el desarrollo de la
comprensin lectora en 1er grado
ndice de prcticas para el desarrollo de la
comprensin lectora en 4 y 5 grados
Satisfaccin con el trabajo en el aula
Satisfaccin con las condiciones de la escuela y el sistema
ndice de apoyos para la docencia
ndice de equipamiento del aula
ndice de acervos bibliogrficos
Para la construccin de algunos de estos ndices se unieron distintas secciones de las bases
de datos, por lo que cabe distinguir entre las bases originales las derivadas de la lectura de cada
instrumento- y las construidas ex profeso para los
fines del estudio.
27
anlisis, estudios, entre otros, que el INEE ha hecho pblicos. El Instituto ha desarrollado diversos
productos editoriales orientados tanto a los investigadores y especialistas, como a los tomadores
de decisiones, directivos de escuelas, maestros,
padres de familia y todo el pblico interesado en
esta temtica. Para ello, cuenta con un catlogo
de publicaciones accesibles a los distintos pblicos, que se pueden consultar en esta seccin,
integrada por: Documentos institucionales, Informes y reportes, Cuadernos tcnicos, Resmenes
ejecutivos, Folletos, Suplementos, Breviarios, y
Coediciones.
Bases de datos de las evaluaciones. Con toda
la informacin, a detalle, de las evaluaciones institucionales, al alcance de especialistas e investigadores. Entre las bases de datos que se pueden
consultar estn: las de Estndares Nacionales, con
la informacin de las Pruebas Nacionales Ciclo
Escolar 2002-2003 primaria y secundaria y Estndares Nacionales Ciclo Escolar 2003-2004
primaria y secundaria. Se pueden consultar las
bases de datos de PISA 2003 en Mxico, las tablas
estadsticas del INEE mediante un buscador de informacin.
Explorador Excale. Desde el inicio del portal mismo se tiene acceso directo a esta novedosa herramienta, que permite a docentes, directores, supervisores, autoridades, tomadores de decisiones y a
todos los actores del sector educativo, consultar
los contenidos que evalan los Exmenes de la
Calidad y el Logro Educativos. Con el Explorador se
pueden consultar las habilidades y conocimiento
que fueron evaluados en 2005 por los Excale de
sexto de primaria y tercero de secundaria, y muy
pronto se incluir la informacin de los Excale 2006,
correspondiente a tercero de primaria.
El Explorador Excale presenta datos en forma desagregada por modalidad educativa y entidad federativa a la que pertenecen los alumnos, lo que
permite que los maestros cuenten con una referencia concreta de los alcances y limitaciones de los
aprendizajes. Esta herramienta informtica tambin cuenta con ejemplos de preguntas de cada
contenido curricular, que pueden ser utilizadas por
los maestros para evaluar a sus estudiantes o como
gua para elaborar preguntas similares.
Por ltimo, y en cumplimiento con la Ley Federal
de Transparencia y Acceso a la Informacin, el portal
del INEE hace pblica toda la informacin relacionada con su trabajo administrativo y de organizacin,
as como las licitaciones que lleva a cabo.
29
educativa
30
de las evaluativas propiamente dichas, es muy grande.
La amplitud del campo es tal que el INEE no podra cubrirlo por s solo; esto tampoco sera deseable, ya que las aportaciones de estudiosos de otras
instituciones siempre podrn enriquecer el trabajo
del personal del Instituto, an en el caso de que
este fuera suficiente para desarrollar una gran cantidad de investigaciones de los tipos mencionados.
Por ello, y siempre en forma congruente con el Plan
Maestro, la tarea del INEE en lo relativo al desarrollo
de investigaciones comprende dos grupos de acciones: las que tienen que ver con la realizacin de
trabajos de investigacin por parte del personal del
propio Instituto, y la promocin de investigaciones
relacionadas con el trabajo del INEE por parte de investigadores de otras instituciones.
Para orientar ambos grupos de acciones es fundamental contar con una agenda de investigacin, que
enumere y organice un amplio nmero de temas
susceptibles de ser abordados por los estudiosos. A
partir de esa agenda el INEE podr definir prioridades para su personal, y contar con elementos para
focalizar sus esfuerzos de promocin de investigaciones por otros actores. Junto con la formulacin de la
agenda podrn definirse tambin directrices precisas
tanto para el desarrollo de la investigacin dentro del
Instituto, como para su promocin fuera de l.
En congruencia con el Plan Maestro, y con base
en los lineamientos establecidos por el Consejo Tcnico, la agenda de investigacin del Instituto se organizar en tres grandes rubros:
Investigacin terica y/o metodolgica, para el mejoramiento de los modelos e instrumentos que ya
se estn utilizando, o para el desarrollo de otros.
Investigacin para la explicacin e interpretacin
de resultados, tanto en la forma de anlisis adicionales que utilicen la informacin ya recabada,
como de estudios que impliquen la obtencin
de informacin adicional.
Investigacin sobre el grado en que la evaluacin
es utilizada o no por parte de diversos usuarios, as
como sobre el posible impacto de su utilizacin.
En las tres categoras, y adems de investigaciones especficas, tendran cabida trabajos de sntesis,
que presenten el estado del conocimiento sobre un
tema.
Una primera enumeracin de temas organizados segn los tres rubros anteriores se sintetiza en
el cuadro que se presenta a continuacin; en cada
rengln se enlistan algunos temas particulares, que
se precisarn y ampliarn posteriormente, y se presentan a ttulo de ejemplos.
Las posibilidades de colaboracin que se mencionan en la parte anterior de este documento pueden concretarse gracias a estos ejemplos. A partir de
ellos los estudiosos y las instituciones interesadas
podrn establecer comunicacin con el Instituto
para explorar la posibilidad de desarrollar determinadas actividades en forma conjunta. Tratndose de
ejemplos, son bienvenidas desde luego otras ideas.
Tipos, subtipos y posibles temas de una agenda
de investigacin del INEE
31
POSIBLES TEMAS
Investigacin metodolgica
Estudios que profundicen sobre lo que saben y no saben los alumnos en los
dominios; sobre los errores de lxico, de matemticas, etc.;
Validacin de modelos e instrumentos de evaluacin (v.gr. con tcnicas de pensar
en voz alta);
Estudios de sesgo de pruebas e tems (por gnero, grupo tnico, etc.);
Validacin de modelos de evaluacin y comparacin de su efecto;
Prueba de nuevas formas de aplicacin, v.gr. por computadora;
Equiparacin de pruebas PISA-Excale;
Estudios sobre definicin y anlisis de dominios a evaluar;
Estudios sobre resultados de distintos modelos de anlisis de datos;
Mejora del marco sistmico para el desarrollo de indicadores;
Mejora de los cuestionarios de contexto;
Mejora de las muestras: nuevos estratos o subestratos; muestras con capacidad
para evaluaciones que consideren el nivel del aula;
Desarrollo de evaluaciones de nuevos dominios;
Idem de nuevos grados o niveles, en particular para media superior;
Idem de instrumentos para medicin de aspectos no usuales, v.gr. no cognitivos,
actitudes, valores, competencias complejas, etc;
Apropiacin y desarrollo de metodologa para evaluaciones de otros tipos: de
currculos, de valor agregado, de programas etc.;
Desarrollo de evaluaciones sobre competencias de los maestros;
Idem sobre prcticas docentes, modlicas o no;
Desarrollo de pruebas en lenguas indgenas;
Investigacin explicativa e interpretativa
Estudios ms amplios, con modelos explicativos e interpretativos complejos,
sobre el efecto de factores socioeconmicos particulares de especial inters sobre
la calidad educativa; estudios multinivel sobre el conjunto de factores; estudios
sobre escuelas de sectores marginados; estudios de valor agregado;
Estudios sobre el impacto de la educacin en la vida adulta de las personas y en la
sociedad en conjunto;
Estudios sobre oportunidad de aprendizaje;
Estudios sobre factores de los maestros: trayectorias de vida y profesionales; condiciones de trabajo, etc. Idem sobre directores;
Estudios sobre la eficacia y la eficiencia de las escuelas como tales;
Idem sobre modelos de mejora de procesos-resultados de la escuela;
Investigacin sobre uso de la evaluacin
Estudios sobre el impacto de la evaluacin en el currculo;
Idem sobre el uso de la evaluacin de programas formativamente;
Qu tanto usan los resultados los funcionarios responsables de las decisiones en
el nivel del sistema, federal y de las entidades; en su caso, que efectos ha tenido el
uso; si no se usan, por qu;
Idem por parte de las autoridades responsables del currculo;
Idem por parte de jefes de sector, supervisores y directores;
Idem por parte de docentes;
Estudios sobre el impacto de las evaluaciones (no slo las del INEE) sobre la prctica docente en el sistema educativo;
32
Conclusin
Este documento comenz diciendo que el INEE
concibe su tarea como una de investigacin, en el
sentido estricto del trmino. En el punto sobre manuales tcnicos y protocolos se inform sobre los
criterios de calidad que queremos cumplir. Al terminar estas pginas, y retomando un prrafo del
Modelo de Calidad del Instituto, sealamos que
lo que hacemos [no pretende ser] completamente
novedoso, ya que se basa en las mejores prcticas de
los sistemas de evaluacin de mayor experiencia en
el mundo; tampoco es trivial, ya que introduce niveles de rigor que constituyen avances cualitativos en
el medio nacional. Es, simplemente, el paso de un trabajo menos sistemtico a otro ms organizado, que
toma en cuenta las mejores prcticas internacionales
y pone los medios para apegarse a ellas. El producto
sern evaluaciones de gran calidad tcnica, con lo
que ello implica, tanto para sustentar decisiones y
acciones de mejora, como para apoyar la rendicin
de cuentas. Ni ms ni menos.