P. 1
Felipe Martinez Rizo- La Evaluacion en Mexico

Felipe Martinez Rizo- La Evaluacion en Mexico

|Views: 402|Likes:
Publicado porRollin Kent
Una ponencia del ex-Director del Instituto Nacional de Evaluación Educativa (México) sobre los alcances y límites de la evaluación educativa.
Una ponencia del ex-Director del Instituto Nacional de Evaluación Educativa (México) sobre los alcances y límites de la evaluación educativa.

More info:

Categories:Types, Research
Published by: Rollin Kent on Dec 10, 2010
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

03/12/2014

pdf

text

original

LA EVALUACIÓN DE LA EDUCACIÓN EN MÉXICO: RETOS Y PERSPECTIVAS

Felipe Martínez Rizo 3ª Reunión Nacional Académica del COMIE Puebla, 7 de diciembre de 2010

Introducción
Es frecuente identificar evaluación con pruebas. Hay que considerar otras dimensiones de la calidad y otros tipos de evaluación, incluyendo los sistemas de estadísticas e indicadores… Un tipo de evaluación importante que se pierde de vista es la que hace el maestro en el aulas. Por el peso que tienen en las políticas educativas y en la opinión pública, me referiré sobre todo a las pruebas en gran escala, hoy omnipresentes. La tendencia es ambivalente: bien manejadas pueden ser valiosas; por diseño, implementación o forma de usar los resultados, pueden traer daños.

Extensión de las pruebas
  La evaluación, presente desde hace mucho.   La tradicional a cargo de cada maestro bastaba para asegurar que quien terminaba un grado tuviera nivel mínimo de conocimientos.   Tras generalización de la educación terminar un grado ya no garantiza nivel mínimo.   Interesa poder comparar el nivel de grandes grupos de manera consistente.   Pruebas en USA 1900-1950; otros países más tarde. Desde 1990 en la mayoría de países AL.   En 2010 muchos tienen evaluaciones censales.   Además crece participación en internacionales.

Las pruebas censales en AL

Países Argentina Bolivia Brasil Chile Colombia Costa Rica Cuba Dominicana Ecuador

Inicio 1993 1997 1990 1982 1991 1986 1996 1991 1996

Censos o muestras Ambas Muestras Ambas Censo Ambas Ambas Muestra Censo Censo

Simples o Mejoradas Mejoradas Simples Mejoradas Mejoradas Mejoradas ¿? Mejoradas Simples Mejoradas

Comentarios Interrupciones Suspendidas INEP SIMCE ICFES Irregular ICCP --En desarrollo

Países El Salvador Guatemala Honduras México Nicaragua Panamá Paraguay Perú Uruguay Venezuela

Inicio 1993 1992 1990 1993 1996 1999 1995 1996 1995 1998

Censos o muestras Ambas Ambas Muestra Ambas Muestra Muestra Muestra Censo Ambas ---

Simples o Mejoradas Mejoradas Mejoradas Simples Mejoradas ¿? ¿? ¿? Simples Mejoradas ---

Comentarios --SNEIE UPN SEP-INEE --Irregular SNEPE UMC UMRE-IE ¿?

Balance de la situación actual
Hay avance significativo y dos riesgos fuertes:   Antiguo: no continuidad por cambios políticos.   Nuevo: efectos perversos por prácticas que se derivan de comprensión pobre de alcances y límites de evaluación en gran escala. Hace una década las evaluaciones eran pocas y sus resultados casi no se difundían. Hoy proliferan y comienzan a cansar a las escuelas; los resultados se discuten acaloradamente, muchas veces con escaso conocimiento de su complejidad. Necesaria visión objetiva de las posibilidades de la evaluación vs visiones superficiales.

Ejemplos de mal uso de evaluación
1. Ordenamientos de secundarias basados en el EXANI I del CENEVAL 2003-2004 Exani I: pruebas con referencia a norma estadística.   128 preguntas: 32 de habilidades; 96 de conocimientos (12 para cada una de 8 áreas).   No se controla representatividad curricular ni sensibilidad a la instrucción.   Se aplican a todos los aspirantes a entrar a un plantel; no importa cantidad ni proporción de egresados de la escuela de origen. Adecuadas para seleccionar, no para juzgar calidad de las secundarias de origen de los sustentantes.

1. Ordenamientos de secundarias basados en el EXANI I
Se decía que se cuidaba que las versiones tuvieran dificultad similar, pero no se daban evidencias del uso de procedimientos rigurosos de equiparación. No se informaba sobre error de medición e intervalo de confianza de resultados por plantel, esencial para valorar significatividad de las diferencias. Se daban resultados y se dejaba que cada lector juzgue si las diferencias entre las posiciones son importantes… lo que no es posible sin información. Los lectores tenderán a interpretar las diferencias como significativas, como han hecho los medios que hablan del top ten de las secundarias del país…

1. Ordenamientos de secundarias basados en el EXANI I
Los sustentantes no eran todos los alumnos de las secundarias de origen ni una muestra representativa de ellos. Dado el tamaño de las escuelas sería necesaria una alta proporción de los sujetos (≈ 90%) escogidos aleatoriamente y no autoseleccionados. Los resultados del Exani I no son adecuados para valorar la calidad de las escuelas de origen. Difundir esos ordenamientos reflejaba desconocer los principios básicos del muestreo. Lo confirmaba el que se comparaban los sustentantes del Exani I con la muestra de PISA 2003, cuyo pequeño tamaño y % de la población se aducía como justificación del uso del EXANI I para valorar las escuelas de origen.

1. Ordenamientos de secundarias basados en el EXANI I
Las publicaciones de resultados que hemos editado y seguiremos editando son muestra de que, entre los riesgos de equívocos y malas interpretaciones debidos a sesgos, información incompleta o no equiparable, y la ausencia de información, el CENEVAL ha optado por lo primero. La disyuntiva entre no dar información y ofrecer una que induzca a error es falsa, ya que hay otra posibilidad, la única aceptable: procesar bien la información, teniendo en cuenta sus características y los principios técnicos aplicables, y difundir los resultados precisando alcances y límites, de modo que se maximice la probabilidad de usos correctos.

2. Ordenamientos de escuelas basados en ENLACE 2007
Educación 2001 publicó listados de 5 primarias y 5 secundarias de cada entidad, que se presentaban como las mejores de México, con base en ENLACE. Se informaba sobre el puntaje promedio de los alumnos de cada escuela; el total de los alumnos de cada una; el número de los que participaron en la aplicación 2007; y el de los estudiantes con respuestas sospechosas de copia. Un análisis sencillo muestra, que en la gran mayoría de los casos, los resultados de ENLACE no sustentan la designación de las escuelas de las listas de referencia como particularmente buenas.

2. Ordenamientos de escuelas basados en ENLACE 2007
Las interpretaciones de ENLACE deben considerar:   Que, en poblaciones pequeñas, la ausencia de muy pocos alumnos en la aplicación puede dar lugar a un sesgo fuerte de los resultados.   Que lo mismo ocurre si unos cuantos alumnos responden la prueba con ayuda.   Que en escuelas muy chicas unos cuantos alumnos atípicos, de resultados muy altos o bajos, influirán desmesuradamente en el promedio, y no por la escuela ni el maestro.   Que no se deben combinar en una escala los puntajes que miden dimensiones distintas.

2. Ordenamientos de escuelas basados en ENLACE 2007
Las escuelas se clasificaron según 3 criterios:   Privadas, públicas generales, indígenas y CC.   Por tamaño: 1-10 alumnos; 11 a 100; >100.   Por la confiabilidad de los resultados, según % de alumnos matriculados que presentaron realmente la prueba y % de sospechosos de copia. Se consideraron confiables datos de escuelas en que:   Al menos el 80% de los alumnos matriculados presentó efectivamente la prueba y   No más de 20% de los alumnos fueron identificados como sospechosos de haber copiado.

Escuelas según número de alumnos y confiabilidad de resultados
1 - 10 Privadas Generales Indígenas C. C. Sub-total Privadas Generales Indígenas C. C. Sub-total TOTAL 13 5 --17 35 16 6 --18 40 75 11-100 >100 Total ------1 1 33 27 1 6 67 68 ----------5 7 ----12 12 13 5 --18 36 54 40 1 24 119 155

Con resultados mas confiables

Con resultados menos confiables

2. Ordenamientos de escuelas basados en ENLACE 2007
Sólo una de las 155 primarias del listado tiene resultados relativamente confiables y más de 10 alumnos. El análisis recuerda la anécdota jocosa sobre un experimento para probar la eficacia de cierto fármaco en una muestra de ratones. Los resultados se reportaban en estos términos: El 33% de la muestra se curó; el 33% se murió; el otro ratón se escapó.

3. Los ordenamientos de entidades federativas del informe Contra la Pared
Ordenamientos de entidades, supuestamente con base en la calidad de sus sistemas educativos en primaria y secundaria, según seis indicadores: Resultados: Aprendizaje, Eficacia y Permanencia. Procesos de gestión: Profesionalización docente, Supervisión y Participación de padres de familia. No limitarse a aprendizaje, positivo. Forma de manejar y presentar información, problemas como los de ENLACE, negativo. Tres tipos de problemas:   Deficiencias particulares de cada indicador;   Integración de 6 indicadores en un solo índice;   Uso de ordenamientos de entidades.

Deficiencias de cada indicador
Aprendizaje: N° y % alumnos con resultado mejor a nivel insuficiente en matemáticas en ENLACE. Ya se mostró escasa precisión de ordenamientos de escuelas basados en ENLACE. Eficacia: Probabilidad de tránsito normativo entre niveles: un grado/año, sin repetir ni desertar. OK. Puede ser más preciso, distinguiendo retraso de un año, o de dos años o más. Permanencia: 100-deserción. % de alumnos que no abandonan la escuela antes de concluir. Las estadísticas no permiten seguir alumnos en forma individual y el indicador se debe estimar sobre cohortes aparentes, poco preciso.

Deficiencias de cada indicador
Profesionalización docente: N° de docentes en escuelas públicas (%) que acreditaron ENAMS. Muy burdo; no considera contenido de cursos ni calidad de ENAMS. Supervisión escolar: % de zonas escolares con 20 escuelas o menos. Muy burdo; dice algo sobre tamaño de zonas y nada sobre calidad de trabajo de supervisores. Participación en la escuela: % de escuelas con un consejo escolar constituido. Muchos consejos se constituyen formalmente y no tienen actividad. El indicador probablemente mide más bien el grado de simulación.

Integración de los seis indicadores en un solo índice
Cuando varios indicadores pretenden medir una misma dimensión es adecuado un índice que mida mejor que cualquiera indicador por separado. Tratándose de dimensiones distintas un principio metodológico básico es que los indicadores NO se deben integrar. Este es el caso del informe que nos ocupa, lo que hace inadecuado el uso de un índice, aún si cada indicador fuera bueno; si no es así, como hemos visto, el uso del índice integrado es aún más desafortunado.

En cuanto al uso de ordenamientos
El uso de ordenamientos de entidades es: Engañoso, porque los sistemas educativos de las entidades están formados por subsistemas de tamaño y condiciones distintas: esc. privadas, públicas urbanas de clase media o marginadas, rurales, indígenas, CC, Tvsec... Injusto, porque el lugar que ocupan las entidades tiene que ver con condiciones socioeconómicas, culturales e incluso geográficas, tanto y más que con la calidad de sus sistemas educativos. Con serias consecuencias negativas que se evidencian en el uso mediático y político de los resultados, en detrimento del uso serio.

Conclusiones: el peso excesivo de las pruebas censales
Hace poco pruebas sin consecuencias para alumno, maestro o escuela. Hoy sustentan medidas que se espera producirán mejora sustancial en corto plazo. Pruebas censales atraen la atención porque no conocen sus alcances y límites varios actores:   Medios de comunicación que buscan formas fáciles de dar resultados sensacionalistas;   Empresarios con visión simplista de educación;   Políticos que no aprovechan la información de pruebas y estudios y tienen visión superficial y simplista de evaluar y mejorar calidad.

Limitaciones de las pruebas censales
  No cubren aspectos importantes del currículo que no se pueden evaluar con preguntas de respuesta estructurada: actitudes y valores, la capacidad de expresión escrita y oral, e incluso los niveles cognitivos más complejos de la lectura, las matemáticas y las ciencias.   No se controlan factores del hogar y la escuela que inciden en los resultados, por lo que no se deben usar para evaluar escuelas o maestros.   Tienen márgenes de error no derivados del muestreo, que se vuelven mayores si se quiere comparar resultados a lo largo del tiempo.

Tendencia extendida en Latinoamérica

La excesiva atención a las pruebas censales no es exclusiva de nuestro país:   México: Peso de ENLACE vs trabajos del INEE.   Brasil: PROVA Brasil vs SAEB.   Perú: pruebas censales desplazan muestrales.   Dominicana: censales deficientes desde 1990s.   Colombia: pruebas ICFES evitan alto impacto y ordenamientos de escuelas, presiones en contra.

Consecuencias
La proliferación de pruebas censales y el excesivo peso en las políticas debido a su alto impacto traen consecuencias negativas serias:   Banalización del debate público reducido a discusión de ordenamientos.   Mercadotecnia de escuelas basadas en ellos.   Empobrecimiento del currículo, por tendencia de los maestros a enseñar para la pruebas.   Cansancio en las escuelas y actitud negativa de los alumnos frente a educación.   Empobrecimiento de las políticas públicas, que descuidan otros elementos fundamentales.

El impacto de las pruebas
Aún si no se dan estímulos económicos a escuelas y maestros según resultados de pruebas, difundir ordenamientos de escuelas según esos resultados las vuelve de alto impacto y propicia corrupción, con prácticas como la preparación de alumnos para la prueba, la subordinación del currículo a las evaluaciones o la alteración de resultados. Las estrategias de mejora basadas en estímulos económicos y competencia entre escuelas con base en resultados de pruebas parten de transferencia no sustentada de la economía y desconocen las peculiaridades de la oferta y la demanda educativas, que no siguen la lógica del mercado.

Conclusión
Muchos no tienen conciencia de lo difícil que es tener buenos resultados con alumnos pobres. Los empresarios ven con simpatía estrategias simplistas de mejora, pensando que las fallas de la escuela pública se corregirían fácilmente con escuelas privadas como las de sus hijos, ignorando que sólo una minoría privilegiada, asiste a ellas. Abundan opiniones de que bastará con aplicar pruebas masivamente y tomar medidas correctivas simples para que la calidad mejore.

Conclusión
Las estrategias simplistas de mejora parten de un supuesto falso: que hacer buena educación en cualquier contexto es fácil: Los sistemas de rendición de cuentas basados en pruebas se basan en creencia de que la educación pública puede mejorar gracias a una estrategia sencilla: haga que todos los alumnos presenten pruebas estandarizadas de rendimiento, y asocie consecuencias fuertes a las pruebas, en la forma de premios cuando resultados suben y sanciones cuando no ocurra así.

Conclusión
Hay que sustituir la intimidación como principal motivación… el miedo a veces funciona, pero sólo motiva a los que tienen esperanza de éxito… Los empresarios creen que tendremos mejores escuelas si las comparamos según sus resultados en las pruebas y las premiamos o castigamos con base en ello; no consiguen entender el impacto negativo sobre las escuelas que continuamente pierden en esa competencia… Los políticos creen que si poca intimidación no funciona, mucha lo hará, y la evaluación ha sido la forma de aumentar la presión; tampoco entienden las implicaciones de las pruebas sobre las escuelas y sobre los alumnos en dificultades.

Conclusión
Estas tendencias reflejan preocupación con sustento real sobre la calidad de la educación. Contexto amplio: interés por rendición de cuentas y transparencia en asuntos públicos; desconfianza respecto de la educación pública y, en general, respecto a la gestión pública de los servicios. A todo ello se añade escasa cultura de evaluación, no sólo entre el público general, sino también entre maestros y autoridades educativas, e incluso entre investigadores y especialistas. Esto lleva a esperar resultados casi milagrosos en las escuelas, gracias a la aplicación de pruebas, sin tener en cuenta sus alcances y límites.

Dos tipos de críticas a las pruebas
  De opositores radicales que piensan que todas son inapropiadas para el trabajo educativo, a partir de postura ideológica, sin base empírica.   De conocedores de las pruebas, partidarios de su uso adecuado y preocupados por usos ilegítimos que traen consecuencias negativas. Me sitúo en el segundo grupo. Estoy convencido de que nuestras escuelas –en particular públicas— necesitan mejorar sustancialmente. Creo que la evaluación puede ayudar, pero no de cualquier tipo, en particular no pruebas con fallas técnicas, aplicadas masivamente, y utilizadas como única base para asignar estímulos económicos.

Para terminar
Se dice lo que no se evalúa no se puede mejorar, y en educación evaluar se identifica con pruebas. Finlandia no aplicaba pruebas, EEUU muchas. ¿Qué pasa con esas ideas generalmente aceptadas? Frases alternativas más precisas: Lo que no se evalúa no se puede mejorar. Lo que sí se evalúa tampoco, si no se trabaja duro… Si se trabaja duro para hacer las cosas bien, se puede tener buena calidad, aunque no se evalúe, pero esto último puede ayudar. Lo que no se evalúa sistemáticamente se puede mejorar, pero no sistemáticamente.

Conclusión
Lo irremplazable para alcanzar la calidad es un trabajo intenso y bien orientado; para ello hacen falta muchas cosas, incluyendo buena evaluación. Lo que NO hace falta es un uso de los resultados que desorienta a los tomadores de decisiones y la sociedad, lleva a unos a jactarse de logros dudosos y a otros, entre los que se cuentan personas serias y comprometidas, a perder la poca esperanza que aún tenían. ¡Ojalá no sigamos por ese camino!

MUCHAS GRACIAS POR SU ATENCIÓN

You're Reading a Free Preview

Descarga
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->