México en PISA 2018

El Programa para la Evaluación Internacional de Estudiantes (PISA,

por sus siglas en inglés) es un estudio comparativo del aprendizaje
que adquieren los estudiantes al cumplir 15 años. De acuerdo con la
Organización para la Cooperación y el Desarrollo Económicos
(OCDE), quien coordina esta evaluación trianual, los conocimientos y
habilidades que evalúa la prueba PISA (lectura, matemáticas y
ciencias) son esenciales para que los jóvenes puedan participar
plenamente en una sociedad. Es importante señalar que el interés por
comparar las habilidades de los estudiantes se remonta a fines del
siglo XVIII. Posiblemente, el primer estudio comparativo en Estados
Unidos fue el realizado por Joseph Rice, quien administró en 1895
una prueba de deletreo (spelling) a cerca de 33 mil escolares de
octavo grado para conocer los resultados de acuerdo con su edad,
nacionalidad, contexto social y tipo de escuela.

En 1958 un grupo de académicos se reunió en el Instituto de

Educación de la UNESCO para discutir los problemas relacionados
con la evaluación de la eficacia de las escuelas y el aprendizaje de los
estudiantes, ya que veían al mundo como un laboratorio educativo
natural. Con esta idea —en 1960— coordinó en 12 países el primer
estudio educativo internacional con estudiantes de 13 años, con el
objetivo de evaluar sus competencias en matemáticas, comprensión
lectora, geografía, ciencias y habilidades no verbales. En 1967, este
grupo se conformó en la Asociación Internacional para la Evaluación
del Aprendizaje (IEA, por sus siglas en inglés) que desde su creación
ha realizado evaluaciones internacionales, tales como TIMSS y
PIRLS.

Es hasta el año 2000 que la OCDE realiza por primera ocasión PISA
en 32 países, de los cuales 28 eran miembros de esta organización.
El impacto de PISA causó una gran conmoción en algunos países
desarrollados que consideraban que tenían el mejor sistema escolar
del mundo. Por ejemplo, Alemania sufrió un duro golpe a su estima
cuando se le ubicó en el lugar 20 en ciencias y en matemáticas y en el
lugar 21 en comprensión lectora.

Otras instituciones internacionales también han realizado estudios

comparativos de aprendizaje, como la UNESCO con su proyecto
LLECE. Igualmente, algunos países han creado instituciones
nacionales para evaluar el logro académico de sus estudiantes. Por
su importancia, destacan el programa Evaluación Nacional para el
Progreso Educativo (NAEP, por sus siglas en inglés) de los Estados
Unidos y el Instituto Nacional Para la Evaluación de la Educación
(INEE) de México (creado en 2002 y desaparecido en 2018).

Es importante advertir que cada evaluación del aprendizaje tiene su

propio marco de referencia. Así, mientras que las evaluaciones del
INEE estaban alineadas al currículo nacional, PISA evalúa
competencias seleccionadas por un grupo de expertos
internacionales, que definen los conocimientos y habilidades que los
estudiantes de 15 años deben dominar en cualquier parte del mundo.

Los resultados de PISA han mostrado —desde inicios del siglo XXI—
que los países desarrollados obtienen mejores puntuaciones que los
países subdesarrollados y que los estudiantes que tienen mejores
condiciones económicas logran aprendizajes más altos. Si bien esto
último es cierto al interior de los países, no lo es cuando se comparan
los estudiantes de distintas naciones. Por ejemplo, los estudiantes
mexicanos con mejores condiciones económicas obtienen resultados
inferiores a los estudiantes con niveles socioeconómicos más bajos
de países como Corea. Por otro lado, también hay excepciones con
relación a los países pobres que obtienen resultados altos y
viceversa. Vietnam es un ejemplo del primer caso y Catar es un
ejemplo del segundo.

Una pregunta por hacer es si los resultados de PISA sirven para

evaluar la calidad de un sistema educativo de los países
subdesarrollados. La respuesta es que sirve parcialmente, ya que no
es una evaluación hecha a la medida de los países pobres, sino de
los países más desarrollados; por lo que PISA no dice qué partes del
currículo se aprenden y cuáles no se aprenden. Tampoco dice por
qué los estudiantes no adquieren las competencias que evalúa esta
prueba. Sin embargo, con estas limitaciones, PISA sí informa cómo
estamos en comparación con otros países (y al interior del nuestro),
con relación a las competencias que evalúa. Esta comparación, para
que sea justa, debe realizarse entre países equivalentes (social,
cultural y económicamente). Por ello, México debe compararse con
países latinoamericanos, como se muestra a continuación:

Resultados en PISA 2018 de cuatro países latinoamericanos

Comprensión lectora Matemáticas Ciencias

Chile = 452 Chile = 444 Uruguay = 418
Uruguay = 427 Uruguay = 426 Chile = 417
Costa Rica = 426 México = 419 México = 409
México = 420 Costa Rica = 416 Costa Rica = 402

Fuente: OECD (2019), PISA 2018 Results (Volume I): What Students Know and Can Do, PISA. Paris: autor.

Como se puede observar, México se encuentra entre el tercero y

cuarto lugar de la tabla. Más importante que el ordenamiento es la
distancia que separa a un país de otro. Como regla de dedo, se
estima que 30 puntos en la escala de PISA equivalen a un grado
escolar. Con esta regla, Chile le lleva a México un grado en
comprensión lectora, dos terceras partes de grado en ciencias y
menos de un grado escolar en matemáticas (pero, si nos comparamos
con Canadá —cuyas puntuaciones rondan en los 520 puntos—
México se encuentra tres grados escolares por debajo, en los tres
dominios).

Aun en estas comparaciones siempre habrá un grado de inequidad,

ya sea porque un país es más rico que otro o porque tiene una mayor
proporción de población vulnerable: indígena, migrante, dispersa
geográficamente o en pobreza extrema. Otro factor que impacta los
resultados de PISA es la proporción de jóvenes de 15 años que
estudia. No es lo mismo comparar un país con 60% de sus jóvenes
dentro de la escuela, que uno con 90 o 30%. Es más meritorio que
una nación tenga una mayor proporción de estudiantes escolarizados,
con menores aprendizajes, que uno que tenga un bajo porcentaje de
jóvenes estudiando, con un aprovechamiento más alto. Por lo anterior,
es muy difícil hacer comparaciones justas entre países con
características diferentes.

Sin embargo, hay una comparación básica: la del propio país a través
del tiempo. Aun en este caso, se debe tomar en consideración el
porcentaje de jóvenes dentro de la escuela en los momentos en que
se realizan las comparaciones. En el caso de México, parece que nos
hemos estancado en el tiempo pues sólo observamos pequeñas
fluctuaciones de una evaluación a otra, como se muestra en la
siguiente tabla, que compara los resultados en las últimas cuatro
evaluaciones de PISA.

Resultados de México en PISA: 2009-2018

Año Comprensión lectora Matemáticas Ciencias

2009 425 419 416
2012 424 413 415
2015 423 408 418
2018 420 409 419
 Fuente: OCDE (2019). PISA 2018, Resultados. Nota para País: México. París: autor

Por otro lado, es importante mencionar que, en lo que va del siglo

XXI, México ha incrementado el porcentaje de jóvenes de 15 años
que atiende el sistema educativo: mientras que en 2003 fue de 50%,
en 2018 llegó a 66%. Este incremento en la matrícula (25%) también
impacta los resultados de las evaluaciones de aprendizaje, ya que
quienes ingresan al sistema educativo son jóvenes de mayor
vulnerabilidad y —por lo tanto— de menor rendimiento académico.
Así, el hecho de que el país se haya mantenido en los mismos niveles
de aprendizaje puede interpretarse como una ganancia relativa, pues
un escenario peor podría ser que el incremento en la matrícula
redujera las puntuaciones en PISA, lo que no ha sucedido.

No quiero dar la idea de que debemos estar contentos con los

resultados de México en PISA 2018 y que no debemos mejorar el
sistema educativo del país. Pero tampoco debemos
hacernos harakiri por los resultados obtenidos ya que son semejantes
a los del país en la mayoría de los indicadores sociales (p. ej.
mortalidad infantil, esperanza de vida, productividad, etc.). Siempre
será importante conocer qué tan grandes son las brechas que nos
separan de otros países, con mejores sistemas educativos, y qué tan
grandes son las diferencias al interior del país.

El uso de los resultados de las evaluaciones internacionales (PISA,

TIMSS, LLECE, etc.), como de los nacionales que anteriormente
generaba el INEE (Excale y Planea), deberían servirnos para tener
evidencias de nuestras fortalezas y debilidades y con base en ellas
diseñar políticas de mejoramiento de la educación. Sin este tipo de
información —aún habrá que ver si la Comisión Nacional para la
Mejora Continua de la Educación (Mejoredu) continúa con las
evaluaciones estandarizadas de aprendizaje— el gobierno federal
tomará decisiones con base en ocurrencias y no en evidencias. Por
ahora, pareciera que esta lógica no la comparte el presidente de la
República, el secretario de educación, ni los diputados y senadores de
Morena.

Finalmente, hay que precisar que no debemos atribuirle los resultados

de PISA a una administración en particular: el nivel educativo de los
estudiantes de 15 años es un indicador del capital cultural de un país,
producto de su desarrollo social y económico y del cúmulo de
reformas educativas. Entender lo anterior es importante para poder
hacer un análisis comprensivo de los resultados de PISA