“PISA mide aptitudes que no se desarrollan en la escuela”

El sociólogo Julio Carabaña es uno de los mayores expertos en PISA de España. Sostiene este
informe es "inútil para las escuelas y Gobiernos", por mucho que se intente vender lo
contrario

Está considerado el mayor experto en PISA en España. Y no porque le guste el examen más
famoso de cuántos se hacen en el mundo. Más bien al contrario, Julio Carabaña (Fuente de
Pedro Naharro, Cuenca, 1948), catedrático en Sociología en la Universidad Complutense de
Madrid, sostiene que PISA es inútil para las escuelas y Gobiernos, por mucho que se intente
vender lo contrario, y su interés queda para los investigadores. Todo ello está detallado en su
libro “La inutilidad de PISA para las escuelas” (Catarata). De cara a la siguiente edición del test
que realiza la OCDE, que se publicará a principios de diciembre, se atreve con un pronóstico
para España. “485 otra vez”. Escrito queda.

¿Por qué afirma que PISA es inútil?

Es inútil para las escuelas y el Gobierno. El problema fundamental es que mide una cosa que
ellos llaman literacia, que son aptitudes muy generales que se pueden desarrollar algo en las
escuelas pero fundamentalmente no. Esto no es algo que yo necesite fundamentar porque lo
dice PISA en todas sus ediciones: “Téngase en cuenta a la hora de interpretar estos datos que
cuando un país está por encima de otro en las clasificaciones ello no se debe a las escuelas
solamente, porque las puntuaciones PISA dependen de toda la experiencia vital de los
individuos”. Eso lo advierten continuamente. Y a continuación se olvidan de ello y empiezan a
hablar y razonar las cosas como si esto no fuera así.

Es que para no servir luego sacan un montón de documentos asociados (PISA in focus,
evaluaciones por países, etc) en los que dicen qué hay que hacer y qué no…

Ellos venden que sus pruebas no reflejan lo que se aprende en las escuelas. Hay que matizar
incluso eso. Parten de la base de que no van a medir lo que se enseña en las escuelas porque
eso es inútil para la vida, son conocimientos memorísticos inútiles para la vida. Ellos van a
medir lo que es realmente útil para la vida, que es lo que miden sus pruebas. Lo llaman
literacia, literacy. A su vez, reconocen que esta literacia, que es lo que ellos dicen que se debe
medir —tras admitir que no es lo que se enseña en las escuelas, pero que, según defienden, es
lo que se deberian enseñar—, solo depende de las escuelas en muy pequeña medida. Está
todo en sus informes. Hacen lo contrario de lo que dicen.

Es que igual me pongo un poco pesado, pero luego ellos lanzan

recomendaciones sin parar.

Como si evaluaran las escuelas. Es contradictorio. Es una cosa que se hace mucho en realidad:
te haces una objeción a ti mismo y así ya la has reconocido y a continuación la olvidas.

¿Una evaluación hecha de otra manera serviría para algo?

Claro, si las pruebas miden cosas que se enseñen en las escuelas. Así de simple. Por ejemplo, la
Selectividad sirve para saber cuánto saben los alumnos en matemáticas, etc. O los exámenes
de siempre, se hacen para ver si los alumnos han aprendido. ¿Cuál es el problema de los
exámenes? Que no son pruebas objetivas y los contenidos y corrección no siguen criterios
universales. Para eso se inventaron las pruebas objetivas. Pero no son suficientes. Porque
cuando te hacen una prueba objetiva de trigronometría, por poner un caso muy específico, por
el mismo diseño (respuesta múltiple, etc., la que admite una corrección automática que no
dependa del corrector) hace que tenga que dejar fuera muchos elementos importantes de los
contenidos. Porque no son claros, no se prestan a una respuesta múltiple… Y entonces ve que
la materia se le escurre. Si además tiene que ser internacional y valer para las escuelas,
entonces los contenidos se escapan por todas partes. Trigonometría, por ejemplo. En muchos
países a los 15 años ni se enseña. Acabas en la literacia, que es una cosa muy general en
matemáticas y ciencias. En lengua ni siquiera aspira a ser particular. En lengua se mide lo que
la gente entiende cuando lee. Pero la capacidad lectora es lo mismo que la auditiva. Yo te
puedo leer un texto y es lo mismo que lo haga yo o tú. Que tú entiendas un texto no depende
de que lo leas o escuches. Depende de tu cultura general y de tu capacidad de comprensión
general, nada que se aprenda en la escuela. Bueno, si te hablan de voltios o vatios lo
entenderás si lo has aprendido en la escuela, pero esos textos los evita PISA. Pone teatro,
literatura, periódicos… Ese es el problema de PISA, la gran contradicción. Es una gran empresa,
ha permitido comparar y muchas cosas ya no se pueden decir después de PISA. “La enseñanza
francesa, cartesiana, se basa en el sistema y el razonamiento y estructura mejor las mentes de
los alumnos, que luego podrán razonar mejor”. Pues, según PISA, ni mejor ni peor que los
demás. Esas cosas ya no se pueden decir, así que utilidad tiene, pero más para los
investigadores que para las escuelas y los Gobiernos. Cuando un director de escuela dice “a ver
cómo puedo mejorar los resultados”… En primer lugar no son resultados de la escuela y en
segundo no se pueden mejorar. Tiene un problema de validez.

Y sin embargo se utiliza como excusa para cambiar esto y aquello. ¿Por que no hay otra cosa
a la que agarrarse?

Es un deseo en busca de una justificación. El deseo es cambiar algo, la enseñanza. Nuestros

gobernantes, como todos los del mundo, forman parte de ese deseo universal de mejorar y
que ellos son parte fundamental, ¿para qué está el Gobierno si no es para mejorar? Tercero,
de la falta de otra cosa que mejorar. A mi entender tenemos un enorme exceso de oferta de
políticos intentando hacer cosas por los demás. Cuando llegan al Gobierno tienen que
justificarlo, y para eso tiene que hacer planes de mejora. Cuando les dicen: “La educación es
muy importante para el desarrollo económico”. ¿Cómo lo van a poner en duda? ¿Y cómo lo
van a mejorar? “De cualquier manera que no sea contraria a mi filosofía básica”. Y una vez se
ponen a buscar recomendaciones que no sean contrarias a su filosofía básica cuanto más
prestigioso sea el organismo de donde venga, con más facilidad lo acepta. Se hace así una
alianza entre los políticos de cada país y el organismo internacional que vive de hacer
recomendaciones a los políticos. Las recomendaciones siempre son dobles, siempre ponen una
vela a la izquierda y otra a la derecha. Sucede con los organismos internacionales en general. Si
se pasan de liberales a continuación intentan cubrirlo por el lado socialdemócrata. PISA hace lo
mismo, tiene recomendaciones para todo el espectro político. Viene el funcionario de PISA y
escoge del informe la recomendación que al Gobierno de aquí le viene bien.
Cualquiera entiende que ellos hacen su trabajo e intentan darle la máxima difusión posible.
Lo que mucha gente no acaba de entender es en qué momento se le concedió a la OCDE el
estatus de Ministerio de Educación mundial.

Nunca ha habido necesidad de hacerlo. La OCDE se crea para vigilar la prosperidad económica
de los países desarrollados. Para la prosperidad económica es importante la educación.
Entonces crean una sección de educación y durante muchos años hace evaluaciones de países,
dan consejos, etc. El momento más importante es cuando deciden hacer un informe y
comparar los sistemas. Ni siquiera son los primeros. Hay una organización semi-privada, la IEA,
que hace un examen llamado TIMSS desde el ochenta y tantos. Son los que demuestran que
los estudios se pueden hacer. Pero, al hacer esas pruebas una entidad privada no tiene la
repercusión que tuvo la OCDE cuando hizo PISA a partir del año 2000. Es una organización
oficial, tiene el apoyo de los gobiernos y estos esperan que se haga algo grande. No lo decide
nadie, se van poniendo lentamente de acuerdo y hay una fuerza de los hechos y de los medios.

Ha mencionado TIMSS. Está también PIRLS, PIAAC… ¿Tienen todos el mismo problema?

PIAAC tiene exactamente el mismo problema porque es la misma prueba que PISA pero para
adultos. Mide las habilidades generales y abstractas de los adultos. Es quizá peor por lo de la
edad. Te dicen que es un diagnóstico de las habilidades de una generación, pero no puedes
hacer nada al respecto más que intentar arreglarlas en la escuela para los jóvenes. Así que vas
a PISA, en la escuela. PISA tiene el problema general de los 15 años. ¿Quién dice que a esa
edad es muy importante la diferencia? ¿Qué pasa si yo he ido más lento y lo supero a los 16?
Luego vas a PIRLS, a los 9 o 10 años. ¿Y esta carrera a los 9 o 10 años? ¿Es tan importante que
los alumnos de esa edad hagan tal cosa o dejen de hacerla? ¿No pueden hacerlo a los 11?

Lo que están implícitamente favoreciendo es la idea, que los pedagogos rechazan desde hace
tiempo, de que hay que darse mucha prisa para hacerlo todo. Enseñar a leer a los cuatro en
vez de a los cinco, integrales a los 12 en vez de a los 13, etc. Y cuanto más bajas la edad, mayor
es el problema.

TIMSS y PIRLS luego tienen otro problema, que no comparan edades sino cursos y entonces la
muestra está sesgada. Los alumnos de 8º o 7º en España tienen mejores resultados que los de
Rusia. ¿Pero cuánta repetición hay en España? Claro, estás quitando al 40% peor. Es una
anécdota, pero en otros sitios entran más tarde en la escuela, por ejemplo. El punto es que se
impide la comparación porque la muestra tiene sesgos, sólo son los que han llegado a un
determinado curso.

¿Una ley educativa tiene tanto impacto en la educación?

No. Hay una división de funciones que para mí es clara pero que todo el mundo se empeña en
invertir. El parlamento da leyes y los gobiernos gobiernan y además proporcionan los medios.
Y los profesores enseñamos. Una ley educativa sirve para ordenar. Simplifica, agiliza, aclara,
dispone mejor o peor los canales para repartir los medios, etc. y cada vez más determina la
política educativa. Por ejemplo, prevé cosas como “se darán medios especiales a determinados
alumnos”. Su importancia es hacer todo eso. Pero carece de importancia cuando se meten
donde no deben, como prescribirles a los profesores cómo deben enseñar.
La LOMCE, que es igual que la LOE en ese sentido, tiene 19 principios, de los cuales ocho se
refieren a que hay que educar en la no violencia, hay que utilizar métodos que nos sean
memorísticos, hay que fomentar la colaboración… Eso no es cosa suya. Eso es pura ideología
que no hay que poner en la ley. Usted diga cómo se ordena el sistema y los profesores se
encargarán de enseñar. Y si quiere hacer además inquisición y ver si los profesores fomentan el
aprendizaje individualista, sepa que es hacer de policía e ir contra la libertad de cátedra de los
profesores.

Y a la vez los grupos de profesores y sindicatos insisten en que las leyes vayan a sus ideologías
favoritas. Que la pedagogía buena es la constructivista. Ahora porque está de moda. Pero en
diez años cuando ya no, ¿cambiamos la ley?

¿Las leyes influyen? Pues como los guardias de tráfico. Ahora, el tráfico de la ciudad puede
estar muy bien, pero lo que hace la gente puede ser poco productivo, los alumnos pueden
trabajar poco, los profesores ser malos… y en eso la ley no puede influir. ¿Influyen de las leyes
en los resultados de PISA? Pues si no influyen las escuelas, imagine los políticos.