OBSERVATORIO

REGIONAL DE POLÍTICAS
Boletín Nº21, Diciembre 2010 DE EVALUACIÓN EDUCATIVA

UNA PRIMERA MIRADA A LOS RESULTADOS DE LOS PAISES LATINOAMERICANOS

EN PISA 2009: TENDENCIAS Y DESIGUALDAD
El pasado 7 de diciembre se presentaron los resultados de PISA 2009. Esta es la cuarta oportunidad en que esto ocurre desde la
publicación de los resultados de PISA 2000 en el año 2001. Si bien PISA tiene una presencia cada vez más importante en la agenda
educativa, las discusiones que se generan o recogen en los medios de comunicación suelen adolecer de dos problemas principales: una
insuficiente comprensión sobre la información que está siendo analizada y una lectura excesivamente politizada de los datos (en el peor
sentido del término, es decir, forzando interpretaciones incorrectas pero afines a los intereses del emisor en las contiendas
interpartidarias).

Ejemplos de lo primero serían:

a. El acento puesto en el lugar que ocupa cada país en el ranking, ignorando los cambios en la cantidad de países participantes y las
características de los mismos.
b. El foco de atención en las puntuaciones (p. ej. “alcanzamos 458 puntos y mejoramos 23 puntos”), que están expresadas en una escala
estadística (TRI) carente de significado educativo, ya que simplemente reflejan magnitudes de las desviaciones con respecto a la
media, algo difícil de comprender por personas sin formación en estadística.
c. No tomar debidamente en cuenta que PISA mide el resultado final logrado por los estudiantes al cabo de al menos 9 años de educación
formal (los estudiantes evaluados en PISA 2009 iniciaron la escuela primaria en el año 2000 o antes) y 15 años de formación en la
familia y en la sociedad.

Ejemplos del segundo tipo de problemas son:

a. El uso de los resultados para legitimar o criticar a la administración de turno, cuya duración inevitablemente es de menor extensión que
la acumulación educativa evaluada por PISA señalada anteriormente.
b. Realizar análisis genéricos descalificadores de la realidad educativa y del trabajo de los docentes.
c. Desde otras perspectivas, descalificar a la propia evaluación porque no se la comprende o porque la situación educativa no mejora, sin
considerar que la mejora no es resultado de la evaluación en sí misma sino del uso reflexivo por parte de múltiples tomadores de
decisiones de la información que ella provee que se suma a criterios y datos provenientes de otras fuentes, visiones y perspectivas
sobre la política educativa y las prácticas de enseñanza.

Como en anteriores oportunidades, los principales resultados y rankings han tenido una gran difusión en los medios en buena parte del
mundo durante la semana del 7 de diciembre. Pasada esa primera ola de repercusiones, la intención de este primer Boletín sobre PISA
2009 es enfocar la mirada en dos temas relevantes para los países de América Latina: la tendencia en los resultados en Lectura1 al cabo de
una década de evaluaciones y el problema de la desigualdad en el acceso a las competencias y conocimientos evaluados.

Por cierto, las páginas que siguen se apoyan en la premisa de que los datos aportados por PISA son válidos y confiables. Esto es, creemos
que PISA mide conocimientos y capacidades socialmente relevantes para los estudiantes de nuestra región y que lo hace de manera
razonablemente precisa. Somos concientes de que otros actores vinculados a la educación y que conocen en profundidad la evaluación
PISA (también los hay quienes discrepan con PISA sin comprenderla), discrepan con la pertinencia de los aspectos evaluados en las
pruebas y, en otros casos, tienen dudas acerca de la precisión de las medidas de tendencia a lo largo del tiempo. Desde nuestra perspectiva,
los reportes técnicos son lo suficientemente robustos, lo cual no significa que no exista error de medición, sino que el mismo está siendo
medido y controlado.

1
Por razones de espacio hemos optado por concentrar el análisis en Lectura, que fue el foco principal de PISA en los años 2000 y 2009.

"El Programa de Promoción de la Reforma Educativa en América Latina y el Caribe - PREAL - es un proyecto conjunto del Diálogo Interamericano, con sede en Washington, y la
Corporación de Investigaciones para el Desarrollo, con sede en Santiago de Chile. Su objetivo central es contribuir a mejorar la calidad y equidad de la educación en la región
mediante la promoción de debates informados sobre temas de política educacional y reforma educativa, la identificación y difusión de buenas prácticas y la evaluación y monitoreo
del progreso educativo.
Sus actividades se realizan a través de Centros Asociados de Investigación y Políticas Públicas en diversos países de la región y comprenden la realización de estudios, la
organización de debates y la promoción de diálogos públicos sobre temas de política educacional y reforma educativa.
El Grupo de Trabajo sobre Estándares y Evaluación del PREAL fue creado con el propósito de informar, legitimar y utilizar espacios de la labor de medición de resultados del
aprendizaje y promover un debate informado sobre el tema de la formulación de estándares. Se coordina desde el Grupo de Análisis para el Desarrollo -- GRADE -- de Lima, Perú, y
cuenta con una amplia red de participantes con los que se vincula a través de un sitio virtual desde el cuál también divulgan los resultados de estudios realizados en el marco de sus
actividades y promueven foros y debates sobre su contenido. Ver: http://www.preal.org/Grupo2.asp?Id_Grupo=3
Las actividades del PREAL son posibles gracias al apoyo de la United States Agency for International Development (USAID), el Banco Interamericano de Desarrollo (BID), la
International Association for the Evaluation of Educational Achievement (IEA), GE Foundation, The Tinker Foundation, entre otros.”
1
 OBSERVATORIO
REGIONAL DE POLÍTICAS
DE EVALUACIÓN EDUCATIVA

Tendencias en los resultados en Lectura entre 2000 y 2009

La Gráfica 1 presenta la evolución de los puntajes entre mediciones para los países de América Latina más Portugal, España y Finlandia.
También se incluye el promedio de la OCDE.

Los asteriscos indican el puntaje de cada país en cada medición. Se incluye una línea entre cada medición para representar la tendencia. En los
casos en que no hay información en alguna de las mediciones intermedias la línea se representa punteada. Los datos de Colombia comienzan
recién en 2006 y los de Uruguay en 2003. Los nombres de los países se incluyen tanto a la derecha como a la izquierda del gráfico para facilitar la
lectura.

Gráfica 1: Tendencias en los puntajes promedio de lectura entre 2000 y 2009

Fuente: OECD, PISA (2010) Volumen V, Tabla V.2.1, p.146. V, Anexo B1.

El gráfico permite observar, en primer lugar, que casi todos los países de la región, y también España y Portugal, tuvieron una caída en sus
puntuaciones en el 2006 y una mejora en el 2009. Es difícil establecer en qué medida podría haber un efecto, aunque fuera leve, de la propia
prueba, ya que en el 2006 el área principal evaluada fue Ciencias, cuyas actividades exigían mucha lectura. En cualquier caso, la tendencia de
largo plazo (2000-2009) es claramente favorable en los casos de Chile, Brasil y Perú. Portugal, Uruguay y México no muestran cambios
significativos, en tanto que Argentina, España y Finlandia desmejoran. El promedio de la OCDE se mantiene bastante estable, lo cual es
razonable porque es el eje de la escala y además, combina las situaciones de más de 30 países. El caso de Colombia es difícil de valorar dado que
solamente tiene mediciones en 2006 y 2009 (lo ideal es tener al menos tres puntos en el tiempo y/o haber participado en el ciclo 2000).

Los datos de la Gráfica 1 presentan las puntuaciones TRI, que tienen una media de 500 puntos. Estas puntuaciones reflejan desviaciones
estándar respecto de la media, por lo que sirven principalmente para hacer comparaciones pero no dicen nada acerca de la bondad o gravedad de
la situación. Por ejemplo, 20 puntos equivalen a un quinto de la desviación estándar de la OCDE, algo bastante abstracto para ser comprendido
por el público e, incluso, por educadores no especializados2.

2
Como ejemplo de las confusiones que pueden generarse, un Ministro de Educación de uno de los países de la región declaró en un programa de
televisión que las puntuaciones de PISA van de 0 a 1000 puntos, lo cual es disparatado, pero una confusión comprensible.
2
 OBSERVATORIO
REGIONAL DE POLÍTICAS
DE EVALUACIÓN EDUCATIVA

Por ello, como hemos planteado desde hace muchos años desde el GTEEPREAL, la información más relevante para interpretar la
situación es la relacionada con los niveles de desempeño en que se encuentran los estudiantes. Para ello es importante comprender lo
siguiente. La escala de puntuaciones está “cortada” en tramos, es decir, se crean escalones de puntajes que reflejan distintos niveles de
capacidad de los estudiantes. A estos escalones se los denomina “niveles de desempeño”. Los estudiantes en los niveles más altos (4, 5 y
6) son quienes tienen una mayor capacidad de lectura, pueden trabajar con textos extensos y complejos, reflexionar sobre los mismos,
extraer información que no es fácilmente visible, etcétera. Los estudiantes en el nivel 1 o por debajo del mismo son aquellos que carecen
de las herramientas básicas para una lectura que les permita continuar estudiando y aprendiendo3.

La Gráfica 2 presenta los porcentajes de alumnos de cada país en distintos niveles de desempeño. En la parte superior de la gráfica, se
ubican los porcentajes de alumnos en los niveles 4, 5 y 6, es decir, aquellos que tienen un excelente nivel de competencia en lectura. En la
parte inferior, los porcentajes de alumnos en los niveles 1 y por debajo de 1, es decir, aquellos que carecen de las capacidades mínimas
para comprender distinto tipo de textos escritos. Para cada país se presentan los datos correspondientes a su primera participación en
PISA (2000, 2001, 2003 o 2006) y los correspondientes a 2009. La selección de países es la misma que en la gráfica anterior. Para la
medición 2009 se unieron los niveles 1a y 1b en el Nivel 1 y los niveles 5 y 6 en el Nivel 5 (distinciones que no estaban hechas en el 2000).
A partir de estos datos es posible llegar a conclusiones más relevantes que las derivadas de las puntuaciones. Una primera situación
altamente preocupante a observar es en la zona inferior de la gráfica, donde hay un número importante de estudiantes que no alcanzan las
capacidades básicas de lectura a los 15 años. Mientras en Finlandia esto ocurre con apenas el 8% de los estudiantes en 2009, en España
con el 19% y en Portugal con el 18%, en los países de América Latina las cifras oscilan entre el 30% en Chile y el 65% en Perú.

Si se observa la parte superior del gráfico, la correspondiente a los niveles de mayor capacidad de lectura, este panorama preocupante se
confirma. El 51% de los estudiantes finlandeses tienen un excelente nivel en lectura, cifra que desciende al 25% en España y Portugal. En
América Latina la mejor situación en 2009 se verifica en Chile y Uruguay, con un 10%. De modo que la situación debe ser objeto de
preocupación en toda la región. En materia de tendencias en el largo plazo, los niveles de desempeño también ofrecen una visión más
relevante que la puntuaciones. Chile se destaca especialmente, dado que en dicho país el porcentaje de alumnos que no alcanzan un nivel
de comprensión lectora básica cayó de 48% en 2001 a 30% en 2009. Mejoras más pequeñas se verificaron en México, Brasil y Perú (en
este último caso se pasó de 80% a 65%, lo cual muestra que, a pesar de la mejora en el promedio, la situación continúa siendo grave).
Uruguay y Argentina empeoraron su situación, dado que disminuyeron los porcentajes de estudiantes de alto desempeño (en Uruguay del
16% a 10% y en Argentina de 11% a 7%) y aumentaron los de bajo desempeño (en Uruguay de 40% a 42% y en Argentina de 44% a 52%).

Gráfica 2: Porcentajes de alumnos en niveles de desempeño seleccionados en lectura

100% 2 1 1 1 1 1 1 1 1 0 0
1 0 2
3 5 5 5 3 5 4 3 4 5
6 6 6 10 8
9 9 8 15
90% 19
11 18 17
21 20
80%
Nivel 5 21
22
Nivel 4
70% 31
26 32
Nivel 1
60%
Bajo 1

50%

25
40% 33 51

21 28
30% 41 28 20
45 54
43
36
20%
37
17
29 30
23 23 12
10% 20 20 18 12 18 17
16 14
11 10 5 8
5 4 3 6 6 4
0% 1 1 1 1 2 0
01 09 00 09 01 09 06 09 00 09 01 09 03 09 00 09 00 09 00 09 00 09

Arg. Brasil Chile Colom. Mexico Perú Urug. OECD España Port. Finl.

Fuente: OECD, PISA (2010) Volumen I, Tabla I.2.1., p.194, OECD, PISA (2008) Figura 6.1., p.296 StatLink
(http://dx.doi.org/10.1787/142046885031) & OECD, PISA (2003), Tabla 2.1a, p.274.

2
Como ejemplo de las confusiones que pueden generarse, un Ministro de Educación de uno de los países de la región declaró en un programa de
televisión que las puntuaciones de PISA van de 0 a 1000 puntos, lo cual es disparatado, pero una confusión comprensible. 3
 OBSERVATORIO
REGIONAL DE POLÍTICAS
DE EVALUACIÓN EDUCATIVA

La desigualdad en los aprendizajes

Además de considerar las puntuaciones promedio y la distribución de alumnos en cada nivel de desempeño, es muy importante analizar la
desigualdad de las puntuaciones al interior de cada país, dado que dos promedios iguales pueden obedecer a dos distribuciones altamente
distintas entre sí. Es decir, dos países pueden tener un promedio similar pero puede ocurrir que en uno los estudiantes tengan un desempeño
parecido, mientras que en el otro el promedio esconda desigualdades extremas.

Un modo de presentar esta información consiste en destacar cuál fue el puntaje alcanzado, dentro de cada país, por los estudiantes de mejor
desempeño (el denominado percentil 90, es decir, el 10% que logró las puntuaciones más altas) y por estudiantes de peor desempeño (el
denominado percentil 10, es decir, el 10% que tuvo las puntuaciones más bajas). Esta información, junto con los promedios, se muestra en la
Gráfica 3 para los países seleccionados.

En dicha gráfica el límite izquierdo de cada barra corresponde al puntaje en lectura que obtuvo el 10% de alumnos con desempeños más bajos, el
límite derecho se ubica en el puntaje que obtuvo el 10% de alumnos con resultados más altos, mientras que la marca en el centro de cada barra
corresponde al puntaje promedio de todos los alumnos del país.

La comparación de los resultados de México y Uruguay, es ilustrativa de la situación mencionada anteriormente: los promedios de ambos países
son casi iguales (426 puntos en Uruguay, 425 puntos en México), pero la distribución es diferente. En México la diferencia de puntajes entre
estudiantes de mejor y peor desempeño es menor que en Uruguay, registrándose en éste último puntajes más extremos en las dos puntas de la
distribución, es decir, en Uruguay los estudiantes de mejor desempeño superan a los de México, pero los estudiantes con peor desempeño están
por debajo de los mexicanos. La desigualdad interna es mayor en Uruguay. En la región, Argentina es otro de los países con mayor desigualdad
interna, debido principalmente a la mala situación de los estudiantes de peor desempeño. Perú es otro país que se caracteriza por los bajos
puntajes de sus estudiantes de peor desempeño.

Uno de los datos más preocupantes es que en la mayoría de los países latinoamericanos el puntaje promedio es similar o inferior al que obtiene el
10% de los alumnos finlandeses de peor desempeño (para facilitar la lectura se incluye en la gráfica una primera línea vertical punteada que parte
del decil inferior de Finlandia). Según es posible observar, Chile es la única excepción a esta situación.

En el otro extremo, cuando se observa la situación del 10% de los estudiantes con mejores resultados en los países latinoamericanos, únicamente
los chilenos y los uruguayos están por encima del promedio finlandés (para facilitar la lectura del gráfico se incluye la segunda línea vertical
punteada, que parte del promedio de Finlandia).

Gráfica 3: Dispersión del puntaje en lectura en cada país

Fuente: OECD, PISA (2010) Volumen II, Tabla II.1.1, p.152.

4
 OBSERVATORIO
REGIONAL DE POLÍTICAS
DE EVALUACIÓN EDUCATIVA

En la Gráfica 4 se muestra la relación entre la desigualdad del puntaje (representada en este caso como la diferencia de puntajes entre los
alumnos de los percentiles 90 y 10 o, en otras palabras, la longitud de las barras de la Gráfica 3 y el puntaje promedio de cada país en la
prueba de lectura.

En términos generales, este gráfico permite clasificar a los países según su puntaje promedio en Lectura y la desigualdad interna de dichos
puntajes. Un sistema educativo debería tener, a la vez, resultados buenos (puntuación promedio alta) y homogéneos entre sus alumnos
(desigualdad baja). En términos de la Gráfica 4, esto significa ubicarse en el cuadrante superior izquierdo (los cuadrantes han sido
definidos a partir del puntaje y la desigualdad promedios de la OCDE). Es lo que ocurre con Finlandia.

En América Latina se destacan cuatro países por la alta desigualdad de resultados: Brasil, Perú, Uruguay y Argentina, ubicados en el
cuadrante inferior derecho. Esto significa que en estos países se observan diferencias muy grandes en el desempeño de los alumnos, las
cuales son explicadas fundamentalmente por el índice socioeconómico de los mismos (lo cual será motivo de análisis en un próximo
boletín).

Si se considera únicamente el conjunto de países latinoamericanos, se puede diferenciar entre:

a. Chile con los mejores resultados y a la vez los más homogéneos.
b. Colombia y México, con resultados intermedios y homogéneos.
c. Brasil y Uruguay, también con resultados intermedios pero internamente desiguales.
d. Argentina y Perú con resultados a la vez bajos y desiguales.

Gráfica 4: Países seleccionados según puntaje promedio en lectura y desigualdad de puntajes

entre los percentiles 10 y 90

600

9 550
0
0 Finlandia
2
ar
u
tc
e
L
n 500 OECD
e
io Portugal
d
e España
m
o
r
p
e
ja 450
t Chile
n
u
P
México Uruguay
Colombia Brasil
400
Argentina

Perú

350
200 210 220 230 240 250 260 270 280 290
Diferencia entre el percentil 90 y el percentil 10 en lectura

Fuente: OECD, PISA (2010) Volumen II, Tabla II.1.1, p.152.

5
 OBSERVATORIO
REGIONAL DE POLÍTICAS
DE EVALUACIÓN EDUCATIVA

Referencias
OECD, PISA (2010) “PISA 2009 Results”
http://www.pisa.oecd.org/document/61/0,3746,en_32252351_32235731_46567613_1_1_1_1,00.html

OECD, PISA (2008) “Informe PISA 2006 Competencias científicas para el mundo del mañana”
http://www.oecd.org/document/2/0,3746,en_32252351_32236191_39718850_1_1_1_1,00.html

OECD, PISA (2003) “Literacy Skills for the World of Tomorrow - Further Results from PISA 2000”
Http://www.pisa.oecd.org/document/21/0,3746,en_32252351_32236159_33688661_1_1_1_1,00.html

Este Boletín ha sido elaborado por Carmen Haretche y Pedro Ravela del Insitituto de Evaluación Educativa (Facultad de Ciencias Humanas,
Universidad Católica del Uruguay). El diseño gráfico fue realizado por www.estudiocomunicarte.com 6