Pruebas Pisa: Niveles de Desempeño y Construcción de Preguntas

EDUCACIN
EDUCACIN, Revista Semestral de la Facultad de Educacin de la UNMSM
PRUEBAS PISA: NIVELES DE DESEMPEO

Y CONSTRUCCIN DE PREGUNTAS
Luis Piscoya
Hermoza
1. I NTRODUCCIN
n este artculo nos proponemos describir las caractersticas de lo que puede

denominarse el Proyecto PISA (OECD Programme for International Student
Assessment) que constituye el esfuerzo de mayor envergadura y complejidad,
dentro de la comunidad internacional, para medir los conocimientos y habilidades de

los escolares de 15 y 16 aos, en trminos que permitan la comparacin fiable de los
puntajes obtenidos, por muestras tomadas en los centros educativos, de una pluralidad
de pases instalados en diversas culturas. Creemos que una presentacin, aunque
sea preliminar, de los alcances del proyecto PISA es importante no slo por su
envergadura y generalidad sino, principalmente, por las peculiaridades que caracterizan
a su concepcin de la medicin de la calidad de los servicios que ofrecen los sistemas
educativos en actual vigencia, la misma que est ligada a las ms avanzadas ciencias
y tecnologas de la educacin y a una comprensin explcita del rol central que debe
cumplir la educacin en cualquier proyecto social orientado por una visin de futuro
racionalmente fundada.
El contexto dentro del cual deben entenderse los objetivos sociales y educacionales
del proyecto PISA es, en medida significativa, extrao a la realidad educacional de
nuestro pas. En efecto, han transcurrido ya aproximadamente 40 aos desde que
pases vecinos como Chile, Colombia y Brasil establecieron sistemas de pruebas
nacionales con la finalidad de medir anualmente los rendimientos escolares en el
nivel de la educacin bsica, a fin de contar con indicadores de la calidad de los
aprendizajes producidos por los sistemas educativos como justificacin del gasto
pblico que realizan los estados en infraestructura, equipamiento, sueldos de los
docentes y materiales educativos, con cargo a los impuestos que pagan los miembros
de la comunidad nacional. Sin embargo en el Per, salvo el caso de las denominadas
pruebas de madurez mental que tuvieron vida efmera en la dcada de 1950, no ha
existido proyecto alguno para la aplicacin cclica de pruebas nacionales a los escolares
del nivel de educacin bsica, pese a que el desarrollo cientfico y tecnolgico en la
materia ha sido notable y a que el perfeccionamiento y abaratamiento de los equipos
informticos ha sido creciente, lo cual ha facilitado que los sistemas de pruebas
nacionales sean de uso generalizado en la regin, en Europa y en amplios sectores
asiticos, encontrndonos entre las pocas excepciones.
La difusin de las pruebas nacionales y de las internacionales en Amrica Latina
ha sido una consecuencia de la influencia de las aplicaciones educacionales de la
psicometra a travs del Educational Testing Service de New Jersey. Esta institucin
desarroll una metodologa para la elaboracin de pruebas de seleccin mltiple, de

calificacin automtica y de aplicacin masiva, entre las que destaca el SAT (Scholastic
Aptitud Test) que es el instrumento de seleccin de postulantes que usan hasta la
fecha la mayor parte de las universidades norteamericanas. Utilizando esta misma
metodologa se han establecido en Amrica Latina pruebas internacionales, algunas
Educacin , Ao I, N. 2, diciembre 2004; pp. 21-34
21
EDUCACIN
PRUEBAS PISA
de las cuales tienen su origen en Estados Unidos y
que es completamente compatible con lo que piensan
Canad. Entre ellas puede mencionarse a Civic

Education Study, IALS (International Adult Literacy
sobre evaluacin de la educacin los especialistas

respetados por la comunidad acadmica internacional,
Survey), ALL (Adult Literacy and Lifeskills), PIRLS
evita las discusiones bizantinas de quienes se
(Progress in International Reading Literacy Study),
encuentran enfrascados en debates curriculares hace
TIMSS (Third International Mathematics and Science
tres dcadas tratando de dirimir devotamente si elaboran

el plan de estudios a partir de un listado de objetivos
Study) y TIMSS-R, entre otras. Al respecto, debemos

sealar que el Per, con excepcin de la prueba
conductuales skinnerianos o de competencias "cons -
LLECE de UNESCO, no ha participado en ninguna

de estas pruebas que permiten comparaciones en
tructivistas". Esta es la herencia pesada que dejaron,

pienso que involuntariamente, los tericos iniciales del
la regin, mientras que Argentina, Colombia, Brasil,
SAT, cuyos planteamientos han sido tergiversados por
Chile, Mxico y, ocasionalmente, Bolivia y Costa Rica

registran participaciones reiteradas entre 1991 y el
quienes han pretendido, primero, medir las aptitudes

con independencia de los conocimientos y, luego,
ao 2002.
escribir currculos a partir de competencias y destrezas
Seguramente, lo que singulariza con mayor nitidez
disolviendo por resolucin ministerial las disciplinas
y relevancia al Proyecto PISA es su peculiar
cientficas.
El nfasis del proyecto PISA en tomar en el plano
concepcin de la alfabetizacin que excede en mucho

lo que tradicionalmente se ha entendido en castellano al respecto, esto es, saber leer, escribir y realizar
operaciones aritmticas muy elementales.
Normalmente no diramos, de acuerdo con
nuestros estndares, que un alumno al concluir el
quinto grado de secundaria est aceptablemente
alfabetizado o que es objetivo de la educacin
secundaria alfabetizar a nuestros escolares que se
encuentran entre 15 y 16 aos. En nuestro lenguaje
decimos que alfabetizamos a quien no ha tenido
acceso oportuno al sistema escolar y si lo realizamos
con xito hemos resuelto una emergencia, pero
todava nos encontramos muy lejos de un mnimo
educativo deseable. Por ejemplo, nunca he escuchado que el uso del plano cartesiano o que la solucin
22
cartesiano como eje X los conocimientos y como eje

Y un conjunto de habilidades generales o de desempeos identificables (recuperar informacin, Interpretar textos, reflexionar y valorar) se manifiesta claramente en el hecho de que cada una de sus etapas
ha estado definida por una dimensin del conocimiento o por aquello que lo viabiliza y fortalece. Las
pruebas PISA 2000 estuvieron orientadas preferentemente a evaluar la comprensin de lectura pero no
en trminos de "aprender a leer" sino de "leer para
aprender". As se entiende el sentido instrumental de
la lectura, que no se limita al texto literario sino que
incorpora de manera equilibrada la lectura de diagramas y curvas en el plano cartesiano, la comprensin
de diagramas de flujo, organigramas, mapas, tablas
de ecuaciones de primer grado sean parte de un
de doble entrada y signos icnicos. Todo ello es parte

no slo de los informes cientficos sino tambin de
programa de alfabetizacin, pero s del plan de
los administrativos, de los informes periodsticos o
estudios de educacin secundaria.

En contraposicin a lo anterior, lo que podemos
de la sealizacin de las estaciones del Metro que

todava no hay en Lima pero que existe en la mayor
denominar el Enfoque PISA (PISA literacy approach) se
parte de las ciudades del planeta que son represen-
propone definir cada rea de evaluacin, esto es

matemtica, ciencias, comprensin de lectura y solucin
tativas de la compleja sociedad contempornea. En

armona con lo expuesto, las pruebas PISA 2003, en
de problemas no principalmente en trminos de
las que han participado 40 pases, han estado
capacidades y destrezas minimalistas, sino en trminos
orientadas eminentemente a evaluar matemtica y
de los conocimientos y habilidades que se requieren

para lograr una participacin plena en la cada vez ms
las pruebas PISA 2006, en las que participarn 60

pases, privilegiarn la evaluacin de las ciencias
compleja sociedad del siglo XXI. Este planteamiento,
bsicas.
Lo antes dicho prueba suficientemente que el enfoque
lo que sigue procederemos a exponer el aporte de los
PISA parte de los conocimientos cientficos que
tericos de las pruebas PISA en la definicin de los
constituyen la herramienta de supervivencia, desarrollo y
niveles de desempeo para la medicin de los
dominio ms potente que ha creado la cultura occidental
conocimientos y habilidades que requieren los
a partir de la racionalidad del pensamiento filosfico
escolares de 15-16 aos para afrontar con xito los
griego y de su correspondiente matemtica. Desde esta
desafos del futuro. Incluiremos tambin algunos
entrada, enrazada en la tradicin filosfica y cientfica, se
criterios especficos para orientar la construccin de
definen las preguntas de las pruebas en trminos de
preguntas, y luego presentaremos como anexo algunos
tareas, que miden las habilidades y destrezas necesarias
cuadros que muestran los resultados de las pruebas
para utilizar la comprensin de lectura como herramienta
UNESCO 1998-2000, y PISA 2000 y 2003, y sus
para aprender e incrementar el conocimiento, y la
implicancias. El Per slo particip en las dos primeras
matemtica y las ciencias como herramientas para ser
con resultados extremadamente deficientes que no han
empleadas en el mundo real ponindolas en
recibido hasta la fecha la atencin que merecen de los
funcionamiento en la solucin de necesidades presentes
responsables de la conduccin y administracin de
y en la previsin de futuras, ms que en la elaboracin
nuestro preocupante sistema educativo. En la medida
de respuestas exitosas a las preguntas del currculum
que consideramos que los referidos cuadros hablan
escolar. De esta manera no se pierde el sentido de la
por s mismos, hemos omitido, esta vez, comentario
educacin en la descomposicin artificial y psicologista
alguno para dejar la tarea de reflexin y enjuiciamiento
de competencias en capacidades, destrezas y
completamente a cargo del lector.
habilidades que asumidas como funciones o entidades

independientes se multiplican en tomos que nada
tienen que ver con el carcter estructural e integrador de
2. PRUEBAS DE COMPRENSIN DE LECTURA
las producciones cientficas. En lugar de ello, los

conductores acadmicos de PISA proponen tareas con
temas adecuadamente definidos que se distinguen por
2.1. Niveles de Desempeo
su grado de organizacin lgica, por la riqueza simblica
Las pruebas PISA de comprensin de lectura se
del lenguaje utilizado y por el grado en que demandan
proponen medir cinco niveles de desempeo, en
ejercitar habilidades como intuir, razonar, argumentar,
sentido decreciente, del ms complejo al ms simple,
comunicar, modelar y plantear y solucionar problemas.
los mismos que combinan en diversos grados de
Estos criterios son suficientes para definir operacional-
complejidad
mente, por ejemplo, seis niveles de desempeo en
recuperacin de informacin; b) interpretacin de
matemtica y construir 85 preguntas (tareas) que
textos; y c) razonamiento y evaluacin. A continuacin,
expresan una meta terica que no se espera que escolar
presentamos un cuadro que es, en lo principal, una
alguno pueda responder en su totalidad.
versin castellana del autor de este artculo del
Estando el presente nmero de la revista Educacin

dedicado a la innovacin y evaluacin pedaggicas, en
las
siguientes
habilidades:
a)
cuadro que se encuentra en el captulo II, pgina 42

del informe PISA 2000.
23
EDUCACIN
PRUEBAS PISA
NIVELES DE DESEMPEO DE LAS PRUEBAS PISA 2000 DE COMPRENSIN DE LECTURA
Habilidades
Niveles
5.
4.
3.
2.
1.
24
Recuperacin de
informacin
Interpretacin de
textos
Razonamiento y
evaluacin
Localiza y posiblemente s ecuencia o combina mltiples piezas

con informacin implcita, parte
de la c ual puede encontrarse fuera del c uerpo principal del texto.
Infiere qu informacin del texto
es relevante para la tarea. Trata
con informacin altamente plausible o c on alternativas en conflicto.
Construye el significado de un
lenguaje con matices sutiles o
demuestra una comprensin plena y detallada de un texto.
Evala c rtic amente o hipotetiza

recurriendo a conocimiento especializado maneja conceptos poco
comunes y muestra una comprensin profunda de textos largos o complejos.
Localiza y posiblemente s ecuencia o combina mltiples piezas

con informac in, cada una de las
cuales puede incluir criterios
diversos dentro de un texto con
forma o contex to poco comn.
Infiere qu informacin del texto
es relevante para la tarea.
Hace inferencias en base a un

texto complejo para comprender y
aplicar categoras en un contexto
poco comn y para construir el significado de un segmento del texto
teniendo en c uenta el texto como
un todo. Trata con ambigedades ,
ideas poco comunes e ideas expresadas negativamente.
Usa conocimiento pblico o formal para hipotetizar sobre un texto o evaluarlo crticamente. Muestra comprensin cuidadosa de un
texto largo o complejo.
Localiza y en algunos casos reconoce las relaciones entre piezas de informacin, cada una de
las cuales puede incluir una diversidad de criterios. Trata con informacin alternativa.
Integra varias partes de un texto

para identificar la idea principal,
comprende una relacin o construy e el significado de una palabra o frase. Compara, contrasta o
categoriza teniendo en cuenta varios criterios. Trata con informacin alternativ a.
Hace c onexiones o comparaciones, da explicaciones o evala

una caracterstica de un texto.
Demuestra una c omprens in
detallada del texto con respec to al
conocimiento cotidiano o recurre
al conocimiento menos comn.
Localiza una o ms piezas de informacin cada una de las cuales

puede incluir diversos criterios. Trata con informacin alternativa.
Identifica la idea principal de un

texto, comprende relaciones, construye o aplica categoras simples o
construye el signific ado de una parte limitada de texto que contiene
informacin no-obvia y que requiere referentes de bajo nivel.
Hace c omparaciones o c onexiones entre el texto y el conocimiento exterior al mis mo o explica

una c aracterstica del texto recurriendo a la experiencia personal
y a actitudes.
Localiza una o ms piezas independientes con informacin explcita que satisface tpicamente un
solo criterio, con escasa o ninguna informacin en conflic to.
Reconoce el tema principal o el

propsito del autor en un texto
sobre un tpico familiar cuando la
informacin requerida por el texto
es muy visible.
Hace una conexin simple entre

el texto y el conocimiento cotidiano o comn.
2.2. Intervalos de los Niveles de Desempeo
2.3.1.
inesperado teniendo en cuenta conocimientos
En el siguiente cuadro detallamos los intervalos
externos al texto y toda la informacin relevante
correspondientes a cada nivel de desempeo en las
contenida en un cuadro complejo sobre un
pruebas PISA de comprensin de lectura. El 1. es el
tpico relativamente no familiar (puntaje
nivel de desempeo ms bajo considerado dentro

de la escala de calificacin. Sin embargo, este nivel
no corresponde a un estndar mnimo aceptable sino
aproximado: 822).
2.3.2.
de rbol en el que parte de la informacin
OECD, que coincide con el puntaje que corresponde
relevante se encuentra en notas a pie de pginas
al valor del promedio menos tres desviaciones

peruanos obtuvieron en promedio, en el ao 2001,
(puntaje aproximado: 727).

2.3.3.
Manejo de hiptesis acerca de un fenmeno

inesperado tomando en cuenta el conoci-
un puntaje inferior a 335, lo que los ubica en una
miento externo al texto y parte de la informa-
posicin, estadsticamente, bajo 0.

ESTNDARES DE LAS PRUEBAS PISA POR NIVEL
DE DESEMPEO EN COMPRENSIN DE
LECTURA
Anlisis de varios casos descritos asocindolos

a las categoras presentadas en un diagrama
a un estndar mnimo registrado en los pases de la
estndar ( s ). Cabe sealar que los escolares
Manejo de hiptesis acerca de un fenmeno
cin relevante, contenida en un cuadro

complejo, sobre un tpico relativamente no
familiar (puntaje aproximado: 705).
2.3.4.
Evaluacin del episodio final de una larga

narracin en relacin a un tema implcito
Niveles
Intervalo
5.
ms de 625
rracin respecto al tema principal, en presen-
4.
553 - 625
cia de ideas en conflicto (puntaje aproxima-
3.
481 - 552
do: 645).
2.
408 - 480
1.
335 - 407
2.3.5.
2.3.6.
Distinguir matices del lenguaje en una na-
Localizar informacin en un diagrama de

rbol usando informacin contenida en notas
de pie de pgina (puntaje aproximado: 631).
2.3. Naturaleza de las Tareas o Preguntas de

Comprensin de Lectura
2.3.7.
El contenido de las tareas expresada por las
2.3.8.
Construir el significado de una oracin relacionndolo con un contexto amplio en una

narracin (puntaje aproximado: 603).
Manejar hiptesis acerca de una decisin
preguntas ha sido clasificado en 31 categoras que
relacionndola con la evidencia mostrada en
presentamos, luego, de mayor a menor orden de
un grfico para inferir el tema principal de un
complejidad. Asimismo, en la medida que las
grfico mltiple (puntaje aproximado: 600).
pruebas PISA de comprensin de lectura han sido
2.3.9.
Comparar y evaluar el estilo de dos cartas
estandarizadas, despus de detallar el contenido de
abiertas (puntaje aproximado: 581).
las preguntas propias de cada categora, hemos
2.3.10. Evaluar la parte final de una narracin en relacin
aadido entre parntesis el puntaje estndar que con
con la trama (puntaje aproximado: 567).
una probabilidad de 0.62 alcanzara el estudiante
2.3.11. Inferir una relacin analgica entre dos fen-
capaz de contestar la pregunta correspondiente a
menos discutidos en una carta abierta (pun-
dicha categora. Naturalmente, para este estudiante
taje aproximado: 542).
la probabilidad de contestar preguntas corres-
2.3.12. Identificar la informacin de partida implicada
pondiente a estndares menores al de la pregunta
por la construccin de un grfico (puntaje
de referencia es mayor que 0.62.
aproximado: 540).
25
EDUCACIN
PRUEBAS PISA
2.3.13. Construir el significado de citas cortas de una

narracin en relacin con la atmsfera o
situacin inmediata (puntaje aproximado:
539).
2.3.14. Conectar evidencias dadas en una narracin
2.3.27. Inferir la idea principal de un grfico de barras

desde su ttulo (puntaje aproximado: 397).
2.3.28. Localizar un fragmento de informacin literal
en un texto con estructura clara (puntaje
aproximado: 392).
con conceptos personales para justificar un
2.3.29. Localizar informacin explcita en una
punto de vista opuesto (puntaje aproximado:
seccin corta, previamente especificada, de
537).
una narracin (puntaje aproximado: 367).
2.3.15. Explicar las motivaciones de un personaje
2.3.30. Localizar un fragmento con informacin
vinculndolas a eventos descritos en una
explcitamente definida en un texto con ttulos
2.3.16. Inferir la relacin entre dos grficos presen-
2.3.31. Reconocer el tema de un artculo que tiene
tados con convenciones diferentes (puntaje
subttulos claros y redundancia considerable
aproximado: 508).
2.3.17. Evaluar la aplicabilidad de un diagrama de

rbol para propsitos particulares (puntaje
aproximado: 486).
3. PRUEBAS PISA DE MATEMTICA
2.3.18. Localizar informacin numrica en un diagrama de rbol (puntaje aproximado: 485).

2.3.19. Conectar la evidencia descrita en una
narracin con conceptos personales para
Las pruebas PISA 2003, como hemos sealado
justificar un punto de vista particular (puntaje
antes han estado destinadas principalmente a medir
aproximado: 480).
los conocimientos y habilidades que se expresan a
2.3.20. Localizar y combinar informacin en un
travs del concepto de Mathematical Literacy que
grfico lineal y luego usarla para inferir un
puede traducirse literalmente al castellano como
valor numrico desconocido (puntaje aproxi-
Alfabetizacin Matemtica pero que, ciertamente,
mado: 478).
debe entenderse en el contexto que hemos descrito
2.3.21. Comprender la estructura de un diagrama
en la Introduccin. Estas pruebas estuvieron
de rbol (puntaje aproximado: 477).
destinadas a medir el desempeo de los escolares
2.3.22. Aparear categoras dadas en un diagrama de
en cuatro reas: espacio y figura, cambio y relaciones,
rbol para describir casos en situaciones en
cantidad e incertidumbre. La primera incluye
las que la informacin relevante est en una
fenmenos geomtricos y espaciales, y propiedades
nota a pie de pgina (puntaje aproximado: 473).
de los objetos. La segunda incluye relaciones entre
2.3.23. Interpretar informacin proporcionada en un
variables y una comprensin de lo que ellas
prrafo para comprender el escenario de una
representan, incluyendo ecuaciones. La tercera
incluye fenmenos numricos, relaciones y modelos
2.3.24. Distinguir entre variables y caractersticas
cuantitativos. La cuarta explora fenmenos estads-
estructurales de un diagrama de rbol

26
3.1. Contenidos y habilidades
2.3.25. Identificar los propsitos de dos textos cortos

ticos y probabilsticos.
Como puede observarse, las reas no estn
planteadas en el nivel del conocimiento del formalismo
matemtico sino en el nivel de la identificacin y manejo
2.3.26. Localizar las partes de la informacin implcita
de situaciones problemticas que se expresan en
en un texto que contiene organizadores fuertes
estados fenomnicos, las mismas que deben ser
manejadas utilizando herramientas matemticas.
Las habilidades requeridas para utilizar los
Habilidades de razonamiento. Requiere
conocimientos incluidos en las cuatro reas antes
intuicin y razonamiento tanto como creatividad
mencionadas no se entienden como entidades sino
en la identificacin de los elementos que
como conjuntos de destrezas que se clasifican en tres
constituyen un problema matemtico. Estos
conglomerados distinguibles aunque generalmente
problemas a menudos son complejos, requie-
operen en conjunto.
ren hacer conexiones y tienden a ser los ms
Habilidades para la reproduccin de informa-
difciles de las pruebas PISA.
cin. Referentes a la reproduccin del conocimiento as como al reconocimiento de tipos de

problemas y procesos matemticos realizando
operaciones rutinarias. Estas habilidades se
aplican a las tarea ms simples.
Habilidades de conexin o ligaduras. Exigen ir

mas all de los problemas de rutina para hacer
interpretaciones y vincular situaciones diferentes,
pero todo ello en contextos relativamente
familiares. Estas habilidades se usan en la
solucin de problemas de mediana dificultad.
3.2.Niveles de desempeo en las pruebas PISA

de Matemtica
La calificacin de las prueba PISA de Matemtica
incluye seis niveles de desempeo, en sentido
decreciente, del ms complejo al ms simple. Cada
uno de estos niveles combina por grado de complejidad cada una de los conjunto de habilidades antes
descritos. En lo que sigue presentamos una versin
castellana del cuadro contenido en la pgina 5 del
sumario ejecutivo del informe PISA 2003.
NIVELES DE DESEMPEO EN LAS PRUEBAS PISA 2003 DE MATEMTICA
Los estudiantes pueden conceptualizar, generalizar y utilizar informacin basada en sus investigaciones y el modelamiento
de situaciones problemticas complejas. Pueden vincular diferentes fuentes de informacin y representaciones y hacer
traducciones flexibles entre ellas. Son capaces de alcanzar el razonamiento y el pensamiento matemtico avanzado.
Aplican la intuicin y comprensin acompaadas de un manejo diestro de la relaciones y operaciones matemticas en
el nivel formal y simblico para desarrollar estrategias y aproximaciones nuevas para manejar situaciones novedosas.
Pueden comunicar y formular con precisin sus acciones y razonamientos considerando sus hallazgos, interpretaciones,
argumentos, y la adecuacin de estos a la situacin original.
Los estudiantes pueden desarrollar y trabajar con modelos aplicables a situaciones complejas identificando restricciones
y especificando presuposiciones. Pueden seleccionar, comparar y evaluar estrategias apropiadas de solucin p ara tratar
problemas complejos relativos a estos modelos. Pueden trabajar estratgicamente usando habilidades de razonamiento
y de pensamiento bien desarrollado, representaciones adecuadamente vinculadas, caracterizaciones formales y simblicas
e intuiciones propias de las situaciones complejas. Pueden razonar sobre sus acciones y formular y comunicar sus
interpretaciones y razonamientos.
Los estudiantes pueden trabajar eficientemente con modelos explcitos aplicables a situaciones concretas, pero complejas
que pueden incluir restricciones y demandar presuposiciones. Pueden seleccionar e integrar diferentes representaciones,
incluyendo las simblicas, para ligarlas directamente a situaciones problemticas del mundo real. En este nivel los
estudiantes pueden utilizar habilidades bien desarrolladas y razonamiento flexible junto con algunas intuiciones.
Pueden construir y comunicar explicaciones y argumentaciones basadas en sus interpretaciones, argumentos y acciones.
Los estudiantes pueden ejecutar procedimientos previamente descritos incluyendo aquellos que requiere decisiones
secuenciales. Pueden seleccionar y aplicar estrategias simples de solucin de problemas. Pueden interpretar y usar
representaciones basadas en diferentes fuentes de informacin y razonar directamente sobre ellas. Pueden desarrollar
comunicaciones cortas informando sus interpretaciones, resultados y razonamientos.
Los estudiantes pueden interpretar y reconocer situaciones en contextos que requieren slo inferencias directas. Pueden
extraer informacin relevante de una sola fuente y hacer uso de un modo especifico de elaborar representaciones.
Pueden utilizar algoritmos bsicos, frmulas, procedimientos o convenciones. Pueden hacer uso del razonamiento
directo y de interpretaciones literales de los resultados.
Los estudiantes pueden responder preguntas dentro de contextos familiares en los que toda la informacin relevante
est presente y las preguntas estn claramente definidas. Son capaces de identificar informacin y de realizar
procedimientos rutinarios siguiendo instrucciones directas en situaciones explicitas. Pueden realizar actividades que son
obvias y que se siguen inmediatamente del estimulo dado.
27
EDUCACIN
PRUEBAS PISA
3.3.Puntajes de los Niveles de Desempeo en

Matemtica
distinguiendo niveles con estndares mnimos debido
El ms alto nivel de desempeo se encuentra
a que las pruebas PISA-2000 en el rea de matemtica
alrededor de los 750 puntos. Los estudiantes se
no han sido estandarizadas y slo se dispone de
caracterizan por asumir un rol activo y creativo en su
informacin detallada reciente de PISA-2003 que ser
enfoque de los problemas matemticos. Interpretan
materia de un prximo artculo. En cuanto a los
y formulan los problemas en trminos matemticos.

Manejan informacin ms compleja y ensayan un
resultados de las pruebas PISA-2000 de Matemtica,
nmero de pasos de proceso. En este nivel identifican
socios los estudiantes ubicados en el 5% superior
y aplican herramientas relevantes y conocimientos,
obtuvieron un promedio de 655 puntos. Sin embargo,
con frecuencia, a un contexto problemtico no familiar.
los pases ubicados en las posiciones superiores de
Usan la intuicin para identificar un mtodo adecuado

para encontrar la solucin y muestran dominio de
este 5% tuvieron puntajes promedio mayores que 680
procesos cognitivos de orden superior tales como
China, Japn, Nueva Zelandia y Suiza. En el nivel
generalizacin, razonamiento y argumentacin para
inferior de la escala se encuentra que el 75% de los
explicar y comunicar resultados.
estudiantes de los pases de la OECD lograron al
Alrededor de los 570 puntos de la escala los

estudiantes son capaces normalmente de interpretar
menos 435 puntos y ms del 95% de estos pases
ligar e integrar diferentes representaciones de un
escolares peruanos alcanz 292 puntos, esto es, 34
problema o diferentes piezas de informacin. Usan y
puntos menos que el puntaje ms bajo registrado en
manipulan un modelo dado incluyendo a menudo
los pases de la OECD y 42 puntos menos que el
lgebra u otras representaciones simblicas.

Verifican y registran proposiciones o modelos dados.
promedio de Brasil que se ubic en el penltimo lugar
El trabajo tpico de estos estudiantes se realiza a
las pruebas Pisa.
En este caso no es posible incluir un cuadro
podemos sealar que en los pases de la OECD y sus
puntos. En esta situacin se encuentra Hong Kong-
alcanz 326 puntos. En esta pruebas la muestra de
entre los 41 pases registrados como participantes en
travs de estrategias, modelos o proposiciones

dadas, por ejemplo, a travs del reconocimiento y
extrapolacin a partir de un modelo. Seleccionan y
aplican conocimientos matemticos relevantes, para
solucionar un problema, que pueden incluir un
pequeo nmero de pasos de proceso.
El ms bajo nivel de la escala se encuentra alrededor
de los 380 puntos. Los estudiantes usualmente son
capaces de completar un procedimiento de pasos
simples consistente en reproducir hechos matemticos
28
3.4. Criterios para la construccin de preguntas

o tareas de Matemticas
Como regla general de construccin de tems en esta
rea, se puede sealar que una pregunta de
matemtica es buena si el hecho de contar con una
calculadora de mano o con una computadora no
otorga al sujeto examinado ventaja significativa para
responderla correctamente.
bsicos o procesos, o son capaces de aplicar
Las tareas ms simples requieren conectar e
habilidades computacionales simples. Normalmente
integrar material. Exigen al estudiante aplicar una
reconocen informacin a partir de un diagrama o de un
representacin simple o una tcnica aplicable a una
texto que es familiar y simple, en el cual se proporciona
pieza simple de informacin. Las tareas menos simples
la formulacin matemtica o se la facilita visiblemente.
requieren que el estudiante integre ms de una pieza
Cualquier interpretacin o razonamiento tpico de este
de informacin usando diferentes representaciones, o
nivel incluye el reconocimiento de un elemento simple y
diferentes herramientas matemticas, o conocimientos
familiar de un problema dado. La solucin demanda la
en una secuencia simple de pasos.
aplicacin de un procedimiento rutinario consistente en

un procedimiento de pasos simples.
Hay tareas que requieren representar e interpretar

un material para razonar sobre la situacin y los
mtodos. Tales tareas varan en un rango que va desde

el reconocimiento de una frmula usual a la formulacin,
traduccin o creacin de un modelo adecuado dentro
de un contexto inusual y demandan el uso de la intuicin,
el razonamiento y la generalizacin.
4.1.Niveles de desempeo y puntajes en las

pruebas de ciencias
El ms alto nivel de desempeo en la comprensin y
manejo de lenguaje cientfico (aproximadamente 690
puntos) se manifiesta en el hecho de que los
estudiantes son generalmente capaces de crear o
4. LAS PRUEBAS PISA 2000
DE CIENCIAS
La evaluacin focalizada en las ciencias, como hemos

sealado antes, est programada para el ao 2006.
Sin embargo, en el ao 2000 y en el ao 2003 se ha
evaluado este mbito pero no con la suficiente
amplitud e intensidad, razn por la que la informacin
disponible no es particularmente detallada. Empero,
revisando lo realizado en las dos oportunidades
anteriores se aprecia que las pruebas incidieron en
el uso del conocimiento cientfico-emprico o
cientfico-factual en el manejo de situacin reales
poniendo nfasis en la lgica de la identificacin
planteamiento y solucin de problemas.
En general, la comprensin de lenguaje de las
ciencias naturales y de la ciencias sociales se mide
a travs de la presencia de las siguientes habilidades:
Comprensin de conceptos cientficos.
Capacidad para reconocer preguntas cientficas relevantes.
Identificacin de los procesos que la investigacin cientfica implica.
Capacidad para relacionar evidencias fcticas

con hiptesis y conclusiones.
Capacidad para comunicar con claridad y

precisin procesos y resultados cientficos.
Capacidad para usar conceptos cientficos de

alto nivel de abstraccin o cadenas lgicas de
razonamientos.
Conocimiento y manejo de modelos conceptuales

simples y de modelos de anlisis de datos para
ensayar enfoques alternativos.
usar modelos conceptuales para hacer predicciones

o dar explicaciones. Analizan la investigacin cientfica
para comprender, por ejemplo, el diseo de un
experimento o para identificar la idea o hiptesis que
est siendo sometida a prueba. Comparan datos para
evaluar puntos de vista alternativos o perspectivas
diferentes. Comunican argumentos cientficos y
proporcionan descripciones detalladas y precisas.
Los estudiantes que alcanzan aproximadamente
550 puntos son normalmente capaces de usar
conceptos cientficos para hacer predicciones o
explicaciones. Reconocen preguntas que pueden ser
respondidas por la investigacin cientfica y/o
identifican detalles acerca de aquello que implica la
investigacin cientfica. Seleccionan informacin
relevante a partir de datos en competencias y de
cadenas de razonamiento esquematizadas en
grficos o evaluando conclusiones.
El tercer nivel de la escala, aproximadamente 400
puntos, se manifiesta en que los estudiantes son
capaces de recordar informacin cientfica factual
simple (nombres, hechos, terminologa, reglas
simples) y usan el conocimiento cientfico comn para
derivar conclusiones o evaluaciones.
Las pruebas PISA en esta rea tampoco han sido
estandarizadas. La informacin disponible sobre los
pases de la OECD revela que el 5% superior tuvo un
promedio de 657 puntos, el 10% superior alcanz un
promedio de 627 puntos y el 25% superior logr un
promedio de 572 puntos. En el extremo de menor
rendimiento se registra que ms del 75% de los
pases OECD alcanz al menos 432 puntos, ms del
90% alcanz 368 puntos y ms del 95% 332 puntos.
29
EDUCACIN
PRUEBAS PISA
Entre los pases que no son miembros de la OECD,
41 pases que participaron en PISA 2000 y 167 puntos
han tenido un desempeo destacado Hong Kong -
por debajo del promedio de los pases de la OECD.
China cuyos promedios han sido de 671, 645, 448,

426 y 391 puntos para los percentiles 95, 90, 25,
10 y 5, respectivamente. Claramente estos indica-
BIBLIOGRAFA
dores estadsticos revelan rendimientos ms altos
30
que los de los pases de la OECD. Japn y Corea,
UNESCO, OECD (2003). Literacy Skills for the World
considerando slo los promedios, han mostrado
of Tomorrow - Further Result s from PISA 2000. 389 p.
rendimientos an ms altos que Hong Kong-China.
OECD, PISA (2004). First Results from PISA 2003
Los escolares peruanos en esta rea obtuvieron un
Executive Summary. 37 p.
puntaje promedio de 333, esto es, 42 puntos menos
OECD, PISA (2004). Learning for Tomorrows's World,
que Brasil que se ubica en el penltimo lugar de los
First Results from PISA 2003. 471 p.
CUADROS ANEXOS
CUADRO 1
UNESCO 1998-2000
GRADIENTES SOCIOCULTURALES POR RENDIMIENTO EN LENGUAJE POR PAS
CUADRO 2
UNESCO 1998-2000
GRADIENTES SOCIOCULTURALES POR RENDIMIENTO EN MATEMTICA POR PAS
31
EDUCACIN
PRUEBAS PISA
CUADRO 3
Resultados de PISA-OCDE 2000.2002

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
Posicin
Japn
Hong Kong
Corea
Finlandia
Canad
Nueva Zelanda
Australia
Reino Unido
Irlanda
Austria
Suecia
Blgica
Francia
Suiza
Islandia
Noruega
Rep. Checa
Estados Unidos
Dinamarca
Liec htenstein
Hungra
Alemania
Espaa
Polonia
Italia
Fed. Rus a
Portugal
Grecia
Latvia
Luxemburgo
Israel
Bulgaria
Tailandia
Mxico
Chile
Argentina
Macedonia
Indonesia
Albania
Brasil
Per
Lectur a
522
525
525
546
534
529
528
523
527
507
516
507
505
494
507
505
492
504
497
483
480
484
493
479
487
462
470
474
458
441
452
430
431
422
410
418
373
371
349
396
327
Matemticas
557
560
547
536
533
537
533
529
503
515
510
520
517
529
514
499
498
493
514
514
488
490
476
470
457
478
454
447
463
446
433
430
432
387
384
388
381
367
381
334
292
Ciencia
550
541
552
538
529
528
528
532
513
519
512
496
500
496
496
500
511
499
481
476
496
487
491
483
478
460
459
461
460
443
434
448
436
422
415
396
401
393
376
375
333
Fuente: OECD (2003) PISA, Literac y Skills for the World of Tomorrow, Furthern Results.
From PISA 2000. Paris, France. Tabla 3.3, p.287.
32
L+M+C
1629
1626
1624
1620
1596
1594
1589
1584
1543
1541
1538
1523
1522
1519
1517
1504
1501
1496
1492
1473
1464
1461
1460
1432
1422
1400
1383
1382
1381
1330
1319
1308
1299
1231
1209
1202
1155
1131
1106
1105
952
CUADRO 4
Rendimiento de los estudiantes en lectura combinada, ciencias y matemtica en
la escala PISA vs. ingreso nacional
1.
2.
3.
4.
5.
Dlares USA convertidos a dlares PPPs (paridad del poder de compra).

Slo instituciones pblicas.
Ao de referencia: 1998.
Ao de referencia: 2000.
Slo instituciones pblicas y privadas independientes.
Fuente: OECD (2003c) para los pases de la OECD. Y para los pases que no son de la OECD la fuente ha sido el Banco Mundial.
Traduccin del autor
33
EDUCACIN
PRUEBAS PISA
CUADRO 5
PISA-2003
Rendimiento promedio en la escala PISA de matemtica
Va ri acin de las pos icione s en el Ranking*
Pases con un promedio est adsticamente

significativo sobre el promedio de OECD
Ra nki ng pa ra pa ses de l a OECD
Pases con un promedio est adsticamente

significativo por debajo de OECD
Pases con un
Promedio
estadsticamente
semejante
al de OECD
Hong Kong-China
Finlandia
Corea
Noruega
Liechtenstein
Japn
Canad
Blgica
Macao-China
Suiza
Australia
Nueva Zelanda
Repblica Checa
Islandia
Dinamarca
Francia
Suecia
Posicin Mxima
1
1
1
2
4
4
4
7
7
9
10
10
11
12
Posicin Mnima
3
4
5
7
7
8
9
9
10
14
13
14
15
16
Ranking i ncl uy endo pa ses que no

perte nec en a la OECD
Posicin Mxima
Posicin Mnima
1
3
1
4
1
5
2
7
2
9
3
10
5
9
5
10
6
12
6
12
9
12
9
13
12
17
13
16
13
17
14
18
15
19
Austria
13
18
16
20
Alemania
Irlanda
Repblica Eslovaca
Noruega
Luxemburgo
Polonia
Hungra
Espaa
Latvia
Estados Unidos
Federacin Rusa
Portugal
Italia
Grecia
Servia
Turqua
Uruguay
Tailandia
Mxico
Indonesia
Tnez
Brasil
14
15
16
18
19
19
19
22
22
25
25
27
28
29
18
18
21
21
21
23
23
24
24
26
26
27
28
29
17
17
19
21
22
22
22
25
25
25
29
29
29
32
32
33
34
34
37
38
38
38
21
21
24
24
24
26
27
28
28
28
31
31
31
33
34
36
36
36
37
40
40
40
* Nota: Debido a que la informacin se ha recogido por muestreo no es posible precisar una posicin exacta de los pases en el ranking. Slo ha
sido posible precisar para cada pas su posicin mxima y mnima con un 0.95 de probabilidad.
34

Pruebas Pisa: Niveles de Desempeño y Construcción de Preguntas

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Pruebas Pisa: Niveles de Desempeño y Construcción de Preguntas

Cargado por

Copyright:

Formatos disponibles

EDUCACIN

EDUCACIN, Revista Semestral de la Facultad de Educacin de la UNMSM

PRUEBAS PISA: NIVELES DE DESEMPEO

n este artculo nos proponemos describir las caractersticas de lo que puede

dentro de la comunidad internacional, para medir los conocimientos y habilidades de

desarroll una metodologa para la elaboracin de pruebas de seleccin mltiple, de

Educacin , Ao I, N. 2, diciembre 2004; pp. 21-34

de las cuales tienen su origen en Estados Unidos y

que es completamente compatible con lo que piensan

Canad. Entre ellas puede mencionarse a Civic

sobre evaluacin de la educacin los especialistas

Survey), ALL (Adult Literacy and Lifeskills), PIRLS

evita las discusiones bizantinas de quienes se

(Progress in International Reading Literacy Study),

encuentran enfrascados en debates curriculares hace

TIMSS (Third International Mathematics and Science

tres dcadas tratando de dirimir devotamente si elaboran

Study) y TIMSS-R, entre otras. Al respecto, debemos

conductuales skinnerianos o de competencias "cons -

LLECE de UNESCO, no ha participado en ninguna

tructivistas". Esta es la herencia pesada que dejaron,

la regin, mientras que Argentina, Colombia, Brasil,

SAT, cuyos planteamientos han sido tergiversados por

Chile, Mxico y, ocasionalmente, Bolivia y Costa Rica

quienes han pretendido, primero, medir las aptitudes

escribir currculos a partir de competencias y destrezas

Seguramente, lo que singulariza con mayor nitidez

disolviendo por resolucin ministerial las disciplinas

y relevancia al Proyecto PISA es su peculiar

concepcin de la alfabetizacin que excede en mucho

cartesiano como eje X los conocimientos y como eje

de ecuaciones de primer grado sean parte de un

de doble entrada y signos icnicos. Todo ello es parte

programa de alfabetizacin, pero s del plan de

los administrativos, de los informes periodsticos o

estudios de educacin secundaria.

de la sealizacin de las estaciones del Metro que

denominar el Enfoque PISA (PISA literacy approach) se

parte de las ciudades del planeta que son represen-

propone definir cada rea de evaluacin, esto es

tativas de la compleja sociedad contempornea. En

de problemas no principalmente en trminos de

las que han participado 40 pases, han estado

capacidades y destrezas minimalistas, sino en trminos

orientadas eminentemente a evaluar matemtica y

de los conocimientos y habilidades que se requieren

las pruebas PISA 2006, en las que participarn 60

compleja sociedad del siglo XXI. Este planteamiento,

EDUCACIN, Revista Semestral de la Facultad de Educacin de la UNMSM

Lo antes dicho prueba suficientemente que el enfoque

lo que sigue procederemos a exponer el aporte de los

PISA parte de los conocimientos cientficos que

tericos de las pruebas PISA en la definicin de los

constituyen la herramienta de supervivencia, desarrollo y

niveles de desempeo para la medicin de los

dominio ms potente que ha creado la cultura occidental

conocimientos y habilidades que requieren los

a partir de la racionalidad del pensamiento filosfico

escolares de 15-16 aos para afrontar con xito los

griego y de su correspondiente matemtica. Desde esta

desafos del futuro. Incluiremos tambin algunos

entrada, enrazada en la tradicin filosfica y cientfica, se

criterios especficos para orientar la construccin de