CMO EVALUAR LA COMPRENSIN LECTORA:

ALTERNATIVAS Y LIMITACIONES
MANUEL MONTANERO FERNNDEZ (*)

RESUMEN. En este trabajo se hace una exhaustiva revisin terica y emprica de los
principales enfoques y tcnicas que se han utilizado a lo largo de los ltimos aos
para evaluar las capacidades de comprensin lectora, as como sus presupuestos
implcitos y limitaciones, que hacen imprescindible un anlisis crtico de su validez.
Teniendo en cuenta el tipo de inferencias lectoras que, en la mayora de los mate-
riales analizados, se toma como criterio principal de evaluacin, se propone una cla-
sificacin que puede ser de utilidad a investigadores y profesionales a la hora de
seleccionar o confeccionar pruebas de evaluacin, as como para interpretar de un
modo ms realista sus resultados.

ABSTRACT. In this paper, we present an exhaustive theoretical and empirical review

of the main approaches and techniques used in the last few years to evaluate reading
comprehension skills, as well as implicit ideas and limitations, which need a critical
analysis of their validity. Taking into account the type of reading inferences that is
taken as the main criteria for evaluation, in most of the materials analysed, a classifi-
cation for researchers and professionals I proposed to be used when selecting or
designing evaluation materials and to interpret the results in a more realistic way.

INTRODUCCIN obtener una informacin que nos ayude a

Mejorar la comprensin lectora de los
alumnos que finalizan la educacin obliga-
toria es uno de los principales retos que
debe afrontar el sistema educativo. La eva-
luacin de esta compleja capacidad se ha
utilizado de hecho, reiteradamente, como
uno de los ndices ms discriminatorios,
que pone de relieve las diferencias educa-
tivas entre regiones y pases. Sin embargo,
se echa en falta una reflexin rigurosa sobre
la validez de los instrumentos empleados
para este objetivo, as como sobre su utili-
dad para la demanda ms importante:
individualizar la respuesta educativa para
los alumnos que no comprenden.
Las tcnicas de evaluacin ms utiliza-
das se basan en la observacin y el anlisis
de productos inferenciales, supuestamente
relacionados con los procesos cognitivos de
comprensin. Existen mltiples evidencias
acerca de la relacin entre la comprensin
lectora y la eficacia ante la demanda de infe-
rir informacin de un texto. Algunos traba-
jos recientes aportan indicios de que esta
ltima tarea no es simplemente un sntoma,
sino incluso la principal causa que explica
el nivel de comprensin que alcanzan los

(*) Universidad de Extremadura.

Revista de Educacin, nm. 335 (2004), pp. 415-427. 415

Fecha de entrada: 5-02-2003 Fecha de aceptacin: 25-06-2003
lectores (Cain y Oakhill, 1999). Normal-
mente, las inferencias se explicitan
mediante la respuesta a preguntas objetivas
o semiobjetivas, despus de la lectura de un
texto. Por el contrario, otras tcnicas ms
recientes se han centrado en la observa-
cin sistemtica en curso de la actividad
inferencial de los sujetos durante la lectura.
Finalmente, otras tareas, como la confec-
cin de resmenes, protocolos de recuerdo
o esquemas, evalan tambin otros proce-
sos verbales, ms all de lo estrictamente
inferencial.
De acuerdo con los ltimos modelos
cognitivos de la comprensin, podramos
establecer una distincin inicial entre dos
niveles de representacin sobre los que
operan todos estos procesos: la base del
texto y el modelo de la situacin. Entre las
principales operaciones cognitivas que se
suelen tomar como indicadores de la com-
prensin de la base del texto podemos
sealar: la extraccin del significado de las
palabras desconocidas a partir del contex-
to; la extraccin de la informacin esencial;
las relaciones sintcticas, semnticas o
retricas entre las ideas del texto (conexio-
nes referenciales, temporales, anafricas,
temticas, expositivas); la deteccin de
problemas de cohesin o coherencia...
Entre los indicadores relacionados con
la representacin situacional podramos
sealar las inferencias sobre la intencin
comunicativa del autor o sobre el significa-
do de recursos estilsticos y expresiones
ambiguas, las inferencias sobre la informa-
cin implcita en el texto, as como las
acciones implicadas en la utilizacin del
acerbo de conocimientos previos o, en la
solucin de las inconsistencias que [RTF
annotation: Es necesario que el autor acla-
re (para incorporar o no el pronombre se)
si son las acciones las que plantean incon-
sistencias o se establece a ttulo imperso-
nal.] plantean con respecto a la interpreta-
cin del contenido del texto.
Casi todos estos criterios han sido
explcita o implcitamente suscritos por el
416
MEC (1996) para la evaluacin psicopedag-
gica de las capacidades cognitivas implica-
das en la comprensin lectora. Algunos
tests consideran tambin las habilidades
lxicas y sublxicas que intervienen en la
segmentacin fonolgica, la discriminacin
visual de letras, palabras o pseudopalabras
o la velocidad lectora como variables de
comprensin. Sin embargo, el nfasis de la
evaluacin debe recaer en aquellos indica-
dores que permiten inducir si el lector es
capaz de desarrollar activa y estratgica-
mente operaciones para inferir significados
progresivamente ms elaborados a partir
de sus conocimientos previos. Esta infor-
macin es, de hecho, la que puede resultar
ms til para orientar la intervencin psico-
pedaggica sobre la comprensin. En lo
que sigue, vamos a exponer una revisin
ms detallada acerca de las principales
alternativas de evaluacin y cmo pueden
contribuir al anlisis de los diferentes
aspectos de la capacidad inferencial y
estratgica del lector.
EVALUACIN DE LA COMPRENSIN
LOCAL Y REFERENCIAL
La actuacin estratgica del lector comien-
za propiamente en la fase de conexin pro-
posicional que da lugar a la microestructu-
ra de la base del texto. En este proceso
nuestra memoria de trabajo debe mantener
activa una seleccin de las proposiciones
procesadas en ciclos previos para estable-
cer el hilo conductor entre las mismas.
Dicha conexin referencial debe inferirse
en tres instancias, cada una de ellas, pro-
gresivamente ms complejas.
En primer lugar, el sujeto debe inferir
una primera conexin sintctica entre las
diferentes clusulas de las oraciones. Los
esquemas proposicionales y sintcticos del
lector estipulan qu argumentos puede
admitir el predicado de cada proposicin y
permiten, por otro lado, decidir la estructu-
ra sintctica ms plausible.
 Posteriormente, el sujeto debe integrar
las nuevas proposiciones y las activadas en
la memoria operativa en cada ciclo de pro-
cesamiento. Para ello es necesario producir
inferencias referenciales ms complejas,
anafricas, temporales o causales, ayudn-
dose de ciertas sealizaciones lingsticas.
La dificultad para comprender relaciones
anafricas depende del tipo de anfora (los
pronombres demostrativos y los sustanti-
vos anafricos plantean ms dificultades),
as como de lo alejado que se encuentre el
antecedente. Otro subtipo de inferencias
referenciales, las llamadas conectivas, son
aquellas que permiten conectar una parte
temtica que se viene tratando y otra que
es comentario de la misma, es decir, lo
nuevo que se predica del tema.
PRUEBAS OBJETIVAS Y SEMIOBJETIVAS
La mayora de los instrumentos dirigidos,
explcita o implcitamente, a evaluar este
primer nivel de comprensin, se funda-
mentan en la formulacin de preguntas
objetivas o semiobjetivas, despus de la lec-
tura del texto. Se trata de preguntas breves
cuya respuesta se ofrece cerrada (acompa-
ada de distractores) o limitada a un par de
frases, que se valoran en funcin de los
anteriores criterios inferenciales.
El emparejamiento entre frases y dibu-
jos que representan diferentes estructuras
sintcticas es una de las tareas ms simples
que aparecen en el PROLEC (Cuetos, Rodr-
guez y Ruano, 1996). Para evaluar la com-
prensin referencial, el CL-4 (Alonso Tapia
y Corrales, 1994) formula preguntas dirigi-
das a detectar si el sujeto es capaz de selec-
cionar correctamente el antecedente de
una proposicin conectada referencial-
mente con otra anterior, es decir, si es
capaz de establecer una conexin anafri-
ca o causal entre ambas, durante la lectura.
Las preguntas ms habituales de este
nivel de comprensin son, no obstante, las
que demandan que el sujeto parafrasee
una oracin, con objeto de valorar si la
recuerda como parte del texto o si com-
prende la relacin entre dos proposiciones
en funcin de un esquema causal o medio-
fin ms o menos explcito. Este es el caso,
por ejemplo, de la prueba de comprensin
lectora del EVALUA (Garca Vidal y Gonzlez
Manjn, 1996), donde los alumnos de pri-
maria deben completar frases del tipo El
sendero estaba fresco porque, eligiendo
entre varios distractores sin el texto delan-
te.
La prueba de comprensin lectora de
Lzaro (1982), por su parte, incluye diver-
sas tareas en las que el sujeto debe recono-
cer entre varias oraciones (que no aparec-
an literalmente en le texto), aquella cuyo
significado se corresponde con una idea
que s est presente explcitamente. Esta
ltima demanda (sentence recognition) se
considera un buen indicador de la capaci-
dad de transcender de un nivel de com-
prensin meramente superficial del conte-
nido lingstico de un texto, aunque no se
requiera necesariamente la comprensin
global del mismo.
Finalmente, existen evidencias de que
los lectores expertos suprimen mejor y ms
rpidamente los significados irrelevantes
aprovechando la informacin semntica
que proporciona el contexto inmediato. En
este sentido, las tareas de emparejamiento
entre palabras relacionadas semnticamen-
te en el texto o las preguntas sobre el sig-
nificado de una palabra poco familiar o
ambigua, que el sujeto debe inducir a par-
tir del contexto inmediato de la propia fra-
se o del prrafo, podran considerarse tam-
bin adecuadas para valorar la capacidad
de comprensin lectora en este primer
nivel.
Las pruebas objetivas plantean, no
obstante, diversas objeciones en cuanto a
su validez para evaluar estos indicadores.
La actividad inferencial que interviene en
la comprensin del hilo conductor se
desarrolla principalmente durante la lectu-
ra del texto, por lo que resulta difcil de
417
evaluar con preguntas que se formulan una
vez terminado el proceso. As, en las pre-
guntas que algunos tests denominan litera-
les es difcil saber si se est evaluando
capacidades de comprensin o simple-
mente de recuerdo inmediato. En otros
tipos de preguntas parece difcil discrimi-
nar si el sujeto realiza las inferencias
espontneamente o si dicha actividad es
ms bien producto de la demanda que se
plantea a posteriori, al responder a la cues-
tin.
En el caso de los tests en los que el
sujeto puede acceder al texto mientras res-
ponde a las preguntas, por el contrario, las
respuestas a preguntas referenciales o
sobre informacin literal pueden realizarse
mediante simples operaciones de recono-
cimiento, por lo que su utilidad para eva-
luar la comprensin ofrece muchas dudas.
Algunas investigaciones han comprobado
por ejemplo, que los sujetos de primaria
mejoran significativamente sus resultados
en este tipo de preguntas cuando se les
permite volver a consultar el texto. Esta
ventaja se reduce, no obstante, cuando las
preguntas de la prueba hacen alusin a
informacin global o implcita (Cain y
Oakhill, 1999).
Una variante semiobjetiva que preten-
de soslayar esta limitacin, proviene del
procedimiento cloze. Se trata de ofrecer al
lector un texto mutilado (con espacios en
blanco) que el sujeto debe rellenar duran-
te la misma lectura, de manera que ste
slo ser capaz de restaurar las palabras
que faltan si utiliza de forma estratgica las
claves textuales que conducen a la repre-
sentacin del hilo conductor (Condemarin
y Milicic, 1990). La tcnica aporta la venta-
ja de posibilitar una cierta evaluacin del
proceso de la comprensin, limitando en
cierta medida la contaminacin derivada
de la capacidad de recuerdo o de las infe-
rencias ms globales que el sujeto genera
al final de la lectura. Las inferencias semn-
ticas y elaborativas que posibilitan la
jerarquizacin de las ideas del texto y la
418
conexin con los conocimientos previos
del sujeto, son difcilmente evaluables con
este procedimiento. No obstante, se han
obtenido correlaciones altas con pruebas
clsicas, como el test de Lzaro, que avalan
su validez de criterio (Artola, 1988).
Otra alternativa semiobjetiva, hasta
ahora mucho menos explorada, consiste
en disear tareas de comprensin ms o
menos estructuradas donde los sujetos
deban realizar inferencias a partir de la
informacin que obtienen de las sealiza-
ciones textuales y de su propia base de
conocimientos previos. Frecuentemente, la
presencia de algunas palabras clave, como
un pronombre, un adjetivo o un sustantivo
(sinnimos de una expresin anterior), nos
ayudan a deducir la relacin entre una idea
y su antecedente. Yuill y Oakhill (1988)
demostraron que la interpretacin de estas
palabras en textos narrativos ayuda mucho
a discriminar a los nios con problemas de
comprensin. La actividad de reordenar
un texto fragmentado permite evaluar esta
capacidad de un modo muy funcional, a la
vez que resulta extraordinariamente esti-
mulante para los alumnos. La ordenacin
de este particular rompecabezas requiere
que el lector descubra este tipo de seali-
zaciones y expresiones anafricas, reco-
nozca el hipottico antecedente, infiera el
hilo conductor y anticipe la progresin
temtica, con objeto de establecer correfe-
rencias entre los fragmentos del texto. En
un estudio reciente con una muestra de 87
chicos de 11 y 12 aos, hemos comproba-
do que, a pesar de su sencillez, la tarea dis-
crimina con cierta precisin entre buenos y
malos lectores, ofreciendo ndices de vali-
dez ms elevados que otras pruebas objetivas
estandarizadas, como el mismo PROLEC-SE. Al
mismo tiempo, el profesor puede obtener
una informacin cualitativa de gran inte-
rs para ofrecer las ayudas adecuadas al
alumno y entrenar su actividad estratgica
e inferencial (Gonzlez y Montanero,
2002).
PENSAMIENTO EN VOZ ALTA Y REGISTROS
DE OBSERVACIN
La evaluacin de proceso de la compren-
sin resulta difcil si no se tiene en cuenta
informacin cualitativa que puede obtener
el evaluador demandando inferencias con-
cretas o incluso, suministrando ayudas
para observar los comportamientos estrat-
gicos del sujeto. El anlisis de los protoco-
los orales de pensamiento en voz alta
(thinking aloud) constituye una opcin
que permite fundamentalmente valorar
inferencias referenciales durante la lectura.
El procedimiento consiste en grabar (mag-
netofnicamente o en vdeo) y analizar
posteriormente las reflexiones en voz alta
que los sujetos realizan durante la lectura
de un texto; razn por la cual algunos auto-
res consideran ms bien esta ltima tcnica
como un caso particular de autoinforme. Al
margen de las dificultades de cuantifica-
cin objetiva, propias de un procedimiento
tan poco estructurado, el mtodo presenta
otras dificultades, como son la necesidad
de un entrenamiento previo del sujeto o la
posibilidad de que el propio procedimien-
to interfiera, al realizarse simultneamente
y en condiciones de demanda excesiva, en
los procesos y estrategias que se pretenden
evaluar. Los sujetos son estimulados para
hablar acerca de la relacin de cada frase
con lo ledo anteriormente, as como para
anticipar la informacin subsiguiente, por
lo que existe tambin el riesgo de que
manifiesten ms inferencias de las que
haran en condiciones naturales. Beishui-
zen y Cols. (1999) encontraron que los
resultados de este tipo de evaluacin ape-
nas correlacionaba con las puntuaciones
obtenidas en pruebas objetivas que
demandan inferencias locales y globales,
aunque se utilicen los mismos textos. Sin
embargo, no cabe duda de que el pensa-
miento en voz alta permite vislumbrar cier-
tos procesos que los sujetos desarrollan
estratgicamente en su interaccin con el
texto.
EVALUACIN DE LA COMPRENSIN
GLOBAL Y ESTRUCTURAL
Un segundo nivel de comprensin se fun-
damenta en la actividad mental que el suje-
to desarrolla para asignar un significado
coherente de carcter global al texto ledo.
Este proceso implica, en gran medida, infe-
rencias aplazadas al final de la lectura del
texto o de sus unidades temticas, con
objeto de construir la denominada macro-
estructura del texto, es decir, una represen-
tacin mental, ms o menos jerarquizada
de las macroproposiciones del contenido
de las proposiciones (Van Dijk y Kintsch,
1983).
PRUEBAS OBJETIVAS Y SEMIOBJETIVAS
Los materiales ms utilizados para evaluar
este nivel de comprensin se basan de nue-
vo en la formulacin de preguntas que
requieren la realizacin de inferencias
sobre el significado global del texto o la dis-
tincin entre ideas jerrquicamente diferen-
tes. En algunos estudios dichas preguntas
se dirigen a suscitar la aplicacin de las cl-
sicas macrorreglas del modelo de Kintsch y
Van Dijk , supresin, generalizacin e inte-
gracin. Se trata de averiguar si el lector es
capaz de reconocer informacin redundan-
te o ideas-detalle; o bien construir una idea
ms general a partir de informacin ms
especfica, recogida en el texto. En concre-
to, la induccin de ttulos se considera
como un buen indicador de la comprensin
temtica, es decir, del significado ms glo-
bal que da sentido al texto (Len y Martn,
1993). Los distractores en las preguntas
objetivas sobre el ttulo deberan reflejar
respuestas errneas de cuatro tipos: ttulos
imprecisos, demasiado generales, demasia-
do particulares o alejados de la verdadera
temtica. Igualmente, algunas preguntas
que requieren reconocer o parafrasear una
idea esencial (sentence recognition) pue-
den tambin constituir un indicador de este
419
segundo nivel de comprensin. En algunos
tests, como la Batera SURCO o el ya citado
CL-4, se solicita explcitamente al sujeto,
que exprese o reconozca la idea principal
del texto o la informacin ms relevante
que se deduce directamente del mismo
(shadow questions).
ANLISIS DEL CONTENIDO DE RESMENES
Y PROTOCOLOS DE RECUERDO
El anlisis de contenido de productos de la
actividad inferencial es una de las modali-
dades de evaluacin ms utilizada en los
trabajos de investigacin sobre compren-
sin de textos. Las tcnicas ms habituales
se basan en el anlisis de resmenes y pro-
tocolos de recuerdo libre, inmediato o
demorado. El objetivo principal es evaluar
el producto de la representacin semntica
generada por el sujeto, utilizando diversos
mtodos de anlisis del contenido proposi-
cional del resumen que elabora, sin tener
acceso al texto que se ley. Algunos de
estos mtodos se encuentran altamente for-
malizados, de modo que permiten estable-
cer comparaciones cuantitativas con la
representacin proposicional del conteni-
do original. Para ello, es necesario fraccio-
nar los protocolos en unidades proposicio-
nales, de modo que se puedan comparar
con un texto-modelo, aunque tengan una
expresin lingstica diferente. El mtodo
de (Bovair y Kieras, 1985) y, sobre todo, el
de (Meyer, 1985) son los ms conocidos.
El primero se basa en la aplicacin de
algoritmos basados en el modelo ya refe-
renciado de Kintsch y Van Dijk. La regla
fundamental para reconocer en un proto-
colo una proposicin del texto original es
que aparezca el predicado de dicha propo-
sicin ms uno de sus argumentos (tenien-
do en cuenta la sinonimia y que el sentido
general de la expresin tenga sentido). El
mtodo, sin embargo, tiene la limitacin de
no reflejar el establecimiento de niveles
jerrquicos entre las proposiciones.
420
Meyer, por el contrario, distingue entre
relaciones retricas y lxicas. Las primeras
se basan en la taxonoma de superestructu-
ras propuesta por la autora, mientras que
las segundas se inspiran en la gramtica de
casos de (Fillmore, 1968). Sobre este anli-
sis, se pueden realizar hasta nueve tipos de
medida: recuerdo reproductivo, recuerdo
sustantivo de los contenidos tpicos, rela-
ciones de rol, predicados lxicos, predica-
dos retricos, unidades de contenido que
no estaban en el texto, relaciones lgicas
que no estaban en el texto, confusiones
intratextuales y puntuaciones de la estruc-
tura de alto nivel. Este tipo de evaluacin
aporta una interesante informacin, tanto
cuantitativa como cualitativa, sobre la acti-
vidad estratgica e inferencial que lleva al
sujeto a reconstruir en un protocolo de
resumen (con recuerdo inmediato o demo-
rado) el significado original del texto.
Como contrapartida debemos citar la con-
siderable complejidad del procedimiento,
que repercute en su fiabilidad. Por ello
muchos investigadores han optado por uti-
lizar mtodos mucho ms simplificados y
con criterios de puntuacin menos estric-
tos.
En este mismo sentido, para simplificar
la valoracin de resmenes en tareas de
recuerdo inmediato, (Snchez, 1989) utili-
z un sencillo mtodo de anlisis cualitati-
vo, que ha sido posteriormente replicado
en sucesivas investigaciones. Los criterios
de categorizacin del resumen pretenden
evaluar la utilizacin de estrategias semn-
ticas de forma eficiente con textos breves,
de carcter expositivo. La categora C
(correcto) se asigna slo a los resmenes
que reflejan con precisin y de forma eco-
nmica las macroproposiciones ms
importantes. La categora A (abstraccin)
incluye las respuestas que incorporan el
significado global del texto pero no las
caractersticas de precisin y economa. Se
puntan as resmenes que incluyen ideas
demasiado generales o que presenten
demasiados detalles que podran haber
sido sustituidos por proposiciones ms
generales. En las categoras D (detalle) y S
(secuencia) el resumen estara construido a
partir de uno de los detalles del prrafo,
con prdida de informacin relevante, o
como un simple listado de los mismos.
ANLISIS DEL CONTENIDO DE ESQUEMAS
Y GRFICOS
La mayora de los anteriores mtodos pue-
den adaptarse para evaluar la comprensin
de textos narrativos o expositivos. Otro
tipo de tareas, como la clasificacin y jerar-
quizacin de conceptos (shorting of con-
cepts) o la construccin de un esquema
que organice grficamente las ideas del
texto, se centran en cambio, en evaluar el
uso de estrategias semnticas y estructura-
les con textos de naturaleza expositiva.
Uno de los principales antecedente
puede verse en el diseo y evaluacin de
mapas conceptuales (Novak y Gowin,
1984). La construccin de mapas puede
constituir en este caso un mtodo para
valorar cmo los sujetos representan la
macroestructura de textos expositivos.
Adems de una valoracin cualitativa, la
cuantificacin puede hacerse teniendo en
cuenta tres criterios: la cantidad y calidad
de las relaciones jerrquicas que el alumno
ha sido capaz de elaborar, comparndolo
con un mapa-modelo; el nmero de nive-
les de la representacin jerrquica (los
mapas excesivamente horizontales suelen
revelar una clara dificultad para emplear
estrategias semnticas de alto nivel); y el
nmero de nexos transversales que repre-
senten las relaciones semnticas entre dife-
rentes ramas de conceptos.
En diversas investigaciones Alonso
Tapia y han utilizado una alternativa ms
simplificada que consiste en solicitar a los
sujetos que elijan el grfico ms adecuado
entre varias opciones que representan las
ideas conectadas por flechas. Sin embargo,
esta opcin no permite discriminar si el
alumno es capaz de generar, o simplemen-
te reconocer, la organizacin retrica del
texto (especialmente si no se controla el
sesgo del azar).
Una alternativa, semejante al procedi-
miento cloze para este segundo nivel de
comprensin, consiste en ofrecer un
esquema mutilado que el sujeto debe relle-
nar con conceptos de un texto descriptivo
(Ramos y Cuetos, 1999). De esta manera, se
puede cuantificar si el sujeto es capaz de
utilizar las claves jerrquicas del esquema
para recordar y clasificar la informacin
esencial que conforma la macroestructura
del texto.
Sin embargo, hay que resear que nin-
guna de estas opciones evalan realmente
la capacidad del sujeto para reconocer o
transformar la superestructura retrica que
vincula dichas ideas, ms all de relaciones
estrictamente semnticas que caracterizan
a los textos descriptivos. Una tarea mucho
ms exigente en este sentido consiste en
ofrecer un esquema, un diagrama o un cua-
dro sinptico vaco, de manera que el suje-
to seleccione y rellene uno de ellos con un
listado de las ideas de un texto acadmico.
El procedimiento ofrece la posibilidad de
conseguir informacin cuantitativa o cuali-
tativa. Para cuantificar la capacidad del
sujeto para representar la organizacin de
las ideas del texto basta con contabilizar el
nmero de relaciones descriptivas, compa-
rativas o lgico-causales que el sujeto es
capaz de reflejar grficamente. Este tipo de
tareas presenta, no obstante, el riesgo de
resultar poco discriminatoria debido a su
elevada dificultad, como se ha demostrado
en algunas investigaciones recientes (Mon-
tanero, 2002).
EVALUACIN DE LA COMPRENSIN
PRAGMTICA Y ELABORATIVA
El proceso de comprensin no se agota ni
mucho menos en la representacin mental
de la base del texto. En paralelo, el lector
421
enriquece todas estas representaciones a
partir de su acerbo experiencial. Este tercer
nivel lleva por tanto aparejado una dimen-
sin pragmtica y situacional: la construc-
cin de todo un mundo ms all del texto
en s, en el que se recogen las inferencias e
incluso las vivencias, que el lector activa
para interpretar la nueva informacin.
Algunas inferencias causales o intenciona-
les que permiten conectar localmente dos
proposiciones pueden considerarse tam-
bin como elaborativas. Sin embargo, las
inferencias ms representativas de los nive-
les profundos de la comprensin (al menos
en los textos expositivos) seran aquellas
que operan sobre representaciones semn-
ticas ms globales al final de la lectura.
PRUEBAS OBJETIVAS Y SEMIOBJETIVAS
La comprensin pragmtica se relaciona en
parte con la capacidad de articular enun-
ciados en unidades lingsticas muy
amplias, propias de diferentes superes-
tructuras y gneros textuales. Esta capaci-
dad comienza a desarrollarse desde los 5
6 aos, cuando algunos nios son ya capa-
ces de identificar un tipo de texto o detec-
tar contradicciones que afectan a su com-
prensin. De nuevo, la alternativa ms uti-
lizada se corresponde con materiales que
recogen preguntas breves, formuladas con
posterioridad a la lectura. Algunos tests
presentan tems acerca del gnero del
documento, las intenciones comunicativas
o los recursos estilsticos del autor en dife-
rentes tipos de textos. En los textos de
gnero no expositivo (narrativos, descripti-
vos, periodsticos o literarios) las preguntas
suelen centrarse adems en clarificar el
escenario situacional en que transcurre la
accin o las intenciones ms o menos
implcitas de los personajes; inferencias
que resultan realmente difciles de extrapo-
lar de la actividad que hemos descrito en
los niveles anteriores de comprensin.
Otras preguntas ms profundas pueden
422
incluso solicitar la interpretacin de una
metfora o la moraleja de un suceso (va-
se, por ejemplo, Lzaro, 1982). Este tipo de
inferencias discriminan bastante bien la
capacidad del lector para utilizar sus cono-
cimientos previos y razonar sobre el conte-
nido implcito del texto.
En los pasajes expositivos no es tan
difcil deslindar la evaluacin de las capaci-
dades que intervienen en la construccin
de un modelo situacional de aquellas que
posibilitan la representacin de la base del
texto. Las preguntas de comprensin pro-
funda que requieren la participacin de
conocimientos temticos (deep questions)
o conectar informacin implcita ms o
menos alejadas en el texto-base (bridging
inference question), son las tareas ms
representativas de este nivel. Todas ellas
tienen en comn la necesidad de desplegar
inferencias elaborativas ms all del texto-
base. Algunos trabajos recientes estn
basados en diversos tipos de preguntas con
esta orientacin, (Orrantia y cols., 1998),
por ejemplo, utilizaron preguntas creati-
vas para evaluar el uso personal de la
informacin en la construccin de modelos
situacionales ms all del contenido expl-
cito del texto. Se demandaban esencial-
mente respuestas explicativas, que requi-
sieran desentraar la trama causal de un
fenmeno. La evaluacin de inferencias
referenciales, semnticas o estructurales no
tiene por qu ser redundante con este tipo
de cuestiones. En principio, para reconocer
la relacin causal entre dos eventos es sufi-
ciente con delimitar las causas y las conse-
cuencias a partir de la representacin
semntica de la base del texto, sin que ello
presuponga que se comprende por qu
esas causas generan esos efectos. La llama-
da trampa narrativa (Duthie, 1987) es una
de los principales riesgos en este sentido,
al menos para un tipo de evaluacin que
pretenda abordar las comprensin profun-
da de textos expositivos.
En uno de los estudios anteriores
hemos desarrollado tambin una propues-
ta para operativizar este tipo de preguntas
en funcin de la estructura organizativa de
textos (Montanero y cols., 2002). En un tex-
to causal las preguntas deberan solicitar
informacin implcita acerca del nexo, las
acciones o condiciones intermedias que
permiten explicar por qu un determinado
episodio puede considerarse un factor
explicativo de otro suceso. Los sujetos que
alcancen un nivel ms profundo en la com-
prensin de un texto expositivo, deberan
ser capaces de inferir o justificar los crite-
rios que permiten vincular las caractersti-
cas de diversos conceptos entre s; as
como las decisiones que justifican que una
determinada respuesta se presente como
posible solucin a un problema si el texto
presenta ms bien una estructura procedi-
mental. Cuando se trata de un texto argu-
mental, finalmente, el lector debera poder
inferir por qu unas razones fundamentan
determinadas deducciones o en qu medi-
da, las razones expuestas apoyan la con-
clusin a la que llega el autor (explorando
por ejemplo, si se han tenido en cuenta los
contraargumentos que apoyan otras deci-
siones o posiciones diferentes).
Este ltimo tipo de cuestiones se
corresponde en cierto modo con las tareas
de anlisis crtico que sirvieron de base
para la evaluacin de diversas capacidades
de comprensin lectora en el conocido
macroestudio del INCE (1998). En el diseo
de la investigacin se intent en concreto
discriminar entre inferencias que permiten
comprender el significado literal del texto
y las que se dirigen a obtener una interpre-
tacin personal o realizar un anlisis crti-
co. Las primeras son asimilables a la cons-
truccin de lo que hemos denominado tex-
to-base: inferencia del significado de las
palabras en su contexto, establecimiento
de conexiones referenciales y compren-
sin global a travs de la identificacin del
tema y la distincin entre la idea principal
y las secundarias. Los dos grupos de pre-
guntas restantes se refieren ya a inferencias
que supuestamente reflejaran los niveles
ms profundos de comprensin. Para res-
ponder correctamente las preguntas de
interpretacin personal en textos narrati-
vos se preguntaba sobre la identificacin
de personajes protagonistas y secundarios,
ordenacin temporal En el anlisis crti-
co, se debe determinar la funcin del texto
y la intencin del autor; clarificar la opi-
nin, la irona, la ambigedad o la falacia;
y valorar la lnea argumental de contenidos
implicativos. Este ltimo tipo de preguntas
se contestaban en presencia de textos
informativos, categora a la que son asimi-
lables tanto los periodsticos como el resto
de los expositivos de carcter acadmico.
Por ltimo, hay que sealar que el
hecho de que el sujeto pueda releer o no el
texto, mientras responde a estas preguntas,
no condicionara tanto los resultados como
en la evaluacin del primer nivel referen-
cial. Como hemos tenido ocasin de com-
probar con una muestra de alumnos de la
ESO, las diferencias resultantes de respon-
der con o sin el texto delante no resultan
significativas (Montanero, 2000). Por su
parte, (Cain y Oakhill, 1999) constataron
que los alumnos de primaria mejoran rela-
tivamente poco, ante preguntas sobre
informacin implcita cuando se les da la
oportunidad de revisar el texto ledo. Ade-
ms, las diferencias entre buenos y malos
lectores se mantienen prcticamente cons-
tantes.
PENSAMIENTO EN VOZ ALTA Y TAREAS
DE SOLUCIN DE PROBLEMAS CON TEXTOS
INCONSISTENTES
En los niveles ms profundos de la com-
prensin, las relaciones que los lectores
deben establecer entre las ideas, tienen un
carcter global: abarcan segmentos ms
amplios de informacin y una participa-
cin mayor de conocimientos previos. No
es de extraar, por tanto, que cuando intro-
ducimos informacin contradictoria en un
texto, los chicos que no comprenden bien,
423
manifiesten muchos ms problemas, no
slo para resolverlas, sino incluso para
detectarlas. Este tipo de evaluacin se basa
en confeccionar textos que presenten afir-
maciones contradictorias entre s (inconsis-
tencias internas) o con respecto a los cono-
cimientos previos que sabemos que tiene
el sujeto (inconsistencias externas). La tc-
nica no se recoge en ninguna de las prue-
bas estandarizadas que hemos analizado.
El procedimiento de preguntas abiertas
(semiobjetivas), y sobre todo el autoinfor-
me oral de los sujetos durante la lectura,
son probablemente los que mejor se adap-
tan a este recurso.
EVALUACIN DE ESTRATEGIAS
DE REGULACIN METACOGNITIVA
Y APOYO A LA COMPRENSIN
DE TEXTOS EXPOSITIVOS
Para terminar puede ser oportuno conside-
rar un ltimo mbito de evaluacin que tie-
ne una relacin indirecta con la compren-
sin de textos acadmicos. Se trata de la
evaluacin del uso de estrategias de apoyo
al estudio, es decir, de las actividades rela-
cionadas con la preparacin psicofsica, el
control de estimular la planificacin de
intervalos de estudio, etc., que los estudian-
tes deberan realizar a partir de secundaria.
Estas estrategias tienen un efecto particular
sobre las capacidades de atencin sosteni-
da que intervienen en la comprensin de
texto expositivos. Las tcnicas utilizadas
para su evaluacin son sensiblemente dife-
rentes a las analizadas hasta ahora. Estn
sobre todo basadas en mtodos de autoin-
forme, donde los sujetos proporcionan
informacin sobre sus hbitos de estudio a
partir de una serie de preguntas.
AUTOINFORMES
Desde los aos setenta han proliferado
mltiples cuestionarios e inventarios estan-
424
darizados que presentan un listado de acti-
vidades, generalmente relacionadas con
tareas escolares, sobre las que el sujeto
debe afirmar o negar (y en algunos casos
cuantificar) su uso. Casi todos introducen
adems tems dirigidos, no slo a evaluar
estrategias de apoyo, sino tambin la utili-
zacin de algunas de las estrategias prima-
rias de carcter metacognitivo y tcnicas
de estudio de textos expositivos. El proble-
ma reside en que algunos componentes
que posibilitan el desarrollo de estas estra-
tegias metacognitivas estn en parte auto-
matizados, y en consecuencia, no son
conscientes o al menos no directamente
accesibles a la propia observacin del suje-
to. Adems, la naturaleza claramente
retrospectiva de estos cuestionarios conta-
mina la objetividad de las supuestas valora-
ciones de quien cumplimenta el cuestiona-
rio (aunque estn previstos tems residua-
les como parte de una escala de sinceri-
dad). En suma, las preguntas directamente
dirigidas a evaluar si el individuo aplica
estrategias de comprensin constituyen un
porcentaje minoritario y difcilmente per-
miten discriminar entre una utilizacin
mecnica de tcnicas de estudio y la coor-
dinacin estratgica de operaciones menta-
les que posibilitan su eficacia.
REGISTROS DE OBSERVACIN
Los mtodos de observacin constituyen de
nuevo una interesante alternativa para eva-
luar los procesos metacognitivos que inter-
vienen en la comprensin de un texto. Un
ejemplo caracterstico de observacin direc-
ta se recoge en el experimento de (Garner,
Wagoner y Smith, 1983), en el que se pidi
a dos grupos de alumnos de diferente capa-
cidad, que explicara a otros compaeros, el
mejor mtodo para comprender un texto.
La informacin se grab y analiz poste-
riormente. Sin embargo, al menos en este
caso, difcilmente dicha valoracin podra ir
ms all del conocimiento declarativo de
 CUADRO I
Indicadores, instrumentos y materiales para evaluar la comprensin

los sujetos, por lo que una vez ms la tc-
nica resulta limitada para valorar ciertos
conocimientos estratgicos que los sujetos
utilizan realmente durante el estudio de un
texto. Esta limitacin es ms clara si cabe
en el caso de la observacin indirecta a tra-
vs de escalas de apreciacin de allegados,
muy extendida en la evaluacin psicopeda-
ggica de los alumnos con necesidades
especiales, en las que el profesor debe
aportar esta informacin a partir de una
valoracin retrospectiva y generalmente
poco sistemtica.
En conclusin, la panormica actual
sobre la evaluacin de la comprensin lec-
tora ofrece una amplia diversidad de tcni-
cas e instrumentos, que se sintetizan en el
cuadro I. La mayora de ellas tienen, como
denominador comn, el empeo en anali-
zar la actividad estratgica e inferencial
durante la lectura como principal indicador
del nivel de comprensin que alcanza el

425
sujeto. A menudo, sin embargo, dichos cri-
terios se manejan sin una reflexin previa
sobre los presupuestos tericos que los jus-
tifican. Esta limitacin afecta particular-
mente a la evaluacin de la comprensin
profunda de textos expositivos en la Edu-
cacin Secundaria, donde los lectores tie-
nen que poner en juego capacidades y
conocimientos sensiblemente diferentes a
los que se necesitan en otro tipo de textos.
Un requisito que hemos tratado de funda-
mentar, en este sentido, consiste en tratar
de discriminar entre las capacidades que
intervienen en diferentes niveles de com-
prensin e incluso entre textos de diferen-
te gnero. Por otro lado, es necesario dedi-
car ms investigacin a los procedimientos
y anlisis cualitativos que, como hemos vis-
to, pueden resultar de tanta o mayor utili-
dad para orientar una intervencin psico-
pedaggica efectiva.
BIBLIOGRAFA
ALONSO TAPIA, J. y CARRIEDO, N.: Leer, com-
prender y pensar: desarrollo de estrate-
gias y tcnicas de evaluacin. Madrid,
Servicio de publicaciones del MEC-CIDE,
1992.
Problemas de comprensin lectora:
evaluacin e intervencin, en C.
Monereo, I. Sol (coord.), El asesora-
miento psicopedaggico: una perspecti-
va pr ofesional y constructivista.
Madrid, Alianza, 1996.
ALONSO TAPIA, J. y CORRAL, C.: Evaluacin de
la comprensin lectora al trmino de la
ESO Test CL-4. Madrid, UAM, 1994.
ARTOLA, T.: El procedimiento cloze como
medida procesual de comprensin lec-
tora, en Revista espaola de Pedago-
ga, 180 (1988), pp. 323-334.
BAEZA, M.: Inventario de mtodos de estu-
dio. Madrid, Min, 1979.
BOVAIR, S. y KIEBAS, D. E.: A guide to pro-
positional analysis for research on
technical prose, en B. K. Britton y J. B.
426
Black (comps.), Understanding exposi-
tory text. Hillsdale, LEA, 1985.
CAIN, K. y OAKHILL, J. V.: Inference making
ability and its relation to comprehen-
sion failure in young children, en Rea-
ding and Writing, 11 (1999), pp. 489-
503.
CARRIEDO, N. y ALONSO TAPIA, J.: Cmo
ensear a compr ender un texto?
Madrid, ICE de la Universidad Autno-
ma, 1995.
CONDEMARIN, M. y MILICIC, N.: Test de Cloze.
Aplicaciones psicopedaggicas.
Madrid, Visor, 1990.
CUETOS, F., RODRGUEZ, B. y RUANO, E. (PRO-
LEC): Evaluacin de los procesos lecto-
res. Madrid, TEA, 1996.
DUTHIE, J.: The Web: a powerful tool for
teaching and evaluation of the exposi-
tory essay, en The history social scien-
ce teacher, 21 (1986), pp. 232-236.
FILLMORE, C. J.: The case for case, en E.
Bach, y R. T. Harms (eds.), Universals
in linguistic theory. Chicago, Holt,
Rinehart and Winston, 1968.
GARCA VIDAL, J. y GONZLEZ MANJN, D.: EVA-
LUA-4. Madrid, EOS, 1996.
GARNER, R.; WAGONER, S. y SMITH, T.: Exter-
nalizing question answering of poor
and good comprehender, en Reading
Research Quaterly, 18 (1983), pp. 437-
439.
GONZLEZ, L. y MONTANERO, M.: Evaluacin
y entrenamiento de la comprensin
lectora mediante textos desordenados.
Dos estudios preliminares en el tercer
ciclo de primaria. Memoria de investi-
gacin no publicada. Universidad de
Extremadura, 2002.
INCE: Los resultados escolares. Diagnstico
del sistema educativo. 1997. Madrid,
MEC, 1998.
LZARO, A.: Prueba de comprensin lectora.
Madrid, TEA, 1982.
LEN, J. A. y MARTN, A.: El ttulo como
recurso didctico, en Comunicacin,
lenguaje y educacin, 19-20 (1993),
pp. 159-170.
MEC:La evaluacin psicopedaggica: Mode-
l o , o r i e n t a c i o n e s , i n s t r u m e n t o s.
Madrid, MEC, 1996.
MEYER, B. J. F.: Prose analysis. puposes,
procedures, and problems, en K. Brit-
ton y J. B. Black (Eds), Understanding
expository text. Hillsdale, LEA, 1985.
MONTANERO, M.: La instruccin de estrate-
gias de comprensin en el mbito socio-
lingstico del segundo ciclo de la ESO.
Una propuesta didctica para ensear
a comprender desde el currculo. Tesis
doctoral no publicada, Universidad de
Extremadura, 2000.
MONTANERO, M., BLZQUEZ, F. y LEN, J. A.:
Enfoques de intervencin psicopeda-
ggica para la mejora de las capacida-
des de comprensin en la Educacin
Secundaria, en Infancia y aprendiza-
je, 25 (2002), pp. 37-52.
NOVAK, J. D. y GOWIN, D. B.: Aprendiendo a
aprender. Barcelona, Martnez Roca,
1988.
ORRANTIA, J.; ROSALES, J. y SNCHEZ, E.: La
enseanza de estrategias para identifi-
car y reducir la informacin importante
de un texto. Consecuencias para la
construccin del modelo de la situa-
cin, en Infancia y aprendizaje, 83
(1998), pp. 29-57 .
POZAR, F. F.: Inventario de hbitos de estu-
dio. Madrid, TEA, 1972.
PRESSLEY, M. y AFFLERBACH, P.: Verbal proto-
cols of reading. Hillsdale, N. J, Erl-
baum, 1995.
RAMOS, J. L. y CUETOS, F.: Evaluacin de pro-
cesos lectores. PROLEC-SE. Madrid, TEA,
1999.
ROMN, J. M. y GALLEGO, S.: ACRA. Madrid,
TEA, 1994.
SNCHEZ, E.: Procedimientos para instruir
en la compr ensin de los textos.
Madrid, CIDE, 1989.
VAN DIJK, T. A. y KINTSCH, W.: Strategies of
discourse comprehension. New York,
Academic Press, 1983.
VIZCARRO, C.: Development of an inven-
tory to mesure learning strategies, en
M. Birembaum y F. Dochy (eds.), Alter-
natives in assessment of achivements
learning processes and prior knowled-
ge. Boston, Kluwer Academic Press,
1996.
WEINSTEIN, C.; GOEZTS, E. T. y ALEXANDER, P.
A.: Learning and study strategies,
issues in assessment, instruction and
evaluation. New York, Academic
Press, 1983.
YUILL, N. y OAKHILL, J. V.: Understanding of
anaphoric relatins in skilled and less-
skilled comprehenders, en British
Journal of Psychology, 79 (1988), pp.
173-186.
427