CMO EVALUAR LA COMPRENSIN LECTORA: ALTERNATIVAS Y LIMITACIONES

MANUEL MONTANERO FERNNDEZ (*) RESUMEN. En este trabajo se hace una exhaustiva revisin terica y emprica de los principales enfoques y tcnicas que se han utilizado a lo largo de los ltimos aos para evaluar las capacidades de comprensin lectora, as como sus presupuestos implcitos y limitaciones, que hacen imprescindible un anlisis crtico de su validez. Teniendo en cuenta el tipo de inferencias lectoras que, en la mayora de los materiales analizados, se toma como criterio principal de evaluacin, se propone una clasificacin que puede ser de utilidad a investigadores y profesionales a la hora de seleccionar o confeccionar pruebas de evaluacin, as como para interpretar de un modo ms realista sus resultados. ABSTRACT. In this paper, we present an exhaustive theoretical and empirical review of the main approaches and techniques used in the last few years to evaluate reading comprehension skills, as well as implicit ideas and limitations, which need a critical analysis of their validity. Taking into account the type of reading inferences that is taken as the main criteria for evaluation, in most of the materials analysed, a classification for researchers and professionals I proposed to be used when selecting or designing evaluation materials and to interpret the results in a more realistic way.

INTRODUCCIN Mejorar la comprensin lectora de los alumnos que finalizan la educacin obligatoria es uno de los principales retos que debe afrontar el sistema educativo. La evaluacin de esta compleja capacidad se ha utilizado de hecho, reiteradamente, como uno de los ndices ms discriminatorios, que pone de relieve las diferencias educativas entre regiones y pases. Sin embargo, se echa en falta una reflexin rigurosa sobre la validez de los instrumentos empleados para este objetivo, as como sobre su utilidad para la demanda ms importante:
(*) Universidad de Extremadura. Revista de Educacin, nm. 335 (2004), pp. 415-427. Fecha de entrada: 5-02-2003

obtener una informacin que nos ayude a individualizar la respuesta educativa para los alumnos que no comprenden. Las tcnicas de evaluacin ms utilizadas se basan en la observacin y el anlisis de productos inferenciales, supuestamente relacionados con los procesos cognitivos de comprensin. Existen mltiples evidencias acerca de la relacin entre la comprensin lectora y la eficacia ante la demanda de inferir informacin de un texto. Algunos trabajos recientes aportan indicios de que esta ltima tarea no es simplemente un sntoma, sino incluso la principal causa que explica el nivel de comprensin que alcanzan los

415
Fecha de aceptacin: 25-06-2003

lectores (Cain y Oakhill, 1999). Normalmente, las inferencias se explicitan mediante la respuesta a preguntas objetivas o semiobjetivas, despus de la lectura de un texto. Por el contrario, otras tcnicas ms recientes se han centrado en la observacin sistemtica en curso de la actividad inferencial de los sujetos durante la lectura. Finalmente, otras tareas, como la confeccin de resmenes, protocolos de recuerdo o esquemas, evalan tambin otros procesos verbales, ms all de lo estrictamente inferencial. De acuerdo con los ltimos modelos cognitivos de la comprensin, podramos establecer una distincin inicial entre dos niveles de representacin sobre los que operan todos estos procesos: la base del texto y el modelo de la situacin. Entre las principales operaciones cognitivas que se suelen tomar como indicadores de la comprensin de la base del texto podemos sealar: la extraccin del significado de las palabras desconocidas a partir del contexto; la extraccin de la informacin esencial; las relaciones sintcticas, semnticas o retricas entre las ideas del texto (conexiones referenciales, temporales, anafricas, temticas, expositivas); la deteccin de problemas de cohesin o coherencia... Entre los indicadores relacionados con la representacin situacional podramos sealar las inferencias sobre la intencin comunicativa del autor o sobre el significado de recursos estilsticos y expresiones ambiguas, las inferencias sobre la informacin implcita en el texto, as como las acciones implicadas en la utilizacin del acerbo de conocimientos previos o, en la solucin de las inconsistencias que [RTF annotation: Es necesario que el autor aclare (para incorporar o no el pronombre se) si son las acciones las que plantean inconsistencias o se establece a ttulo impersonal.] plantean con respecto a la interpretacin del contenido del texto. Casi todos estos criterios han sido explcita o implcitamente suscritos por el 416

MEC (1996) para la evaluacin psicopedaggica de las capacidades cognitivas implicadas en la comprensin lectora. Algunos tests consideran tambin las habilidades lxicas y sublxicas que intervienen en la segmentacin fonolgica, la discriminacin visual de letras, palabras o pseudopalabras o la velocidad lectora como variables de comprensin. Sin embargo, el nfasis de la evaluacin debe recaer en aquellos indicadores que permiten inducir si el lector es capaz de desarrollar activa y estratgicamente operaciones para inferir significados progresivamente ms elaborados a partir de sus conocimientos previos. Esta informacin es, de hecho, la que puede resultar ms til para orientar la intervencin psicopedaggica sobre la comprensin. En lo que sigue, vamos a exponer una revisin ms detallada acerca de las principales alternativas de evaluacin y cmo pueden contribuir al anlisis de los diferentes aspectos de la capacidad inferencial y estratgica del lector.

EVALUACIN DE LA COMPRENSIN LOCAL Y REFERENCIAL La actuacin estratgica del lector comienza propiamente en la fase de conexin proposicional que da lugar a la microestructura de la base del texto. En este proceso nuestra memoria de trabajo debe mantener activa una seleccin de las proposiciones procesadas en ciclos previos para establecer el hilo conductor entre las mismas. Dicha conexin referencial debe inferirse en tres instancias, cada una de ellas, progresivamente ms complejas. En primer lugar, el sujeto debe inferir una primera conexin sintctica entre las diferentes clusulas de las oraciones. Los esquemas proposicionales y sintcticos del lector estipulan qu argumentos puede admitir el predicado de cada proposicin y permiten, por otro lado, decidir la estructura sintctica ms plausible.

Posteriormente, el sujeto debe integrar las nuevas proposiciones y las activadas en la memoria operativa en cada ciclo de procesamiento. Para ello es necesario producir inferencias referenciales ms complejas, anafricas, temporales o causales, ayudndose de ciertas sealizaciones lingsticas. La dificultad para comprender relaciones anafricas depende del tipo de anfora (los pronombres demostrativos y los sustantivos anafricos plantean ms dificultades), as como de lo alejado que se encuentre el antecedente. Otro subtipo de inferencias referenciales, las llamadas conectivas, son aquellas que permiten conectar una parte temtica que se viene tratando y otra que es comentario de la misma, es decir, lo nuevo que se predica del tema. PRUEBAS OBJETIVAS Y SEMIOBJETIVAS La mayora de los instrumentos dirigidos, explcita o implcitamente, a evaluar este primer nivel de comprensin, se fundamentan en la formulacin de preguntas objetivas o semiobjetivas, despus de la lectura del texto. Se trata de preguntas breves cuya respuesta se ofrece cerrada (acompaada de distractores) o limitada a un par de frases, que se valoran en funcin de los anteriores criterios inferenciales. El emparejamiento entre frases y dibujos que representan diferentes estructuras sintcticas es una de las tareas ms simples que aparecen en el PROLEC (Cuetos, Rodrguez y Ruano, 1996). Para evaluar la comprensin referencial, el CL-4 (Alonso Tapia y Corrales, 1994) formula preguntas dirigidas a detectar si el sujeto es capaz de seleccionar correctamente el antecedente de una proposicin conectada referencialmente con otra anterior, es decir, si es capaz de establecer una conexin anafrica o causal entre ambas, durante la lectura. Las preguntas ms habituales de este nivel de comprensin son, no obstante, las que demandan que el sujeto parafrasee

una oracin, con objeto de valorar si la recuerda como parte del texto o si comprende la relacin entre dos proposiciones en funcin de un esquema causal o mediofin ms o menos explcito. Este es el caso, por ejemplo, de la prueba de comprensin lectora del EVALUA (Garca Vidal y Gonzlez Manjn, 1996), donde los alumnos de primaria deben completar frases del tipo El sendero estaba fresco porque, eligiendo entre varios distractores sin el texto delante. La prueba de comprensin lectora de Lzaro (1982), por su parte, incluye diversas tareas en las que el sujeto debe reconocer entre varias oraciones (que no aparecan literalmente en le texto), aquella cuyo significado se corresponde con una idea que s est presente explcitamente. Esta ltima demanda (sentence recognition) se considera un buen indicador de la capacidad de transcender de un nivel de comprensin meramente superficial del contenido lingstico de un texto, aunque no se requiera necesariamente la comprensin global del mismo. Finalmente, existen evidencias de que los lectores expertos suprimen mejor y ms rpidamente los significados irrelevantes aprovechando la informacin semntica que proporciona el contexto inmediato. En este sentido, las tareas de emparejamiento entre palabras relacionadas semnticamente en el texto o las preguntas sobre el significado de una palabra poco familiar o ambigua, que el sujeto debe inducir a partir del contexto inmediato de la propia frase o del prrafo, podran considerarse tambin adecuadas para valorar la capacidad de comprensin lectora en este primer nivel. Las pruebas objetivas plantean, no obstante, diversas objeciones en cuanto a su validez para evaluar estos indicadores. La actividad inferencial que interviene en la comprensin del hilo conductor se desarrolla principalmente durante la lectura del texto, por lo que resulta difcil de 417

evaluar con preguntas que se formulan una vez terminado el proceso. As, en las preguntas que algunos tests denominan literales es difcil saber si se est evaluando capacidades de comprensin o simplemente de recuerdo inmediato. En otros tipos de preguntas parece difcil discriminar si el sujeto realiza las inferencias espontneamente o si dicha actividad es ms bien producto de la demanda que se plantea a posteriori, al responder a la cuestin. En el caso de los tests en los que el sujeto puede acceder al texto mientras responde a las preguntas, por el contrario, las respuestas a preguntas referenciales o sobre informacin literal pueden realizarse mediante simples operaciones de reconocimiento, por lo que su utilidad para evaluar la comprensin ofrece muchas dudas. Algunas investigaciones han comprobado por ejemplo, que los sujetos de primaria mejoran significativamente sus resultados en este tipo de preguntas cuando se les permite volver a consultar el texto. Esta ventaja se reduce, no obstante, cuando las preguntas de la prueba hacen alusin a informacin global o implcita (Cain y Oakhill, 1999). Una variante semiobjetiva que pretende soslayar esta limitacin, proviene del procedimiento cloze. Se trata de ofrecer al lector un texto mutilado (con espacios en blanco) que el sujeto debe rellenar durante la misma lectura, de manera que ste slo ser capaz de restaurar las palabras que faltan si utiliza de forma estratgica las claves textuales que conducen a la representacin del hilo conductor (Condemarin y Milicic, 1990). La tcnica aporta la ventaja de posibilitar una cierta evaluacin del proceso de la comprensin, limitando en cierta medida la contaminacin derivada de la capacidad de recuerdo o de las inferencias ms globales que el sujeto genera al final de la lectura. Las inferencias semnticas y elaborativas que posibilitan la jerarquizacin de las ideas del texto y la 418

conexin con los conocimientos previos del sujeto, son difcilmente evaluables con este procedimiento. No obstante, se han obtenido correlaciones altas con pruebas clsicas, como el test de Lzaro, que avalan su validez de criterio (Artola, 1988). Otra alternativa semiobjetiva, hasta ahora mucho menos explorada, consiste en disear tareas de comprensin ms o menos estructuradas donde los sujetos deban realizar inferencias a partir de la informacin que obtienen de las sealizaciones textuales y de su propia base de conocimientos previos. Frecuentemente, la presencia de algunas palabras clave, como un pronombre, un adjetivo o un sustantivo (sinnimos de una expresin anterior), nos ayudan a deducir la relacin entre una idea y su antecedente. Yuill y Oakhill (1988) demostraron que la interpretacin de estas palabras en textos narrativos ayuda mucho a discriminar a los nios con problemas de comprensin. La actividad de reordenar un texto fragmentado permite evaluar esta capacidad de un modo muy funcional, a la vez que resulta extraordinariamente estimulante para los alumnos. La ordenacin de este particular rompecabezas requiere que el lector descubra este tipo de sealizaciones y expresiones anafricas, reconozca el hipottico antecedente, infiera el hilo conductor y anticipe la progresin temtica, con objeto de establecer correferencias entre los fragmentos del texto. En un estudio reciente con una muestra de 87 chicos de 11 y 12 aos, hemos comprobado que, a pesar de su sencillez, la tarea discrimina con cierta precisin entre buenos y malos lectores, ofreciendo ndices de validez ms elevados que otras pruebas objetivas estandarizadas, como el mismo PROLEC-SE. Al mismo tiempo, el profesor puede obtener una informacin cualitativa de gran inters para ofrecer las ayudas adecuadas al alumno y entrenar su actividad estratgica e inferencial (Gonzlez y Montanero, 2002).

PENSAMIENTO EN VOZ ALTA Y REGISTROS

DE OBSERVACIN

EVALUACIN DE LA COMPRENSIN GLOBAL Y ESTRUCTURAL Un segundo nivel de comprensin se fundamenta en la actividad mental que el sujeto desarrolla para asignar un significado coherente de carcter global al texto ledo. Este proceso implica, en gran medida, inferencias aplazadas al final de la lectura del texto o de sus unidades temticas, con objeto de construir la denominada macroestructura del texto, es decir, una representacin mental, ms o menos jerarquizada de las macroproposiciones del contenido de las proposiciones (Van Dijk y Kintsch, 1983). PRUEBAS OBJETIVAS Y SEMIOBJETIVAS Los materiales ms utilizados para evaluar este nivel de comprensin se basan de nuevo en la formulacin de preguntas que requieren la realizacin de inferencias sobre el significado global del texto o la distincin entre ideas jerrquicamente diferentes. En algunos estudios dichas preguntas se dirigen a suscitar la aplicacin de las clsicas macrorreglas del modelo de Kintsch y Van Dijk , supresin, generalizacin e integracin. Se trata de averiguar si el lector es capaz de reconocer informacin redundante o ideas-detalle; o bien construir una idea ms general a partir de informacin ms especfica, recogida en el texto. En concreto, la induccin de ttulos se considera como un buen indicador de la comprensin temtica, es decir, del significado ms global que da sentido al texto (Len y Martn, 1993). Los distractores en las preguntas objetivas sobre el ttulo deberan reflejar respuestas errneas de cuatro tipos: ttulos imprecisos, demasiado generales, demasiado particulares o alejados de la verdadera temtica. Igualmente, algunas preguntas que requieren reconocer o parafrasear una idea esencial (sentence recognition) pueden tambin constituir un indicador de este 419

La evaluacin de proceso de la comprensin resulta difcil si no se tiene en cuenta informacin cualitativa que puede obtener el evaluador demandando inferencias concretas o incluso, suministrando ayudas para observar los comportamientos estratgicos del sujeto. El anlisis de los protocolos orales de pensamiento en voz alta (thinking aloud) constituye una opcin que permite fundamentalmente valorar inferencias referenciales durante la lectura. El procedimiento consiste en grabar (magnetofnicamente o en vdeo) y analizar posteriormente las reflexiones en voz alta que los sujetos realizan durante la lectura de un texto; razn por la cual algunos autores consideran ms bien esta ltima tcnica como un caso particular de autoinforme. Al margen de las dificultades de cuantificacin objetiva, propias de un procedimiento tan poco estructurado, el mtodo presenta otras dificultades, como son la necesidad de un entrenamiento previo del sujeto o la posibilidad de que el propio procedimiento interfiera, al realizarse simultneamente y en condiciones de demanda excesiva, en los procesos y estrategias que se pretenden evaluar. Los sujetos son estimulados para hablar acerca de la relacin de cada frase con lo ledo anteriormente, as como para anticipar la informacin subsiguiente, por lo que existe tambin el riesgo de que manifiesten ms inferencias de las que haran en condiciones naturales. Beishuizen y Cols. (1999) encontraron que los resultados de este tipo de evaluacin apenas correlacionaba con las puntuaciones obtenidas en pruebas objetivas que demandan inferencias locales y globales, aunque se utilicen los mismos textos. Sin embargo, no cabe duda de que el pensamiento en voz alta permite vislumbrar ciertos procesos que los sujetos desarrollan estratgicamente en su interaccin con el texto.

segundo nivel de comprensin. En algunos tests, como la Batera SURCO o el ya citado CL-4, se solicita explcitamente al sujeto, que exprese o reconozca la idea principal del texto o la informacin ms relevante que se deduce directamente del mismo (shadow questions). ANLISIS DEL CONTENIDO DE RESMENES Y PROTOCOLOS DE RECUERDO El anlisis de contenido de productos de la actividad inferencial es una de las modalidades de evaluacin ms utilizada en los trabajos de investigacin sobre comprensin de textos. Las tcnicas ms habituales se basan en el anlisis de resmenes y protocolos de recuerdo libre, inmediato o demorado. El objetivo principal es evaluar el producto de la representacin semntica generada por el sujeto, utilizando diversos mtodos de anlisis del contenido proposicional del resumen que elabora, sin tener acceso al texto que se ley. Algunos de estos mtodos se encuentran altamente formalizados, de modo que permiten establecer comparaciones cuantitativas con la representacin proposicional del contenido original. Para ello, es necesario fraccionar los protocolos en unidades proposicionales, de modo que se puedan comparar con un texto-modelo, aunque tengan una expresin lingstica diferente. El mtodo de (Bovair y Kieras, 1985) y, sobre todo, el de (Meyer, 1985) son los ms conocidos. El primero se basa en la aplicacin de algoritmos basados en el modelo ya referenciado de Kintsch y Van Dijk. La regla fundamental para reconocer en un protocolo una proposicin del texto original es que aparezca el predicado de dicha proposicin ms uno de sus argumentos (teniendo en cuenta la sinonimia y que el sentido general de la expresin tenga sentido). El mtodo, sin embargo, tiene la limitacin de no reflejar el establecimiento de niveles jerrquicos entre las proposiciones. 420

Meyer, por el contrario, distingue entre relaciones retricas y lxicas. Las primeras se basan en la taxonoma de superestructuras propuesta por la autora, mientras que las segundas se inspiran en la gramtica de casos de (Fillmore, 1968). Sobre este anlisis, se pueden realizar hasta nueve tipos de medida: recuerdo reproductivo, recuerdo sustantivo de los contenidos tpicos, relaciones de rol, predicados lxicos, predicados retricos, unidades de contenido que no estaban en el texto, relaciones lgicas que no estaban en el texto, confusiones intratextuales y puntuaciones de la estructura de alto nivel. Este tipo de evaluacin aporta una interesante informacin, tanto cuantitativa como cualitativa, sobre la actividad estratgica e inferencial que lleva al sujeto a reconstruir en un protocolo de resumen (con recuerdo inmediato o demorado) el significado original del texto. Como contrapartida debemos citar la considerable complejidad del procedimiento, que repercute en su fiabilidad. Por ello muchos investigadores han optado por utilizar mtodos mucho ms simplificados y con criterios de puntuacin menos estrictos. En este mismo sentido, para simplificar la valoracin de resmenes en tareas de recuerdo inmediato, (Snchez, 1989) utiliz un sencillo mtodo de anlisis cualitativo, que ha sido posteriormente replicado en sucesivas investigaciones. Los criterios de categorizacin del resumen pretenden evaluar la utilizacin de estrategias semnticas de forma eficiente con textos breves, de carcter expositivo. La categora C (correcto) se asigna slo a los resmenes que reflejan con precisin y de forma econmica las macroproposiciones ms importantes. La categora A (abstraccin) incluye las respuestas que incorporan el significado global del texto pero no las caractersticas de precisin y economa. Se puntan as resmenes que incluyen ideas demasiado generales o que presenten demasiados detalles que podran haber

sido sustituidos por proposiciones ms generales. En las categoras D (detalle) y S (secuencia) el resumen estara construido a partir de uno de los detalles del prrafo, con prdida de informacin relevante, o como un simple listado de los mismos. ANLISIS DEL CONTENIDO DE ESQUEMAS
Y GRFICOS

La mayora de los anteriores mtodos pueden adaptarse para evaluar la comprensin de textos narrativos o expositivos. Otro tipo de tareas, como la clasificacin y jerarquizacin de conceptos (shorting of concepts) o la construccin de un esquema que organice grficamente las ideas del texto, se centran en cambio, en evaluar el uso de estrategias semnticas y estructurales con textos de naturaleza expositiva. Uno de los principales antecedente puede verse en el diseo y evaluacin de mapas conceptuales (Novak y Gowin, 1984). La construccin de mapas puede constituir en este caso un mtodo para valorar cmo los sujetos representan la macroestructura de textos expositivos. Adems de una valoracin cualitativa, la cuantificacin puede hacerse teniendo en cuenta tres criterios: la cantidad y calidad de las relaciones jerrquicas que el alumno ha sido capaz de elaborar, comparndolo con un mapa-modelo; el nmero de niveles de la representacin jerrquica (los mapas excesivamente horizontales suelen revelar una clara dificultad para emplear estrategias semnticas de alto nivel); y el nmero de nexos transversales que representen las relaciones semnticas entre diferentes ramas de conceptos. En diversas investigaciones Alonso Tapia y han utilizado una alternativa ms simplificada que consiste en solicitar a los sujetos que elijan el grfico ms adecuado entre varias opciones que representan las ideas conectadas por flechas. Sin embargo, esta opcin no permite discriminar si el

alumno es capaz de generar, o simplemente reconocer, la organizacin retrica del texto (especialmente si no se controla el sesgo del azar). Una alternativa, semejante al procedimiento cloze para este segundo nivel de comprensin, consiste en ofrecer un esquema mutilado que el sujeto debe rellenar con conceptos de un texto descriptivo (Ramos y Cuetos, 1999). De esta manera, se puede cuantificar si el sujeto es capaz de utilizar las claves jerrquicas del esquema para recordar y clasificar la informacin esencial que conforma la macroestructura del texto. Sin embargo, hay que resear que ninguna de estas opciones evalan realmente la capacidad del sujeto para reconocer o transformar la superestructura retrica que vincula dichas ideas, ms all de relaciones estrictamente semnticas que caracterizan a los textos descriptivos. Una tarea mucho ms exigente en este sentido consiste en ofrecer un esquema, un diagrama o un cuadro sinptico vaco, de manera que el sujeto seleccione y rellene uno de ellos con un listado de las ideas de un texto acadmico. El procedimiento ofrece la posibilidad de conseguir informacin cuantitativa o cualitativa. Para cuantificar la capacidad del sujeto para representar la organizacin de las ideas del texto basta con contabilizar el nmero de relaciones descriptivas, comparativas o lgico-causales que el sujeto es capaz de reflejar grficamente. Este tipo de tareas presenta, no obstante, el riesgo de resultar poco discriminatoria debido a su elevada dificultad, como se ha demostrado en algunas investigaciones recientes (Montanero, 2002). EVALUACIN DE LA COMPRENSIN PRAGMTICA Y ELABORATIVA El proceso de comprensin no se agota ni mucho menos en la representacin mental de la base del texto. En paralelo, el lector 421

enriquece todas estas representaciones a partir de su acerbo experiencial. Este tercer nivel lleva por tanto aparejado una dimensin pragmtica y situacional: la construccin de todo un mundo ms all del texto en s, en el que se recogen las inferencias e incluso las vivencias, que el lector activa para interpretar la nueva informacin. Algunas inferencias causales o intencionales que permiten conectar localmente dos proposiciones pueden considerarse tambin como elaborativas. Sin embargo, las inferencias ms representativas de los niveles profundos de la comprensin (al menos en los textos expositivos) seran aquellas que operan sobre representaciones semnticas ms globales al final de la lectura. PRUEBAS OBJETIVAS Y SEMIOBJETIVAS La comprensin pragmtica se relaciona en parte con la capacidad de articular enunciados en unidades lingsticas muy amplias, propias de diferentes superestructuras y gneros textuales. Esta capacidad comienza a desarrollarse desde los 5 6 aos, cuando algunos nios son ya capaces de identificar un tipo de texto o detectar contradicciones que afectan a su comprensin. De nuevo, la alternativa ms utilizada se corresponde con materiales que recogen preguntas breves, formuladas con posterioridad a la lectura. Algunos tests presentan tems acerca del gnero del documento, las intenciones comunicativas o los recursos estilsticos del autor en diferentes tipos de textos. En los textos de gnero no expositivo (narrativos, descriptivos, periodsticos o literarios) las preguntas suelen centrarse adems en clarificar el escenario situacional en que transcurre la accin o las intenciones ms o menos implcitas de los personajes; inferencias que resultan realmente difciles de extrapolar de la actividad que hemos descrito en los niveles anteriores de comprensin. Otras preguntas ms profundas pueden 422

incluso solicitar la interpretacin de una metfora o la moraleja de un suceso (vase, por ejemplo, Lzaro, 1982). Este tipo de inferencias discriminan bastante bien la capacidad del lector para utilizar sus conocimientos previos y razonar sobre el contenido implcito del texto. En los pasajes expositivos no es tan difcil deslindar la evaluacin de las capacidades que intervienen en la construccin de un modelo situacional de aquellas que posibilitan la representacin de la base del texto. Las preguntas de comprensin profunda que requieren la participacin de conocimientos temticos (deep questions) o conectar informacin implcita ms o menos alejadas en el texto-base (bridging inference question), son las tareas ms representativas de este nivel. Todas ellas tienen en comn la necesidad de desplegar inferencias elaborativas ms all del textobase. Algunos trabajos recientes estn basados en diversos tipos de preguntas con esta orientacin, (Orrantia y cols., 1998), por ejemplo, utilizaron preguntas creativas para evaluar el uso personal de la informacin en la construccin de modelos situacionales ms all del contenido explcito del texto. Se demandaban esencialmente respuestas explicativas, que requisieran desentraar la trama causal de un fenmeno. La evaluacin de inferencias referenciales, semnticas o estructurales no tiene por qu ser redundante con este tipo de cuestiones. En principio, para reconocer la relacin causal entre dos eventos es suficiente con delimitar las causas y las consecuencias a partir de la representacin semntica de la base del texto, sin que ello presuponga que se comprende por qu esas causas generan esos efectos. La llamada trampa narrativa (Duthie, 1987) es una de los principales riesgos en este sentido, al menos para un tipo de evaluacin que pretenda abordar las comprensin profunda de textos expositivos. En uno de los estudios anteriores hemos desarrollado tambin una propues-

ta para operativizar este tipo de preguntas en funcin de la estructura organizativa de textos (Montanero y cols., 2002). En un texto causal las preguntas deberan solicitar informacin implcita acerca del nexo, las acciones o condiciones intermedias que permiten explicar por qu un determinado episodio puede considerarse un factor explicativo de otro suceso. Los sujetos que alcancen un nivel ms profundo en la comprensin de un texto expositivo, deberan ser capaces de inferir o justificar los criterios que permiten vincular las caractersticas de diversos conceptos entre s; as como las decisiones que justifican que una determinada respuesta se presente como posible solucin a un problema si el texto presenta ms bien una estructura procedimental. Cuando se trata de un texto argumental, finalmente, el lector debera poder inferir por qu unas razones fundamentan determinadas deducciones o en qu medida, las razones expuestas apoyan la conclusin a la que llega el autor (explorando por ejemplo, si se han tenido en cuenta los contraargumentos que apoyan otras decisiones o posiciones diferentes). Este ltimo tipo de cuestiones se corresponde en cierto modo con las tareas de anlisis crtico que sirvieron de base para la evaluacin de diversas capacidades de comprensin lectora en el conocido macroestudio del INCE (1998). En el diseo de la investigacin se intent en concreto discriminar entre inferencias que permiten comprender el significado literal del texto y las que se dirigen a obtener una interpretacin personal o realizar un anlisis crtico. Las primeras son asimilables a la construccin de lo que hemos denominado texto-base: inferencia del significado de las palabras en su contexto, establecimiento de conexiones referenciales y comprensin global a travs de la identificacin del tema y la distincin entre la idea principal y las secundarias. Los dos grupos de preguntas restantes se refieren ya a inferencias que supuestamente reflejaran los niveles

ms profundos de comprensin. Para responder correctamente las preguntas de interpretacin personal en textos narrativos se preguntaba sobre la identificacin de personajes protagonistas y secundarios, ordenacin temporal En el anlisis crtico, se debe determinar la funcin del texto y la intencin del autor; clarificar la opinin, la irona, la ambigedad o la falacia; y valorar la lnea argumental de contenidos implicativos. Este ltimo tipo de preguntas se contestaban en presencia de textos informativos, categora a la que son asimilables tanto los periodsticos como el resto de los expositivos de carcter acadmico. Por ltimo, hay que sealar que el hecho de que el sujeto pueda releer o no el texto, mientras responde a estas preguntas, no condicionara tanto los resultados como en la evaluacin del primer nivel referencial. Como hemos tenido ocasin de comprobar con una muestra de alumnos de la ESO, las diferencias resultantes de responder con o sin el texto delante no resultan significativas (Montanero, 2000). Por su parte, (Cain y Oakhill, 1999) constataron que los alumnos de primaria mejoran relativamente poco, ante preguntas sobre informacin implcita cuando se les da la oportunidad de revisar el texto ledo. Adems, las diferencias entre buenos y malos lectores se mantienen prcticamente constantes. PENSAMIENTO EN VOZ ALTA Y TAREAS DE SOLUCIN DE PROBLEMAS CON TEXTOS INCONSISTENTES En los niveles ms profundos de la comprensin, las relaciones que los lectores deben establecer entre las ideas, tienen un carcter global: abarcan segmentos ms amplios de informacin y una participacin mayor de conocimientos previos. No es de extraar, por tanto, que cuando introducimos informacin contradictoria en un texto, los chicos que no comprenden bien, 423

manifiesten muchos ms problemas, no slo para resolverlas, sino incluso para detectarlas. Este tipo de evaluacin se basa en confeccionar textos que presenten afirmaciones contradictorias entre s (inconsistencias internas) o con respecto a los conocimientos previos que sabemos que tiene el sujeto (inconsistencias externas). La tcnica no se recoge en ninguna de las pruebas estandarizadas que hemos analizado. El procedimiento de preguntas abiertas (semiobjetivas), y sobre todo el autoinforme oral de los sujetos durante la lectura, son probablemente los que mejor se adaptan a este recurso. EVALUACIN DE ESTRATEGIAS DE REGULACIN METACOGNITIVA Y APOYO A LA COMPRENSIN DE TEXTOS EXPOSITIVOS Para terminar puede ser oportuno considerar un ltimo mbito de evaluacin que tiene una relacin indirecta con la comprensin de textos acadmicos. Se trata de la evaluacin del uso de estrategias de apoyo al estudio, es decir, de las actividades relacionadas con la preparacin psicofsica, el control de estimular la planificacin de intervalos de estudio, etc., que los estudiantes deberan realizar a partir de secundaria. Estas estrategias tienen un efecto particular sobre las capacidades de atencin sostenida que intervienen en la comprensin de texto expositivos. Las tcnicas utilizadas para su evaluacin son sensiblemente diferentes a las analizadas hasta ahora. Estn sobre todo basadas en mtodos de autoinforme, donde los sujetos proporcionan informacin sobre sus hbitos de estudio a partir de una serie de preguntas. AUTOINFORMES Desde los aos setenta han proliferado mltiples cuestionarios e inventarios estan424

darizados que presentan un listado de actividades, generalmente relacionadas con tareas escolares, sobre las que el sujeto debe afirmar o negar (y en algunos casos cuantificar) su uso. Casi todos introducen adems tems dirigidos, no slo a evaluar estrategias de apoyo, sino tambin la utilizacin de algunas de las estrategias primarias de carcter metacognitivo y tcnicas de estudio de textos expositivos. El problema reside en que algunos componentes que posibilitan el desarrollo de estas estrategias metacognitivas estn en parte automatizados, y en consecuencia, no son conscientes o al menos no directamente accesibles a la propia observacin del sujeto. Adems, la naturaleza claramente retrospectiva de estos cuestionarios contamina la objetividad de las supuestas valoraciones de quien cumplimenta el cuestionario (aunque estn previstos tems residuales como parte de una escala de sinceridad). En suma, las preguntas directamente dirigidas a evaluar si el individuo aplica estrategias de comprensin constituyen un porcentaje minoritario y difcilmente permiten discriminar entre una utilizacin mecnica de tcnicas de estudio y la coordinacin estratgica de operaciones mentales que posibilitan su eficacia. REGISTROS DE OBSERVACIN Los mtodos de observacin constituyen de nuevo una interesante alternativa para evaluar los procesos metacognitivos que intervienen en la comprensin de un texto. Un ejemplo caracterstico de observacin directa se recoge en el experimento de (Garner, Wagoner y Smith, 1983), en el que se pidi a dos grupos de alumnos de diferente capacidad, que explicara a otros compaeros, el mejor mtodo para comprender un texto. La informacin se grab y analiz posteriormente. Sin embargo, al menos en este caso, difcilmente dicha valoracin podra ir ms all del conocimiento declarativo de

CUADRO I Indicadores, instrumentos y materiales para evaluar la comprensin

los sujetos, por lo que una vez ms la tcnica resulta limitada para valorar ciertos conocimientos estratgicos que los sujetos utilizan realmente durante el estudio de un texto. Esta limitacin es ms clara si cabe en el caso de la observacin indirecta a travs de escalas de apreciacin de allegados, muy extendida en la evaluacin psicopedaggica de los alumnos con necesidades especiales, en las que el profesor debe aportar esta informacin a partir de una

valoracin retrospectiva y generalmente poco sistemtica. En conclusin, la panormica actual sobre la evaluacin de la comprensin lectora ofrece una amplia diversidad de tcnicas e instrumentos, que se sintetizan en el cuadro I. La mayora de ellas tienen, como denominador comn, el empeo en analizar la actividad estratgica e inferencial durante la lectura como principal indicador del nivel de comprensin que alcanza el 425

sujeto. A menudo, sin embargo, dichos criterios se manejan sin una reflexin previa sobre los presupuestos tericos que los justifican. Esta limitacin afecta particularmente a la evaluacin de la comprensin profunda de textos expositivos en la Educacin Secundaria, donde los lectores tienen que poner en juego capacidades y conocimientos sensiblemente diferentes a los que se necesitan en otro tipo de textos. Un requisito que hemos tratado de fundamentar, en este sentido, consiste en tratar de discriminar entre las capacidades que intervienen en diferentes niveles de comprensin e incluso entre textos de diferente gnero. Por otro lado, es necesario dedicar ms investigacin a los procedimientos y anlisis cualitativos que, como hemos visto, pueden resultar de tanta o mayor utilidad para orientar una intervencin psicopedaggica efectiva. BIBLIOGRAFA ALONSO TAPIA, J. y CARRIEDO, N.: Leer, comprender y pensar: desarrollo de estrategias y tcnicas de evaluacin. Madrid, Servicio de publicaciones del MEC-CIDE, 1992. Problemas de comprensin lectora: evaluacin e intervencin, en C. Monereo, I. Sol (coord.), El asesoramiento psicopedaggico: una perspectiva pr ofesional y constructivista. Madrid, Alianza, 1996. ALONSO TAPIA, J. y CORRAL, C.: Evaluacin de la comprensin lectora al trmino de la ESO Test CL-4. Madrid, UAM, 1994. ARTOLA, T.: El procedimiento cloze como medida procesual de comprensin lectora, en Revista espaola de Pedagoga, 180 (1988), pp. 323-334. BAEZA, M.: Inventario de mtodos de estudio. Madrid, Min, 1979. BOVAIR, S. y KIEBAS, D. E.: A guide to propositional analysis for research on technical prose, en B. K. Britton y J. B. 426

Black (comps.), Understanding expository text. Hillsdale, LEA, 1985. CAIN, K. y OAKHILL, J. V.: Inference making ability and its relation to comprehension failure in young children, en Reading and Writing, 11 (1999), pp. 489503. CARRIEDO, N. y ALONSO TAPIA, J.: Cmo ensear a compr ender un texto? Madrid, ICE de la Universidad Autnoma, 1995. CONDEMARIN, M. y MILICIC, N.: Test de Cloze. Aplicaciones psicopedaggicas. Madrid, Visor, 1990. CUETOS, F., RODRGUEZ, B. y RUANO, E. (PROLEC): Evaluacin de los procesos lectores. Madrid, TEA, 1996. DUTHIE, J.: The Web: a powerful tool for teaching and evaluation of the expository essay, en The history social science teacher, 21 (1986), pp. 232-236. FILLMORE, C. J.: The case for case, en E. Bach, y R. T. Harms (eds.), Universals in linguistic theory. Chicago, Holt, Rinehart and Winston, 1968. GARCA VIDAL, J. y GONZLEZ MANJN, D.: EVALUA-4. Madrid, EOS, 1996. GARNER, R.; WAGONER, S. y SMITH, T.: Externalizing question answering of poor and good comprehender, en Reading Research Quaterly, 18 (1983), pp. 437439. GONZLEZ, L. y MONTANERO, M.: Evaluacin y entrenamiento de la comprensin lectora mediante textos desordenados. Dos estudios preliminares en el tercer ciclo de primaria. Memoria de investigacin no publicada. Universidad de Extremadura, 2002. INCE: Los resultados escolares. Diagnstico del sistema educativo. 1997. Madrid, MEC, 1998. LZARO, A.: Prueba de comprensin lectora. Madrid, TEA, 1982. LEN, J. A. y MARTN, A.: El ttulo como recurso didctico, en Comunicacin, lenguaje y educacin, 19-20 (1993), pp. 159-170.

MEC:

La evaluacin psicopedaggica: Model o , o r i e n t a c i o n e s , i n s t r u m e n t o s. Madrid, MEC, 1996. MEYER, B. J. F.: Prose analysis. puposes, procedures, and problems, en K. Britton y J. B. Black (Eds), Understanding expository text. Hillsdale, LEA, 1985. MONTANERO, M.: La instruccin de estrategias de comprensin en el mbito sociolingstico del segundo ciclo de la ESO. Una propuesta didctica para ensear a comprender desde el currculo. Tesis doctoral no publicada, Universidad de Extremadura, 2000. MONTANERO, M., BLZQUEZ, F. y LEN, J. A.: Enfoques de intervencin psicopedaggica para la mejora de las capacidades de comprensin en la Educacin Secundaria, en Infancia y aprendizaje, 25 (2002), pp. 37-52. NOVAK, J. D. y GOWIN, D. B.: Aprendiendo a aprender. Barcelona, Martnez Roca, 1988. ORRANTIA, J.; ROSALES, J. y SNCHEZ, E.: La enseanza de estrategias para identificar y reducir la informacin importante de un texto. Consecuencias para la construccin del modelo de la situacin, en Infancia y aprendizaje, 83 (1998), pp. 29-57 . POZAR, F. F.: Inventario de hbitos de estudio. Madrid, TEA, 1972.

PRESSLEY, M. y AFFLERBACH, P.: Verbal protocols of reading. Hillsdale, N. J, Erlbaum, 1995. RAMOS, J. L. y CUETOS, F.: Evaluacin de procesos lectores. PROLEC-SE. Madrid, TEA, 1999. ROMN, J. M. y GALLEGO, S.: ACRA. Madrid, TEA, 1994. SNCHEZ, E.: Procedimientos para instruir en la compr ensin de los textos. Madrid, CIDE, 1989. VAN DIJK, T. A. y KINTSCH, W.: Strategies of discourse comprehension. New York, Academic Press, 1983. VIZCARRO, C.: Development of an inventory to mesure learning strategies, en M. Birembaum y F. Dochy (eds.), Alternatives in assessment of achivements learning processes and prior knowledge. Boston, Kluwer Academic Press, 1996. WEINSTEIN, C.; GOEZTS, E. T. y ALEXANDER, P. A.: Learning and study strategies, issues in assessment, instruction and evaluation. New York, Academic Press, 1983. YUILL, N. y OAKHILL, J. V.: Understanding of anaphoric relatins in skilled and lessskilled comprehenders, en British Journal of Psychology, 79 (1988), pp. 173-186.

427