4 La medicin de la comprensin lectora

4.1 La medicin de la comprensin lectora a travs de los instrumentos elaborados por la DGE tiene lugar en el rico escenario descrito anteriormente. Aunque esto ha significado contar con numerosos elementos tericos para el diseo de las pruebas, ha implicado tambin adoptar una posicin ante el tema de la comprensin lectora, desde la cual se puedan articular los elementos tcnicos suficientes para sustentar la medicin. Por eso, la unidad de diagnstico llamada "Habilidad verbal" (en lo sucesivo HV), represent un reto de mucho inters desde 1983, cuando se elabor la primera batera para medir la variable aptitud general en los aspirantes a ingresar al bachillerato pedaggico y a las licenciaturas en educacin normal. Gradualmente y en la medida que el marco terico de la comprensin lectora fue aclarndose como resultado de: A) la investigacin en el campo; B) la traduccin al espaol de obras tericas; y C) la distribucin de dichas obras en el mercado nacional, la DGE fue siendo capaz de afinar su propio marco de referencia, dando mayor sentido y utilidad a la medicin de las habilidades para la comprensin lectora. Al mismo tiempo, el anlisis de los instrumentos elaborados ao con ao fue capitalizado como una fuente de informacin importante respecto a qu estrategias para la comprensin lectora pueden ser medidas a travs de instrumentos "cerrados", y cul es la mejor manera de hacerlo. La conjugacin de estos dos factores ha permitido que las preguntas de HV sean cada vez ms slidas, desde el punto de vista de qu miden, cmo lo miden y qu informacin aportan sobre las condiciones de los estudiantes. Lo anterior no debe interpretarse como un elogio a los instrumentos; es, sencillamente, una declaracin de su estado actual tras un proceso continuo de depuracin, que no obvia el hecho de que son perfectibles. En 1989, cuando se inicia la elaboracin del IDANIS, la construccin del marco referencial necesario para sustentar la medicin de las habilidades lectoras tena un avance significativo para su momento. Por ejemplo, se haban excluido de dicho marco algunos elementos de cuo psicomtrico, presentes en las versiones de 1983 a 1989, y comenzaban a incorporarse conceptos enraizados en las teoras del procesamiento de la informacin, lo cual pona a la DGE al encuentro de las aportaciones de van Dijk y Kintsch. A partir de los aos 90, la reflexin relativa a cmo medir las habilidades verbales, permiti seguir avanzando en el afinamiento del marco referencial correspondiente, mismo que alcanz su direccin definitiva entre 1996 y 1998. En 1998, la incorporacin de los modelos de van Dijk y Kintsch era plena, si bien el diseo de algunas preguntas es objeto de estudio todava a la fecha. Para entender por qu el diseo de HV es producto de un proceso, resulta importante hacer notar que la elaboracin de la unidad se fundamenta en los modelos tericos reseados en el captulo anterior, pero requiere trasladar los constructos propuestos en el plano de la teora, al nivel de la aplicacin concreta. Es decir, se requiere convertir la teora en tecnologa; o sea, en recursos para medir la comprensin lectora. Por eso, independientemente de las experiencias obtenidas en ese sentido por otras naciones, como Espaa, los Estados Unidos, Holanda y Francia, la propia DGE auspici tentativas de operacionalizar los modelos tericos en el marco de la medicin. Al respecto, cabe sealar que el proceso de diseo de HV se encuentra inacabado, en el sentido de que los modelos tericos sobre comprensin lectora son replanteados por sus autores, como ocurre con todas las teoras, y en la medida que la operacionalizacin es corregida de acuerdo con los datos arrojados por cada experimentacin realizada justamente con ese propsito. Asimismo, se encuentra por concluir puesto que recientemente se han venido agregando los aportes de la investigacin en medicin del aprendizaje, vigorosamente impulsados por modelos matemticos.

4.2 Al igual que las unidades de "Habilidad matemtica" y "Razonamiento formal", la de HV est integrada por preguntas de opcin mltiple. Aunque muchos miembros de la comunidad educativa nacional cuestionan dicho tipo de preguntas, stas constituyen un valioso medio para obtener informacin, incluso preferible a otros en circunstancias determinadas. Las crticas a las pruebas de opcin mltiple se basan en su origen asociado a la tecnologa educativa de corte conductista, o magnifican sus limitaciones, derivadas de su alto grado de estructuracin.

Quienes sustentan la primera objecin suponen que cuando una teora es superada, se relegan todos sus principios, conceptos y aplicaciones sin excepcin. Es decir, sostienen que una teora desaparece sin dejar aportaciones. Sin embargo, esta concepcin es errnea, pues desconoce que el progreso de las diferentes teoras en los diversos campos del conocimiento tiene lugar gracias a un proceso dialctico. Ciertamente, tal proceso implica una confrontacin entre dos paradigmas, pero sta tiene entre sus resultados la apropiacin de ideas, conceptos y aplicaciones del paradigma precedente, tras una revisin y recontextualizacin. As, aun en los casos de ruptura ms radical, un cuerpo de conocimientos deja una huella en el subsiguiente. Por su parte, quienes acusan limitaciones en las pruebas de opcin mltiple, pierden de vista que ningn instrumento permitira recabar el cmulo de informacin deseable para interpretar incluso un solo aspecto del fenmeno educativo. En rigor, el amplio elenco de instrumentos de medicin y observacin que se han allegado los educadores (acudiendo al subsidio de diversas disciplinas como la Sociologa, la Psicologa y la Antropologa, entre otras) responde a la conciencia de que ningn instrumento por s solo permitira reunir las evidencias necesarias para describir, comprender o explicar la compleja red que constituye el acto educativo. En este sentido, es una verdad inobjetable que las pruebas de opcin mltiple presentan limitaciones de principio, pero en esto no se diferencian de otros instrumentos. Por ejemplo, aquellos que rescatan la perspectiva del observador en virtud de sus bases epistemolgicas, renuncian a la posibilidad de generalizar sus resultados; aquellos que exploran la ejecucin concreta de una tarea por parte del sujeto, por as convenir a su planteamiento metodolgico, obvian la posibilidad de realizar mediciones a gran escala. En efecto, las pruebas de opcin mltiple alcanzaron su mayor definicin en el seno de la tecnologa educativa de los aos 50, pero han trascendido al conductismo no slo por las numerosas ventajas que ofrecen, sino porque ms all de su forma, lo relevante es el marco referencial en el cual se interpreta la informacin que permiten recabar. En el caso especfico del IDANIS, este marco se encuentra enraizado en el cognoscitivismo, como se ha venido reiterando, lo cual significa que las preguntas representan una exploracin de las estrategias cognitivas empleadas por los alumnos para resolver una situacin-problema, al tiempo que permiten una revisin de la eficiencia con que las utilizan. Asimismo, es verdad que el alto grado de estructuracin de las preguntas excluye la ejecucin real de los alumnos, pues quedan sujetos al universo de las opciones presentadas en cada pregunta; pero, en cambio, se delimita sin ambigedad la situacin-problema y se precisa en las opciones el tipo de procedimientos susceptibles de anlisis, lo cual se traduce en condiciones de equidad para los sustentantes. Por lo dems, en este caso la ejecucin real no es ms ilustrativa que la ejecucin virtual registrada mediante un instrumento de opcin mltiple, porque las habilidades lectoras slo se observan de manera indirecta a travs de los productos que presenta el sujeto. No se entienda, por lo anterior, que el total de pruebas de opcin mltiple utilizadas en el mbito educativo son siempre pertinentes: de hecho, la existencia de instrumentos deficientes, lo mismo que su empleo inadecuado son, probablemente, otras de las razones que explican la crtica a las pruebas de opcin mltiple. La experiencia de la DGE al respecto es que numerosos instrumentos existentes en el medio presentan fallas de distinta magnitud en su elaboracin o en su marco de referencia. En ocasiones, esas pruebas han sido elaboradas por cuerpos colegiados; en otras, se encuentran disponibles en el mercado; y, en otras ms, se presentan como "ejercicios de autoevaluacin" en libros destinados a los alumnos. Las deficiencias que muestran instrumentos como los aludidos invalidan en menor o mayor medida las conclusiones que se pretende puedan arrojar. Por supuesto, esta no es la situacin del IDANIS, cuyo proceso de elaboracin se ha venido acreditando en este documento y en los pasados manuales para la interpretacin de los resultados. Si el IDANIS es un instrumento de opcin mltiple es porque una serie de consideraciones de tipo tcnico, de logstica y prctico llev a los responsables de su confeccin a la toma de esa decisin de manera razonada. La serie de hallazgos que ha permitido la prueba muestran que se procedi adecuadamente. No obstante, la prueba ha sido puesta a consideracin de la comunidad educativa en varios foros, lo cual ha constituido un ejercicio interesante, pues numerosos comentarios han permitido mejorar el instrumento al incluir en ste un aporte fundamental: la percepcin del magisterio nacional acerca de los intereses y usos lingsticos de los alumnos que ingresan a secundaria. En otras palabras: dado que los responsables de la elaboracin del IDANIS realizan sus actividades principalmente en gabinete, no tienen la misma claridad acerca del estudiante concreto que las profesoras y profesores del pas, pese a los numerosos esfuerzos que hacen al respecto, nutrindose de algunas experiencias en campo, analizando los materiales utilizados en el aula y explotando estudios sobre la poblacin escolar realizados desde diferentes perspectivas.

4.3 La unidad HV est integrada por tres secciones, que en conjunto suman 24 preguntas, equivalentes al 40% de la prueba. Otro 40% corresponde a "Habilidad matemtica" y el 20% restante. Como puede observarse, existe equilibrio entre las dos unidades correspondientes a lenguajes codificados. Cabe agregar que la cantidad de preguntas por unidad fue establecida considerando dos cuestiones: A) no rebasar una extensin mxima de 60 preguntas en el instrumento, cifra que resulta de controlar factores como fatiga y velocidad de respuesta; y B) contar con una cantidad de preguntas aceptable para explorar el nivel de desarrollo de habilidades mostrada por un alumno en la situacin de examen y describir su desempeo.

La primera seccin de HV presenta una serie de preguntas del tipo cloze; la segunda, una narracin; y la tercera, un texto expositivo. La siguiente tabla presenta la distribucin de las preguntas: ESTRUCTURA DE HV (Versin 2000) Bloque Cantidad de preguntas Ponderacin al interior de HV 12 50% 2. Texto narrativo 3. Texto expositivo 5 20.9% 7 29.1% 24 100% I) Primera seccin: cloze Desde el punto de vista de su estructura, las preguntas de la seccin 1 consisten en una clusula en la cual se suprimen una o varias palabras, las cuales debe agregar el sustentante del examen para completar el texto, de tal modo que restaure su sentido. Este tipo de preguntas ideadas por Wilson L. Taylor se han usado desde los 50 para medir la comprensin lectora. En el largo periodo de su utilizacin han llegado a ser objeto de cuestionamiento, pero las evidencias experimentales recabadas acreditan su utilidad. Incluso es interesante advertir que han sido sostenidas desde diferentes perspectivas tericas, entre las que se cuentan la Gestalt, las teoras de la comunicacin y, ms recientemente, el cognoscitivismo. Condemarn escribe al respecto: Cuando se le presenta al lector un texto al cual se le han omitido palabras que debe reconstruir, se presume que l utilizar las mismas destrezas [habilidades] de lenguaje que usa cuando lee un mensaje intacto. Su conocimiento pragmtico del contenido y de las redundancias y restricciones del lenguaje le permitirn ir directamente al significado, pese a las omisiones ...el cloze constituye un excelente medio para promover el intercambio de estrategias de lectura de "arriba hacia abajo" y de "abajo hacia arriba". El estudiante se forma hiptesis sobre la palabra omitida y la predice. Estas hiptesis y predicciones se relacionan con sus esquemas, es decir, con sus conjuntos de conocimientos estructurados relevantes para el tpico del texto. Simultneamente, l utiliza los datos especficos aportados por el contexto para confirmar, rechazar o modificar sus hiptesis. Este uso de las claves aportadas por el pasaje [clusula] es un proceso de "abajo hacia arriba".(1) Cabe indicar que las palabras suprimidas en el IDANIS son verbos, sustantivos, adjetivos o nexos, los cuales portan significados clave en relacin con la clusula correspondiente. Por otro lado, esta seccin cumple la funcin de prueba testigo al interior de HV, pues se ha incluido, con algunas variaciones y las sustituciones convenientes, desde 1989.

1. Cloze

II) Segunda seccin: texto narrativo La segunda seccin presenta una narracin, cuya superestructura inicial, de acuerdo con el modelo de van Dijk y Kintsch, es la siguiente: SUCESO Complicacin + Resolucin

Recordemos que "una superestructura es un tipo de esquema abstracto que establece el orden global de un texto y que se compone de una serie de categoras, cuyas posibilidades de combinacin se basan en reglas convencionales".(2) Es decir, que si bien las superestructuras tienen un orden cannico, ste es susceptible de modificacin, pero no arbitraria e ilimitada sino constreida a una gama previsible y aceptada. Gracias a esta "rigidez" los sujetos pueden seguir reconociendo una narracin como narracin, una conferencia como conferencia, un anuncio como anuncio... En el caso del texto incluido en el IDANIS, las categoras son Complicacin y Resolucin, que juntas integran un ncleo denominado Suceso; de aqu el esquema que se present arriba. Para van Dijk y Kintsch, a estos elementos se agregando otros ms. Por ejemplo, las diversas circunstancias de tiempo y espacio en que tiene

lugar el Suceso constituyen el Marco y juntos Suceso y Marco integran el Episodio. Una serie de episodios componen la Trama. Estas categoras tienen un referente en las acciones de la narracin, pero la superestructura comprende tres elementos ms: el Anuncio, el Eplogo y la Evaluacin. Segn los tericos mencionados, los dos primeros elementos son de naturaleza pragmtica, ms que semntica, mientras que el ltimo se basa en una apreciacin del narrador sobre los hechos. Es importante reiterar que la superestructura es definida en trminos semnticos y no literarios, por eso representa un soporte de primera importancia en la toma de decisiones tcnicas para el diseo del IDANIS, dado que la prueba pretende explorar la comprensin lectora, no la aplicacin de categoras provenientes de una teora literaria. Pero esto no significa que se hayan soslayado los atributos estticos del texto; por el contrario, en la seleccin del mismo se consideraron sus cualidades literarias, porque stas se relacionan con el inters que puede despertar en el lector, as como con la amenidad que puede presentar. Es oportuno dar a conocer los criterios para la seleccin del texto:

CRITERIOS PARA LA SELECCIN DEL TEXTO NARRATIVO Criterio Caracterizacin Claridad de la superestructura La superestructura que presenta el texto correspondiente directamente a la planteada en el modelo terico o responde a un ordenamiento convencional. Cantidad de proporciones El texto presenta una cantidad suficiente de proporciones explcitas, de tal modo que es posible derivar las preguntas de la seccin. Grado de redundancia La informacin relevante puede identificarse a partir del principio de redundancia. Grado de accesibilidad temtica Existe mayor probabilidad de que le escenario, el tipo de conflicto y los valores presentados en el texto sean familiares al alumno, como resultado de sus conocimientos previos. Calidad de la fuente El texto aparece inicialmente en una fuente bibliogrfica cuyo prestigio es aceptado en el mbito acadmicoeducativo. Cualidades de estilo Existe mayor probabilidad de que los usos estilsticos del texto sean familiares para el alumno, como resultado de sus conocimientos previos. Novedad Existe mayor probabilidad de que el texto no haya sido incluido en algn material destinado a la educacin primaria ni haya sido abordado con anterioridad en el aula. Pertinencia tica El texto contiene el mnimo de situaciones de contenido o lxico que pueden afectar a algn sector de la poblacin. Lxico La narracin presenta un lxico equiparable al de los libros de texto de 5 grado de educacin primaria, pero plantea problemas de polisemia. Extensin

El texto tiene una extensin de entre 1 1/2 y 2 1/2 cuartillas, medidas con parmetros mecanogrficos, o 22 500 bytes. La principal razn para introducir un texto narrativo en HV es el postulado terico de que este tipo de superestructura es la ms conocida por los sujetos, debido a que las situaciones comunicativas le demandan constantemente producir/recibir narraciones orales, que no difieren del texto narrativo en cuanto a la superestructura: lo diferente es el grado de elaboracin del contenido. As, los giros lingsticos asociados a las diferentes categoras resultan ms familiares que las de otros tipos de textos. Por ejemplo, el Marco es introducido por expresiones como "Haba una vez...", "En un lejano pas..."; la Complicacin est marcada por frases como "Y sucedi que un da...", "Mas, de repente..."; mientras que la Resolucin es introducida por expresiones del tipo de "As fue cmo...", "X no tuvo ms remedio que...". La importancia cognitiva de frmulas lingsticas como las anteriores es que el lector las asume como convenciones que en el momento de la comprensin le facilitan: A) la identificacin de la informacin relevante; y B) la elaboracin de proposiciones inferenciales y macroproposiciones. O sea: la aplicacin de las macrorreglas. En otro sentido, le facilitan la estrategia de anticipacin, ligada al modelo de los esquemas mentales, como se recordar. Con base en todo lo anterior, las preguntas de la segunda seccin permiten averiguar cmo realiza el sujeto los microprocesos y los macroprocesos. En cuanto a los primeros, el inters del IDANIS se centra en medir las relaciones intratextuales, concretamente las de referencia lxico-semntica y las de correferencia semntica, lo cual implica abordar la atribucin de significados y la forma en que el sustentante elabora parte de la linealidad del texto: aquella que supone identificar correferentes. En cuanto a los macroprocesos, el inters se encuentra centrado en la aplicacin de las macrorreglas de omitir, seleccionar, generalizar, construir e integrar, en los trminos definidos en el apartado 3.5. Al disear HV se supone que el procesamiento del texto narrativo resultar ms accesible que el del texto expositivo incluido en la tercera seccin, debido justamente a los argumentos precedentes. Los hechos han corroborado el supuesto, si bien al interior de la narracin se presentan diferentes niveles de desarrollo de habilidades como es de esperarse, pues la aplicacin de las macrorreglas ms complejas (construir e integrar) es accesible a menos sustentantes.

III) Tercera seccin: texto expositivo La tercera seccin presenta un texto expositivo. Por la superestructura que presenta, el texto es argumentativo. De modo anlogo al de la narracin, este tipo de superestructura posee una serie de categoras distintivas, las cuales fueron presentadas en la pgina 60 de este trabajo. Desde luego, al seleccionar el texto se tuvo en cuenta que la superestructura se mostrara con claridad y que existieran algunos giros cannicos para introducir sus categoras, sin desconocer que en el caso de la superestructura argumentativa es frecuente la omisin de frases introductorias. Esta circunstancia obliga al lector a elaborar ms inferencias que en la narracin. Lgicamente, la pertinencia de las inferencias creadas por los alumnos es explorada en el IDANIS. Esta vertiente reviste un gran inters y se presenta como un campo de investigacin muy fecundo, ya que demanda generar los recursos tcnicos para trabajar con informacin implcita. Por lo dems, las otras preguntas de la seccin miden tambin el nivel de desarrollo de habilidades para ejecutar los microprocesos y los macroprocesos implicados en la comprensin lectora, dado que son comunes a los diferentes tipos de texto. Aunque bajo esta perspectiva las preguntas del examen son similares, la expectativa de los responsables de HV es que el procesamiento de la informacin argumentativa ser menos accesible que la del texto narrativo, a causa de la menor familiaridad del lector con tal superestructura, as como la mayor formalidad de su registro lingstico. En la prctica el supuesto se ha probado, pero ao con ao se cierra la diferencia entre los resultados de ambas secciones, lo cual puede significar que los alumnos de educacin primaria se estn familiarizando con el texto expositivo. Sin embargo, lo importante en cuanto a la seccin tres es que, adems de los criterios de seleccin sealados a propsito del texto narrativo, para elegir el texto argumentativo se introdujo un criterio ms: la existencia real del texto. Por qu se habla ahora de la existencia real del texto? El texto narrativo no lo era? Cuando se habla de la existencia real del texto como criterio, se quiere decir que ste sera tomado en su textualidad, asumiendo tanto las discrepancias que tuviera respecto al llamado uso "ejemplar" de la lengua, como posibles inconsistencias del discurso con la realidad o con su coherencia interna.(3) De hecho, algunas de las posibles discrepancias de este tipo podran asimilarse a las caractersticas de estilo. En otras palabras: el texto debera provenir de una publicacin de distribucin social, desde donde se tomara sin enmiendas, ediciones o adecuaciones que atentaran contra su presentacin real. La problemtica anterior es mucho menos frecuente en el caso del texto narrativo ya que, generalmente, ste difiere poco del uso ejemplar de la lengua, debido a la relacin de vasos comunicantes que se ha dado entre la

lengua literaria y el uso "ejemplar". El sentido de las "licencias literarias", por ejemplo, apunta a evidenciar que las discrepancias del discurso literario con el uso ejemplar de la lengua no se consideran punibles porque atienden a razones expresivas. De igual modo, la falta de correspondencia estricta entre el texto narrativo y la realidad es un asunto concedido por el lector, en virtud del empleo de la ficcin. En esencia, aplicar el criterio de existencia real del texto deriva de la siguiente conviccin: el lector competente el que se ha propuesto formar la escuela contempornea aborda textos reales, no ideales. En los medios de socializacin de la lectura, particularmente los de aparicin peridica, como revistas, suplementos y diarios, es comn que los textos arrastren inconsistencias, explicables por las condiciones en que se escriben. Al margen de la voluntad de los escritores, durante su produccin y edicin, los textos socializados se encuentran expuestos a las deficiencias que acarrea la premura y a los accidentes editoriales. La expresin "el duende de las erratas" hace referencia a estos hechos. Los textos literarios no sufren tan a menudo las situaciones, ni an cuando se publiquen en revistas, suplementos o diarios, pues el halo de "cultura" que los envuelve exige siempre un mayor cuidado editorial. En varios instrumentos para la medicin de la comprensin lectora a los que han tenido acceso los responsables del IDANIS, se llega a incluir textos expositivos escritos ex profeso o manipulados con la intencin de limar las inconsistencias del discurso, explicitar sus relaciones lgicas o facilitar el uso de la lengua. Al proceder as, se incurre en el problema de la artificialidad (por eso enunciamos el criterio como existencia real del texto), que por un lado se contrapone con la tnica de la lectura en la propuesta curricular del 93 y, por otra, altera la medicin misma de las habilidades lectoras. Lo anterior no significa que la seleccin del texto consisti en la bsqueda de un texto inconsistente, de ninguna manera; significa, tan slo, que se contempl la alta probabilidad de que los textos disponibles presentaran algn atributo que los alejara de la idealidad. De hecho, el texto seleccionado rene un conjunto de cualidades que se explotaron en las preguntas.

Notas
1.Mabel Condemarn y Neva Milicic, Test de cloze. Procedimiento para el desarrollo y la evaluacin de la comprensin lectora, pp. 6-7. 2.Van Dik, op. cit., p. 144. 3.Respecto al tema del uso "ejemplar" de la lengua, vase: Ral vila, La lengua y los hablantes, Cap. 8.