Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Instrumento para Evaluar Metacognición y Funciones Ejecutivas en Tareas de Lectura
Instrumento para Evaluar Metacognición y Funciones Ejecutivas en Tareas de Lectura
La Escala de Conciencia
Lectora (ESCOLA):
Un
Instrumento
para
Evaluar Metacognicin y
Funciones Ejecutivas en
Tareas de Lectura
Resumen
Se analiza crticamente ESCOLA, un
instrumento
construido
para
evaluar
funciones
ejecutivas
metacognitivas,
mientras los sujetos realizan tareas de
comprensin lectora. El objetivo del estudio
fue examinar los fundamentos tericos, las
bondades y limitaciones conceptuales y
psicomtricas
de
la
prueba.
Los
fundamentos de ESCOLA se sustentan en
la teora de Flavell y en las pautas
marcadas por Jacobs y Paris. ESCOLA
responde a una estructura matricial (3 x 3)
donde se combinan tres procesos
metacognitivos (planificacin, supervisin y
evaluacin) y tres variables (tarea, persona
y texto). Utiliza un formato de eleccin
mltiple con tres alternativas, cada una de
ellas representa un nivel diferente de
conciencia lectora (bajo, medio y alto). La
escala presenta ndices de fiabilidad y
validez adecuados para esta clase de
instrumento y superar algunas de las
dificultades y problemas observados en
otros
instrumentos
de
similares
caractersticas.
Palabras clave: Metacognicin, funciones
ejecutivas, evaluacin, conciencia lectora,
validez y fiabilidad.
Revista Neuropsicologa, Neuropsiquiatra y Neurociencias, Abril 2010, Vol.10, N1, pp. 95-116
95
Fernndez et al.
Summary
Here we discuss ESCOLA critically, an
instrument constructed to assess executivemetacognitive functions while subjects
performing tasks of reading comprehension.
The objective of the study was to examine
the
theoretical
foundations,
the
psychometric goodness and conceptual
limitations of the test. The underlying
grounds of ESCOLA are Flavells theory
and guidelines marked by Jacobs and Paris.
ESCOLA responds to a matrix structure (3 x
3) combining three metacognitive processes
(planning, monitoring and evaluation) and
three variables (task, person and text).
ESCOLA uses a multiple choice structure
with three alternatives each of them
represents a different level of reading
awareness (low, medium and high). The
scale obtains indexes of reliability and
validity appropriate for this kind of
instrument and overcomes some difficulties
and problems encountered in other similar
instruments.
Key words: Metacognition, executive
functions, evaluation, reading awareness,
validity and reliability.
Introduccin
Los trminos metacognicin y funciones
ejecutivas son conceptos psicolgicos
relativamente recientes que aluden a un
corpus terico y metodolgico especfico
(Ardila & Ostrosky-Sols, 2008; Garner,
1987). El inters por estos conceptos se
inicia en la dcada de los setenta, tomando
como referencia las investigaciones y
desarrollos tericos de Flavell (Flavell,
1976; Flavell & Wellman, 1977). Dentro de
esta perspectiva, la metacognicin incluye
dos dimensiones bsicas relacionadas: el
96
97
Fernndez et al.
jvenes adultos con el de los adultos
mayores. Estos ltimos van perdiendo
flexibilidad en el uso de las estrategias y
tambin se sienten menos motivados para
descubrir aquellas estrategias que pudieran
ser ms eficaces. Los resultados son
consistentes con el punto de vista de Berry,
West y Dennehey (1989) que plantean que
la edad afecta a la metamemoria en lo que
se refiere al uso adecuado de las
estrategias
(Murphy,
Sanders,
Gabriesheski, & Schimtt, 1981, Murphy,
Schmitt, Caruso, & Sanders, 1987).
El vnculo entre la funcin ejecutiva y el
control metacognitivo ha sido poco
estudiado. Raz, Gunning-Dixon, Head,
Dupuis y Acker (1998) muestran una leve
asociacin con las medidas en el Test
Wisconsin Card Sorting, (WCST-M); sin
embargo,
no
encontraron
relacin
significativa con otra prueba clsica de
control ejecutivo como es la de Fluencia
Verbal. La cuestin que surge es la
siguiente: A qu se debe esta diferencia?
El WCST-M es considerado una medida
compleja de la funcin ejecutiva que
requiere habilidades diferentes, tales como:
planificacin, secuenciacin, formacin de
conceptos,
cambio y mantenimiento
cognitivo, y principalmente organizacin y
regulacin de la conducta orientada a
metas (Lezak, 1995; Milner, 1964; Roberts
& Pennington, 1996). La prueba de Fluencia
Verbal, por el contrario, lo que requiere
bsicamente
es
la
generacin
y
manipulacin de estrategias de bsqueda,
activando
respuestas
relevantes
e
inhibiendo las irrelevantes (Baddeley, 1996;
Troyer, Moscovitch, & Winocur, 1997). El
test de Fluencia Verbal, por ende, no
involucra exactamente los mismos procesos
ejecutivos que estn implicados en la tarea
WCST. Esta diferencia es la que puede
98
99
Fernndez et al.
ejemplo, considerando simultneamente la
ejecucin de la tarea y al mismo tiempo, su
percepcin de la misma (Karmiloff-Smith,
1995). Este cruce de indicadores en sus
diferentes facetas y mtodos permite al
evaluador obtener una visin de conjunto
probablemente ms vlida. La Escala de
Conciencia
Lectora
(ESCOLA)
que
presentamos, es una prueba que soslaya
algunas de estas dificultades de naturaleza
lingstica sin afectar negativamente a la
ejecucin de la tarea.
La
investigacin
del
desarrollo
metacognitivo y su evaluacin nos lleva a
algunas conclusiones de inters. En primer
lugar, los alumnos ms jvenes poseen una
cantidad
limitada
de
conocimiento
metacognitivo (Baker, 1989; Pressley &
Schneider, 1997). Este conocimiento
mejora el rendimiento y, adems parece
que se puede ensear incluso a alumnos
pequeos (Buttler & Winne, 1995). En
segundo lugar, la aptitud y el conocimiento
limitan el desarrollo metacognitivo en
mucha menor medida de lo que cabra
esperar (Glenberg & Epstein, 1987;
Pressley & Ghatala, 1990; Swanson, 1990).
As, los profesores deberan formarse y
esforzarse en proporcionar enseanza
metacognitiva a los alumnos que carecen
de ella, con independencia de su nivel de
rendimiento, en vez de reservarla para los
alumnos ms avanzados (Jacobs & Paris,
1987; Monereo, 1995; Palincsar & Brown,
1984). En tercer lugar, las pruebas indican
que la conciencia metacognitiva compensa
la capacidad escasa y el conocimiento
insuficiente (Delclos & Harrintong, 1991).
La estructura de la Escala de Conciencia
Lectora se sustenta en tres procesos
(planificacin, supervisin y evaluacin) y
tres variables (persona, tarea y texto) ms
el importante componente estratgico de
100
101
Fernndez et al.
escolares. La variable texto se refiere a las
caractersticas del texto que influyen en la
comprensin y en la memoria. Factores
como las ideas que expresa el texto, el
vocabulario, la sintaxis, las intenciones del
autor, la coherencia, la estructura del texto,
etc., son importantes para desarrollar la
lectura con efectividad. Adicionalmente a
los procesos y variables descritas, algunos
investigadores
reconocen
que
el
aprendizaje auto-regulado depende no slo
de factores cognitivos sino tambin de
factores motivacionales (Burn, 1995;
Jimnez, 2004; Mateos, 2001; Pintrich & De
Groot, 1990). Si los factores cognitivos se
relacionan con la competencia para llevar a
cabo una tarea, los factores de motivacin
se asocian con la actuacin o el
rendimiento en la tarea. Weinert (1987), por
ejemplo, plantea que las atribuciones que
realizan los estudiantes explican en gran
medida el xito o fracaso en una tarea. As,
los estudiantes que se perciben a s
mismos como aprendices eficaces y
capaces de controlar su propio aprendizaje,
buscan aprender y dominar la tarea antes
que demostrar a los dems su competencia
para conseguir su aprobacin, tienen un
inters intrnseco por la tarea, que perciben
como til y significativa, y atribuyen sus
xitos y fracasos a factores controlables
como el nivel de esfuerzo puesto en la
tarea; por lo tanto, es probable que se
impliquen en el aprendizaje de la misma y
que persistan en el empeo.
Somos conscientes del inters que
despierta la metacognicin y la necesidad
de disponer de tecnologas aplicables en
los mbitos educativos y clnicos (Alexander
& Jetton, 2000; Jimnez Rodrguez, 2004;
Pressley, 2000). En la revisin del rea se
seala que la metacognicin condiciona la
eficacia de la lectura y sta a su vez,
102
Mtodo
Desarrollo de ESCOLA
Objetivos de investigacin
Los objetivos del estudio fueron dos: a)
Desarrollar un instrumento eficaz para
medir metacomprensin lectora, incluyendo
los componentes estratgicos, los procesos
y las variables implicadas; b) Analizar
crticamente la prueba como producto
psicopedaggico que evala metacognicin
y funciones ejecutivas, tomando en
consideracin
las
propiedades
conceptuales y psicomtricas.
Muestra
Para la realizacin de los diversos estudios
sobre el ESCOLA se trabaj con mltiples
muestras que suman un total de 1125
estudiantes de entre 9 y 13 aos de edad
que cursan cuarto, quinto y sexto de
primaria, y primer curso de secundaria
obligatoria. Los alumnos proceden de tres
tipos de colegios (pblicos, pblicosconcertados y privados) de los cuales 816
103
Fernndez et al.
cuenta los criterios de edad cronolgica,
grado acadmico, tipos de colegios y
distribucin geogrfica.
6) Anlisis de fiabilidad y validez: se
compar las medidas del ESCOLA con
otras pruebas para comprobar los
coeficientes de fiabilidad y las evidencias
de validez. La fiabilidad del ESCOLA se
calcul por distintos procedimientos:
consistencia interna ( de Cronbach) y
correlacin entre formas paralelas. Para
las evidencias de validez se consideraron
el anlisis de contenido y constructo y la
relacin con otras variables.
Materiales
Consta de un cuadernillo de elementos de
ESCOLA-56 (versin completa) y ESCOLA28 (versin abreviada), hojas de respuesta
y manual que incluye tablas de correccin y
clasificacin, perfiles de puntuaciones y
normas de interpretacin de las escalas. En
el juego completo se incorpora un CD, con
un programa informtico que facilita la
aplicacin y correccin de la prueba por
ordenador.
Resultados
El ESCOLA es un instrumento que se ha
desarrollado en diversas etapas. En la
primera etapa los anlisis giraron entorno a
comprobar la validez de contenido de la
escala y en obtener evidencias de validez
convergente y discriminante (estos anlisis
estn recogidos en Jimnez Rodrguez,
2004; Jimnez, Puente, Alvarado, &
Arrebillaga, 2009).
En una segunda fase de estudios
psicomtricos de las propiedades del
instrumento, ste fue administrado en
diversos colegios tanto pblicos como
104
privados
y
concertados
del
rea
metropolitana de Madrid (375 alumnos) y a
309 alumnos pertenecientes a colegios
privados de Buenos Aires, todos ellos con
edades comprendidas entre los 9 y los 13
aos.
Anlisis de la precisin y fiabilidad de la
escala
La fiabilidad de la escala se ha estudiado
en diversas submuestras, observndose
diferencias en funcin del sexo, edad, tipo
de colegio, etc., con valores medios de
0,85, tanto para el alfa de Cronbach como
para la correlacin de formas paralelas.
La consistencia interna de ESCOLA
calculada mediante el de Cronbach
alcanza un valor de 0.81 tomando como
sujetos a los escolares madrileos que
realizaron el test completo y que
contestaron a todos los tems, mientras que
en los participantes argentinos alcanz un
valor de 0.86. El menor valor obtenido de
fiabilidad en los sujetos espaoles se debe
a que los alumnos de mayor edad (12 y 13
aos)
generalmente
alcanzan
altas
puntuaciones en el test reducindose as la
varianza de la puntuacin observada. No
obstante, la escala permite obtener valores
por encima de 0.91 en grupos que
presentan niveles bajos en lectura y
metacognicin.
Los
anlisis
de
fiabilidad
se
complementaron con anlisis de la Teora
de la Respuesta al tem (TRI); en concreto
se estudi el ajuste de los datos al Modelo
Politmico de Respuesta Graduada de
Samejima (1969). Para llevar a cabo este
estudio se utilizaron los programas Parscale
y
Multilog
(Scientific
Software
Internacional). Los anlisis indicaron un
buen ajuste para la mayor parte de los 56
tems. En la Figura 1 se puede observar
105
Fernndez et al.
Figura 2. Funcin de informacin (en lnea continua) y Error Estndar (en lnea discontinua) del ESCOLA
Formas paralelas
El test ESCOLA puede ser administrado en
su versin de 56 tems pero tambin puede
ser aplicado en dos versiones reducidas de
28 tems cada una, lo que hace posible
tanto una evaluacin rpida como una
reevaluacin de la metacomprensin tras
una intervencin. Las versiones reducidas
Tabla 1
Valores medios, desviaciones tpicas (DT) y correlaciones con el ESCOLA para los distintos
agrupamientos de tems considerados
FORMA A
Media
Pla_Per
Pla_Tar
Pla_Tex
PLANIF.
Sup_Per
Sup_Tar
Sup_Tex
SUPERV.
Eva_Per
Eva_Tar
Eva_Tex
EVALUA.
3,95
8,19
5,91
18,05
2,35
4,59
4,17
11,11
4,47
3,06
2,84
10,36
106
DT
Correlacin test
FORMA B
Media
1,14
2,11
1,74
4,99
0,94
1,32
1,27
3,52
1,13
0,92
1,07
3,13
0,61
0,75
0,72
0,69
0,38
0,61
0,61
0,53
0,62
0,52
0,59
0,58
Pla_Per
Pla_Tar
Pla_Tex
PLANIF.
Sup_Per
Sup_Tar
Sup_Tex
SUPERV.
Eva_Per
Eva_Tar
Eva_Tex
EVALUA.
4,51
9,16
5,66
19,33
2,91
4,41
3,99
11,30
4,20
2,40
3,02
9,62
DT
Correlacin test
1,38
2,28
1,82
5,48
1,04
1,15
1,40
3,59
1,51
0,88
0,91
3,30
0,68
0,77
0,68
0,71
0,52
0,70
0,60
0,61
0,62
0,42
0,48
0,51
Validez de constructo
Tabla 2
Bondad de ajuste en funcin del nmero de factores considerados
Factor
Chi2
gl
prob
RMSEA
1708.17
36
0.327
53.70
27
0.002
0.048
32.76
19
0.026
0.041
20.23
12
0.063
0.040
7.17
0.305
0.021
3.00
0.083
0.068
Discusin
Uno de los objetivos de ESCOLA fue
garantizar que en la prueba estuvieran
adecuadamente
reflejados
tanto
la
estructura como el contenido de lo que se
quera medir. La validez de contenido y de
constructo son requisitos exigibles a los
tests objetivos pues se constituyen en la
base
cientfica
que
sustenta
las
interpretaciones o inferencias que se hacen
de las puntuaciones, perfiles, etc. Para
107
Fernndez et al.
ESCOLA evala las estrategias de lectura y
el PROLEC-SE mide procesos lectores.
Existen una serie de funciones que son muy
significativas tanto en los procesos como en
las estrategias que utiliza el lector para
alcanzar una plena comprensin del acto
lector. Una de esas funciones es la funcin
ejecutiva que es clave para el proceso
metacognitivo
de
planificacin.
Las
dificultades en comprensin lectora se han
relacionado con la funcin ejecutiva.
ESCOLA, sin embargo, correlaciona bien
con una prueba Likert en la que varios
profesores-tutores calificaban a los sujetos
en tareas de lectura. El segundo
procedimiento de validacin utilizado fue
por medio de un comit de expertos que
confirmaron la validez de constructo
tomando en consideracin aspectos como:
representatividad, pertinencia y relevancia
de los tems.
Para evaluar la generalizacin de la prueba
a distintas poblaciones y culturas de habla
hispana se pas ESCOLA a una muestra
de escolares argentinos. Al calcular la
fiabilidad de la prueba se alcanzaron unos
valores medios de 0,85, tanto para el alfa
de Cronbach como para la correlacin de
formas paralelas. Un dato relevante apunta
a que ESCOLA es una prueba muy sensible
y alcanza mayor precisin, entre 0,90 y
0,95, para niveles bajos y muy bajos de
aptitud. Este resultado es de gran
relevancia para su uso, puesto que, la
utilidad del instrumento est en la
intervencin y mejora en metacognicin. La
conclusin es que los alumnos que puntan
bajo en metacognicin son los que mejor
rendimiento obtienen con los programas de
entrenamiento.
Al
analizar
el
comportamiento de los tems a travs de las
Curvas Caractersticas comprobamos que
la alternativa de respuesta que representa
108
109
Fernndez et al.
plantean que el concepto de lo ejecutivo
ms que una serie de habilidades o
destrezas, seran una serie de cambios en
la actividad cognitiva de un orden superior
que se relacionaran con elementos de
naturaleza metacognitiva. stos seran los
primeros que se veran afectados si los
sujetos sufrieran traumas o lesiones en los
lbulos frontales, tal y como sucede en los
sujetos que estn diagnosticados de TDAH.
Los efectos comrbidos entre Dficit Lector
y TDAH son escasos en habla hispana y los
pocos que existen se han focalizado en
tareas de decodificacin (Miranda-Casas,
Ygual-Fernndez, Mulas, Rosell, & B,
2002); mientras que la comprensin lectora
ha sido prcticamente obviada. El nico
estudio conocido es el de Arrebillaga (en
preparacin) donde se encontr que los
TDAH presentan un rendimiento en los
tests
de
comprensin
lectura
y
metacognicin claramente peor que los
nios sin TDAH. La naturaleza del problema
estara
ms
en
las
funciones
metacognitivas que en la mera comprensin
lectora, puesto que, igualando a los sujetos
en nivel lector, los TDAH siguen mostrando
un claro deterioro en su nivel metacognitivo.
Se estima que la comorbilidad de TDAH y
Dficit Lector oscila entre el 15% y el 50%
en funcin de los criterios de identificacin
(August & Garfinkel, 1990; Willcutt &
Pennington, 2000). Esta asociacin puede
que
sea
debida
a
deficiencias
psicolingsticas y visoperceptivas que
experimentan desde la etapa de Educacin
Infantil los sujetos con TDAH (Ygual &
Marco, 2008). Ante esta laguna cientfica
nuestro equipo ha desarrollado una
investigacin con el objeto de descubrir las
relaciones y comorbilidades entre ambas
alteraciones
psicolgicas
(Alvarado,
Puente, Jimnez & Arrebillaga, en
preparacin). La investigacin se centra en
110
Referencias
Alvarado, J. M., Puente, A., Jimnez, V., &
Arrebillaga, L. (en preparacin). Evaluacin
de
las
deficiencias
lectoras
y
metacognitivas en nios y adolescentes con
TDAH.
Alexander, P. A., & Jetton, T. L. (2000).
Learning from text: A multidimensional and
developmental perspective. En M. Kamil, P.
Monsenthal, P. D. Pearson & R. Barr (Eds.),
Handbook of reading research (Vol. 3, pp.
285-310). Mahwah, NJ: Erlbaum.
Amat, M. (1991). Estructura de texto. En A.
Puente (Ed.), Comprensin de la lectura y
accin docente (pp. 163-183). Madrid:
Pirmide/FGSR.
Ardila, A., & Ostrosky-Sols, F. (2008).
Desarrollo histrico de las funciones
ejecutivas.
Revista
Neuropsicologa,
Neuropsiquiatra y Neurociencias, 8(1), 121.
Ardila, A., Pineda, D., & Rosselli, M. (2000).
Correlations between intelligence test
scores and executive function measures.
Archives of Clinical Neuropsychology, 15,
31-36.
Ardila, A., & Surloff, C. (2007). Dysexcutive
syndromes. San Diego: Medlink: Neurology.
Arrebillaga,
L.
(en
preparacin).
Metacognicin, TDAH y Comprensin de la
lectura.
Tesis
Doctoral.
Universidad
Complutense de Madrid.
111
Fernndez et al.
Fernndez-Duque, D.; Baird, J., & Posner,
M. (2000). Executive attention and
metacognitive regulation. Consciousness
and Cognition, 9, 288-307.
Flavell, J. H. (1976). Cognitive aspects of
problem solving. En L. B. Resnick (Ed.),
The nature of intelligence (pp. 231-235).
New York: Academic Press.
Flavell, J. H. (1981). Cognitive monitoring.
En W. P. Dickson (Eds.), Childrens oral
communication skills. New York: Academic
Press.
Flavell, J. H. (1987). Speculations about the
nature and development of metacognition.
En F. Weinert, & R. Kluwe (Eds.),
Metacognition,
motivation
and
understanding (pp. 21-29). Hillsdale, N. J.:
LEA.
Flavell, J. H., & Wellman, H. M. (1977).
Metamemory. En R. V. Kail Jr. & J. W
Hagen (Eds.), Perspectivas on the
development of memory and cognition (pp.
3-33). Hillsdale, N. J.: LEA.
Forrest-Pressley, D. L., & Waller, T. G.
(1984). Cognition, metacognition and
reading. New York: Springer-Verlag.
Fuster, J. M. (1989). The prefrontal cortex.
New York: Raven Press.
Fuster, J. M. (2002). Frontal lobe and
cognitive
development.
Journal
of
Neurocytology, 31, 373-385.
Garca-Madruga, J. (2006). Lectura
conocimiento. Barcelona: Paids.
112
113
Fernndez et al.
372).
Hillsdale:
Associates.
Lawrence
Erlbaum
Pressley, M., & Ghatala, E. S. (1990). Selfregulated learning: Monitoring learning from
text. Educational Psychologist, 25(1), 19-33.
114
115
Fernndez et al.
technique: Journal of School Psychology,
31, 469-485.
West, R. (1996). An application of prefrontal
cortex function theory to cognitive aging.
Psychological Bulletin, 120(2), 272-292.
Welsh, M. C., Pennington, B. F., & Groisser,
D. B. (1991). A normative-developmental
study of executive function: A window on
prefrontal
function
in
children.
Developmental Neuropsychology, 7, 131149.
Weinert, F. E. (1987). Metacognition and
motivation as determinants of effective
learning and understanding. En F.E.
116