Suscríbete a DeepL Pro para poder traducir archivos de mayor tamaño.

Cuantificación de análisis cualitativos de datos verbales: Guía 16

práctica Más información disponible en www.DeepL.com/pro.

El corazón es un órgano muscular que bombea sangre por todo el cuerpo.

El alumno lo explica:

El corazón es lo que causa, es de donde viene la energía para la sangre.

En este caso, ¿la interpretación del alumno de que un órgano muscular es una poderosa fuente de sangre debe
considerarse una inferencia minuciosa o una paráfrasis?

Contexto . Una segunda cuestión técnica tiene que ver con el grado en que debe tenerse en cuenta el
contexto en la codificación. El contexto se refiere al número de líneas de los protocolos que
rodean (antes y después) el segmento actual que el codificador debe tener en cuenta al interpretar
el significado del segmento actual. Es decir, a veces surge una interpretación diferente si se utiliza un
contexto más amplio (varias líneas de protocolos transcritos) que si la decisión de codificar un segmento
específico de protocolo se mantiene a un nivel muy local (un segmento). Hay tres opciones obvias. La
primera es utilizar tanto contexto como sea necesario para maximizar la comprensión de las
expresiones verbales por parte del codificador. A continuación se presenta un ejemplo de resolución
de la comprensión de protocolos generados con numerosas frases de diferencia. Para entender este
ejemplo, el lector debe saber que el modelo mental inicial del alumno sobre el sistema circulatorio
no incluye los pulmones (Chi, de Leeuw, et M ., 1994). En su lugar, el modelo mental del alumno
sobre la circulación humana es simplemente que la sangre sale del corazón, va al cuerpo y vuelve al
corazón (el modelo de bucle único de la figura 1). La frase 18 del texto que leyó el alumno fue la
primera vez que se encontró con la informaciónde que los pulmones eran un componente del sistema
circulatorio:

El lado derecho bombea sangre a los pulmones y el izquierdo a otras partes del cuerpo.

Antes de esta frase, el texto hablaba del corazón y sus cámaras. Después de leer esta frase, el sujeto
se explica:

Sólo que u m , el lado derecho es principalmente para los pulmones y el lado izquierdo es para el resto del cuerpo.

Una forma de interpretar esta explicación es que la alumna simplemente trataba los pulmones como una parte del
cuerpo, de modo que veía los pulmones simplemente como otro destino al que tenía que viajar la sangre. No se
daba aquí ningún estatus especial a los pulmones como fuente de oxigenación. Esta interpretación conservadora
sólo se corroboró mucho más tarde, cuando se introdujeron los pulmones por segunda vez, en la frase 32, que
decía:

Los músculos del ventrículo derecho se contraen e impulsan la sangre a través de la

válvula semilunar hacia los vasos que conducen a los pulmones.

Tras leer esta frase, el alumno explicó:

(pausa) ... Urn, la frase es un poco confusa. U m , la sangre es sólo fluye desde el ventrículo en
los vasos y va, um, a los pulmones, um, bien. Supongo que entonces yo estaba recordando la
cosa sobre el lado izquierdo es para el resto del cuerpo, y el lado derecho es sobre todo para los
pulmones, pero bueno supongo que no sé Yo estaba pensando que usted sabe, sólo estaba
proporcionando los pulmones con
sangre que no tenía mucho sentido, pero que posiblemente, no sé, pero tal vez va allí
para recibir oxígeno o algo así. No lo sé.

Esta explicación confirma la interpretación anterior de la frase 18, según la cual ella pensaba entonces que
la sangre iba a los pulmones con el único fin de suministrar sangre a los pulmones (véase la primera parte en
cursiva) y sólo ahora se da cuenta de que va allí para recibir oxígeno (véase la segunda parte en cursiva). Así, el
uso del contexto extensivo ayudó a resolver la idoneidad de la interpretación cuando ésta era ambigua.
La opción de utilizar el contexto extensivo podría ser la más adecuada para analizar el protocolo
de un solo sujeto, ya que uno no puede permitirse tolerar errores de interpretación.
 Cuantificación de análisis cualitativos de datos verbales: Guía 17
práctica
Un segundo enfoque consiste en utilizar un contexto mínimo y mantener la interpretación a un nivel
bastante local (es decir, al nivel del segmento que se está codificando). Esto podría ser más apropiado para
codificar datos de múltiples sujetos porque los datos de múltiples sujetos dejan más espacio para el "ruido".
Es decir, la tendencia resultante de los datos de múltiples sujetos puede superar los errores ocasionales de
interpretación debidos a la ambigüedad. La tercera forma de resolver el problema del contexto es
codificar los datos dos veces, una utilizando un contexto estrictamente local y otra utilizando un contexto
más amplio. Pero, por supuesto, esto requiere más trabajo. En cualquier caso, para cualquier codificación,
prefiero permitir el uso del contexto más allá del segmento actual como mínimo para resolver la ambigüedad
sintáctica (como la comprensión de los referentes). En general, siempre hay que ser coherente en cuanto a
la amplitud del contexto a considerar en una codificación concreta.

Representación del Formalismo M apped

Una vez codificados los datos, los resultados deben representarse por dos motivos. En primer lugar, es una
forma de presentar los datos al público, del mismo modo que se representarían los datos cuantitativos gráficamente o
en forma de tabla. Una segunda razón, también análoga al análisis cuantitativo, es ver si se pueden detectar
algunos patrones en los datos representados. Este segundo propósito se trata en esta sección.
Existen múltiples formas de representar los datos codificados, dependiendo del formalismo
elegido. Si se opta por una taxonomía de categorías, una simple tabla que presente las medias de cada
categoría puedeser adecuada. Sin embargo, para otros formalismos, pueden utilizarse diferentes heurísticas
para guiar la representación de los datos. Si la representación es una secuencia de estados del problema (o
gráfico del comportamiento del problema), entonces hay reglas específicas para representarlo de tal
manera que se mantenga la secuencia de operadores en todo el espacio del problema (Newell & Simon,
1972, p. 173). Al representar datos verbales codificados en cualquier forma, como una red
semicultural, es necesario hacer suposiciones sobre qué códigos corresponden a un enlace y qué
códigos corresponden a un nodo conceptual. En Chi y Koeske (1983), cada nombre de dinosaurio se
designaba como un nodo de la red, y la relación entre nombres sucesivos de dinosaurios (sin pausa
significativa) correspondía a un enlace entre dos nodos de dinosaurio. Cada propiedad o
característica que un niño sabía acerca de un dinosaurio fue considerado como un nodo de propiedad
que se representó como asociada con el nodo de dinosaurio. También hay programas comerciales que
pueden diseñar este tipo de redes, como Sem Net TM (K. Fisher, 1989, 1990).
No parece existir ninguna técnica estándar para ilustrar gráficamente una representación.
Diferentes sistemas parecen funcionar para diferentes tareas y dominios. Al representar una cadena
argumental, por ejemplo, Voss et al. (1983) adjuntaron un nodo de respaldo al nodo de la orden que
estaba respaldando. Si una orden dada tiene dos apoyos, entonces adjuntan ambos nodos de apoyo al
mismo nodo de orden. En el caso de la representación de la red semiótica de dinosaurios (Chi &
Koeske, 1983), se asumió que no había nodos redundantes, de modo que todas las referencias al mismo
nodo conceptual se mostraban como vinculadas a ese nodo y no a un duplicado del mismo. A veces,
estas restricciones pueden guiarse por suposiciones del formalismo.
En cierto sentido, no importa la forma que se utilice para representar los datos, ya sea
pictóricamente, en forma de árbol o con otros tipos de anotaciones formales, como ecuaciones. Las
conclusiones que se extraigan del análisis dependerán del patrón que se pueda percibir a partir de
la forma o de los análisis (que se tratarán en la siguiente sección), aunque podrían cometerse algunos
errores de interpretación si los datos se representaran de forma incorrecta. Los errores en la
representación de los datos pueden cometerse involuntariamente. Por ejemplo, al representar los
objetivos, un investigador podría colocar el conjunto de objetivos articulados al principio de los
protocolos en la parte superior de una página y los mencionados más adelante en los protocolos en la
parte inferior de la página y luego asumir erróneamente que los mencionados más adelante en la parte
inferior de la página eran los objetivos de nivel inferior. Aunque este ejemplo parezca ridículo, ha
ocurrido de verdad.

Búsqueda de pautas y coherencia en los datos representados

Una vez representados los datos codificados, se puede empezar a buscar patrones en los resultados. La
búsqueda de patrones en los datos representados no es diferente de la búsqueda de patrones en otros tipos de
medidas dependientes, como los gráficos de tiempo de reacción, en los que se buscan tendencias lineales o
funciones en forma de U. Si los datos se codifican en categorías taxonómicas, entonces el patrón es fácil de
ver porque los datos pueden representarse fácilmente en gráficos de barras. Si los datos se codifican en
categorías taxonómicas, entonces el patrón es fácil de ver porque los datos pueden representarse fácilmente en
gráficos de barras, y el análisis estadístico puede confirmar o desconfirmar cualquier diferencia fiable. Sin embargo,
 Cuantificación de análisis cualitativos de datos verbales: Guía 18
práctica
si los datos codificados se representan en una estructura de nodos y vínculos, habrá que buscar patrones de
interrelación y, a continuación, desarrollar métodos para cuantificar el patrón observado. Por
ejemplo, Chi y Koeske (1983) representaron el conocimiento de un niño sobre un conjunto más
familiar de 20 dinosaurios en contraste con un conjunto menos familiar de 20 dinosaurios.
 Cuantificación de análisis cualitativos de datos verbales: Guía 19
práctica
conjunto familiar de 20 dinosaurios en función de qué características de cada dinosaurio conocía el niño, así como
de la frecuencia con que se mencionaban los nombres de los dinosaurios en secuencia consecutiva
(véanse las figuras 2 y 3).

FIGURA 2 Representación de los conocimientos de un niño sobre 20 dinosaurios más conocidos. De "Network
representation of a child's dinosaur knowledge", por M . T. H. Chi y R. D. Koeske, 1983, Developmental Psychology, 19,
p.33 Copyright 1983 por la American Psychological Association. Reimpreso con permiso.

Una vez representados, la representación del conjunto de dinosaurios más familiares parecía más
coherente que la representación del conjunto de dinosaurios menos familiares, de la siguiente manera: Los
dinosaurios más familiares estaban claramente segregados en dos grupos (véase la Figura 2). Los grupos
surgieron como resultado del patrón de interconexiones entre los dinosaurios, así como en la forma en que
los dinosaurios comparten características, y no por el número total de interconexiones o el número total
de nodos presentes en cada una de las dos representaciones (porque exactamente 20 dinosaurios y un
par de características de cada dinosaurio fueron representados en cada representación). Es decir, para
el conjunto más familiar de dinosaurios, había numerosos vínculos entre ciertos dinosaurios, lo que
los definía como pertenecientes a un grupo, y al mismo tiempolos dinosaurios de grupos distintos tenían
pocos vínculos entre ellos. Este patrón de mayor número de enlaces dentro de un grupo y menor número
de enlaces entre grupos no era evidente en el conjunto de dinosaurios menos familiares. El conjunto de
dinosaurios menos familiares se dividió en cinco grupos (véase la figura 3), cuyo patrón de vínculos era más
difuso. Por lo tanto, se llegó a la conclusión de que la estructura de los dinosaurios más familiares
estaba mejor organizada y era más coherente que la de los dinosaurios menos familiares, a pesar de
que el número total de enlaces y nodos utilizados para representar las dos estructuras eran
idénticos. Por lo tanto, una vez representado, parecía haber surgido un patrón de interrelaciones
en el que las interrelaciones entre el conjunto más familiar parecían más coherentes que las
interrelaciones del conjunto menos familiar. Esta diferencia en el patrón se confirmó cuantificando el
número de enlaces entre dinosaurios dentro de un grupo familiar frente al número de enlaces entre
grupos familiares.
 Cuantificación de análisis cualitativos de datos verbales: Guía 20
práctica

FIGURA 3 Representación de los conocimientos de un niño sobre 20 dinosaurios menos conocidos. De "Network
representation of a child's dinosaur knowledge", por M. T. H. Chi y R. D. Koeske, 1983, Developmental
Psychology, 19, p.34 Copyright 1983 por la American Psychological Association. Reimpreso con permiso.

Como se ha mostrado anteriormente, se puede confirmar cualquier patrón que se vea en los datos representados
por medios cuantitativos sin mucha dificultad. Es decir, se puede cuantificar cualquier patrón en una
red, una cadena argumental o una cadena causal, aunque sean de naturaleza gráfica. Hay muchas formas de
cuantificar una representación gráfica, como una taxonómica, y de comprobar su fiabilidad estadística. Por
ejemplo, Voss et al. (1983) pudieron calcular la profundidad media de una cadena argumental, consistente en una
afirmación y una garantía respaldadas por otra afirmación y una garantía, respaldadas por una última
afirmación y una garantía. Este cálculo proporciona una indicación de la extensión de los argumentos
desarrollados. También se puede adaptar la representación de red causal de van den Broek (1989) de una
historia para representar datos verbales (de Leeuw, 1993). Una vez representados, se pueden detectar
patrones de relaciones, como el número de conexiones causales o la longitud de las cadenas causales con el
número de inferencias, etcétera.
En general, no parece difícil cuantificar la densidad de las representaciones gráficas de los datos
codificados, por ejemplo, contando el número de nodos conectados a la cadena argumental de un gráfico en
comparación con otro. Por lo tanto, no hay que depender de la evaluación visual subjetiva de la estructura
o la representación gráfica (como juzgar simplemente que un gráfico representado es más jerárquico
que otro).
Cuantificar un patrón percibido en una representación gráfica de datos codificados no es lo mismo
que cuantificar el número total de elementos que la componen. Cuantificar el número total de
elementos simplemente muestra que una representación tiene más conocimientos que otra, lo que no
suele ser un hallazgo muy profundo, especialmente en el contexto de la investigación experto-novato.
En cambio, lo que se discute anteriormente es cuantificar el patrón que surgió, lo que es comparable
a captar la estructura de la representación. Dos ejemplos ilustrarán este tipo de método. Chi y
Koeske (1983) no cuantificaron el número de nodos de dinosaurios y rasgos en las representaciones más
y menos familiares; de hecho, este número se controló y se hizo equivalente en las dos representaciones.
En su lugar, la cuantificación se produjo en el nivel del patrón. Del mismo modo, Voss et al. (1983) no se
limitaron a cuantificar el número de nodos garantes y de respaldo, sino que cuantificaron la
profundidad media de
 Cuantificación de análisis cualitativos de datos verbales: Guía 21
práctica
la cadena argumentativa como indicación de la complejidad del argumento. Así pues, la cuantificación se
produjo en el nivel del patrón, con el propósito de poder decir algo sobre la coherencia de la estructura,
más que sobre la abundancia de los elementos en la estructura.
También es posible que la coherencia y la estructura de los datos representados puedan evaluarse
sin u n recuento cuantitativo. A continuación se presentan tres ejemplos. Si se representa una
cadena causal de acontecimientos para una historia, se podría captar la coherencia de la cadena
causal en términos de si todos los acontecimientos relevantes forman parte de la cadena causal, como
hizo van den Broek (1989), o si los sujetos representaron los acontecimientos de una historia de
forma jerárquica o secuencial. En este caso, la coherencia se refiere realmente a la estructura de la
representación, como por ejemplo si todos los acontecimientos de una historia están relacionados con la
cadena causal principal de la historia. En cualquier caso, tanto si la coherencia se evalúa por
algún tipo de recuento del patrón de vínculos como si se evalúa por la naturaleza de la estructura que
adopta (lineal o jerárquica), cualquiera de los dos modos de evaluación parece más informativo que
el método convencional de confiar en el juicio de coherencia de dos evaluadores independientes.
Una segunda forma de evaluar la coherencia sin cuantificación puede verse en el análisis que
captó la comprensión de los alumnos sobre el sistema circulatorio (Chi, de Leeuw, et al., 1994). En
ese análisis, el m odelo m ental de un alumno podía ser coherente si tenía o no m uchos de los
com ponentes correctos y conexiones correctas. Es decir, un modelo de bucle simple puede ser más
coherente que un modelo de bucle simple con pulmones (véase la Figura 1) aunque este último modelo
tenga más componentes (es decir, la adición de pulmones). La coherencia en este caso puede
determinarse por métodos como ver si el modelo mental predice correctamente qué respuestas darían los
alumnos basándose en ese modelo o cómo manejan los alumnos la información contradictoria. Así, un
modelo mental puede ser coherente en el sentido de que se utiliza sistemáticamente para generar
explicaciones y respuestas, aunque no tenga tantos componentes y vínculos como otro más
complejo pero menos coherente.
Como último ejemplo, en el estudio de física en el que se pidió a expertos y novatos que categorizaran
problemas de física (Chi et al., 1981), no había razón para esperar que expertos y novatos dividieran los
problemas en un número diferente de categorías (de hecho, los dividieron en un número relativamente igual de
categorías). Sin embargo, la naturaleza de las categorías era significativamente diferente. Así pues, el
patrón que surgió de los datos representados no tiene por qué basarse necesariamente en una evaluación
cuantitativa si puede captarse por otros medios.

Interpretación del patrón y su validez

La interpretación de la pauta percibida en los datos representados, al igual que en la fase de búsqueda de pautas y en
otras fases de los análisis, depende de nuevo por completo de las hipótesis que se comprueben, de las
preguntas de investigación que se formulen y de la orientación teórica del investigador. Se pueden interpretar los
datos en términos de estrategias y procesos, de estructura y contenido de la base de conocimientos, o
de ambos.
La interpretación del patrón en los datos suele ser más persuasiva si existen otras pruebas o
análisis convergentes. En una representación taxonómica, la interpretación es bastante persuasiva no
sólo porque es bastante directa (porque la taxonomía se desarrolló para probar la hipótesis
directamente), sino, lo que es más importante, porque normalmente se pueden aplicar análisis estadísticos
para confirmar o desconfirmar la interpretación. Por ejemplo, si las categorías son Explicaciones,
Declaraciones de seguimiento y Otros, se podría ver fácilmente si algunos sujetos generaron
proporcionalmente más Explicaciones que Declaraciones de seguimiento o si algunos sujetos generaron
más Explicaciones que otros sujetos. O se podría ver si un grupo de sujetos (como los solucionadores
más exitosos) generó proporcionalmente más explicaciones que otro grupo de sujetos (como los
solucionadores menos exitosos; Chi, Bassok, et al., 1989).
Una forma de validar una interpretación es fundamentarla con pruebas adicionales, algo así como el
enfoque complementario comentado anteriormente, en el que el análisis cualitativo se combina con
medidas cuantitativas. Chi (1985) utilizó inicialmente el orden de recuperación de los nombres de los
compañeros de clase para indicar cómo los niños organizaban a sus compañeros en grupos de asientos. La
información de la recuperación secuencial se corroboró posteriormente observando la duración de los tiempos
de recuperación entre elementos, como la rapidez de la enumeración de algunos nombres de compañeros de
clase, frente a los que están separados por una pausa "prolongada" (habría que decidir a partir de
los datos qué constituye una pausa prolongada). El orden de recuperación y los conglomerados definidos
por las pausas son análisis convergentes que constituirían un control de validez, especialmente para el
análisis de un solo sujeto, como se indica en el párrafo anterior.
Otra forma de lograr la validez es codificar los datos dos veces, en algo así como un enfoque de
 Cuantificación de análisis cualitativos de datos verbales: Guía 22
práctica
dos pasadas. En el análisis del modelo mental de la comprensión inicial del sistema circulatorio por parte
de un alumno presentado
 Cuantificación de análisis cualitativos de datos verbales: Guía 23
práctica
Antes, tras una lectura inicial de todos los protocolos de los alumnos, los autores llegaron a un conjunto
preliminar de seis modelos generales, como se muestra en la Figura 1. Para validar que a cada alumno
se le atribuía correctamente el modelo adecuado, se especificó un conjunto de características
necesarias de cada uno de los seis tipos de modelos, como se muestra en la Tabla 1. A continuación,
se volvieron a examinar los protocolos para asegurarse de que había pruebas de cada una de las
características de los seis modelos. A continuación, se volvieron a examinar los protocolos para
asegurarse de que se articulaban las pruebas de cada característica de un modelo. Por ejemplo, en el
modelo de bucle simple con pulmones, el alumno debía mencionar al menos una vez las cinco características
(enumeradas en la Tabla 1) para confirmar la categorización inicial de su modelo. Así, esta segunda pasada
por los protocolos verbales, buscando la presencia de características específicas, constituía una
comprobación de validez de la primera interpretación más subjetiva.

Nota. De "Eliciting Self-Explanations Improves Understanding", por M . T. H.

Chi, N. de Leeuw. M . H. Chiu, y C. LaVancher, 1994, Cognitive Science,
18 p. 468. Copyright 1994. Reimpreso con permiso.

Repetir el proceso

Aunque parezca masoquista, a menudo es necesario repetir de nuevo todo el proceso, desde el Paso 1 al Paso 7. Esta
necesidad surge a menudo, por ejemplo, si se quiere recodificar los datos a un tamaño de grano diferente o si se
quiere abordar una pregunta distinta. Dado que uno de los activos exclusivos de los datos verbales es su flexibilidad,
es decir, que pueden codificarse para responder a diversas preguntas, un investigador puede equivocarse al formular
inicialmente la pregunta equivocada. El investigador tiene entonces el privilegio de recodificar los datos
para responder a una nueva pregunta. Esto puede ocurrir a menudo porque los datos proporcionan una rica
fuente para generar nuevas hipótesis. Controlado
 Cuantificación de análisis cualitativos de datos verbales: Guía 24
práctica
En cambio, los estudios experimentales no disponen de esta flexibilidad, ya que cada estudio está diseñado para
responder a un conjunto explícito de preguntas.

RECOMENDACIONES, DETALLES TÉCNICOS, ADVERTENCIAS

Existen numerosas recomendaciones adicionales, escollos que hay que evitar y detalles técnicos y
advertencias que hay que tener en cuenta. En esta sección general se analizan, sin ningún orden en
particular, estas recomendaciones, escollos, detalles técnicos y advertencias.

Aspectos técnicos de la recogida de datos verbales

El análisis de los datos cualitativos es tan bueno como la forma en que se han recogido. Hay m algunos
aspectos técnicos relativos a cómo deben recogerse los datos verbales, como:

1. Cómo el experimentador debe ser lo menos intrusivo o lo más uniformemente intrusivo posible.
2. Cómo se deben realizar las pruebas prácticas a los sujetos.
3. Cómo deben transcribirse los datos.
4. Si el acto de verbalizar modifica los procesos cognitivos.
5. Cómo controlar el hecho de que algunas personas son más verborreicas que otras.

Ericsson y Simon (1993) han abordado varias de estas cuestiones, incluida la preocupación teórica de
que dar explicaciones verbales afecta a los procesos cognitivos en cuestión (Ericsson & Simon, 1980,
1993; Nisbett & W ilson, 1977; Schooler & Engstler-Schooler, 1990). Aquí se añaden algunos
comentarios más sobre los puntos I y 5 (véase la lista anterior).

La cantidad y el tipo de interrupción planteada por el experimentador mientras se recogen los

protocolos verbales afectará a los datos de varias maneras. Si los protocolos se recogen en una entrevista,
las preguntas dirigidas a todos los sujetos deben ser las mismas. Si hay preguntas de seguimiento basadas
en lo que ha dicho el sujeto, debe haber una directriz objetiva sobre el formato que pueden adoptar
las preguntas de seguimiento. De este modo se evita llevar al sujeto en una dirección concreta. También debe
decidirse a priori cuándo deben darse por terminadas las respuestas o explicaciones del protocolo.
Por ejemplo, un error típico que se ha cometido en el pasado es que el experimentador dé por
terminados los protocolos de solución de un problema (en una sesión de resolución de problemas)
cuando se da cuenta de que ha llegado a la solución aunque el alumno no lo haya hecho. Decirle al
alumno que debe pasar al siguiente problema equivale a darle retroalimentación sobre la corrección de
la solución en ese momento. Si esto es lo que recibe un alumno, entonces todos los alumnos del estudio
deberían recibir el mismo feedback. Otros ejemplos incluyen la frecuencia con la que se debe
pedir aclaraciones a un alumno o las circunstancias en las que se le debe pedir.
Si es necesario variar la cantidad de sondeo entre los alumnos, una forma de manejar las cantidades no
equivalentes de enunciados verbales resultantes es analizar los protocolos hasta el punto de sondeo
por separado de los protocolos generados después del sondeo.
Los aspectos técnicos de la recogida de datos verbales han planteado la cuestión de cómo controlar el
hecho de que algunas personas son más verbosas que otras. Aunque la verbosidad parece ser una
preocupación para el análisis verbal, estas diferencias individuales también existen para otros tipos de
medidas dependientes y, por lo tanto, no son preocupaciones restringidas a los datos verbales per se. Por
ejemplo, el hecho de que existan diferencias individuales en la verbosidad puede ser similar al hecho de que
algunas personas sean más rápidas en general a la hora de procesar la información en los estudios de tiempo
de reacción. En los datos de latencia, tales diferencias individuales se superan examinando el patrón de la
función lineal que relaciona los tiempos de respuesta con algún otro factor iterativo, como el número de
elementos que uno tiene que buscar en la memoria a corto plazo, en lugar de la intercepción de la
función lineal (denominada técnica sustractiva; Sternberg, 1966). El mismo enfoque puede aplicarse a
los datos verbales. Una forma de factorizar la verbosidad podría ser recopilar algunos datos de
referencia sobre la verbosidad, como cuánto habla normalmente un sujeto sobre otro tema o mientras
realiza otra tarea.
También es posible que las personas que saben más sobre un tema en realidad hablen menos. Sin embargo, aunque los
sujetos que saben estén más callados, no pueden ocultar de qué deciden hablar, aunque sea poco. Lo que eligen
hablar es un indicio de lo que consideran importante, aunque no hablen de todo lo que saben. Por eso es tan
importante en la comunicación verbal
 Cuantificación de análisis cualitativos de datos verbales: Guía 25
práctica
para centrarse en el contenido de los enunciados.
Así pues, las diferencias individuales en la verbosidad pueden eliminarse centrándose en lo que
dicen los sujetos y no en cuánto hablan. Esto significa que no se contaría el número de palabras que
ha dicho una persona como índice del grado de elaboración, por ejemplo, sino que se utilizaría una
medida más apropiada, como el número de ideas independientes generadas. En tal caso, la verbosidad
puede eliminarse segmentando los protocolos en episodios de ideas, como se ha ilustrado anteriormente.
Más grave que la verborrea es la inarticulación. Es decir, el sujeto puede optar por no decir nada
en lugares en los que es m andatorio que el investigador sepa en qué está pensando. Siempre es
peligroso hacer cualquier inferencia (por ejemplo, sobre lo que un sujeto no sabe) basándose en los
vacíos de los datos verbales. Para evitar este problema de "completitud", es importante no
permitir que el sujeto permanezca en silencio durante un periodo de tiempo prolongado. Sin embargo,
presionar a los sujetos para que hablen de forma neutra no debe confundirse con intrusiones
directivas involuntarias, como hacerles saber por casualidad que pueden dejar de trabajar en un
problema porque han llegado a una solución cuando en realidad los propios sujetos no lo sabían.

Fiabilidad entre evaluadores

Otra cuestión técnica espinosa es la fiabilidad entre evaluadores. Aquí se plantean tres problemas. El
primero se refiere al cuidado con el que hay que definir las categorías a priori, antes de que cada
codificador codifique los datos. El segundo tiene que ver con si las discrepancias entre dos codificadores
deben resolverse siempre. En caso afirmativo, el tercer problema tiene que ver con cuándo deben
resolverse las discrepancias.
En cuanto a la primera cuestión, siempre hepreferido empezar la codificación con un debate muy
preliminar sobre lo que se busca (sin definir pistas o características específicas para la
identificación). Esto se debe a que el éxito con el que dos codificadores pueden llegar a resultados
altamente correlacionados utilizando una definición tan gruesa y preliminar es en sí mismo una indicación
de la tangibilidad o solidez de lo que se está buscando. Una vez realizada esta codificación
preliminar, se pueden identificar y especificar con mayor precisión las características por las que
se está categorizando, de modo que la segunda codificación pueda realizarse sobre la base de estas
características. La razón por la que se prefiere este enfoque de dos pasadas es porque algunas
categorías pueden no estar bien definidas por un pequeño conjunto de rasgos bien definidos, como nos
ha informado la investigación de Rosch (Rosch, M ervis, Gray, Johnson y Boyes-Bream , 1976). Por
ejemplo, un reciente intento de codificación consistió en leer las explicaciones que daban los
alumnos sobre los problemas de ciencias para ver si sus respuestas contenían concepciones
materialistas (Slotta, Chi y Joram, 1995). Después de realizar las codificaciones preliminares para
decidir qué explicaciones se basaban en la sustancia y cuáles no (se basaban en procesos), Slotta et
al. procedieron a definir qué palabras o características utilizaban los estudiantes en sus
explicaciones que transmitían las ideas de sustancia (o procesos). Se comprobó que palabras como
usado, drena y quema eran al I usadas para denotar la idea de consumir. Por lo tanto, en las
recodificaciones posteriores, podían especificar claramente que cualquier palabra relacionada con
consumir debía codificarse como basada en la sustancia. Si existe una gran discrepancia entre dos
evaluadores en la primera pasada (por ejemplo, una fiabilidad entre evaluadores inferior al 80%), los
investigadores deberían redefinir las categorías, en lugar de concentrar sus esfuerzos únicamente en
resolver las discrepancias entre evaluadores.
La segunda cuestión de la fiabilidad entre codificadores tiene que ver con si las discrepancias
entre dos codificadores deben resolverse siempre. Hay dos tipos de discrepancias. En el primer tipo,
ambos codificadores tienen ideas firmes sobre qué código debe asignarse a un segmento concreto de
protocolos. Este tipo de discrepancia es el que se computa en un índice de fiabilidad entre codificadores.
Sin embargo, puede darse un segundo tipo de discrepancia no porque los codificadores no estén de
acuerdo entre sí, sino porque cada codificador no está seguro de qué código debe asignarse a un
segmento, porque éste es muy ambiguo. En estos casos, en lugar de resolver las discrepancias entre los
dos codificadores, puede ser mejor simplemente completar la codificación y luego contar el número de
estos casos ambiguos como la parte no codificable de los datos. Por ejemplo, si el 20% de los
protocolos segmentados eran ininterpretables, puede ser más apropiado decir simplemente que sólo
se codificó el 80% de los datos.
La tercera cuestión tiene que ver con el momento en que deben resolverse las discrepancias del primer
tipo (es decir, entre dos codificadores cuando el segmento es interpretable). Mi preferencia ha sido
no resolver la interpretación del segmento en mitad de la codificación, porque resolverlas puede sesgar la
interpretación de las codificaciones posteriores.
Más bien habría que intentar codificar una sección y ver cuánta fiabilidad se consigue. Si la fiabilidad es
 Cuantificación de análisis cualitativos de datos verbales: Guía 26
práctica
muy baja, tal vez habría que abandonar el sistema de codificación y crear uno nuevo.
 Cuantificación de análisis cualitativos de datos verbales: Guía 27
práctica
desarrollado. Obsérvese que la fiabilidad entre evaluadores debe calcularse en varios pasos de la técnica de
análisis verbal: durante la segmentación en unidades, la categorización o codificación de las unidades, la
representación de los datos codificados, la búsqueda de patrón(es) en los datos representados, la interpretación
del patrón(es), etcétera. Como puede verse, el análisis verbal es un proceso que requiere mucho tiempo.

Análisis sucesivos

Uno de los principios clave del análisis verbal es analizar los resultados sucesiva o iterativamente,
utilizando tamaños de grano cada vez más pequeños, o centrándose en subconjuntos de los datos, para obtener
resultados más sensibles. Esto es, en cierto modo, análogo al proceso de análisis estadístico por el
que se puede empezar con un análisis general de la varianza, al que puede seguir una prueba de
tendencia lineal, utilizando una muestra más restringida de los datos. El siguiente ejemplo ilustra un
análisis sucesivo utilizando categorías de comportamiento. Una categoría conductual, utilizada en Chi,
Bassok, et al. (1989), consistía en identificar la frecuencia con la que los estudiantes que
resolvían un problema de física se remitían realmente al ejemplo ilustrado en el texto. Para
averiguarlo, tuvimos que leer el contenido de los protocolos de resolución de problemas para ver con
qué frecuencia se hacía referencia a los ejemplos del texto. Se trataba de un análisis
relativamente sencillo que reveló que todos los alumnos se basaban en los ejemplos del texto para
cada problema que resolvían. En este punto, podríamos haber detenido el análisis porque los resultados
replicaban los hallazgos de la bibliografía (por ejemplo, los resultados de Pirolli y Anderson, 1985), en
el sentido de que todos los alumnos se basan en ejemplos. Sin embargo, otros análisis sucesivos con
tamaños de grano más pequeños nos revelaron algo más y nos ayudaron a comprender mejor cómo se
utilizan los ejemplos, como se explica a continuación.
En lugar de analizar cada protocolo de resolución de problemas como una unidad (para ver si un alumno
hacía referencia a un ejemplo dentro de la solución de ese problema), cada protocolo de resolución de
problemas de física se dividió en episodios, y cada episodio correspondía a una actividad principal (como
intentar dibujar un diagrama de cuerpo libre, encontrar valores para una ecuación, etc.). A continuación, se
observó que los que habían resuelto con éxito se referían a los exámenes con poca frecuencia (aproximadamente una
vez por solución de problema), mientras que los que habían resuelto con menos éxito se referían a los exámenes
con bastante frecuencia (aproximadamente seis veces por solución de problema). Llegados a este punto, el análisis podría
haberse detenido de nuevo, ya que se trata de un hallazgo interesante y significativo. Pero otros
análisis sucesivos examinaron el número y la ubicación de las líneas de texto dentro de un ejemplo al que los
alumnos hacían referencia. Resultó que los alumnos que habían resuelto el problema con éxito sólo hacían referencia a
una línea del examen y, además, a una línea específica, mientras que los alumnos que habían resuelto el
problema con menos éxito releían casi todo el ejemplo (unas 13 líneas) y empezaban por el principio del
ejemplo, lo que indicaba que no tenían ni idea de dónde buscar la información que necesitaban. Su referencia
era una búsqueda general de información.
Hay dos cosas que destacar de este análisis. Una característica es su carácter repetitivo: es decir, se
analizaron sucesivamente unidades de tamaño de grano cada vez más pequeñas. Los investigadores analizaron
primero toda la solución para ver si se hacía referencia a los ejemplos, luego analizaron los
episodios dentro de cada solución para ver con qué frecuencia se utilizaba cada ejemplo y, por
último, examinaron cuántas líneas y qué líneas de los ejemplos se utilizaban. El último análisis
reveló algo sobre el tipo de conocimiento que adquirían los solucionadores con éxito: Su
comportamiento en la resolución de problemas parecía estar dictado por una búsqueda descendente, de
modo que sabían con precisión qué ecuación o qué información debían buscar en el ejemplo (es
decir, su búsqueda en el ejemplo estaba dirigida a una información específica de la que carecían). Sin
embargo, los que resolvían con menos éxito simplemente buscaban cualquier dato (normalmente cualquier
ecuación que contuviera las variables desconocidas adecuadas) que coincidiera con las dadas. Como a
menudo se limitaban a releer el examen, probablemente habían adquirido poco o ningún conocimiento al
estudiar el ejemplo con anterioridad.
Lo segundo que hay que señalar sobre este análisis es qué impulsó a los investigadores a seguir
analizando los datos con granulometrías sucesivamente más pequeñas. La respuesta es sencillamente que la lectura de
los protocolos nos dio la impresión de que había una diferencia en la forma en que los alumnos que tenían
éxito y los que no lo tenían utilizaban los ejemplos. El análisis se convirtió en un problema para encontrar
la manera de codificar los datos de forma que se pudiera captar esta impresión. Evidentemente, como se ha
sugerido antes, es más probable que las codificaciones de datos más sensibles lleven a captar tales
diferencias.

Análisis por temas

 Cuantificación de análisis cualitativos de datos verbales: Guía 28
práctica
Muchos de los análisis que se presentan en este artículo son transversales, por lo que se han promediado los
datos de varios sujetos y se han realizado análisis cuantitativos. A menudo resulta más interesante
 Cuantificación de análisis cualitativos de datos verbales: Guía 29
práctica
realizar análisis de un solo sujeto, ya que esto permite captar la representación del conocimiento
con mayor precisión y hacer predicciones explícitas sobre qué representación conceptual subyacente
permite qué tipo de rendimiento. Dado que el análisis dentro de un mismo sujeto suele requerir mucho
trabajo, se supone que no se realizarán múltiples análisis dentro de un mismo sujeto. Dado que es más
difícil respaldar este tipo de análisis dentro de un sujeto utilizando estadísticas, existen otros medios
para demostrar la validez. Una forma, por ejemplo, es utilizar un método predictivo: Es decir, después de
captar qué conocimientos puede tener el sujeto, predecir qué preguntas puede responder correctamente
basándose en esos conocimientos o qué errores de razonamiento puede cometer. Esto puede hacerse
normalmente analizando el rendimiento de tareas separadas administradas en momentos diferentes. Por
ejemplo, se podrían analizar los conocimientos demostrados en una prueba previa y predecir los
resultados en función de esos conocimientos. También se podrían comparar los resultados de la
primera mitad de la tarea con los de la segunda mitad, y así sucesivamente. En Chi (1996) puede
verse un ejemplo de análisis de la tutoría dentro de una misma asignatura.
Otro método para validar un análisis de un solo sujeto es comparar los resultados con la literatura en
general. En los análisis de datos de exámenes de física, Chi y VanLehn (1991) encontraron que tanto los
buenos como los malos solucionadores habían adquirido una gran cantidad de conocimientos técnicos
procedimentales. En el contexto de la literatura relevante sobre resolución de problemas, que muestra
que los estudiantes a menudo pueden resolver problemas sin comprensión, utilizaron sus resultados para
ofrecer la interpretación de que, dado que los estudiantes a menudo adquieren una gran cantidad de
procedimientos técnicos, es esta adquisición la que permite la generación de una solución exitosa sin una
comprensión conceptual real. Básicamente, la mejor forma de lograr la validez de los análisis de un
solo sujeto es idear más de una forma de llegar a la misma conclusión. Aun así, es aconsejable utilizar
al menos varios sujetos en lugar de uno solo.

Procesos descendentes y ascendentes de análisis interactivo

En cada paso de la técnica de análisis verbal -reducción de los datos, segmentación en unidades,
categorización de las unidades, representación de los datos codificados, búsqueda de patrones en los datos
representados, interpretación de los patrones- debe producirse un procesamiento tanto descendente como
ascendente. De arriba abajo significa que las preguntas y los códigos utilizados, por ejemplo, se
basan en la teoría; de abajo arriba significa que los códigos pueden refinarse a partir de los
protocolos y que pueden generarse nuevas hipótesis a partir de los datos. Al hablar de la
técnica, este artículo ha descrito principalmente la naturaleza descendente del proceso de toma de
decisiones (como decidir el tamaño de la unidad para segmentar los datos). Obviamente, al realizar
un análisis real, muchas decisiones específicas se toman de abajo arriba, en función de la naturaleza
de los datos. El ejemplo citado anteriormente sobre la captura del modelo mental inicial del sistema
circulatorio, seguido de la identificación de la característica definitoria de cada modelo mental y, a
continuación, la reconfirmación de la clasificación correcta de cada modelo, ilustra la naturaleza
interactiva ascendente primero y descendente después del análisis. Obsérvese la conclusión tan diferente
que se podría haber extraído de estos datos si el análisis se hubiera realizado al revés, es decir,
primero de arriba abajo y luego de abajo arriba. En este último caso, un investigador habría construido un
modelo ideal del sistema circulatorio (correspondiente al modelo de doble bucle 2 de la figura 1) y,
a continuación, habría buscado en qué medida el modelo de cada alumno carecía de determinados
componentes y conexiones en comparación con el modelo ideal. Un análisis descendente de este tipo (a
veces conocido como enfoque de superposición en la instrucción inteligente asistida por ordenador;
VanLehn, 1988) llevaría a la conclusión de que los modelos de los alumnos son necesariamente incompletos e
incoherentes, sin poder decir nunca exactamente cuál es el modelo mal concebido del alumno. Con el
análisis que se hizo (primero de abajo arriba y luego de arriba abajo), se llegó a la conclusión
contraria, es decir, que los modelos mentales de los alumnos, aunque incorrectos, podían ser
totalmente coherentes en el sentido de que no había contradicciones inherentes, no había conexiones
incompletas y los alumnos podían utilizar sus modelos mentales para extrapolar predicciones y
responder preguntas. De ahí que este ejemplo sugiera que no se debe proceder de arriba abajo. Así, en
cierto sentido, toda la orientación de la investigación es ascendente porque el objetivo es buscar la
representación del conocimiento que tiene el alumno, en lugar de determinar a priori un posible conjunto de
representaciones y ver cuál es la que mejor se ajusta a la representación del alumno.
Sin embargo, aunque la orientación del análisis en sí era ascendente, las decisiones más
globales y teóricas se toman de arriba abajo (como el tipo de preguntas que se van a formular, la
naturaleza del formalismo y el tipo de códigos que se van a utilizar). El siguiente ejemplo
ilustra la naturaleza descendente del análisis verbal. Durante varios años, he estado pensando y
desarrollando una teoría del cambio conceptual (Chi, 1992; en prensa-a; Chi, Slotta y de L e e u w ,
 Cuantificación de análisis cualitativos de datos verbales: Guía 30
práctica
1994). En esa teoría
 Cuantificación de análisis cualitativos de datos verbales: Guía 31
práctica
propusieron algunas diferencias fundamentales (ontológicas) entre entidades consistentes en
sustancias físicas (por ejemplo, una zanahoria, un libro) que poseen atributos ontológicos como que
pueden tener color, pueden tener volumen, pueden tener peso y pueden moverse o ser movidas, frente a procesos de
interacción, como el proceso de búsqueda del equilibrio (por ejemplo, la difusión de una gota de tinta roja en
un frasco de agua, la transferencia de calor, la selección natural), que no poseen tales atributos. Para
examinar la comprensión de los alumnos de situaciones en las que interviene una sustancia física (como el
gas) frente a un proceso de búsqueda del equilibrio (como el calor), se examinaron sus predicciones y
explicaciones de dos situaciones análogas, una con agua y otra con calor (Slotta y Chi, 1996; Slotta et al.,
1995). La situación del gas requería que los alumnos predijeran cuál de los dos globos es más boyante
después de varias horas de flotar dentro de un armario, el que está hecho con una bolsa de papel normal o el
que está hecho de goma elástica duradera, cuando ambos están llenos de gas helio y sellados herméticamente
en la abertura. Del mismo modo, en la situación del calor, se pidió a los alumnos que predijeran qué taza de café
está más caliente después de dejarla sobre una mesa durante 20 minutos: la taza de poliestireno o la taza
de cerámica.
La mecánica del análisis consistió en idear códigos (paso 3 de la técnica) que permitieran diferenciar el
tipo de explicaciones que daban los alumnos, sin preocuparse por la corrección o incorrección de sus
predicciones ni por la exactitud de sus explicaciones. Los códigos que decidieron utilizar eran atributos
ontológicos de sustancias y procesos (como puede tener color o moverse para las sustancias). Por ejemplo, las
situaciones en las que interviene un gas (una sustancia física) podrían describirse con predicados como se
mueve o pesa, pero procesos como el calor no deberían describirse con estos predicados. Por lo tanto, se
analizó el tipo de predicados que utilizaban los alumnos dentro de cada explicación de cada situación
problemática para concluir el flujo con el que un alumno representaba la entidad: como sustancia o como
proceso. Para comprobar que los alumnos consideraban que el calor era una sustancia, éstos debían utilizar
palabras que se ajustaran al predicado de movimientos. Por ejemplo, el alumno que explicó que el café en la taza
de cerámica estaba más caliente que en la taza de poliestireno, explicó que es "porque el calor en la
taza de poliestireno se va a escapar porque una taza de poliestireno no está totalmente sellada... el
poliestireno tiene pequeños agujeros. Así que, el calor va a salir, escapar, por los agujeros" (Slotta et al.,
1985, pp. 380). Así pues, las palabras utilizadas que tienen significados sinónimos de movimientos,
como sale, escapa, constituyeron pruebas de los movimientos del código (Paso 4 de la técnica). Este ejemplo
ilustra una forma de formular los códigos apropiados y de buscar pruebas en los enunciados del sujeto para
los códigos que estaba completamente guiada por una teoría del cambio conceptual. Así pues, el análisis
verbal implica procesos de análisis tanto descendentes como ascendentes.

RESUMEN Y CONCLUSIONES

Este artículo trata de un tipo de análisis de datos verbales que integra componentes cualitativos y cuantitativos.
Básicamente, se trata de un tipo de análisis que cuantifica las codificaciones cualitativas, a diferencia de tres
métodos alternativos que en realidad no integran métodos cuantitativos y cualitativos, sino que los utilizan
uno al lado del otro. El análisis verbal también se contrapone al análisis protocolizado de datos verbales,
introducido por Newell y Simon (1972). A continuación, este artículo presenta la mecánica del análisis de
datos verbales en ocho pasos, cada uno de los cuales se ilustra con ejemplos tomados de trabajos
publicados. Esperamos que estos pasos sean lo suficientemente transparentes como para que los
lectores puedan utilizarlos como guía para emprender sus propios análisis. Por último, se plantean
otras preocupaciones, recomendaciones y advertencias sobre el análisis verbal.
Tanto la investigación cuantitativa tradicional, con diseño experimental, como la cualitativa actual,
con análisis verbal, presentan dos aspectos. Un aspecto se refiere a la formulación de las preguntas
adecuadas, que determinan el tipo de condiciones experimentales que se deben probar en el caso del
método cuantitativo y el tipo de codificación y formalismo que se debe utilizar en el caso del método
cualitativo. Ésta es la parte teórica: Es decir, la teoría suele determinar las preguntas, que a su vez
determinan los análisis. El segundo aspecto de la investigación, tanto en el diseño experimental como
en los análisis verbales, es la parte mecánica. Lo que se ha expuesto en este artículo es, en gran medida,
la mecánica de los análisis. En cualquier paradigma de investigación hay una parte teórica y una parte
mecánica. Por alguna razón, a menudo se ha atribuido la parte teórica de los análisis cualitativos al "arte",
como si los análisis se basaran en intuiciones misteriosas que no pueden exponerse con claridad.
Esperemos que este artículo haya enmendado esa percepción, especialmente después de haber expuesto en
la sección anterior un ejemplo de cómo una teoría del cambio conceptual contribuyó a la selección
y formulación de códigos para el análisis verbal. En ese caso, no hubo arte alguno, a menos que se
considere que la elaboración de teorías es un arte. De ahí que probablemente no tenga sentido utilizar
esta guía a menos que el investigador ya cuente con
 Cuantificación de análisis cualitativos de datos verbales: Guía 32
práctica
algunas preguntas o una teoría, porque esta guía sólo expone la mecánicade los análisis.
Para no terminar con una nota desalentadora porque esta guía todavía pueda parecer opaca,
permítanme recomendar algunas formas conservadoras de empezar. Los que utilicen por primera vez el
análisis verbal puedenoptarporel enfoque complementario, el enfoque interpretativo o el enfoque en dos
fases. Recordemos que estos enfoques implican una integración menos agresiva de los análisis cuantitativos
y cualitativos mencionados anteriormente. Hacerlo puede iluminar el camino hacia una concepción más
clara de cómo se realiza el análisis verbal.

RECONOCIMIENTOS

Este artículo se preparó en parte mientras el autor era becario del Centro de Estudios Avanzados en Ciencias
del Comportamiento, 1996-1997. Contó con el apoyo de la subvención 199400132 de la Fundación
Spencer. Se agradecen enormemente los comentarios y críticas de las siguientes personas: Gitti
Jordan, Janet Kolodner, Bernadette Kowalski, M ichael Ranney, Peter Reimann, Ross Silberberg,
Stephanie Siler, Fritz Staub, Roger Taylor, Kurt VanLehn y cinco revisores anónimos.

REFERENCIAS

Chi, M . T. H. (1985). Interactive roles of knowledge and strategies in the development of organized sorting and
recall. En S. Chipman, J. Segal, & R. Glaser (Eds.), Thinking and learning skills: Current research and open
questions (Vol. 2, pp. 457485). Hillsdale, NJ: Lawrence Erlbaum Associates. Inc.
Chi, M . T. H. (1992). Conceptual change within and across ontological categories: Examples from learning and
discovery in science En R. Giere (Ed.), Cognitive models of science: Minnesota studies in the philosophy of science
(pp. 129-186). M inneapolis: University of M innesota Press.
Chi, M . T. H. (1996). Constructing self-explanations and scaffolded explanations in tutoring. Applied Cognitive Psychology,
10, 1- 17.
Chi, M . T. H. (en prensa-a). Creativity: El cambio flexible entre categorías ontológicas. En T. B. W ard, S. M . Smith,
R. A. Finke, & J. Vaid (Eds.), Conceptual structures and processes: Emergence, discovery and change.
Chi, M . T. H. (en prensa-b). Autoexplicación: A domain-general learning activity. En R. Glaser (Ed.), Advances in
instructional psychology (Vol. 5). M ahwah, NJ: Lawrence Erlbaum Associates, Inc.
Chi, M . T. H., Bassok, M .. Lewis. M ., Reimann, P., & Glaser, R. (1989). Autoexplicaciones: How students
study and use examples in learning to solve problems. Cognitive Science, 13, 145-192.
Chi, M . T. H ., dc Leeuw , N ., Chiu, M . H . y LaVancher, C. (1994). Eliciting self-explanations improves
understanding. Cognitive Science, 18, 439-477.
Chi, M . T. H.. Feltovich, P., & Glaser, R. (1981). Categorización y representación de problemas de física por
expertos y novatos. Cognitive Science, 5. 121-152.
Chi, M . T. H., Hashem, A., Ludvigsen, S., Shalin, V., & Bertram. D. (1997). Conocimientos robados: What is
teamed in the context of a medical intensive care unit. M anuscrito en preparación.
Chi, M . T. H., Hutchinson, J., y Robin. A. F. (1989). How inferences about novel domain-related concepts can be
constrained by structured knowledge. Merrill-Palmer Quarterly, 35, 27-62.
Chi, M . T. H., & Koeske, R. (1983). Representación en red del conocimiento de los dinosaurios de un niño.
Psicología del desarrollo, 19, 29-39.
Chi, M . T. H., Slotta, J. D., & de Leeuw, N. (1994). From things to processes: A theory of conceptual change
for learning science concepts. Learning and Instruction, 4, 27-43.
Chi, M . T. H., & VanLehn, K. A. (1991). El contenido de las autoexplicaciones de física. The Journal of the
Learning Sciences, 1, 69-105.
Collins, A. M ., y Quillian, M . R. (1969). Tiempo de recuperación de la memoria semántica. Journal of
Verbal Learning and Verbal Behavior, 8, 240-247.
de Leeuw, N. (1993). Creencias de los alumnos sobre el sistema circulatorio: ¿Son universales los conceptos
erróneos? En W . Kintsch (Ed.), Proceedings of the Fifteenth Annual Conference of the Cognitive Science Society (pp.
389-393). Hillsdale. NJ: Lawrence Erlbaum Associates, Inc.
diSessa, A. (1993). Hacia una epistemología de la física. Cognition and Instruction, 10, 105-225.
Ericsson, K. A., y Simon, H. (1980). Verbal reports as data. Psychological Review. 87, 215-251.
Ericsson, K. A., y Simon H. (1984). Análisis de protocolos: Verbal reports as data. Cambridge, M A: M IT Press.
Ericsson, K. A., & Simon, H. (1993). Protocol analysis: Verbal reports as data (Rev. ed.). Cambridge, M A: M IT
Prensa.
Fisher, C. (1987). Advancing the study of programming with computer-aided protocol analysis. En G. Olson, E.
Soloway, & S. Sheppard (Eds.), Empirical studies of programmers: Second workshop (pp. 198-216). Norwood,
NJ: Ablex.
 Cuantificación de análisis cualitativos de datos verbales: Guía 33
práctica
Fisher, K. (1989). Sem NetTM [Programa informático]. San Diego, CA: San Diego State University, Center for
Research in M athematics and Science Education.
Fisher, K. (1990). Redes semánticas: The new kid on the block. Journal of Research in Science Teaching, 27,
1001-1018.
Fox, B. (1991). Aspectos cognitivos e interaccionales de la corrección en la tutoría. En P. Goodyear (Ed.),
Teaching knowledge and intelligent tutoring (pp. 149-172). Norwood, NJ: AbIex.
Geiwitz. J.. Klatsky, R. L., & M cCloskey, B. P. (1988). Técnicas de adquisición de conocimientos para sistemas
expertos: Conceptual and empirical comparisons (Informe final). Fort M onmouth, NJ: U.S. Army Electronics
Command.
Gobbo, C., & Chi, M . T. Si. (1986). Cómo estructuran y utilizan el conocimiento los niños expertos y novatos.
Desarrollo cognitivo, 1, 221-237.
Goldin-M eadow, S., Alibali, M . W., y Breckinridge Church, R. (1993). Transiciones en la adquisición de conceptos:
Using the hand to read the mind. Psychological Review, 100. 279-298.
Hoffman, R. R. (1987). El problema de extraer el conocimiento de los expertos desde la perspectiva de la psicología
experimental. AI Magazine, 8, 53-67.
Hutchins. E. L., & Levin, J. A. (1981). Point of view in problem solving (Rep. nº 105). San Diego: Universidad
de California, Centro para el Procesamiento de la Información Humana.
Johnson-Laird, P. N. (1983). Mental models. Cambridge, M A: Harvard University Press.
Jordan, B., y Henderson, A. (1995). Interaction analysis: Fundamentos y práctica. The Journal of the Learning
Sciences, 4, 39-103.
M cCloskey, M . (1983). Teorías ingenuas del movimiento. En D. Gentner & A. L. Stevens (Eds.), Mental models (pp.
299-324). Hillsdale, NJ: Lawrence Erlbaum Associates, Inc.
M eans, M . L., & Voss, J. F. (1985). Star W ars: A developmental study of expert and novice knowledge structures.
Journal of Memory and Language, 24, 746-757.
Newell, A., y Simon, H. A. (1972). Human problem solving. Englewood Cliffs, NJ:Prentice Hall.
Nisbett, R. E., y W ilson, T. D. (1977). Telling more than we can know: Verbal reports on mental processes.
Psychological Review, 84, 231-259.
Norman, D. A. (1988). La psicología de las cosas cotidianas. New York: Basic Books.
Olson, J. R., & Biolsi, K. (1991). Técnicas de representación del conocimiento experto. En K. A. Ericsson & J. Smith
(Eds.), Toward a general theory of expertise (pp. 240-285). Cambridge, M A: Cambridge University Press.
Patel, V. L., & Groen, G. J. (1986). Estrategias de solución basadas en el conocimiento en el razonamiento
médico. Cognitive Science, 10, 91-116.
Pirolli, P., y Anderson, J. R. (1985). The role of learning from examples in the acquisition of recursive programming
skills. Canadian Journal of Psychology, 39, 240-272.
Ranney, M . (1994). Consistencia relativa y "teorías" de los sujetos en dominios como la física ingenua:
Dificultades comunes de investigación ilustradas por Cooke y Breedin. Memory & Cognition, 22 494-499.
Renkl, A. (1997). Aprendizaje a partir de ejemplos trabajados: Un estudio sobre las diferencias individuales. Ciencia
cognitiva, 21.
Rosch, E., M ervis, C. B., Gray, W ., Johnson, D., & Boyes-Bream, P. (1976). Objetos básicos en categorías naturales.
Psicología cognitiva, 7, 573-605.
Salter, W . J. (1983). Tacit theories of economics. En Proceedings of the Fifth Annual Conference of the Cognitive
Science Society. Rochester, NY: Cognitive Science Society.
Schofield, J. W . (1982). Blanco y negro en la escuela: ¿Confianza, tensión o tolerancia? New York: Praeger.
Schofield, J. W., y Anderson, K. (1987). Combinación de componentes cuantitativos y cualitativos de la investigación
sobre identidad étnica y relaciones intergrupales. En J. S. Phinney & M . J. Rotheram (Eds.), Children's ethnic
socialization: Pluralism and development. Newbury Park, CA: Sage.
Schooler, J. W., y Engstler-Schooler T. Y. (1990). Verbal overshadowing of visual memories: Some things are better
left unsaid. Cognitive Psychology, 22, 36-7 1.
Siegler, R. S. (1976). Tres aspectos del desarrollo cognitivo. Cognitive Psychology, 8, 481-520.
Simon, D. P., & Simon. H. A. (1978). Individual differences in solving physics problems. En R. Siegler (Ed.),
El pensamiento infantil: ¿Qué se desarrolla? (pp. 325-348). Hillsdale, NJ: Lawrence Erlbaum Associates, Inc.
Slotta, J. D., & Chi, M . T. H. (1996). Understanding constraint-based processes: A precursor to conceptual change in
physics. En G. W . Cottrell (Ed.). Proceedings of the Eighteenth Annual Conference of the Cognitive Science Society
(pp. 306-311). M ahwah, NJ: Lawrence Erlbaum Associates, Inc.
Slotta, J. D., Chi, M . T. H., y Joram, E. (1995). Assessing students' misclassifications of physics concepts: The
ontological basis of conceptual change. Cognition and Instruction, 13, 373-400.
Sternberg. S. (1966). Exploración de alta velocidad en la memoria humana. Science, 153, 652-654.
Tang, J. C. (1989). Listing, drawing, and gesturing in design: A study of the use of shared workspaces by design teams
(Xerox Tech. Rep. No. p89-00032). Stanford, CA: Universidad de Stanford, Departamento de Ingeniería
Mecánica,
Trabasso T., & Suh, S. (1993). Understanding text: Achieving explanatory coherence through online inferences and
mental operations in working memory. Discourse Processes, 16, 3-34.
Trabasso, T., y van den Brock. P. (1985). Causal thinking and the representation of narrative events. Journal of
Memory and Language, 24, 612-630.
 Cuantificación de análisis cualitativos de datos verbales: Guía 34
práctica
van den Brock, P. (1989). Causal reasoning and inference making in judging the importance of story statements.
Desarrollo Infantil, 60, 286-297.
VanLehn, K. (1988). Student modeling. En M . Polson & J. Richardson (Eds.), Foundations of intelligent tutoring systems
(pp. 55-78). Hillsdale, NJ: Lawrence Erlbaum Associates, Inc.
Voss, J. F., Tyler, S. W. .. & Yengo, L. A. (1983). Diferencias individuales en la resolución de problemas de ciencias sociales.
En R. F. Damon & R. R.Schmeck (Eds.), Individual differences in cognition (pp. 205-232). New York:
Academic.
W eber, R. P. (1985). Basic content analysis. Newbury Park, CA: Sage.