Avances en Medición, 5, 115–126

2007

EVALUACIÓN DE CUESTIONARIOS MEDIANTE PROCEDIMIENTOS

COGNITIVOS
José Luis Padilla & Alba–Saida García
Universidad de Granada, España

Juana Gómez
Universidad de Barcelona, España

Resumen
Tanto en la investigación mediante encuestas como en la medición psicológica, el análisis de los errores de
medida debidos al cuestionario se ha abordado principalmente desde un modelo estadístico de los errores.
Esta aproximación se ocupa más de las consecuencias de los errores de medida que de identificar su origen e
intentar prevenirlos. El movimiento Aspectos Cognitivos de la Metodología de Encuestas (CASM, por sus
siglas en inglés), recoge aportes de la psicología cognitiva y de otras ciencias sociales para optimizar la
elaboración de cuestionarios. Tras describir los fundamentos del movimiento CASM, se presentan los
procedimientos cognitivos más utilizados para la evaluación de cuestionarios. Por último, se apuntan las
ventajas de la utilización de los procedimientos cognitivos durante la adaptación de cuestionarios entre
diferentes grupos lingüísticos y culturales
Palabras clave: Evaluación de cuestionarios, entrevistas cognitivas, juicio de expertos, grupos focales, errores
de medida.

Abstract
Both, survey based research and psychological measurement approach to the analysis of measurement errors
resulting from the questionnaires using a statistical model of the errors. This approach is more concerned
with the consequences of the errors rather than with identifying their origin and trying to prevent them. The
Cognitive Aspects of Survey Methodology paradigm (CASM) brings together contributions from cognitive
psychology and other social sciences in order to optimize the design of questionnaires. After describing the
fundamentals of the CASM movement, the cognitive processes used most for the evaluation of questionnaires
are presented. Finally, we discuss the advantages of using cognitive processes during the adaptation of
questionnaires for different linguistic and cultural groups.
Key words: Evaluation of questionnaires, cognitive interview, expert’s judgment, focal groups, measurement
errors.

Pocas dudas puede plantear la afirmación de que la calidad de las mediciones determina la
calidad de la investigación social y psicológica. Si los fenómenos sociales y psicológicos no son
medidos adecuadamente, probablemente se elaborarán conclusiones erróneas sobre las relaciones
entre las variables implicadas (Braun, 2003a). Tanto la medición psicológica como la
investigación mediante encuestas comparten la tradicional división de los errores en aleatorios y
sistemáticos.

 Este trabajo ha sido financiado por el Ministerio de Educación y Ciencia de España y los Fondos FEDER (Proyecto nº:
SEJ2005-09144-C02-02), y por la Consejería de Innovación Ciencia y Tecnología de la Junta de Andalucía (Proyecto nº:
SEJ565).
 Dpto. Psicología Social y Metodología de las Ciencias del Comportamiento. Facultad de Psicología Universidad de Granada.
Campus de Cartuja 18071-Granada Tlf: (958) 246269 Fax: (958) 243746e-mail: jpadilla@ugr.es
 Dpto. Psicología Social y Metodología de las Ciencias del Comportamiento Facultad de Psicología Universidad de Granada

Campus de Cartuja 18071-Granada Tlf: (958) 246269 Fax: (958) 243746 e-mail: alba@correo.ugr.es
 Dpto. Metodología de las Ciencias del Comportamiento Facultad de Psicología Universitat de Barcelona Passeig Vall

d’Hebrón, 171 08035-Barcelona Tlf: (933) 125082 Fax: (934) 021359e-mail: juanagomez@ub.edu
116 Padilla, J. L., García, A. & Gómez, J.

El tratamiento de los errores en las encuestas ha estado marcado en las últimas décadas por la
clasificación elaborada por Groves (1989). Dicha clasificación distingue entre cuatro fuentes
principales de error: Errores de muestreo, errores de cobertura, errores de no respuesta y errores
de medida. Dentro de los errores de medida, incluidos por algunos autores dentro de los
denominados “errores de observación”, se incluyen fuentes de sesgo debidas al instrumento de
medida, al entrevistador, al encuestado y al método de recogida de los datos. Por otro lado, el
análisis de los errores sistemáticos en la medición psicológica se aborda especialmente en los
estudios transculturales, desde un esquema conceptual elaborado en torno a los diferentes tipos de
“sesgo”: Sesgo de constructo, sesgo de método, sesgo en el ítem (van de Vijver, 1998; van de
Vijver & Leung, 1997). Ambos contextos difieren en la atención prestada a los diferentes tipos de
error. Así mientras que el tratamiento del error en la investigación mediante encuestas se ha
ocupado especialmente de los tres primeros tipos de error de la clasificación de Groves (1989), la
investigación psicológica se ha centrado en los errores debidos al instrumento de medida. A pesar
de este énfasis diferencial, se pueden establecer correspondencias entre ambos contextos
metodológicos. Por ejemplo, van de Vijver (2003) relaciona los errores de cobertura y no
respuesta con aspectos concretos del sesgo en el método.

Dejando a un lado las diferencias sobre la atención prestada a las diferentes fuentes de error,
se puede plantear que tanto la investigación mediante encuestas como la medición psicológica
han abordado el error desde lo que se ha venido a denominar un paradigma basado en un modelo
estadístico del error. Ambos contextos metodológicos comparten la limitación principal que
Tourangeau (2003) señala en el caso de la investigación mediante encuestas: Centrarse en las
consecuencias más que en las causas de los errores, sin haber generado conocimientos relevantes
sobre su origen y cómo prevenirlos. De ahí la demanda creciente de “… teorías bien
desarrolladas sobre las fuentes de error en las encuestas, teorías sobre cómo las personas deciden
tomar parte en las encuestas y teorías sobre cómo elaboran sus respuestas a las preguntas”
(Tourangeau, 2003; p. 4). Basta sustituir encuestas por cuestionarios psicológicos para atisbar la
pertinencia de esta demanda también en el marco de la medición psicológica.

Desde aproximadamente los años 90 del siglo pasado, los investigadores mediante encuestas
se adelantaron en el reconocimiento de la importancia que la elaboración de las preguntas e ítems
de los cuestionarios tenía en la calidad de las mediciones. Este adelanto generó como resultado
un mayor análisis en torno a la responsabilidad del cuestionario sobre el efecto de la mayoría de
las fuentes de error de medida; por ejemplo, errores en el cuestionario pueden inducir malas
prácticas de los entrevistadores, no respuesta, etc. Belson (1986) identificó como principales
causas de los errores de medida: (a) Los fallos de los encuestados en entender las preguntas como
estaba previsto; (b) su falta de esfuerzo o interés por responder a los cuestionarios; (c) la negativa
de los encuestados a admitir ciertas actitudes o comportamientos; (d) las demandas excesivas que
planteaban las preguntas sobre la memoria de los encuestados; etc. Foddy (1993), además de
analizar con detalle los errores más frecuentes que suelen cometerse al redactar los ítems, señala
lo que considera que han sido los argumentos principales del paradigma tradicional o
“positivista” sobre la elaboración de cuestionarios: (a) Los encuestados tienen la información que
requiere el investigador; (b) los encuestados son capaces de acceder a la información requerida en
las condiciones de aplicación del cuestionario; (c) los encuestados entienden cada pregunta o ítem
como pretende el investigador; (d) la situación de investigación no influye por sí misma sobre el
contenido de las respuestas dadas por los encuestados a las preguntas; etc.

La insatisfacción con el tratamiento habitual del error y las insuficiencias de la visión

tradicional sobre la elaboración de preguntas e ítems para los cuestionarios, ha abonado el terreno
para la aparición y desarrollo de un movimiento que une conceptos y métodos propios de la
psicología cognitiva y de otras ciencias sociales, con el fin de optimizar la elaboración de
cuestionarios y reducir el error. Este movimiento suele denominarse Aspectos Cognitivos de la
Metodología de Encuestas o por el acrónimo de sus siglas en inglés CASM. Kalton (2000)
 Evaluación de cuestionarios mediante procedimientos cognitivos 117

considera que la irrupción del movimiento CASM ha sido una de las principales novedades en el
campo de la metodología de encuestas en los últimos 25 años.

El objetivo principal del presente trabajo es presentar los procedimientos cognitivos para la
evaluación de cuestionarios desarrollados bajo el impulso del movimiento CASM. Se pretende
con ello mostrar las ventajas potenciales de recurrir a estos procedimientos para optimizar la
elaboración de cuestionarios tanto en el contexto de la investigación mediante encuestas como
para la medición de variables psicológicas. A su vez, se apuntarán futuras líneas de investigación
con especial atención a los beneficios previstos de la aplicación de procedimientos cognitivos
durante la adaptación de cuestionarios entre diferentes grupos lingüísticos y culturales.

Fundamentos del movimiento CASM

Desde los inicios de la investigación mediante encuestas se reconoció el papel crítico del
cuestionario para obtener mediciones de calidad. Sin embargo, no es hasta los años 80 del siglo
pasado cuando confluyen intereses de psicólogos cognitivos, metodólogos de encuestas y
profesionales de disciplinas afines, para abordar el diseño de cuestionarios desde una perspectiva
más científica. El inicio de esta nueva etapa suele marcarse con el desarrollo del movimiento
CASM (Jabine, Straf, Tanur & Tourangeau, 1984). El principio básico del movimiento CASM es
que las respuestas a las preguntas de los cuestionarios son el resultado de una serie de complejos
procesos cognitivos, en lugar de la visión anterior “estímulo-respuesta” en la que se supone que
de forma automática la persona produce una respuesta ante la presentación de la pregunta (Willis,
2005).

Dos seminarios suelen invocarse como disparo de salida del movimiento CASM: En 1983 el
Advanced Research Seminar on Cognitive Aspect of Survey Methodology en los Estados Unidos;
y en 1984 la Conference on Social Information Processing and Survey Methodology en Alemania
(Jabine et al., 1984). El resultado más significativo de estas conferencias fue la presentación del
modelo cognitivo de 4 etapas con el que se suele esquematizar la visión sobre el proceso
cognitivo de pregunta y respuesta propuesto por Tourangeau (1984). La Tabla 1 presenta una de
las versiones más frecuentes del modelo de 4 etapas con indicaciones sobre las cuestiones que
pueden ser más relevantes en cada una.

Se considera que algunas de las etapas son automáticas mientras que otras requieren una
estrategia consciente. Además, la amplitud y exhaustividad con la que se completen las etapas
variará en función del tipo de pregunta o de la naturaleza del ítem que se presente a las personas
(Tourengeau, 1984).

Jobe & Herrmann (1996) realizan una revisión de los diferentes modelos cognitivos
propuestos sobre el proceso de pregunta y respuesta. Dos son las diferencias principales entre los
modelos: (a) El grado de flexibilidad con el que suponen que las personas abordan las diferentes
fases, variando desde los que defienden una secuencia estricta hasta alcanzar la respuesta a la
pregunta, a los que proponen el uso de heurísticos para anticipar la respuesta antes de completar
las fases; y (b) la inclusión de componentes motivacionales y aspectos propios de la interacción
social en la que se realiza la aplicación del cuestionario. Sobre este último punto, Braun (2003b)
señala la importancia de contar con los principios propios de la comunicación para optimizar el
proceso de entrevista y reducir los errores de medición. Por ejemplo, advierte de la violación
frecuente durante las situaciones de entrevista del principio de cooperación: No repetir la petición
de información ya dada o que el encuestado pueda asumir que el entrevistador conoce.
Especialmente prometedores para la incorporación de componentes sociales en el modelo son los
aportes realizados por Krosnick (1999), al proponer los principios de “optimización” y el
118 Padilla, J. L., García, A. & Gómez, J.

continuo de “satisfacción” para modelar el compromiso del encuestado con la encuesta y el

proceso de pregunta y respuesta. Básicamente ambos principios intentan modelar la
“negociación” implícita en la situación de administración del cuestionario entre la persona y el
investigador hasta lograr respuestas con las que ambos alcancen sus objetivos en la situación de
entrevista.

Tabla 1.
Modelo en 4 etapas del proceso de pregunta y respuesta*
1. Comprensión de la pregunta:
a) Objetivo de la pregunta: ¿Qué información piensa la persona que se le está demandando?
b) Significado de palabras o expresiones clave: ¿Qué palabras o expresiones determinan el significado de la
pregunta?
2. Recuerdo de la información relevante para responder a la pregunta:
a) Accesibilidad de la información: ¿Qué tipo de información necesita recordar la persona para responder a la
pregunta?
b) Estrategia de recuerdo: ¿Qué tipos de estrategias son utilizadas para recordar la información?
3. Procesos de juicio o estimación:
a) Motivación: ¿Dedica la persona el esfuerzo mental suficiente para responder a las preguntas con precisión y
de forma razonada?
b) Sensibilidad/ Deseabilidad social: ¿Responde la persona con sinceridad? ¿Responde lo que considera que
dará una mejor imagen?
4. Proceso de respuesta:
a) Elección de la categoría de respuesta: ¿Puede encontrar la persona la categoría que mejor se ajusta a su
respuesta?
*Tomado de Willis (2005)

Kalton (2000), tras advertir que no es realista esperar del movimiento CASM soluciones
fáciles al problema de los errores de medida debidos a los cuestionarios, afirma que se deben
atribuir ya al movimiento al menos tres importantes avances en el diseño de cuestionarios: (a) Un
mayor esfuerzo por abordar la elaboración de preguntas desde una perspectiva teórica; (b) la
realización de pretest para los cuestionarios más rigurosos; y (c) la aparición de los denominados
“laboratorios cognitivos” para la evaluación de cuestionarios en los institutos públicos de
estadística más prestigiosos y en las grandes corporaciones dedicadas a las investigaciones
mediante encuestas.

Métodos cognitivos

Aunque puedan encontrarse con denominaciones ligeramente diferentes en la bibliografía

especializada, bajo la expresión “métodos cognitivos” suelen agruparse los siguientes
procedimientos: Juicio de expertos, entrevistas cognitivas, codificación del comportamiento y
grupos focales. A continuación, se presentarán sólo los aspectos más significativos de cada
procedimiento, aunque por la relevancia adquirida en los últimos años se describirá con más
detalle el procedimiento de “entrevista cognitiva”. Para una presentación más detallada del
conjunto de procedimientos puede consultarse bibliografía específica (e. g., Presser, et al., 2004;
Snijkers, 2002).
Resulta necesario advertir que en la mayoría de los pretests de cuestionarios se recurre a una
combinación de procedimientos, siendo pocos los casos en que se utilizan alguno de ellos de
forma aislada. Por ejemplo, Quimet, Bunnage, Carini, Kuh & Kennedy (2004) utilizaron el juicio
 Evaluación de cuestionarios mediante procedimientos cognitivos 119

de expertos, las entrevistas cognitivas y el grupo focal para establecer la validez de un

cuestionario sobre la satisfacción de los estudiantes universitarios. También Sarkisian, Hays,
Berry & Mangione (2002) emplearon el procedimiento de entrevistas cognitivas y grupos focales
en el desarrollo de un instrumento para medir las expectativas de los adultos con respecto al
envejecimiento.

Juicio de expertos

El juicio de expertos, también llamado panel de expertos, consiste en la revisión del

cuestionario por un grupo de personas con conocimientos en el proceso pregunta y respuesta, las
variables objeto de estudio y las características de la población. Este método puede ser utilizado
en diferentes fases dentro del proceso de elaboración de un cuestionario. La presente descripción
se centra en su utilización durante la fase de evaluación del cuestionario, donde es empleado con
mayor frecuencia. En esta fase los expertos deben identificar fuentes potenciales de error en las
preguntas, guiados por una lista en la que inicialmente se han detallado los errores más comunes
en las diferentes fases del proceso de pregunta y respuesta. En la Tabla 2 se presenta a modo de
ejemplo una lista utilizada en el juicio de expertos con los errores que deben detectar los
expertos.

Tabla 2*.
Ejemplos de categorías utilizadas en el juicio de expertos
Categorías para la evaluación de las preguntas
Comprensión de la Procesamiento de la información Respuesta
pregunta
Redacción difícil Periodo excesivo de referencia Redacción confusa
Redacción confusa Se requiere mucha información para contestar la Solapamiento de
pregunta categorías
Sintaxis difícil
Información sobre otra persona Faltan categorías
Preguntas con doble
negación Deseabilidad social
Preguntas compuestas
* Fuente: Snijkers (2002)

Aunque el número mínimo de expertos que debe componer el grupo estará condicionado a
cada aplicación concreta, la norma general es que sea un grupo mínimo de tres expertos. Una vez
realizada la evaluación por cada uno de ellos, se procede a la puesta en común de los problemas
detectados para alcanzar una evaluación común. Los expertos no sólo han de dar información
sobre los problemas potenciales, sino que también suelen proponer las mejoras a introducir.

El juicio de expertos ha mostrado su utilidad durante la evaluación de cuestionarios. Yu, Lee

& Wo (2004) utilizaron el juicio de expertos, tras el proceso de traducción del cuestionario
Medical Outcomes Study Social Support Survey, para establecer la equivalencia semántica y de
contenido entre la versión original y la adaptada. Acosta & Padilla (2004) utilizaron el juicio de
expertos durante la adaptación de la versión alemana del Inventario de Autogobierno al español,
con el objeto de identificar posibles causas del funcionamiento diferencial de los ítems entre las
diferentes versiones.
120 Padilla, J. L., García, A. & Gómez, J.

Entrevistas cognitivas

En la bibliografía existen muchos términos para referirse a este procedimiento: “Entrevistas

en profundidad”, “protocolos concurrentes y retrospectivos”, “entrevistas individuales
intensivas”, etc. Puede definirse la entrevista cognitiva como una entrevista semi-estructurada en
la cual el administrador del cuestionario o un entrevistador pretende conseguir información sobre
las dificultades que se le han presentado al entrevistado en cuanto a la comprensión de las
preguntas, las tareas de recuperación de información, la elaboración de la respuesta, etc. (Presser
et al., 2004; Snijkers, 2002; Sofaer, 2002).

La entrevista cognitiva se sirve de varias técnicas que permiten indagar cómo se han
desarrollado las fases del proceso de pregunta-respuesta. De este modo, se puede conseguir
información sobre potenciales fuentes de error de medida en las diferentes fases, identificando los
problemas que pueden aparecer en cada una de ellas y, consecuentemente, mejorando la
redacción de las preguntas del cuestionario. La Tabla 3 presenta las técnicas de indagación más
utilizadas con una declaración sobre su objetivo y un ejemplo. Los ejemplos proceden del pretest
de un cuestionario de salud.

Tabla 3.
Técnicas de indagación para la entrevista cognitiva
Técnica Objetivo Ejemplo
Verbalización del Conocer los pensamientos del ¿Por qué ha contestado así?
pensamiento entrevistado cuando responde a la
pregunta
Pruebas centradas Investigar cómo el entrevistado ha ¿Qué ha entendido usted por la
en el significado entendido una palabra o término del expresión “salud en general”?
ítem clave para la comprensión de la
pregunta
Parafraseo Basado en la comprensión directa del ¿Con qué otras palabras le diría
ítem. El entrevistado tiene que repetir a otra persona que su salud es
el ítem con sus propias palabras “ni buena ni mala”?

Evaluación de Investigar aspectos particulares en los Por favor dígame ejemplos de

preguntas que el entrevistado ha tenido que
pensar para elaborar su respuesta
Clasificación de Conocer la respuesta que daría el
viñetas entrevistado si fuera otra persona en
una situación determinada, de acuerdo
con los objetivos del ítem
personas de diferentes clases
sociales
Ismael tiene una prótesis en la
pierna ¿Qué debería responder
Ismael si se le preguntara
“¿cómo es su salud en general?”

No todas las preguntas de un cuestionario suelen ser objeto de análisis durante la entrevista
cognitiva. Sólo se analizan aquellas preguntas de las que, por dificultades encontradas durante su
redacción o durante el juicio de expertos, se sospecha que pueden generar errores de medición o
las preguntas de especial interés para el objetivo de la encuesta. Las preguntas analizadas se
denominan preguntas target o preguntas objetivo de la indagación. La elección de la técnica de
indagación depende de la naturaleza de la fuente potencial de error. En la mayoría de los pretests
se combina el uso de más de una técnica de indagación para analizar el funcionamiento de las
diferentes preguntas target (García, Padilla & Sainz, 2006). La Tabla 4 presenta una muestra de
las técnicas de indagación utilizadas para algunas de la preguntas target analizadas durante el
 Evaluación de cuestionarios mediante procedimientos cognitivos 121

pretest de un cuestionario de salud. Sólo se muestra una de las técnicas utilizadas por pregunta.
También se acompañan las técnicas con ejemplos de las preguntas del protocolo de entrevista en
que se concretaron las técnicas respectivas.

Tabla 4.
Ejemplo de técnicas de indagación y preguntas del protocolo para el pretest de un cuestionario de
salud
Preguntas Target Fuentes potenciales de Técnicas de Preguntas del
error indagación protocolo
¿Cómo es su salud en Pensar en estado Verbalización del Explíqueme porqué
general? actual de salud no en pensamiento ha contestado así
la salud en general /
Muy buena / Buena / Ni Pensar en problemas
buena ni mala / Mala / Muy temporales
mala
¿Tiene alguna enfermedad o Comprensión de la Pruebas centradas ¿Qué entiende usted
problema de salud palabra clave en el significado por “enfermedades
crónicos? “crónicos” o problemas de
salud crónicos”?
Sí / No
Durante al menos los seis Comprensión de la Evaluación de Dígame ejemplos de
últimos meses, ¿en qué expresión clave preguntas “actividades que la
medida se ha visto limitado “actividades que la gente habitualmente
debido a un problema de gente habitualmente hace”
salud para realizar las hace”
actividades que la gente
habitualmente hace?
Gravemente limitado /
Limitado pero no
gravemente / Nada limitado
¿Utiliza gafas, lentillas u Comprensión de la Parafraseo ¿Qué otra palabra o
otras ayudas para ver expresión clave palabras utilizaría
mejor? “ayudas para ver usted en lugar de
mejor” “ayudas para ver
Si / No / Es ciego mejor”?

Una vez estudiada la relación entre las preguntas target, las fuentes potenciales de error y las
técnicas de indagación, se elabora el protocolo de la entrevista cognitiva. La primera parte del
protocolo incluye indicaciones generales que deben seguir los entrevistadores. Estas indicaciones
abarcan desde instrucciones para guiar su comportamiento hasta la información que deben
proporcionar a los entrevistados: Los objetivos de la entrevista, para quién y para qué se realiza y
su función como entrevistado; además, se resalta la confidencialidad y se le pide permiso para la
grabación de la entrevista. Esta primera parte del protocolo pretende conseguir que el
entrevistado asuma un “rol de colaborador” en el objetivo de optimizar el cuestionario; de ahí que
se incluya la indicación explícita de que las preguntas de la entrevista se dirigirán a “cómo ha
contestado” en lugar de a “qué ha contestado” a las preguntas del cuestionario. La segunda parte
del protocolo contiene las preguntas que concretan las técnicas previstas de indagación descritas
con anterioridad.

Aunque el número de entrevistados en los pretests está condicionado por los recursos
económicos y humanos junto con las restricciones temporales, el número habitual oscila entre 5 y
122 Padilla, J. L., García, A. & Gómez, J.

50 participantes. La elección de los entrevistados se hace en función de los objetivos del pretest.
Si, por ejemplo, la población objetivo de un cuestionario son los inmigrantes residentes en el
país, los participantes deben proceder del mayor número posible de países y culturas diferentes
para obtener evidencias sobre el funcionamiento esperable de las preguntas en cada uno de estos
colectivos.

El entrevistador debe ser una persona con mucha experiencia en la realización de entrevistas
cognitivas y estar familiarizado tanto con el cuestionario como con el funcionamiento esperado
para las preguntas target. También debe de tener la habilidad necesaria para conseguir que el
entrevistado sea capaz de aportar información relevante para el objetivo que se persigue ante cada
pregunta y para que asuma el rol de “colaborador” en el proceso de evaluación del cuestionario.

La calidad de los resultados obtenidos va a depender de algunas cuestiones prácticas que

rodean a la propia situación de entrevista como la sala, los pasos a seguir desde el inicio hasta el
final de la entrevista y el proceso de análisis (Snijkers, 2002). El análisis de las entrevistas suele
realizarse por técnicos especializados, que no hayan participado como entrevistadores durante el
mismo estudio. El material usado durante el análisis procede de las transcripciones de las
entrevistas realizadas más su grabación en audio o video.

La utilidad de las entrevistas cognitivas durante el proceso de evaluación de cuestionarios ha

sido ampliamente recogida por numerosos autores. Carbone, Campbell & Honess-Morreale
(2002) usaron las entrevistas cognitivas en el desarrollo de cuestionarios de nutrición y detectaron
errores de compresión de los términos “planear” y “pensar” entre los entrevistados. También
encontraron que los entrevistados presentaban confusiones con las instrucciones, cuando les
pedían que rodearan con un círculo la principal razón por la que querían comer cantidades
menores de alimentos, seleccionando varias respuestas a una misma pregunta. La solución
adoptada por los autores fue modificar las instrucciones, resaltando que eligieran una única razón
principal por la que querían comer menos cantidad. Desimone & Le Floch (2004) utilizaron el
procedimiento de las entrevistas cognitivas para mejorar la investigación mediante encuestas en
el área de educación. Carrasco (2003) señaló la importancia de las entrevistas cognitivas para
detectar la falta de correspondencia entre las categorías usadas por la población que responde a la
versión original del cuestionario y por la población que responde a la versión adaptada, como por
ejemplo el nivel de estudios. La estructura de los sistemas educativos es diferente según el país y
una misma respuesta podía referirse a diferentes niveles de enseñanza.

Grupos focales

Los grupos focales es otro de los procedimientos cognitivos más utilizados. Este
procedimiento consiste en una discusión en grupo dirigida, de una duración mínima de una hora y
máxima de dos horas. El objeto de la discusión es el cuestionario y el número de participantes
recomendado es entre 5 y 10. Los participantes deben reunir características específicas que
puedan interactuar con los objetivos de las preguntas, detectando posibles fuentes de error. Es
importante que los participantes hayan respondido con anterioridad al cuestionario, y
preferiblemente no deben conocerse entre sí. Un moderador dirige la sesión siguiendo un guión
donde se han recogido aquellas cuestiones que se consideran relevantes para la evaluación del
cuestionario.

Los grupos focales son muy útiles para lograr un amplio espectro de opiniones acerca del
funcionamiento del cuestionario. A diferencia del “juicio de expertos” y de las “entrevistas
cognitivas”, más centrados en obtener información sobre la “dimensión cognitiva” del proceso
pregunta y respuesta, los grupos focales aportan evidencias sobre lo que se podría llamar la
“perspectiva social”: El rol que adoptarán los futuros encuestados, su previsible implicación en la
 Evaluación de cuestionarios mediante procedimientos cognitivos 123

encuesta y sobre las atribuciones respecto del objetivo del cuestionario y la finalidad de la
encuesta.

De igual modo que en el caso de entrevistas cognitivas, durante la utilización del

procedimiento de grupos focales hay que tener especial cuidado con los aspectos prácticos, como
la elección de la sala, los pasos a seguir desde la llegada del grupo hasta el final de la discusión y
el análisis. Estos aspectos son descritos con más detalle por Stewart & Shamdasani (1990) y
Krueger (1994). Hay que resaltar como factor principal del éxito del grupo focal, la habilidad y
sensibilidad del moderador (Twinn, 1998). La Tabla 5 muestra algunos ejemplos de las preguntas
que se realizaron durante el grupo focal para un pretest de un cuestionario de salud.

Tabla 5.
Ejemplo de preguntas realizadas durante el grupo focal para el pretest de un cuestionario de salud
Preguntas Target Cuestiones relevantes

¿Cómo es su salud en general? ¿Cómo os habéis sentido al tener

que responder a una pregunta
sobre vuestra salud?

Durante al menos los seis últimos meses, ¿en qué medida ¿Qué pensáis que podríamos hacer
se ha visto limitado debido a un problema de salud para para mejorar la forma de hacer
realizar las actividades que la gente habitualmente hace? esta pregunta?

¿Ha tenido que reducir sus actividades relacionadas con ¿Para qué pensáis que se hace esta
el estudio o trabajo debido a su salud o a como se sentía? pregunta?

El grupo focal resulta un procedimiento cualitativo muy útil durante la elaboración y

validación de un instrumento, como resalta Willgerodt (2003) tras su utilización durante el
desarrollo de instrumentos para población inmigrante china. Sus análisis indicaron que esta
población era muy sensible a las preguntas sobre comportamientos específicos de los miembros
de su familia. Quimet et al. (2004) usaron el procedimiento de grupo focal para establecer la
validez de un cuestionario que medía la satisfacción de los estudiantes universitarios. Tras el
análisis encontraron que la impresión inicial de los estudiantes al responder al cuestionario era
que parecía un test de evaluación. Los estudiantes presentaron problemas de comprensión ante
preguntas como “¿Va a las clases sin estar preparado?” ya que esta pregunta implica
comportamientos como no tener un bolígrafo para tomar notas. En concreto este ítem se modificó
resultando la siguiente pregunta: “¿Va a las clases sin completar los trabajos o las lecturas?”

Codificación del comportamiento

La codificación del comportamiento es una observación sistemática de la interacción que

tiene lugar entre el entrevistador y el entrevistado durante la administración del cuestionario. La
finalidad de este proceso es obtener información de forma directa sobre las dificultades que
genera el instrumento de medida para el entrevistado y para el entrevistador. El entrevistador
puede tener dificultades al leer el ítem, y el entrevistado puede mostrar problemas con el recuerdo
de la información requerida y la comprensión de ciertas cuestiones. También pueden existir
problemas comunes para el entrevistador y para el entrevistado. Según Oksenberg, Cannell &
Kalton, (1991) el procedimiento de codificación de comportamiento nos revela errores en los
ítems, que pueden pasar desapercibidos mediante el uso de los procedimientos usuales en el
124 Padilla, J. L., García, A. & Gómez, J.

pretest. La Tabla 6 presenta los indicadores más utilizados para analizar el comportamiento del
entrevistador y del entrevistado durante la aplicación del cuestionario.

Tabla 6.
Indicadores para el entrevistador y para el entrevistado durante la codificación del
comportamiento
Indicadores para el entrevistador Indicadores para el entrevistado
Presentación de la pregunta Presentación de la pregunta Elaboración de la respuesta
Exacta Interrupción Respuesta ajustada
Ligeros Cambios Solicitud de clarificación Respuesta no ajustada
Grandes Cambios Petición de repetición Respuesta “No sé”
Cambia la respuesta
Expresa malestar
Expresa dudas

La codificación del comportamiento muestra aspectos muy positivos como su sistematicidad,

su rapidez, su flexibilidad y su sensibilidad, que lo señalan como un procedimiento muy útil
durante el pretest de un cuestionario. Así lo consideran Oksenberg et al. (1991) al realizar una
evaluación de diferentes procedimientos para la realización de pretest de cuestionarios. Por
ejemplo, encontraron que ante la pregunta: “¿cuánto tiempo hace que viste al doctor? El último
mes / De 1 a 6 meses/ De 6 meses a un año/ Más de un año”, un tercio de los entrevistados
interrumpían la lectura de la pregunta porque pensaban que ya había acabado o porque ya habían
encontrado una respuesta antes de que el entrevistador acabase de leer todas las alternativas.

El mayor problema de este procedimiento es que no es una herramienta suficientemente

sensible para detectar el tipo exacto de problema. La codificación muestra que existe una fuente
potencial de error, pero no indica cuál es la fuente que está causando problemas, lo que dificulta
la toma de decisiones con respecto al tipo de solución y a la programación del cambio que se
debe llevar a cabo.

Conclusiones

Sin duda tanto las posibilidades abiertas por el movimiento CASM en el contexto de la
investigación basada en encuesta, como la creciente sensibilidad por abordar la elaboración de
cuestionarios psicológicos desde bases teóricas más sólidas, permiten anticipar que los
procedimientos cognitivos recibirán una atención creciente en los próximos años. Ambos
contextos metodológicos comparten la necesidad de reducir los errores de medición procedentes
de los cuestionarios utilizados en sus investigaciones. El tradicional énfasis diferencial en unas
fuentes de error u otras no impide que se puedan establecer vías de conexión como muestra la
confluencia de intereses en la realización de encuestas y evaluaciones transculturales. La
realización de pretest de cuestionarios mediante procedimientos cognitivos es una reclamación
compartida por autores vinculados a las dos contextos metodológicos (van de Vijver, 2003).
Padilla, Gómez & Muñiz (2006) mostraron las posibilidades de los procedimientos cognitivos
durante la adaptación de cuestionarios tanto en el contexto de los estudios mediante encuestas
como en la evaluación psicológica.
Los contenidos de los modelos propuestos bajo el esquema del movimiento CASM están
sujetos a investigación constante. Entre las cuestiones que recibirán atención en los próximos
 Evaluación de cuestionarios mediante procedimientos cognitivos 125

años se pueden apuntar: La aplicación de modelos de procesamiento de la información más

complejos; la incorporación de componentes sociales para modelar el compromiso de los
encuestados con el proceso de encuesta; la adaptación del modelo a los diferentes canales de
comunicación impuestos por los distintos métodos de encuesta (telefónica, postal, por Internet,
etc.), etc.

También los procedimientos cognitivos reclaman atención de los metodólogos. Aunque

extremadamente útiles para optimizar la redacción de las preguntas y generar cuestionarios más
“amigables”, aún adolecen de diversas debilidades, entre las que cabe citar la ausencia de
indicadores sobre la fiabilidad y validez de las evidencias que proporcionan, la falta de
procedimientos estandarizados para su aplicación, el insuficiente nivel de convergencia entre los
resultados de los diferentes procedimientos, etc, atención que facilitará la consolidación del uso
de los “pre-tests cognitivos” junto con los estudios piloto tradicionales, dentro de las prácticas
habituales para mejorar la calidad de la información obtenida en los estudios mediante encuesta y
en la evaluación psicológica.

Referencias
Acosta, B. & Padilla, J. L. (2004, septiembre). El uso del juicio de expertos y las entrevistas cognitivas en el proceso
de adaptación del Inventario de Autogobierno. Comunicación presentada en el III Congreso de Metodología de
Encuestas, Granada, España.
Belson, W. (1986). Validity in social research. Aldershot: Gower.
Braun, M. (2003a). Errors in comparative survey research: An overview. En J. A. Harkness & F. J. R. van de Vijver
(Eds.), Cross-cultural survey methods. (pp. 137-143). New York: John Wiley & Sons.
Braun, M. (2003b). Communication and social cognition. En J. A. Harkness & F. J. R. van de Vijver (Eds.), Cross-
cultural survey methods. (pp. 57-69). New York: John Wiley & Sons.
Carbone, E. T., Campbell, M. K. & Honess-Morreale, L. (2002). Use of cognitive interview techniques in the
development of nutrition surveys and interactive nutrition messages for low-income populations. Journal of the
American Dietetic Association, 102(5), 690-697.
Carrasco, L. (2003). The American Community Survey (ACS) en español: Using cognitive interviews to test the
functional equivalence of questionnaire translations. Survey Methodology. 17, 1-52. Study Series: Washington,
D.C.: U.S. Bureau of the Census.
Desimone, L. M. & Le Floch, K. C. (2004). Are we asking the right questions? Using cognitive interviews to
improve surveys in education research. Educational Evaluation and Policy Analysis. 26(1), 1-22.
Foddy, W. (1993). Constructing questions for interviews and questionnaires. New York: Cambridge University
Press.
García, A. S., Padilla, J. L. & Sainz, M. (2006, septiembre). La utilidad de las entrevistas cognitivas para el pretest
de los cuestionarios adaptados en estudios transculturales. Comunicación presentada en el IV Congreso de
Metodología de Encuestas, Pamplona, España.
Groves, R. M. (1989). Survey errors and survey costs. New York: John Wiley & Sons.
Kalton, G. (2000). Developments in survey research in the past 25 years. Survey Methodology, 26, 3-10.
Krueger, R. A. (1994). Focus Groups. A practical guide for applied research. London: Sage.
Jabine, T. B., Straf, M. L., Tanur, J. M., & Tourangeau, R. (1984). Cognitive aspects of survey methodology:
Building a bridge between disciplines. Washington, DC: National Academy Press.
Jobe, J. B. & Herrmann, D. J. (1996). Implications of models of survey cognition for memory theory. En D. J.
Herrmann, C. McEvoy, C. Herzog, P. Hertel & M. Johnson (Eds.), Basic and applied memory research:
Practical application. Vol. 2. (pp. 193-205). Hilsdale, NJ: Erlbaum.
Krosnick, J. A. (1999). Survey research. Annual Review of Psychology, 50, 537-567.
Oksenberg, L., Cannell, C. & Kalton, G. (1991). New strategies for pretesting survey questions. Journal of Official
Statistics, 7(3), 349-365.
Padilla, J. L., Gómez, J., & Muñiz, J. (2006, julio). Assessment of overlap in construct by means of cognitive
interview. Paper presented in 5th Conference of International Test Commission. Bruselas, Bélgica.
126 Padilla, J. L., García, A. & Gómez, J.

Presser, S., Couper, M. P., Lessler, J. T., Martin, E., Martin, J., Rothgeb, J. M. & Singer, E. (2004). Methods for
testing and evaluating survey questions. Public Opinion Quarterly, 68(1), 109-130.
Quimet, J. A., Bunnage, J. C., Carini, R. M., Kuh, G. D. & Kennedy, J. (2004). Using focus groups, expert advice,
and cognitive interviews to establish the validity of a college student survey. Research in Higher Education,
45(3), 233-250.
Sarkisian, C. A., Hays, R. D., Berry, S. & Mangione, C. M. (2002). Development, reliability and validity of the
Expectations Regarding Aging (ERA-38) Survey. The Gerontologist, 42(4), 534-542.
Sofaer, S. (2002). Qualitative research methods. International Journal for Quality in Health Care, 14(4), 329-336.
Snijkers, G. J. (2002). Cognitive laboratory experiences: On pre-testing computerised questionnaires and data
quality. Tesis doctoral no publicada, Universiteit Utrecht, Utrecht, Netherlands.
Stewart, D. W. & Shamdasini, P. N. (1990). Focus Groups. Theory and Practice. London: Sage.
Tourangeau, R. (1984). Cognitive Sciences and Survey Methods. En T. Jabine, M. Straf, J. Tanur & R. Tourangeau
(Eds.). Cognitive Aspects of Survey Methodology: Building a bridge between disciplines (pp. 73-100).
Washington, DC: National Academy Press.
Tourangeau, R. (2003). Cognitive aspects of survey measurement and mismeasurement. International Journal of
Public Opinion Research, 15, 1-7.
Twinn, S. (1998). An analysis of the effectiveness of focus groups as a method of qualitative data collection with
Chinese populations in nursing research. Journal of Advanced Nursing, 28, 654-661.
van de Vijver, F. J. R. & Leung, K. (1997). Methods and data analysis for cross-cultural research. Newbury Park,
CA: Sage.
van de Vijver, F. J. R. (1998). Towards a theory of bias and equivalence. Mannheim: ZUMA.
van de Vijver, F. J. R. (2003). Bias and equivalence: Cross-cultural perspectives. En J. A. Harkness & F. J. R. van de
Vijver (Eds.). Cross-cultural survey methods. (pp. 143-157). New York: John Wiley & Sons.
Willgerodt, M. A. (2003). Using focus groups to develop culturally relevant instruments. Western Journal of Nursing
Research, 25(7), 798-814.
Willis, G. B. (2005). Cognitive interviewing. Thousand Oaks: Sage
Yu, D. S. F., Lee, D. T. F. & Woo, J. (2004). Issues and challenges of instrument translation. Western Journal of
Nursing Research, 26(3), 307
Manuscrito recibido en Octubre de 2006
Aceptado para publicación en Noviembre de 2006