Está en la página 1de 10

Pretesting survey instruments: An overview of cognitive methods1

Debbie Collins

[229]
Resumen
Este artículo presenta el caso de que los cuestionarios de encuesta, que son un tipo de instrumento de medición,
pueden y deben ser probados para asegurar que cumplen con su propósito. Tradicionalmente, los investigadores
de encuestas han sido los que se ocupan de "estandarizar” los instrumentos y procedimientos de recogida de
datos, como la redacción de las preguntas y han asumido que la experiencia en el diseño de cuestionarios, junto
con la prueba piloto de cuestionarios, permitirá entonces garantizar resultados válidos y fiables. Sin embargo, en
el concepto de estandarización están implícitos los supuestos que los encuestados sean capaces de entender las
preguntas que se hacen, que las preguntas se entiendan de la misma manera por todos los encuestados, y que los
encuestados están dispuestos y son capaces de responder a tales preguntas. El el desarrollo de métodos de
encuestas cognitivas han proporcionado a los investigadores sociales un número de teorías y herramientas para
poner a prueba estos supuestos, y para desarrollar mejores instrumentos de encuesta y cuestionarios. Este
artículo describe algunas de estas teorías y herramientas, y argumenta que las encuestas cognitivas deberían ser
una parte estandarizada de métodos de evaluación de la calidad de cualquier instrumento de encuesta.

Introducción

Ya seamos investigadores sociales o epidemiólogos, diseñando encuestas o ensayos clínicos, nuestro objetivo es
proporcionar resultados válidos, fiables, sensibles, imparciales y completos. En otras palabras, queremos estar
seguros de que nuestras preguntas miden los conceptos o comportamientos que queremos medir, que los datos
producidos representan valores "verdaderos" para estas medidas y no contienen demasiada variabilidad aleatoria,
que nuestras preguntas son lo suficientemente sensibles como para medir diferencias o cambios reales
importantes, y que nuestro estudio cubre todas las dimensiones del tema bajo investigación.

Estos objetivos pueden sonar sencillos, pero su aplicación no puede ser nada fácil. A menudo los estudios se
diseñan dentro de las limitaciones de la cantidad de dinero y el tiempo disponible para la prueba y el desarrollo
de los instrumentos. A la luz de los objetivos y prioridades del estudio, se toman decisiones sobre el nivel de
exactitud de los datos requeridos. Tales decisiones a menudo involucran consideraciones sobre el tamaño y
diseño de la muestra, y el modo de recolección de datos. Si bien todas estas cuestiones son importantes y se
utilizan comúnmente como medidas de la calidad de la encuesta, no debemos olvidar el papel del instrumento de
recopilación de datos -a menudo un cuestionario del diario- sobre la calidad de los datos. Y es en el diseño de los
instrumentos de recolección de datos que producen datos confiables, válidos, sensibles, imparciales y completos
en los que se centra el resto de este trabajo.

Formas de pensar sobre el error de medición

implícita en cualquier forma de medición es la noción de procedimiento estándar o conjunto de herramientas que
se utilizan para obtener datos. En la investigación de encuesta, la herramienta general estándar de recolección de
datos es el cuestionario y las mediciones obtenidas de las respuestas de los encuestados a las preguntas de la
encuesta. Una etapa adicional de estandarización es requerida cuando el [230] cuestionario es administrado por
entrevistadores, para asegurar que todos los entrevistadores lo administren de la misma manera. Aplicando el
'estándar' esperamos asegurarnos de que las diferencias observadas sean de hecho diferencias reales y no un
artefacto de diferencias en la forma en que se recopilaron los datos. Sin embargo, este modelo científico de
estandarización asume que:

1 N. del E. La numeración de este documento no corresponde necesariamente a la del artículo original. Para subsanar
esto, se ha indicado donde corresponda el número de la página que se está leyendo entre corchetes y negrita (Ej: [43])
para poder facilitar la citación. No confundir con los otros números que no están en corchetes. Agradecimientos a los
Traductores: Francisco Villarroel, Pía Álvarez, Carolina Norambuena y Sergio Vivanco.
- Todos los encuestados entienden las preguntas de manera consistente:
- Las preguntas piden información que los encuestados tienen y pueden recabar;
- La redacción de las preguntas proporciona a los encuestados toda la información necesaria para poder
responderlas en la forma requerida por el investigador; y
- Cuando se utilizan entrevistadores, siempre leen las preguntas tal como están redactadas.

De hecho, los investigadores de las encuestas han sabido durante muchos años que, a pesar de sus intentos de
estandarizar las herramientas de recopilación de datos y los procedimientos, todavía se producen desviaciones y
errores en la medición. Tradicionalmente, estos errores se han clasificado en dos grandes categorías: los
relacionados con las preguntas de la encuesta y los relacionados con los entrevistadores de la encuesta.
Sin embargo, más recientemente ha habido un cambio en el énfasis, de ver los errores como producto del
cuestionario o del entrevistador, a estar relacionados con la naturaleza de la tarea que los actores en una
entrevista de encuesta tienen que realizar. Esta clasificación centrada en las tareas es útil para ayudarnos a
comprender las posibles fuentes de error de medición, ya que se centra en los componentes específicos del
proceso de preguntas y respuestas. Por ejemplo, la observación de que los encuestados no pueden responder a
una pregunta en particular no ayuda a identificar la razón por la que no se puede responder, por lo que resulta
más difícil encontrar una solución al problema. El modelo task.focused, por otro lado, ayudaría a identificar la
causa del problema al permitir al investigador identificar si el problema es de comprensión, procesamiento o
comunicación (ver Tabla 1).

Sin embargo, la clasificación de los errores de medición centrada en las tareas propuesta por Oksenberg et.al. es -
en sí misma- de poco uso a menos que podamos operasionalizarla. Necesitamos herramientas y métodos que nos
permitan probar preguntas para identificar posibles fuentes de error de medición, pero también nos gustaría
disponer de herramientas que nos permitan cuantificar el tamaño y la dirección de cualquier error de medición.

Idealmente nos gustaría tener tres tipos de evidencia para evaluar el desempeño de las preguntas de la encuesta:

Estadístico - identificar el efecto específico del error de medición de la pregunta en las estimaciones de la
encuesta.

Estudio directo del proceso de preguntas y respuestas - identificando cómo y dónde las preguntas no logran su
propósito de medición.

Tabla 1. Componentes de los errores de manejo

Modelo tradicional Modelo enfocado a tareas


1) Problemas con las preguntas de la encuesta: 1)Problemas de comprehensión provienen de:

- Se entienen malentendidos - Uso del vocabulario


- que no pueden ser entendidas, ninguna en absoluto o - Estructura de las oraciones demasiado complejo
parcialmente
- Que los encuestados no responderán - No entender la naturaleza de las tareas y las reglas
sobre cómo responder
2) Problemas con los entrevistadores de encuestas: 2) Problemas de validación resultan de:

- No leen las preguntas como están escritas - Encuestados interpetan la misma pregunta de
- prueban directamente (?) diferentes maneras, o
-respuestas sesgadas como resultado de la forma en - de la misma forma, pero no la misma que el
que los entrevistadores se relacionan con los investigador necesita.
encuestados (por ejemplo, diferencias de etnia, edad,
clase social, género)
- registrar respuestas de manera inadecuada
3) Dificultades de procesos

- los encuestados pueden no estar dispuestos o ser


incapaces de obtener la información necesaria para
responder a la preguntañ
4) Dificultades de pronunciación o comunicación

- Esto podría afectar tanto al entrevistador como a los


entrevistados.

[231]
Experimental - identificar si los cambios propuestos en los formularios de preguntas realmente mejoran la
calidad de los datos.

El testeo cognitivo de las preguntas de la encuesta aborda el segundo tipo de evidencia y este será el enfoque del
resto de este trabajo. Sin embargo, antes de describir la implementación teórica y práctica de los métodos
cognitivos, necesitamos dar un paso atrás y considerar por qué necesitamos usar tales métodos para probar
previamente los instrumentos de recolección de datos, como los cuestionarios.

Por qué necesitamos probar previamente los instrumentos de recolección de datos

Los encuestados generalmente parecen capaces y dispuestos a responder a las preguntas de la encuesta. La gente
quiere ser cortés y por eso a menudo responde a las preguntas, aunque no entiendan lo que la pregunta les está
haciendo. A menudo malinterpretan palabras o conceptos, a veces de diferentes maneras, sin darse cuenta.
Aunque estas dificultades fundamentales de comunicación pueden existir, los encuestados pueden proporcionar,
lo que parece ser en la superficie, respuestas legítimas a las preguntas de la encuesta al ver el proceso de
pregunta y respuesta de la encuesta como si siguieran las mismas reglas que las de la conversación diaria. Ellos,
eludiendo el duro trabajo de recuperar información de la memoria, realizando cálculos o usando escalas de
calificación, dando una respuesta fácilmente disponible que ellos creen. Por lo tanto, la cuestión clave para el
investigador es cómo comprobar si hay malentendidos, cobertura de conceptos incompleta, interpretaciones
inconsistentes, satisfacción, efectos de contexto, etc.

Métodos cognitivos

Estos métodos, derivados de la psicología social y cognitiva, nos permiten explorar los procesos mediante los
cuales los encuestados responden a las preguntas de las encuestas, y los factores que influyen en las respuestas
que aportan. Las preguntas de prueba previa, en particular las preguntas de prueba previa en el contexto de su
cuestionario nos permiten establecer si:
- los encuestados pueden entender la pregunta o la tarea
- lo hacen de forma coherente y
- de forma intencionada por el investigador.

Los ensayos piloto tradicionales por sí solos no proporcionarán pruebas de todos estos tipos de problemas, ya
que por lo general se trata de probar todo el proceso de la encuesta. En un proyecto piloto, el cuestionario suele
ser examinado en términos de longitud, flujo, prominencia, facilidad de administración y respuesta y
aceptabilidad por parte de los encuestados. Si bien los pilotos pueden detectar problemas manifiestos que
interrumpen el proceso de obtención de respuestas, a menudo no aportan pruebas de las causas ni de los
problemas encubiertos. Por lo tanto, necesitamos utilizar métodos de prueba de preguntas derivados de la
psicología social y cognitiva, que nos ayudarán a examinar sistemáticamente el proceso de preguntas y
respuestas. Origen y desarrollo de métodos cognitivos - una visión general Los investigadores se han preocupado
durante mucho tiempo por cuestiones de redacción de preguntas.

Origenes y desarrollo de los métodos cognitivos – una revisión

Sin embargo, sólo en los últimos 25 años las preguntas y los instrumentos de las encuestas han comenzado a ser
evaluados de una manera más detallada y sistemática utilizando teorías y métodos derivados de la psicología
cognitiva y social. El desarrollo del movimiento de los Aspectos Cognitivos de la Metodología de la Encuesta
(CASM), que surgió de dos reuniones -una celebrada en los Estados Unidos en junio de 1983[14] y otra en
Alemania en julio de 1984[15] - ha puesto de relieve la importancia del análisis de las tareas de los encuestados
y el error de medición. (Para una historia más detallada del desarrollo del movimiento CASM. El doble
desarrollo de las teorías de los métodos de reescritura de encuestas y de los métodos cognitivos ha contribuido
en gran medida a nuestra comprensión de las fuentes de error de medición.

Teorías de respuesta a la encuesta

Antes de describir algunos de los métodos cognitivos utilizados para probar los instrumentos de la encuesta, es
importante revisar sus fundamentos teóricos. El modelo de preguntas y respuestas, derivado de la psicología
cognitiva, es una representación útil y comúnmente citada de cómo los encuestados responden a las preguntas de
las encuestas. En su forma más simple, el modelo sugiere que hay cuatro acciones que los encuestados deben
llevar a cabo.

Figura 1 Elaboración de un modelo de preguntas y respuestas.

[232]
Para responder a una pregunta: deben responder a la pregunta, recuperar la información necesaria de la memoria
a largo plazo, hacer un juicio sobre la información necesaria para responder a la pregunta y responder a la
pregunta. En realidad, el proceso de preguntas y respuestas probablemente no es lineal, sino que implica
numerosas iteraciones e interacciones entre las diferentes fases, como se muestra en la Figura 1.
Por ejemplo, los encuestados pueden hacer juicios sobre el nivel de detalle necesario para responder a una
pregunta de la encuesta basándose en la dificultad de recuperar la información requerida y/o en la forma en que
se deben reportar las respuestas o en las categorías de respuestas proporcionadas. ¿Está la pregunta preguntando
por el número exacto de casos que he visitado a mi médico en los últimos 6 meses, o está pidiendo una
indicación de frecuencia - ninguno, entre 1 y 5, 6 o más? ¿Apareceré fuera de lo común si doy la respuesta que
estoy dispuesto a dar? [6, 19].

Veamos cada uno de los procesos de preguntas y respuestas con un poco más de detalle.

Comprensión.

Una cuestión clave para la comprensión es si la persona que vuelve a responder entiende la pregunta de la misma
manera en que el investigador lo hizo. Esto es importante porque si el encuestado interpreta la pregunta de
manera diferente a lo que pretendía el encuestador, las conclusiones extraídas de la respuesta del encuestado
pueden ser erróneas. Peor aún, si los diferentes respondientes interpretan la pregunta de diferentes maneras entre
sí, y a partir de lo que el investigador pretendía, las comparaciones entre los encuestados y los encuestados no
serán válidas.

Claramente el objetivo del investigador es diseñar una pregunta que pueda ser entendida por todos los
encuestados, de la misma manera y de la manera que el investigador pretendía. Sin embargo, esto es más difícil
de lo que parece porque el significado de una pregunta o expresión tiene dos componentes: literal y cuidadoso.
La comprensión literal de las palabras no es suficiente para poder responder a la pregunta. Por ejemplo, al hacer
una pregunta sobre el dolor abdominal es importante saber si los encuestados saben lo que significa el término
"abdominal". Este es el significado literal de la pregunta. Sin embargo, los que responden pueden saber lo que
significan las palabras, pero pueden interpretar el propósito de la pregunta de diferentes maneras. Por ejemplo,
¿qué debo volver a migrar, cuánto detalle se requiere? Estas decisiones se verán influenciadas por el contexto en
el que se formule la pregunta y se basarán en los principios que rigen la conducta de la conversación diaria. Esto
se debe a que a menudo nos basamos en nuestro stock de información de fondo y conocimiento en el texto de la
encuesta, lo que significa que a menudo llenamos vacíos, añadimos detalles y hacemos inferencias basadas en
nuestro stock de conocimiento de fondo y en lo que requiere la entrevista de la encuesta.

Recuperación de información

Una vez comprendida la pregunta, el encuestado (normalmente) tiene que recuperar la información pertinente de
la memoria a largo plazo, ya sea fáctica o de actitud. En el caso de la información fáctica, ya sea actual o
histórica, existen varios factores [233] puede afectar el proceso de recuperación. En primer lugar, si el contexto
reevaluado es diferente al contexto de codificación original, el encuestado puede no ser capaz de reconocer que
el evento tuvo lugar o de recordar el evento correcto[23]. En segundo lugar, cuanto más raro o distintivo sea un
evento, más probable es que los encuestados lo recuerden. En consecuencia, los tipos de eventos más comunes
serán más difíciles de distinguir y recordar individualmente[24]. Además, con el tiempo, es probable que los
encuestados hayan experimentado eventos más similares, de modo que los eventos raros o más distintivos se
harán más escasos. Esto significa que el recuerdo de la tasa de acumulación de muchos eventos se volverá más
difícil porque hay menos eventos distintivos. Por ejemplo, recordar detalles sobre lo que hice en mi primer día
de trabajo en mi trabajo actual disminuye cuanto más tiempo estoy en mi trabajo actual porque tengo más
recuerdos de días de trabajo con actividades similares de las cuales seleccionar cuál fue mi primer día. A menudo
se pierden detalles textuales en el proceso de codificación y se añaden inferencias e interpretaciones, lo que
puede dar lugar a que los individuos "vuelvan a llamar" en todos los eventos de sinceridad que en realidad no
ocurrieron. Estas inferencias pueden añadirse en respuesta al contexto de la recuperación (por ejemplo, ver Ref.
[25]).

Hay varios procesos involucrados en la recuperación, incluyendo: la adopción de una estrategia de recuperación,
la generación de claves específicas de recuperación para desencadenar la memoria, la memoria individual de la
memoria y el llenado de memorias parciales a través de la inferencia. Ciertas características de la pregunta y del
material recuperado de la memoria pueden afectar la integridad de la fase reevaluada[26]. Hay varias razones por
las que los encuestados no podrán recordar un evento, entre ellas:

- el objeto puede que nunca haya alcanzado la memoria a largo plazo;


- el elemento puede ser irrecuperable porque el contexto de la recuperación es diferente al contexto de la
codificación;
- el artículo puede ser difícil de distinguir de otros eventos o información similares;
- el artículo puede estar contaminado con interferencia o contaminación de otro evento similar (modificado de la
Ref.[18]).
Al diseñar las preguntas es importante evaluar la facilidad con que los encuestados podrán recuperar la
información requerida, hasta qué nivel de detalle, y utilizar el contexto para ayudar a las propias estrategias de
recuerdo del encuestado.

Juicio

El investigador, al diseñar una pregunta de la encuesta, asume que el encuestado puede proporcionar la
información en formación que se solicita. El juicio forma una parte importante del proceso de preguntas y
respuestas porque: la información que se busca es a menudo difícil de recordar con precisión (como fechas o
frecuencias); lo que se puede recordar puede estar incompleto (como recordar los detalles de un evento en
particular); o, en el caso de preguntas de actitud u opinión, la pregunta es pedirle al encuestado que exprese un
punto de vista u opinión sobre algo en lo que tal vez no haya pensado (durante algún tiempo) o en ese
contexto[22, 6].
Por lo tanto, el juicio puede ser visto como el proceso por el cual los encuestados formulan sus respuestas a una
pregunta de la encuesta. Este proceso implica que los encuestados consideren, por ejemplo, si entienden la
pregunta, si la pregunta se aplica a su situación, si la pregunta se aplica a su situación, si está pidiendo
información que tienen, qué tan detallada debe ser esta información, qué tan precisa debe ser, si necesitan
modificar su respuesta para satisfacer las necesidades percibidas de la pregunta, etc. Estos juicios pueden hacerse
en cualquier momento durante el proceso de preguntas y respuestas, y pueden informar las fases de
comprensión, recuerdo y respuesta. Por ejemplo, al preguntarme cuántas veces he visitado a un médico en los
últimos 6 meses, puedo refinar mi interpretación de los términos `visitado' y `médico' a la luz de lo siguiente
de un primer intento de destitución. Puedo ajustar o aflojar mis definiciones dependiendo de lo fácil que haya
sido recuperar la información requerida. Puedo considerar que si tengo dificultades para recordar el evento,
entonces tal vez haya ocurrido con poca frecuencia. Alternativamente, yo puedo no estar seguro de las fechas
exactas y, por lo tanto, emitir un juicio sobre si creo que los acontecimientos que puedo recordar ocurrieron
dentro del período de referencia o no.

Heurística crítica

Los 'atajos cognitivos' o heurísticos a menudo son utilizados por los encuestados cuando formulan respuestas a
preguntas de frecuencia. Esto se debe a que, como se ha señalado anteriormente, la memoria no es perfecta y a
menudo hay que tomar decisiones sobre cómo compensar la información incompleta o inexacta. Por ejemplo, la
investigación ha demostrado que el número de artículos que deben ser retirados es el factor más importante en
[234] determinar si el encuestado adoptará una estrategia de conteo o estimación (por ejemplo, ver Refs.[27,
28]). Se han identificado varias estrategias diferentes para estimar las respuestas a las preguntas de frecuencia,
que pueden clasificarse de la siguiente manera:

(1) recuerdo de eventos específicos, típicamente episodios individuales;


(2) estimación basada en la recuperación de información resumida sobre la tasa de ocurrencia del evento;
(3) recuerdo de un recuento exacto de los acontecimientos; y
(4) estimación basada en una impresión general (modificada de Tourangeau et al.[6]).

Una clasificación alternativa de la heurística de juicio se basa en el trabajo de Tversky y Kahneman[29, 30], que
considera la disponibilidad de la información para el encuestado (facilidad para volver a llamar), la
representatividad de la información recuperada. Es el estado "normal" de las cosas y el uso del contexto para
anclar y ajustar la respuesta. Por ejemplo, al responder a la pregunta "¿Cuántas horas trabajó la semana pasada?
los encuestados pueden optar por una respuesta fácilmente disponible, como por ejemplo las horas contratadas.
Alternativamente, los encuestados pueden sentir que sus horas contractuales no son representativas de las horas
reales que trabajan y, por lo tanto, pueden decidir promediar las horas que han trabajado durante varias semanas.
Finalmente, los encuestados pueden tomar su respuesta disponible o representativa y ajustarla a la luz del
contexto de la encuesta, las categorías de respuestas proporcionadas o las circunstancias especiales de la semana
pasada (ver Sudman et al.[22] y Tourangeau et al.[6] para una revisión de la investigación de Tversky y
Kahneman sobre el juicio).

Respuesta

La tarea final descrita por el modelo de preguntas y respuestas es la etapa de respuesta. Hay dos componentes
involucrados en la respuesta a la pregunta: formatear y editar la respuesta, y estas dos etapas se describen a
continuación.

Formateando la respuesta

Después de haber formado un juicio, el encuestado a menudo tiene que encajar su respuesta en una de las
respuestas preestablecidas que se le ofrecen. Este proceso de formateo de respuestas es necesario cuando se
requiere una respuesta cerrada, con las respuestas predefinidas.
que ya ha sido diseñado por el investigador. Por ejemplo, se podrían ofrecer las siguientes respuestas
preespecificadas para la pregunta:'¿Con qué frecuencia hace ejercicio?

- Todos los días


- Cada dos días
- Por lo menos dos o tres veces a la semana
- Al menos una vez a la semana
- Menos de una vez a la semana
- Nunca

La elección de las alternativas de respuesta por parte del investigador puede afectar la forma en que el
encuestado decide contestar la pregunta y, por lo tanto, puede afectar los resultados de la encuesta[31]. Además,
la elección de la respuesta alter- nativos también puede afectar a la forma en que los res- estanques interpretan la
pregunta y el recuerdo, y estrategias de juicio que utilizan. Por ejemplo, las respuestas preespecificadas para la
pregunta anterior sobre la frecuencia con la que las personas hacen ejercicio podrían influir en la respuesta del
encuestado al insinuar que es común que las personas hagan ejercicio por lo menos una vez por semana. Esto se
debe a que sólo dos de las seis opciones de respuesta proporcionadas se refieren al ejercicio con menos
frecuencia que una vez a la semana, y una de esas opciones es nunca ejercitarse. El encuestado puede inferir a
partir de las categorías de respuestas, siempre y cuando la frecuencia "usual" de ejercicio sea para una persona
promedio, y por lo tanto puede usar esta inferencia para anclar y ajustar su propia respuesta a la pregunta.

Editando la respuesta

Por último, es posible que los encuestados deseen editar sus respuestas antes de comunicarlas, ya que es posible
que deseen ajustarse a las nociones de deseabilidad social y autopresentación. Estos efectos pueden ser más
favorables en las entrevistas cara a cara que en los métodos de recolección de datos telefónicos o de
autocompletado.
El impacto de los factores de deseabilidad social en la respuesta se limita a menudo a las preguntas que los
encuestados perciben como sensibles y potencialmente amenazadoras. Sin embargo, lo que constituye una
pregunta delicada o amenazante, y por lo tanto lo que es socialmente deseable, dependerá del contexto de la
encuesta: el modo de recolección de datos, las características del entrevistador, quién más está presente cuando
se dan las respuestas aparte del entrevistador, el contenido y el propósito de la entrevista, etc. (ver Touran- geau
et al.[6], para una visión general de la investigación en esta área).

[235]
Aplicación de teorías de respuesta a las encuestas- herramientas de los métodos cognitivos.

El valor de las teorías que intentan explicar el proceso de respuestas a las encuestas, está en su aplicación al
diseño y la implementación de instrumentos de encuestas y a la reducción de errores de medición.
Especialmente nos permiten explorar los componentes individuales del proceso de pregunta y respuesta, a saber:
comprensión, captura, decisión y respuesta.

Se han desarrollado y aplicado varios métodos cognitivos para el testeo de instrumentos de sondeo. Estos
incluyen entrevistas cognitivas, parafraseo, card sorts, vignettes (viñetas, miniaturas), calificación de certeza y
tomar el tiempo de latencia de la respuesta. El uso de estos métodos, particularmente la entrevista cognitiva se ha
propagado extensivamente en los últimos 25 años, y muchas agencias de estadísticas gubernamentales del Oeste
cuentan con establecimientos de testeo cognitivo o laboratorios. Los métodos se resumen más adelante.

La Entrevista cognitiva es una herramienta de diagnóstico para instrumentos de encuesta de pre testeo, tales
como los cuestionarios. Se concentra principalmente en el cuestionario en vez del proceso de la encuesta, con
atención explícita a los procesos mentales que los encuestados usan para contestar preguntas de una encuesta y
por lo tanto permite que los problemas tanto escondidos como evidentes sean identificados. Es de naturaleza
cualitativa y flexible, siendo un complemento, en vez de un reemplazo del testeo tradicional en terreno o pruebas
piloto.

Hay dos pruebas cognitivas principales:


1) Entrevista de pensamiento en voz alta e,
2) Indagación.

En estos dos métodos el encuestador le pregunta al encuestado cómo lo hizo para contestar las preguntas del
cuestionario, o para completar un cuestionario de auto-aplicación. En el enfoque de pensamiento en voz alta, al
encuestado se le pide que piense en voz alta mientras está contestando las preguntas o completando el
cuestionario, mientras que en el método de indagación el encuestador hace preguntas específicas o indaga, lo
cual está diseñado para obtener el cómo lo hizo el encuestado para responder las preguntas. Aunque el método de
pensamiento en voz alta se usa generalmente en forma concurrente para obtener información sobre lo que el
encuestado está pensando mientras está contestando cada una de las preguntas del cuestionario o cuando está
completando el cuestionario de auto-completación, el método de indagación puede ser usado ya sea concurrente
o retrospectivamente.

Las diferencias claves entre las técnicas de pensamiento en voz alta e indagación son:
PENSAMIENTO EN VOZ ALTA INDAGACION
Motivado hacia el encuestado Motivado hacia el encuestador

Menos carga en el encuestador ya que es el Menos carga en el encuestado ya que es el


entrevistado quien responde mayormente las entrevistador quien debe responderse mayormente
preguntas las preguntas

La entrevista puede ser más difícil para el La entrevista puede ser más difícil para el
encuestado encuestador

La decisión sobre cuál de los métodos usar, generalmente se toma considerando el objetivo de la prueba y qué se
está testeando. El pensar en voz alta tiende a funcionar mejor para cuestionarios de auto-completación que en
entrevistas cara a cara. Esto se debe a que en una entrevista cara a cara es más difícil que el encuestado y
encuestador cambien de roles una y otra vez entre encuestado/encuestado cognitivo y encuestador/encuestador
cognitivo. Sin embargo, ambos métodos pueden ser combinados efectivamente.

A menudo las indagaciones estándar son usadas para explorar el proceso de la comprensión, la captura, la
decisión y la respuesta. La tabla 2 provee ejemplos de los diferentes tipos de indagaciones usadas

Tabla 2 Ejemplos de pruebas cognitivas

En voz alta/general ¿Cómo lo hizo para contestar esa pregunta?


Dígame lo que está pensando
Noté que dudó antes de contestar- en qué estaba pensando?
¿Qué tan fácil o difícil encontró que era contestar esta pregunta? Por qué?
Comprensión ¿Qué significa el término o concepto “X” para usted?
¿Qué entendió por “X”?

Captura ¿Cómo se acordó de eso?


¿Tenía un periodo de tiempo específico en mente?
¿Cómo calculó su respuesta?
Decisión de certeza ¿Qué tan bien usted se acuerda de ésto?
¿Qué tan seguro de su respuesta está usted?

Respuesta ¿Qué le pareció tener que contestar esta pregunta?


¿Pudo encontrar su primera respuesta a la pregunta dentro de las opciones de respuesta
mostradas?

En el parafraseo, a los encuestados se les pide que parafraseen la pregunta de la encuesta o que la haga
utilizando sus propias palabras. Esta técnica se preocupa [236] principalmente de identificar problemas de
comprensión y puede ser incorporada a una entrevista cognitiva usando “probes” (indagaciones) como: ¿me
podría decir en sus propias palabras qué se le está preguntando? O ¿cómo haría esa pregunta usted?

Card Sorts (agrupaciones) se usa para explorar cómo la gente agrupa artículos y son útiles para explorar y
desarrollar tipologías y clasificaciones. En un “grupo libre” los encuestados agrupan artículos que parecen ir
juntos en forma natural. En un grupo dimensional a los encuestados se le pide que pongan artículos en una
dimensión o dimensiones pre-especificadas.

Vignettes son descripciones cortas de situaciones o escenarios hipotéticos y son útiles para entender cómo los
encuestados contestarían preguntas sobre estas situaciones y para mostrar si es que los límites conceptuales del
dominio varían de la misma manera que entre los encuestados.

En Calificación de certeza se les pide a los encuestados que califiquen el grado de certeza de sus respuestas. De
la misma manera que con el parafraseo, esta técnica puede ser incorporada a una entrevista cognitiva usando un
probe como: “ Qué tan seguro está de su respuesta, donde 10 es muy seguro y 0 es para nada seguro?”

En Latencia de la respuesta se mide el tiempo transcurrido entre la presentación de la pregunta y la indicación


de una respuesta. Aquí se asume que las respuestas que requieren más búsqueda en la memoria tienen más
latencia en la respuesta.

Muchos de los métodos cognitivos descritos anteriormente fueron desarrollados originalmente por psicólogos
para investigar cómo la gente resuelve sus problemas o cómo recuerdan las cosas. Como se mencionó antes,
estos métodos han sido adoptados por investigadores de encuestas para investigar fuentes de error de medición y
para alimentar el desarrollo de teorías de respuesta a encuestas. Sin embargo, estos métodos todavía están en el
proceso de refinamiento para satisfacer las necesidades de los investigadores de encuestas y aunque hayan sido
herramientas extremadamente útiles, tienen limitaciones.

Limitaciones de los métodos cognitivos


Las entrevistas cognitivas son de naturaleza cualitativa, y por lo tanto, a pesar que puedan indicar la presencia de
un problema, no pueden entregar información cuantitativa sobre su alcance o el tamaño de su impacto en las
aproximaciones de las encuestas. Para obtener este tipo de información, harían falta métodos de testeo de
preguntas alternativos. Además, a pesar de que los métodos cognitivos pueden ser usados para evaluar formas
existentes de preguntas, y para testear correcciones propuestas de las preguntas originales, no pueden proveer
evidencia cuantitativa sobre si la versión corregida de la pregunta es mejor que la original.

Otra limitación es que los métodos confían principalmente en los informes verbales de los encuestados de que
hay problemas. No todos los procesos cognitivos pueden ser verbalizados, ya que algunos suceden tan rápido
que no dejan rastro en la memoria funcional. Por ejemplo, si se les pregunta a los encuestados su género y luego
se les pregunta cómo lo hicieron para contestar esa pregunta, ellos no les podrán decir mucho sobre el proceso:
ellos solo saben cuál es su género.

Los críticos de los métodos cognitivos también citan que los métodos pueden discriminar en contra de
encuestados menos seguros de sí mismos, quienes tienen dificultad para verbalizar su proceso de pensamiento y
también puede que estén menos inclinados a participar en experimentos de testeo cognitivo. Tal vez sea más
preocupante la acusación de que el proceso de entrevista cognitivo puede afectar la manera en que los
encuestados responden las preguntas.(ver Wison et al para un resumen de estudios que muestran tal impacto).

Finalmente, debido a que los métodos cognitivos son relativamente nuevos, todavía están relativamente no
estandarizados. Como resultado, hay preocupación que los resultados no sean siempre confiables, especialmente
aquellos que se basan en entrevistas cognitivas. Sin embargo, la evidencia a este respecto es todavía desigual,
principalmente porque a la fecha, se han publicado muy pocos estudios que evaluan los diferentes métodos de
pre-testeo.

Conclusiones
A pesar de las reservaciones y limitaciones mostradas anteriormente, los métodos cognitivos han mejorado
tremendamente nuestro entendimiento sobre las fuentes de error de medición en encuestas cuantitativas.
También han ayudado a los investigadores a desarrollar mejores preguntas e instrumentos de encuesta y están
siendo usados, cada vez más, rutinariamente para pre-testear los cuestionarios. Como tales deberían ser vistos
como uno de los componentes de la bolsa de herramientas de los investigadores para saber si el cuestionario
hace la tarea que se supone debe hacer.

También podría gustarte