TEMA 5. SEGUNDA PARTE.

REDACCIÓN DE
PREGUNTAS, OPERACIONALIZACIÓN DE CONCEPTOS
Y CONSTRUCCIÓN DE ESCALAS
 Objetivos de la encuesta

• Determinar claramente los objetivos de

una encuesta (¿qué se quiere
averiguar?):

• NUNCA redactar preguntas sin más

Lo que hay que evitar…
Objetivos de la encuesta2: pasos iniciales

• Listado general de temas de

interés/objetivos:
1. Identificación de temas de interés/“sub‐
temas” (profundizar en la definición de sub‐
objetivos
2. Identificar las preguntas de control/
clasificación (¿queremos decir algo de
subgrupos de la población? ¿tendremos
suficiente muestra?)
 Objetivos de la encuesta 3: otros aspectos

• ¿Qué método de recogida de información vamos a

utilizar?
• ¿Cuál es el universo a estudiar? La población sobre la
que queremos averiguar algo (población adulta,
joven, población española, empleados, hogares, etc.)
• ¿Cuánta información es necesario obtener?
• ¿Cómo de exactas queremos que sean nuestras
mediciones?
• ¿Con cuánto tiempo contamos para hacer la
encuesta (todas sus fases)?
 Objetivos de la encuesta 4:
¿qué se pretende medir?
• Valores/actitudes: se forman tras un proceso de
socialización/no cambian fácilmente
• Opiniones: valoraciones de un objeto, política,
tema (más volátiles)
• Comportamientos: la manera en que uno se
comporta, la respuesta de un individuo a su
entorno
• Conocimientos, percepciones sobre la realidad
 Ejemplo: una encuesta sobre actitudes
hacia la inmigración

• Opinión pública sobre la inmigración:

1. ¿Qué se quiere medir?: ¿actitudes, opiniones,

comportamientos? ¿percepciones? ¿una
combinación de todo ello?

2. ¿Sobre qué aspectos concretos del fenómeno

de la inmigración?
 Proceso de “definición” de contenidos
Política migratoria Volumen de inmigrantes (percepción del número de inmigrantes,
valoración, percepciones de futuro)
Percepción de los inmigrantes (en qué colectivos se piensa)
Control de flujos
Requisitos de aceptación
Valoración de la gestión del gobierno en relación a la inmigración
Consecuencias de la En el mercado laboral
inmigración En los servicios y políticas (competición por recursos escasos)
En la economía
En los espacios públicos, seguridad ciudadana, etc.
Derechos y deberes Derechos sociales
Derechos políticos
Integración de los Percepción del grado de integración
inmigrantes Percepción de los “indicadores” de integración
Percepción del trato que dispensa la sociedad de acogida a los inmigrantes
Sociabilidad/Trato/ Actitud hacia prácticas religiosas
Convivencia Actitud en relación con el mantenimiento de las costumbres/tradiciones
propias
Ejemplo 2. Barómetro de septiembre 2010: la familia
como fuente de apoyo
Operacionalización de conceptos y redacción
de preguntas
 Hipótesis, conceptos, preguntas y
va r i a b l e s

• Para poder contrastar hipótesis: necesario “observar” y

“medir” los conceptos que aparecen en estas hipótesis.

• Pasar de los conceptos teóricos a variables empíricamente

observables (operacionalizados).

• Operacionalización: procedimientos para obtener indicadores

empíricos/referentes empíricos de un concepto.
 Definición de conceptos y operacionalización

Fases:
• Definir el concepto: identificar los atributos
asociados a un concepto/recopilar los diferentes
sentidos dados a los conceptos que se manejan
(revisión literatura)
• Extraer/identificar las dimensiones generales de los
atributos/sentidos del concepto
• Definir el/los indicador(es) (operacionalizar) para
medir cada concepto (y el nivel de medición)
 Variables y niveles de medición
Una variable adopta diferentes modalidades o estados,
en función del nivel de medición adoptado:

•Categórico/nominal: clasificación en “estados”

(colectivamente exhaustivas, mutuamente excluyentes). Modalidad y valor
(códigos sin significado “numérico”). Excepción: variables “dummies”.
•Ordinal: clasificación en “estados ordenables”. No
tenemos información de la distancia entre categorías
•Cardinal/intervalo: Diferencias de igualdad, orden y
cantidad. Se conoce la distancia entre valores. Unidad
de medida.
 Ejemplo de operacionalización: capital social

1. Revisión de la literatura
• Bourdieu: “Agregado de recursos reales o
potenciales que están unidos a la posesión de
una red duradera de relaciones más o menos
institucionalizadas de reconocimiento mutuo”

• Putnam: “Redes, normas y confianza que facilitan

a los individuos actuar juntos eficazmente para
perseguir objetivos comunes”
 Ejemplo: capital social

• 2. Dimensiones del concepto

1. Redes/estructuras sociales/apoyo
2. Confianza interpersonal
3. Normas (compartidas)
 Capital social
CAPITAL SOCIAL

Dimensiones
Redes formales Confianza Consenso sobre normas,
e informales: interpersonal valores, confianza
organizaciones

Definiciones Relaciones que se Existencia de una Grado en el que los ciudadanos

establecen entre actitud positiva hacia comparten normas básicas para
personas para un fin otras personas la convivencia

Confianza en las
Definiciones Nº asociaciones Confianza expresada hacia leyes/justicia como forma
otras personas de resolución de conflictos
operativas Personas a las que
recurrir Actitud hacia personas:
abusarán de uno o no

Datos empíricos Respuestas Respuestas Respuestas

 Cualidades de los indicadores/preguntas

• Validez: se refiere al grado en que el indicador

mide el concepto que se quiere

• Fiabilidad: se refiere a la replicabilidad del

procedimiento de medida, al grado en que
produce resultados consistentes en repetidos
intentos de medición
Representación gráfica de la validez y la fiabilidad

No válido ni Fiable, pero Fiable y

fiable no válido válido
Cuestionarios: aclaraciones
previas
 Aclaración de conceptos

1. Preguntas: hacen referencia a la estructura

formal del cuestionario (suelen coincidir con las
variables, pero no siempre)

2. Categorías (de respuesta): son las distintas

respuestas posibles asociadas a una variable
determinada (puede ser un número, un concepto,
depende del nivel de medición adoptado)
¿Cuántas preguntas? ¿Cuántas variables?

Una pregunta, una variable

¿Cuántas preguntas? ¿Cuántas variables?

¿Una? pregunta, dos variables

Tipos de pregunta
 Tipos de preguntas
• Diferentes clasificaciones posibles según los criterios
utilizados:

1) Según la libertad de respuesta (abiertas/cerradas, respuesta

espontánea/sugerida)
2) Según su función en el cuestionario: preguntas “filtro”
3) Según el nº de respuesta que puede dar el entrevistado
(respuesta única o multirrespuesta)
4) Simples/multi‐preguntas o “baterías de preguntas”
5) Según el nivel de medición (categóricas, ordinales, etc.)
6) Según el tipo de información que se busca (de clasificación,
conocimiento, intención, opinión, actitud, comportamiento,
expectativa, etc.)
Preguntas abiertas vs. Preguntas cerradas

•Preguntas abiertas: el encuestado responde en sus

propias palabras y luego se codifica la respuesta.
Ejemplo:
¿P.5.‐ ¿Cuál es a su juicio, el principal problema que existe en España? ¿Y el
segundo? ¿Y el tercero?

- NS 98
- NC 99

•Preguntas cerradas: se elige entre categorías de

respuesta previamente establecidas
 Preguntas abiertas: ¿cuándo usarlas?

• Cuando no se sabe mucho del tema, ni de las

respuestas previstas
• Se busca mayor riqueza (matices) en la respuesta o
explicaciones más detalladas
• Pueden ser mejores para preguntar sobre temas
delicados o para temas en los que no se quiere
condicionar la respuesta con una lista de categorías
(“Agenda”)
• Cuando hay un pre‐test o estudio piloto: se puede
dejar alguna pregunta abierta para luego “cerrarla”.
Fuente: CIS. Barómetro de
mayo 2010 (estudio 2836)
¿Por qué cree Ud. que tiene mucha ¿Por qué cree Ud. que tiene poca o
o bastante calidad? ninguna calidad?
(Respuesta espontánea)
(Respuesta espontánea)

Fuente: CIS. Barómetro de

mayo 2010 (estudio 2836)
 Preguntas abiertas 2: inconvenientes

• La persona entrevistada se expresa mejor… pero

suele favorecer a las que tienen mayor nivel de
formación
• En general, no son buenas para entrevistas
autoadministradas
• Generalmente: mayor tasa de “No contesta”
• Más costosas (requieren codificación posterior: más
tiempo, recursos y dinero)
• Menor estandarización: generalmente más difíciles
de analizar/interpretar
 Preguntas cerradas
• Comunican el mismo marco de referencia a todos los
encuestados y son más “baratas” (en tiempo y dinero, no hay que
codificar)
• Ayudan a estimular la respuesta (con las categorías que se leen)
• Se evitan los errores de los codificadores
• Pueden conducir a sesgos cuando están ausentes categorías
relevantes (las categorías deben ser colectivamente exhaustivas
y, si no son multirrespuesta, mutuamente excluyentes)
• Recurso para que sean exhaustivas: “otros”
• Truco: para no “perder” alguna categoría importante. Otros
¿cuál?
 Ejemplo: MIP abierta y cerrada (estudios CIS 2765 y 2766)
CERRADA ABIERTA
(E2765) (E2766)
Los problemas relacionados con el empleo 3 5 ,9 2 7 ,9
El acceso a la vivienda 1 8 ,4 7 ,4
Las pensiones 9 ,7 0 ,8
La integración de los inmigrantes 4 ,1 9
La situación de las personas mayores 3 ,5
La igualdad entre hombres y mujeres en el trabajo y
hogar 2 ,4
Los problemas medioambientales 2
Las desigualdades sociales 3 ,7
El cuidado de la personas dependientes (que no
pueden valerse por si mismas) 3 ,5
La sanidad 8 ,5 0 ,4
La educación 5 ,2 0 ,7
Ninguna de las anteriores 1 ,1 0,1
N.S. 1 ,1 2,8
N.C. 0 ,8 0,2
 0
10
20
30
40
50
60
70
80
90
ene-04
abr-04
jul-04
oct-04

Paro
ene-05
abr-05

Inseguridad
jul-05
oct-05
ene-06
abr-06
jul-06
oct-06

Probl.
ene-07

Inmigración
abr-07
jul-07
oct-07
ene-08
abr-08
jul-08
ETA oct-08
ene-09
Terrorismo/

abr-09
Clase política

jul-09
oct-09
ene-10
abr-10
jul-10
oct-10
Vivienda

ene-11
abr-11
Principales problemas del país (2004‐11)

Fuente: Barómetros mensuales del CIS

jul-11
oct-11
 ATENCIÓN…

• … se piden 3 menciones, pero pocas personas

hacen uso de ellas
• A mayor nivel educativo, mayor tendencia a
mencionar 3 problemas
• Esto tiene efecto en el cómputo global que se
presenta en los análisis de los barómetros
 Porcentaje que no contesta… (Barómetro de octubre 2010)

Principales problemas de España

P701 P702 P703
N.S. 1,1 1,0 1,6
N.C. 0,4 19,8 54,5
Principales problemas persona entrevistada
P801 P802 P803
N.S. 8,9
N.C. 9,5 57,6 83,6

Fuente: elaboración propia a partir de los datos del barómetro de octubre 2010
 Porcentaje que responde N.S o N.C en la primera, segunda o tercera
mención de problema más importante del país (por nivel de estudios)

Superiores 44,4%

Medios universitarios 44,5%

F.P. 53,7%

Secundaria 54,8%

Primaria 56,2%

Sin estudios 72,9%

,0% 10,0% 20,0% 30,0% 40,0% 50,0% 60,0% 70,0% 80,0%

Fuente: elaboración propia a partir de los datos del barómetro de octubre 2010
 Porcentaje que responde N.S o N.C en la primera, segunda o tercera mención de
problema más importante para la persona entrevistada
(en función del nivel de estudios)

Superiores 82,3%

Medios universitarios 80,9%

F.P. 82,6%

Secundaria 81,3%

Primaria 84,6%

Sin estudios 89,0%

76,0% 78,0% 80,0% 82,0% 84,0% 86,0% 88,0% 90,0%

Fuente: elaboración propia a partir de los datos del barómetro de octubre 2010
 “La clase política, los partidos políticos”
Respuestas literales (barómetro de diciembre 2009)

-Política: 111 -Conflictos políticos: 3

-Políticos: 38
-Los políticos: 24
‐Situación política: 14
-Mala política: 9
-Crispación política: 7
-La clase política: 6
-Mala gestión política: 5
-Política exterior: 4
-Falta de acuerdo político: 4
-La política económica: 3
-Los partidos: 2
-Desacuerdos políticos: 2
-Desconfianza en la política: 2
-La estafa política: 2
-Los líderes políticos: 2
-Falta de consenso político: 2
-Desacuerdo continuo entre políticos: 2
-Incompetencia de los políticos: 2
 “La clase política, los partidos políticos”
Respuestas literales (2) (barómetro de diciembre 2009)

-La mala coordinación política: 2 -Incomprensión política: 1

-Todos los políticos quieren mandar: 2
-Poca confianza en los políticos: 1
-Poca credibilidad política: 1
-La política no es buena: 1
-Conformismo político: 1
-Dirección política: 1
-Falta de democracia: 1
-Alejamiento de la política: 1
-Cambio de chaqueta en política: 1
-Desunión de los políticos: 1
-Disputas políticas: 1
-Los políticos muy separados del
pueblo: 1
-Gestión de los políticos: 1
-Desconfianza general política: 1
-Desorden político: 1
-Descrédito de la clase política: 1
-Mala orientación política: 1
-Bipartidismo: 1
 “La clase política, los partidos políticos”
Respuestas literales (3) (barómetro de diciembre 2009)
-Los políticos no se ponen de acuerdo: 1 -No hay alternativas políticas: 1
-Los políticos sólo piensan en ellos: 1 -Enfrentamiento y crispación política: 1
-El sistema político que no es democracia: 1 -No veo bien cómo está organizada la
política: 1
-La mala confianza que transmiten los -Los políticos y los banqueros que son todos
políticos: 1 de la misma calaña: 1
-Políticos sinvergüenzas: 1 -Hipocresía de los políticos: 1
-Los políticos no se ponen de acuerdo: 1 -No hay unidad política: 1
-Los políticos sólo piensan en ellos: 1 -Inestabilidad política: 1
-El sistema político que no es democracia: 1 -Falta de entendimiento político: 1
-La mala confianza que transmiten los -Nuestros dirigentes: 1
políticos: 1
-Políticos sinvergüenzas: 1 -Las políticas laborales: 1
 “La clase política, los partidos políticos”
Respuestas literales (4) (barómetro de diciembre 2009)

-Tendrían que trabajar mejor en el -Los políticos no trabajan: 1

Congreso: 1
-Falta de honradez política: 1 -La cantidad tan grande de políticos que hay:
1
-Ineptitud de los políticos: 1 -Falta de políticos con sentido común: 1

-Gestión política: 1 -Los políticos no trabajan: 1

-Falta de compromiso político: 1 -Mal entendimiento de los políticos: 1

-Desconexión entre políticos y ciudadanos: -Que los políticos ganen tanto y los demás tan
1 poco: 1
-Políticos. Falta de entendimiento: 1 -Los políticos discuten: 1
-Diferencias políticas: 1 -Los políticos hacen poco: 1
-Mala situación política: 1 -Sistema político: 1
-Las peleas de los políticos y no hacen -Que se bajen los sueldos los políticos: 1
n ad a: 1
 “La clase política, los partidos políticos”
Respuestas literales (5) (barómetro de diciembre 2009)

-Falta de responsabilidad política: 1 -Demasiados políticos que no hacen nada:

1
-Política de baja calidad: 1 -Los políticos que se enriquecen: 1

-Los políticos no hacen nada: 1 -Falta de sinceridad de los políticos: 1

-Los políticos van a lo suyo: 1 -Decisiones políticas: 1

-Los políticos no saben dirigir el país: 1 -Mentiras políticas: 1

-Políticos malos: 1 -Los sueldos de los políticos: 1

-La política saturada de malos políticos: 1 -Demasiados políticos: 1

-Los políticos no saben gobernar: 1 -Políticos poco demócratas: 1

-Los políticos están de mal rollo: 1 -Peleas políticas: 1

-Mala administración de los políticos: 1 -Política negativa: 1

 “La clase política, los partidos políticos”
Respuestas literales (6) (barómetro de diciembre 2009)

-Política pésima: 1

-Falta de políticos: 1
-Mala gobernanza: 1

-Desconfianza hacia los políticos: 1

-Las personas dejan en manos de los políticos sus problemas: 1

-Los políticos no se entienden: 1

-Política pasiva: 1
 “El gobierno, los políticos y los partidos” (menciones individuales)
Respuestas literales (1) (barómetro de diciembre 2009)

-El Gobierno: 50 -Poca colaboración con el Gobierno: 2

-Mala gestión del Gobierno: 8 -El PSOE: 2

-El Gobierno tiene comprado a los
-Zapatero: 5
sindicatos: 1
-La Oposición: 5 -Los ministros: 1
-El Presidente del Gobierno: 4 -Falta de ética de la Oposición: 1
-Mala gestión económica del Gobierno: -El Presidente menos inteligente de la
3 democracia: 1
-El Presidente: 2 -Rajoy: 1
-Falta de apoyo de la Oposición a las
-El Gobierno no lo hace bien: 2
propuestas del Gobierno: 1
-Gobierno malo: 2 -Machaque de la Oposición: 1
-Falta de ayuda de la Oposición: 2 -Esperanza Aguirre: 1
 “El gobierno, los políticos y los partidos” (menciones individuales)
Respuestas literales (y 2) (barómetro de diciembre 2009)

-Mejor gobierno: 1
-Los gobernantes: 1
-Falta de idea del Gobierno para crear empleo: 1
-Mejor Gobierno: 1
-El Gobierno no sabe tratar las cosas urgentes: 1
-El PP: 1
-El Gobierno debería mejorar las cosas: 1
-La falta de un Gobierno estable: 1
-El Gobierno tiene que meter mano en la economía: 1
-Zapatero no cumple: 1
-Mal funcionamiento del Gobierno: 1
 “La corrupción”
Respuestas literales (barómetro de diciembre 2009)

-Corrupción: 40

-La corrupción política: 42

-Abuso de poder: 2

-Políticos corruptos: 4

-Los diputados se llevan todo nuestro dinero: 2

-Corrupción a nivel administrativo: 1

-El tratamiento de la corrupción: 1

-Mucho chorizo en política: 1

Preguntas abiertas vs. preguntas cerradas

Fuente: CIS Barómetro Junio 2009

Pautas para la redacción y
diseño de las preguntas
 Proceso cognitivo de respuesta

Comprensión Búsqueda de Juicio/decisión/ Emisión de

pregunta información estimacion respuesta

Fuente: Tourangeau et al (2000)

 Fases del proceso cognitivo pregunta‐
respuesta
1. Comprensión, entender la pregunta (¿qué
información busca?)
2. Recopilar la “información” requerida, acordarse de
la información relevante/pensar en las opciones de
respuesta
3. Elaborar una estimación/un juicio resultado de la
adaptación del resultado del paso 2
4. Comunicación de la respuesta y adaptación al
formato proporcionado
 Proceso cognitivo de respuesta: comprensión

• Escuchar/leer la pregunta (y las opciones de

respuesta) y las instrucciones que la
acompañen (en auto‐administrados)
• Atribuir un significado a la pregunta para
poder pasar a la siguiente fase (buscar la
información solicitada)
• En ocasiones las personas entrevistadas
“buscan” un propósito detrás de la pregunta
 Proceso cognitivo de respuesta: búsqueda de
información
• La persona entrevistada “busca” en su memoria
información para responder la pregunta
• Especialmente importante en preguntas sobre
hechos, comportamientos pasados (“cues”, pistas
para ayudar)
• La dificultad de la tarea depende mucho del tipo de
acontecimiento o cuestión que se necesite recordar
• Proceso con rasgos distintos cuando se pregunta
sobre creencias, valores, opiniones o actitudes
 Proceso cognitivo de respuesta: estimación/juicio
requerido a partir de la información encontrada

• Proceso de elaboración de una respuesta a partir

de la información “recabada” en el paso anterior:
a) Recuentos
b) Impresiones
c) Información genérica
d) Memorias, recuerdos personales
Funcionan de manera algo distinta en preguntas
sobre hechos/comportamientos y en preguntas
sobre actitudes
 Proceso cognitivo de respuesta: selección y
comunicación de una respuesta
• Incluye la selección y la comunicación de una respuesta.

• La persona entrevistada debe “situar” su respuesta en las

opciones de respuesta proporcionadas (preguntas abiertas,
cerradas, número de categorías).

• En el proceso puede buscar consistencia con otras respuestas ya

proporcionadas, o alterarlas porque sienta que “debe” contestar
una opción determinada.

• La manera en que las personas comuniquen una respuesta

depende del grado de encaje entre la información/juicio (pasos
2 y 3) y las restricciones impuestas por el formato de la
pregunta.
“Buenas prácticas” en el diseño
de preguntas
 Cuestiones a tener en cuenta…
• ¿“Viejas” o “nuevas” preguntas? ¿Cuándo “copiar”,
“repetir”, “adaptar” y cuándo innovar?

• A la hora de redactar hay que tener en cuenta:

1) A la persona encuestada

2) (Cuando lo hay) al entrevistador/a (para incluir

también instrucciones)
 Consejos generales

• Resistir el impulso de redactar preguntas

concretas hasta no tener claros los objetivos
generales y específicos de la investigación

• Cada vez que se redacta una pregunta, pensar

si realmente se quiere realizar, y las razones
 Principios básicos de la redacción de preguntas

1. Lo más sencillas posibles (cuanto más complicadas,

en general, más carga para el encuestado)

2. Evitar uso de jerga académica o técnica, y términos

poco conocidos (“concurso de méritos”)

3. Evitar términos vagos/ambiguos

 Sugerencia 1. Tener en cuenta que los términos
importan
¿Cree que los Estados Unidos ¿Cree que los Estados Unidos
deberían prohibir los deberían permitir los discursos
discursos públicos contra la públicos contra la democracia?
democracia?
1940 1976 1940 1976
Sí (prohibir) 54% 21.4% No (no 75% 47,8%
permitir)
No (no Sí 25% 52.2%
prohibir) 46% 78.6% (permitir)
(N) 1300 1475 (N) 1300 1475

Fuente: Schuman y Presser (1996: 277)

Sugerencia 2. Evitar usar términos complicados
o técnicos

• Las personas entrevistadas…

… preguntan por el significado
… pueden no querer preguntar, e
“imaginarse” el significado
… es más probable que no quieran
contestar la pregunta

UTILIZAR TÉRMINOS COMPLICADOS DISMINUYE LA

FIABILIDAD DE LOS INDICADORES
 Sugerencia 3: evitar términos ambiguos o
vagos
• Una pregunta que contiene un verbo o sustantivo
ambiguo deja la carga de decidir qué incluir o no en
la respuesta a la persona encuestada.

Ejemplo:
1. ¿Hizo Ud. ejercicio físico la semana pasada?
Problema: ¿Qué se considera ejercicio físico? (dudas sobre
caminar, por ejemplo)
Alternativa: Durante la última semana, ¿realizó una actividad
física durante como mínimo 20 minutos que le supusiera
sudar o respirar de forma intensa, tales como el baloncesto,
fútbol, footing, natación, ciclismo y actividades similares?
ISSP 2011, Health module
 Sugerencia 4. Evitar preguntas excesivamente
complejas
• Ejemplo:
En los últimos 12 meses, ¿cuántas veces ha visitado
o hablado con un médico o un profesional sanitario
sobre su salud? Por favor, no tenga en cuenta las
ocasiones en las que haya hablado con un médico o
profesional sanitario cuando estaba ingresado en un
hospital, pero si el resto de las ocasiones en las que
lo haya hecho.

• Problema: Demasiada carga para el que responde, que acaba

“seleccionando”.
• Alternativa: Simplificar y dividir en varias preguntas si
realmente interesa esa precisión.
 La claridad tiene un límite… en la excesiva
complejidad de las preguntas
Atención a la “tensión” entre los dos consejos: evitar preguntas vagas,
pero también las excesivamente complejas.
• ¿Cree que a los niños les produce efectos perjudiciales ver programas de televisión
violentos?

• ¿Cree que a los niños menores de 14 años les produce efectos perjudiciales ver
programas de televisión violentos?

• ¿Cree que a los niños menores de 14 años les produce efectos perjudiciales ver
programas de televisión violentos? Con efectos perjudiciales nos referimos a la
agresividad en el hogar o en la escuela, tener pesadillas, a la dificultad para
concentrarse en rutinas o actividades cotidianas, etc.

• ¿Cree que a los niños menores de 14 años les produce efectos perjudiciales ver
programas de televisión violentos? Con efectos perjudiciales nos referimos a la
agresividad en el hogar o en la escuela, tener pesadillas, a la dificultad para concentrarse
en rutinas o actividades cotidianas, etc. Con violencia nos referimos a escenas en las que
aparecen individuos que se agreden o agreden físicamente a terceras personas,
individuos que dañan pertenencias o posesiones propias o de terceras personas, que
utilizan lenguaje o realizan comportamientos insultantes o groseros, etc.

Fuente: (Belson 1981 reproducido por Tourangeau et al 2000)

•Ejemplo 2: ¿Desde cuándo vive en Madrid?

Muchas respuestas posibles

Alternativa:
¿Desde qué año vive en Madrid? (deja claro el formato de la
respuesta).

• Ejemplo 3: ¿Con qué frecuencia viaja Ud?

Cada persona entrevistada pensará en un periodo de tiempo:

mejor estandarizarlo (último año, semana, mes).
 Sugerencia 5. Evitar dar cosas por supuestas…
Ejemplo 1: Cuando viaja en autobús interurbano, ¿con qué frecuencia se pone el cinturón de
seguridad, siempre, la mayor parte de las veces, algunas veces, ocasionalmente o nunca?

Problema: La gente puede no viajar en autobús interurbano

Alternativa: pregunta filtro previa (durante el último año..).

Ejemplo 2: (General Social Survey) “La vida familiar a menudo se resiente porque los
hombres se concentran excesivamente en su trabajo”
Problema: La frase presupone que los hombres se concentran excesivamente en su trabajo .

Alternativa: “La vida familiar a menudo se resiente cuando/si los hombres se concentran
excesivamente en su trabajo”

No es posible eliminar todos los presupuestos, pero sí algunos de los que sabemos que no
serán verdad para una parte sustancial de la población encuesta.

En otros casos no es un problema grave (ejemplo: preguntas sobre la ideología del padre o
la madre, se incorpora el NS, pero también un “no procede” para quienes nunca han
conocido a su padre/madre).
 Un ejemplo…

Fuente: Barómetro Sanitario 2010 (CIS)

… que para ser útil necesita información
complementaria

Fuente: Barómetro Sanitario 2010 (CIS)

 Sugerencia 6. Intentar redactar preguntas
equilibradas (evitar preguntas sesgadas)

•Preguntas en las que la propia redacción señala una opción de respuesta

como más apropiada, “normal” que otra.

•Ejemplo: ¿Ha oído hablar del famoso escritor Gabriel García Márquez?
•Alternativa: ¿Ha oído hablar del escritor Gabriel García Márquez?

•Preguntas con solo “un lado” de una cuestión o tema:

¿Está Ud. de acuerdo con las medidas de reducción del déficit público
aprobadas el mes pasado por el Gobierno?
Alternativa: ¿Está Ud. de acuerdo o en desacuerdo con las medidas de
reducción del déficit público aprobadas el mes pasado por el Gobierno?
¿Prefiere Ud. ser examinada por una doctora?
Alternativa: ¿Prefiere Ud. ser examinada por un doctor o por una doctora?
 Sugerencia 7. Evitar preguntar sobre dos cosas a la
vez

La persona entrevistada tiene que elegir a cuál

contestar y a la hora de analizar las respuestas
no sabremos diferenciarlas

Ejemplo: “¿Qué le parecen las medidas del

gobierno sobre la vacunación contra la gripe A
de embarazadas y personal sanitario”?):

Alternativa: Dos preguntas diferentes

 Sugerencia 8: Evitar dobles negativas

Ocurre con frecuencia con las preguntas de

batería (escala): “muy de acuerdo‐de acuerdo‐
en desacuerdo‐ muy en desacuerdo”: “ Los
empleados no deberían tener un trato
especial hacia las personas con discapacidad”

Alternativa: ¿muy‐bastante‐poco‐nada de
acuerdo?
Preguntas sobre hechos y
comportamientos
 Preguntas ¿”objetivas”?

• Información descriptiva (edad, ocupación,

etc.)
• Comportamientos (comportamiento político,
actividad física, consumo, activismo social,
etc.)
• Conocimientos (hechos históricos,
acontecimientos políticos, marcas, productos)
 Preguntas sobre comportamientos
A menudo incluyen categorías de frecuencia:

•Nunca, rara vez, algunas veces, muchas veces, siempre.

•Siempre, algunas veces, nunca.
•A menudo, a veces, raramente, nunca.
•Etc.

Ejemplos:
1)Práctica religiosa: CIS/ ISSP
2)Consumo de medios
 Ejemplos de preguntas sobre comportamientos

Fuente: Estudio post-electoral. Cataluña 2010

(E2857)
Fuente: Barómetro de junio 2009 (E2806)

miembros de su rsml la ..• 1 2 3 4 9 (156)

 Los problemas de la memoria

• En muchas ocasiones en una encuesta se le pide a la

gente que recuerde acontecimientos
• Si esos acontecimientos no son muy relevantes para
la personal: difíciles de recordar
• Una solución: diarios (uso del tiempo, hábitos
alimenticios)
• Se consigue menos pérdidas de memoria cuando se
usa un marco temporal de referencia más corto (3
meses en lugar de 6, etc.)
•
Hora
B. Diario
(1) ¿Qué estaba haciendo? o
...o
Escri ba su actividad principal para cada intervalo .,, e»
"O.,
{2) ¿Qué más estaba haciendo?
Registre la m ás importante de las actividades
o
...
o
.,, e»
de 1O m inutos. U na actividad en cada l ínea . que rea l izaba al mism o tiempo que la actividad
"OeCD:e»e._ "O.
ce
l¿A qué hora comenzó esta acti d ad? W hh W mm l .....
, principal. QI ...
"E!
o.: o .:

06:00-06:10
.
.1

; D
@ @
D
06: 10-06:20
{(11 DD D
D
06:20 6:30
-
06:30-06:40

06:40-06:50
\._ ,_ ;\
D r)
D
' D
D
06:50-07:00 D D
07:00-07:10 D D
07: 10-07:20 h D D
07:20-07:30 11 D D
07:30 7:40 t
l'-... D D
07:40-07:50 D D
07:50-08:00 D D
08:00-08:10 ,,., D D
08: 10 8:20 // D D
08:20-08:30 11 D '\ D
08:30-08:40
08:40-08:50
\_L D
D
<
1)
D
D
,_
08 50 09 00 D D
 Los problemas de la memoria 2
• Ayudas para responder: tener un calendario en el
caso de que se trate de situar eventos vitales
relevantes para la persona
• Es mejor preguntar por la historia de
acontecimientos secuenciales que preguntar por
éstos en orden “cronológico”
• Utilizar marcos de referencia que sean útiles para el
encuestado
• Evitar ambigüedades
 Pistas para ayudar a la memoria

¿Puede ayudar la pregunta a recordar?

• Sí, también con “cues” (pistas) o “probes” (re‐preguntas). Por
ejemplo:

• ¿Cuántos aparatos de radio tiene en casa?

• ¿Cuántos cigarrillos fumó ayer?

• Y, cuidado… hay preguntas sobre el comportamiento que

pueden reflejar otras cosas: el ejemplo de la pregunta sobre
recuerdo de voto.
Un ejemplo: el recuerdo de voto en la encuesta post‐
electoral del CIS en 2008

• Recuerdo de voto en 2008 (% sobre censo)

% sobre voto Elecciones P o s t e l e c t o ra l Diferencia
válido CIS
P SO E 32.2 46.2 + 14
PP 29.3 27.1 ‐2.2
IU 2.8 4.5 +1.7
Participación 26.2 12.6 ‐13.6

Fuente: Postelectoral CIS (Estudio 2757 y Ministerio del Interior)

 10

15

20

25

30

35

40

45

50
0

5
% VC 2004
may-04

El recuerdo de voto en los barómetros del CIS

sep-04 dic-
04 mar-05
jun-05 oct-
05 ene-06
abr-06 jul-
06 nov-06
feb-07
may-07
sep-07 dic-
07
% VC2008
may-08
sep-08 dic-
PSOE PP

08 mar-09
jun-09 oct-
09 ene-10
abr-10 jul-
Fuente: Barómetros del CIS y MIR

10 nov-10
feb-11
may-11
sep-11
% VC2011
feb-12
may-12
sep-12
Preguntas sobre percepciones,
actitudes y opiniones
 ¿Cómo preguntar sobre actitudes?
• Preguntas sobre actitudes: recogen información
sobre aspectos acerca de los cuales no tenemos
información factual. No podemos verificar las
respuestas con datos externos

• Evaluaciones, percepciones, creencias, intenciones,

motivos

• Dos aspectos de la redacción de este tipo de

preguntas: definir el objeto de la actitud y la “tarea”
del encuestado
 Formato de respuesta

¿En qué formato queremos la respuesta?

1. Escoger una/dos o más respuestas de una

lista/opciones/frases

2. Valoración (grado de acuerdo)

3. Ranking, ordenar opciones

 1. Escoger una (o más) respuestas

• Mejor no tener listas excesivamente largas

• Efecto “primacy” (las primeras categorías de respuesta más
citadas que las últimas)
• Efecto “recency” (las últimas categorías de respuesta más
citadas que las últimas)
• Efectos que varían en función del modo de administración
• ¿Cómo evitarlos? Rotar el orden de las respuestas de forma
aleatoria o preguntar separadamente por cada atributo (sí no)
• Si se quiere más de una respuesta, en general, mejor poner:
en primer lugar, en segundo lugar, para hacer más fácil el
análisis.
 Efecto de “primacía”

Fuente: Estudio “Globalización y relaciones internacionales” (E2606, 2005)

 2 . Valoraciones: escalas de respuesta

• El encuestado debe situar su “actitud” en una escala

ordinal (“de acuerdo” “seguro que sí, es probable
que sí”, etc.): permite la “medición” de la evaluación
del encuestado de la actitud sobre la que se
pregunta

• Escalas ordinales/de intervalo‐ con o sin etiquetas

• Ejemplos de dimensiones/escalas: satisfacción,

acuerdo, bueno/malo, permitir/prohibir,
fuerte/débil, siempre/nunca
 Escalas de “acuerdo” y aquiescencia

• Muy comunes en la medición de actitudes

• Efecto de aquiescencia (estar de acuerdo con
cualquier cosa): relacionado con el grado de
formación/nivel de estudios
• ¿Cómo evitarlo? Utilizar ítems que midan
actitudes positivas y negativas mezclados
Ejemplo: escala de eficacia política

Fuente: Post-electoral, elecciones generales 2008 (E2757, CIS)

 Efecto de aquiescencia

Fuente: Estudio “Globalización y relaciones internacionales” (E2606, 2005)

 ¿Cuántos puntos en la escala? ¿Con o sin etiquetas?

• ¿Cuántos puntos en las escalas? No hay consenso, para

unos autores 7 puntos, para otros 10‐11 no es un
problema. Menos hace que se pierda información y
más tiende a confundir ¿Cuántos puntos?

• ¿Etiquetas?: solo en los extremos (más abstractas) o

en cada punto

¿Por qué tipo de escala decantarse?

Ejemplo: encuesta pre‐electoral Galicia (2005)
• Diseño realizado para contrastar los
datos recabados a través de dos modos
de administración

• ¿Por qué una encuesta electoral?

Comparación telefónica-
Comparación telefónica-
presencial-resultados
presencial
 Ejemplo: Diseño de la encuesta

• 3200 entrevistas (1600 por modalidad)

• Para maximizar el análisis de la influencia del
modo de administración:
1. Diseño muestral con criterios iguales
(mismas unidades primarias y secundarias).
Renuncia a “ventajas” de la encuesta telefónica.
2. Mismo cuestionario (excepto tarjetas)
3. Trabajo de campo simultáneo (26/5‐5/6‐
2005)
 a) Probabilidad de voto
• “Mini-experimento” al utilizar dos
preguntas para medir la probabilidad
de voto:
1. La “clásica” del CIS (categorías: “sí con
toda seguridad, probablemente sí,
probablemente no, no con toda
seguridad, y aún no lo tiene decidido
(no se lee)
2. Probabilidad de acudir a votar medida
en una escala de 0 a 10
 Probabilidad de voto
Formato 1 “Tradicional” CIS
Formato 2: Escala 0-10

Telf. Pres. DP-DT

70,0
% %
60,0
Sí, seguridad 84,7 69,8 -15 50,0
Probabl. sí 10,7 20,2 9,5 40,0
30,0
Probabl. no 2 4,3 2,3
20,0
No, seguridad 1,7 2,9 1,2 10,0
0,0
No decidido (NL) 0,6 2,8 2,2 Con toda 1 2 3 4 5 6 7 8 9 Con toda
N.C. 0,2 0,1 -0,1 seguridad
Presencial Telefónica
seguridad
no iré a iré a votar
Total 1.606 1.599 votar

Rango 6-10 (T):

91,6%
95,4% 90,0% Rango 6-10 (P):
86,26%
En su opinión, obtener el En su opinión, obtener el divorcio
divorcio en España ¿debería en España ¿debería ser más fácil o
ser más fácil, más difícil o de lo que es ahora?
igual de lo que es ahora?

‐ Más fácil…………….…23% ‐ Más fácil………………………..……29%

‐ Más difícil……..……..33% ‐ Más difícil…………………...……..44%
‐ Igual que ahora…….40% ‐ (No leer) Igual que ahora…….22%
‐ N.S…………………………4% ‐ N.S………………………………………..5%
 3. Rankings/ordenar

• Ordenar por orden de preferencia una serie de ítems

Fuente: Estudio “Ética pública y corrupción (E2826, 2009)

 Otras cuestiones: No sabe...
• ¿Hay que ofrecer un “no sabe” explícito? En la mayor
parte de las preguntas actitudinales aparece, aunque
casi nunca se lee (pero si se “recoge” si se responde
espontáneamente)
• Existe el peligro de los encuestados “perezosos”
• Evitar medir “no actitudes” (Converse): “No sé, pero
contesto”
• No incluirlo “por sistema” (preguntas de
clasificación)
• Depende del modo de administración (con o sin
entrevistador)
 15ª ENCUESTAAIM C A
+- e [j encuesta2012cas .aimc .es/completEngine/document.complet

ORGANIZA: ALAllC PATROCINA:

n

Ayer Últimos 7 días Último mes Último año Más tiempo Nunca

.. Casa? ) o o o o o
.. Trabajo? o ( ) o o o o
.. Universidad /C entro de E studios? o o o o o o
.. Local público (cyberc afé, biblioteca, restaurante, cafetería, etc.)? o o @ o o o
... La calle o algú n med i o de transporte? o o o @ o o
... Otro siti o? o o o o @ o
Respuesta obligatoria. Por favor conteste a todas las preguntas.

1 << Anterior 1 1 Siguiente>> 1

 Preguntas “sensibles”:
la deseabilidad social

• La respuesta se ve condicionada por lo que el

encuestado percibe como “socialmente aceptable” o
deseable

• Hay rasgos o comportamientos difíciles de “confesar”:

tener actitudes racistas, desigualitarias entre hombres
y mujeres, homófobas, etc. También en otros ámbitos:
confesar no votar
 ¿Cómo evitar o minimizar la deseabilidad
social?

• Presentar la pregunta: insistir en la privacidad, en la

importancia de obtener información precisa, etc.

• Utilizar un modo de administración que facilite la

privacidad: ¿cómo?

• Diseño de la pregunta de forma que se minimice el

efecto de la deseabilidad, haciendo socialmente
aceptable el comportamiento sobre el que recae la
deseabilidad (no votar)
 Otros “trucos”
• No buscar detalles excesivos (ingresos)

• Utilizar preguntas abiertas (ciertas personas huyen

de las categorías extremas, p.ej: consumo de
alcohol).

• Otras formas de “cargar” las preguntas para evitar la

deseabilidad: “todo el mundo lo hace”
P.34 Hay muchas personas que no pueden votar por cualquier razón o
que prefieren no hacerlo. En el caso de las elecciones generales del
pasado '20 de noviembre, ¿cuár de estas afirmaciones se ajusta más a
su caso? (.MOSTRAR TARJETA N).

- No pudo votar .............................................1 _...,. Pasar a P.34c

- No quíso ir a votar ......., ................................. 2 Pasara P.34a

- Normalmente vota . pero esta vez no quiso
hacerlo ........ ..... ...... ........... .... ............... .... 3 (176)

- Normalmente vota pero, esta vez no pudo

hacerlo ........._, ....:................................. 4 -• Pasar a P.34c
- Sí que votó ......... ..................................... 5 • Pasar a P.35
- N.C. .....................,.........................• ....... 9 _.. Pasar a P.39

3 GO TO 811
8
EL ORDEN DE LAS
PREGUNTAS
 El orden de las preguntas 1

• Pensar en el orden de las preguntas

• Situar juntas las preguntas sobre temas similares
• Usar frases de “transición” para cambiar de un tema
a otro
• Pensar bien la primera pregunta (romper el hielo,
mejor no empezar con preguntas difíciles/abiertas)
• En general: primero preguntas generales, luego
específicas (satisfacción con la vida en general, y
luego con aspectos concretos)
• Pensar en los “efectos de orden”
 El orden de las preguntas 2

• Las preguntas “sensibles” más bien hacia el

final
• Las preguntas de clasificación también suelen
situarse al final (si no sirven para hacer
cuotas)
• Pensar en las preguntas “filtro”
• Preguntas finales al entrevistador
 Ejemplo: la pregunta sobre los tres principales problemas del
país y los problemas que afectan a la persona entrevistada

1. Durante muchos años los 3 problemas de España

era la primera pregunta del cuestionario. Desde
abril de 2005 dejó de ser así y se sitúa tras las
preguntas de valoración de la situación económica
y política
2. Durante un tiempo (entre febrero de 2005 y 2006)
se realizó la pregunta relativa al país al principio
(en quinto lugar aprox.) y la otra justo antes de las
preguntas sociodemográficas
3. A partir de marzo de 2006 en ambas preguntas se
especifica el orden de mención de los problemas
 Efecto del cambio de orden de la pregunta sobre los problemas que afectan más
personalmente a la persona entrevistada: % de mención de “problemas personales”

25

20

15

10

0
sep-00

sep-01

sep-02

sep-03

sep-04

sep-05

sep-06

sep-07
ene-01

may-01

ene-02

may-02

ene-03

may-03

ene-04

may-04

ene-05

may-05

ene-06

may-06

ene-07

may-07

ene-08
Fuente: elaboración propia a partir de los barómetros del CIS (2000-2008)
 Cabecera

• Introducción y presentación del estudio

(variaciones en función del modo de
administración): ¿cuánto revelar del tema de
la encuesta?: ejemplo del ISSP sobre religión
• Código de sección, número de entrevistador,
etc.
• Especialmente importante en
autoadministrados.
::>RGANIZA: PATROCINA: (•)•)&
l%

U na vez cel ebrado

s1t10 web de AIMC

La encuesta estará activa liasta el

l INICIAR ENCUESTA f
 A RELLENAR POR EULA ENTREVISTADOR/A

INCIDE:NCIAS ENTREVISTA:

1.1 Número de orden de enlrevlsla (por m:ueslra) .............................................................. ......... (165)(186){187)

1 2 Dllicul ed de aoceso al edificio,casa, urtanizacfófi, ele........... ............................................... (186)(189)(190)

1.3. Vmen<la!i en ta1> que oo ha nadie ................................................ ........................... ......... (191){192)(193)

IA VMendas en las que se niegan a recibir nEnguna expEcación ................. .................................. (194){195)(196)

1 5 Negativa<Jde hombres a realizar la enf revi5ta .......................................................... ........... .. (197)(196)(199)

1.6 Negativas de 1nujeres a reali:z:ar la enlrevi.sta .......... ........................ ..................................... (200)(201)(202)

1.7 .............................. ............................................

Contactos rallldos p<Jr no cumplir cuotas ... (203){2G4)(205)

1.8 Contactos rallldos por no ser un,a vi\lienda (oficinas. co ullas médicas,ele.) ............................... {206)(207)(208)

..................
1.9. VMenclas cf.e lnmlgranles que no hablan el kltoma ................................................. {209)(210)(211)

ENTREVISTA REALIZADA:

Entrevl5la con5eguida; _
(ca o plaza)

E.1 Fecha de realización:

(01a) (Mes) (Al'lo)
(212)(213) (214)(215) (216){217)

E.2 ....•. ........ 1

Ola de la semana que s1:neallza la entrevista: Lunes ...
Martes ...,........ 2
Miércoles •........ 3
Jueves ............. 4 (218)
Viernes........... 5
Sébado ........... 6
Domingo ......... 7
E..3 ouracíón <lela e11t1evlsta:
(en mfnu1os) (219)(220)(221)

C.2b MOTIVO:
--- (228)(2 )
 Duración/longitud
• Atención a la longitud: una longitud excesiva
reduce la calidad de los datos…
• La “longitud”/duración “asumible” depende de
varios factores, entre otros:
a) Modo de administración (más cortos en
cuestionarios autoadministrados y telefónicos)
b) Condiciones de la entrevista (pactada‐comunicada
con anterioridad, etc.)
c) Población objeto de estudio
 Maquetación y programación

• Pensar en la “maquetación” (presentación),

sobre todo en los cuestionarios
autoadministrados
• Instrucciones
• Uso de ayudas visuales (tarjetas, etc.)
 Métodos de prueba
• Pre‐test cognitivos (entrevistas cognitivas)

• Juicios/evaluaciones por expertos

• Codificación del comportamiento

• Grupos focales/grupos de discusión

• Estudios piloto
Adaptación a otros modos de
administración
Adaptación de preguntas/cuestionarios a otros
formatos

‐ Regla general: cuanto más sencillas, mejor, pero

especialmente si no hay entrevistador/a
‐ En telefónico prestar especial atención a las
preguntas que piden elegir/priorizar en un listado
largo (más tendencia a responder lo primero o con lo
último que se menciona)
‐ Atención al número de opciones de respuesta (en
telefónico no puede ser excesivamente largo)
‐ Atención a las preguntas filtro, especialmente en los
cuestionarios (autoadministrados) en papel (en
ordenador se pueden programar)
 Adaptación de cuestionarios

• Longitud: en general deben ser cortos para

evitar el cansancio, pero especialmente si son
por teléfono, y autoadministrados
• Las normas/instrucciones cuando son
autoadministrados deben estar muy claras:
ejemplos de cumplimentación
• En el caso de cuestionarios administrados por
entrevistadores: homogeneización de normas
para los entrevistadores
 Bibliografía

• Weisberg, H. 2005. The total survey error approach,

Chicago: University of Chicago Press.
• Alvira Martín, F. (2004). La encuesta: una
perspectiva general metodológica, Madrid, CIS.
• CEA D´Ancona, M.A. Método de Encuesta. Teoría,
práctica, errores y mejora. Madrid, Síntesis.

• Groves et al. 2009. Survey methodology, New Jersey:

Wiley.
• “Total survey error”, número especial de Public
Opinion Quarterly, vol.74, Diciembre 2010.