Documentos de Académico
Documentos de Profesional
Documentos de Cultura
7
Met. de Encuestas 10, 2008, 7-25 I. Martínez Luna
ABSTRACT. This article points out a number of the many difficulties that
frequently arise during surveys, considered as a research technique to gather
individual pieces of information in a systematic manner. These caveats are
accompanied by empirical data from the Sociological Survey Office of the Basque
Government, accumulated over a number of years of experience in the use of survey
techniques in the field of public opinion. Based on these references, the hazards that
often await users of surveys are illustrated empirically. Moreover, the article
recommends ways of avoiding the dangers (whenever possible) that can crop up at
different stages.
8
Encuestas de opinión: de la teoría a la práctica Met. de Encuestas 10, 2008, 7-25
Introducción
Recuerda Eduardo Bericat una sentencia rotunda de Schopenhauer: <el
mundo es mi representación>, es decir, la representación que yo tengo del mismo.
Añade Bericat que Schopenhauer no niega con tal afirmación la existencia de la
realidad exterior, sino que considera que el citado autor deriva de la misma dos
corolarios. Según el primer corolario: el mundo sólo puede ser conocido y
experimentado por un sujeto”; según el segundo: el mundo sólo existe en el sujeto
por mediación de su sensibilidad. (Bericat, 1998: 9).
Intentaremos reflexionar aquí sobre el papel de la encuesta en esa
pretensión de un sujeto, del investigador social, por tener su propia lectura del
mundo, mediante su sensibilidad canalizada en nuestro caso a través de la citada
técnica de encuesta.
Procedimiento de
Diseño muestral administración Elab. cuestionario
del cuestionario
Pretest
Selección encuestadores
Formación encuestadores
Trabajo de campo
Tabulación y
análisis de datos
9
Met. de Encuestas 10, 2008, 7-25 I. Martínez Luna
En ese proceso, los criterios de calidad constituyen un sine qua non y los
mismos han de ser observados a lo largo de todas y cada una de sus fases, como por
ejemplo:
• La calidad de los instrumentos diseñados para la recogida de información.
• La calidad y adecuación del diseño muestral a la realidad y a las opciones
reales de acceder al encuestado y para proceder a realizar la encuesta.
• La calidad en el trabajo del encuestador.
• La calidad de las respuestas del entrevistado: respuestas poco fiables,
equivocaciones, mentiras y sesgos, en los que intervienen un sin fin de
elementos muchos de ellos inconscientes, tales como el diseño técnico de
la encuesta, la deseabilidad social de una respuesta, etc.
• La calidad en la recodificación, depuración, tratamiento e interpretación de
la información recogida.
En adelante, veremos algunos aspectos vinculados a la calidad de tales
fases, en los que es notorio el contraste existente entre la teoría pura y la -menos
pura y más dura- realidad.
Tras ese objetivo, hemos de hacer necesariamente mención a los errores
más habituales que concurren en la investigación mediante tal técnica y, partiendo
de la clasificación realizada por Groves (1989: VI) y de las acotaciones y
aportaciones mencionadas por Díaz de Rada (2001: 166-167), hemos reelaborado los
errores de la encuesta del siguiente modo:
Cuadro 2.
Errores en la investigación mediante encuesta
Errores de no observación:
Error de cobertura
Error de no-respuesta
Error de muestreo
Errores de observación:
Error del entrevistador
Error del entrevistado
Error del instrumento de medida (cuestionario)
Error del procedimiento de recogida de información
Errores de tratamiento e interpretación de la información:
Error de re-codificación
Error de grabación
Error de tratamiento estadístico
Error de interpretación
Fuente: Reelaboración propia a partir de Díaz de Rada (2001: 166-167)
10
Encuestas de opinión: de la teoría a la práctica Met. de Encuestas 10, 2008, 7-25
alguna manera, pueden ser evitados, minimizados o corregidos, tratando al mismo
tiempo de explorar algunas opciones que existen para ello.
11
Met. de Encuestas 10, 2008, 7-25 I. Martínez Luna
• Una temática teórica, abstracta: Es el caso que a menudo se presenta al
pretender operacionalizar una teoría o elaboración abstracta y sin referentes
inmediatos para el gran público.
• Una temática propia de expertos: Es el caso de preguntas realizadas para recabar
el parecer de la gente de la calle acerca de temas –por ejemplo, propios de
políticas públicas concretas– sin debate o alcance público; es decir, carentes de
una previa socialización.
• Una información latente o profunda: Que corresponde a niveles latentes o
profundos muy alejados del nivel consciente del individuo, es decir, lejos del
comportamiento y de las opiniones manifiestas.
En los tres casos, es imposible obtener una información de calidad y lo peor
de todo es que, aun desde el desconocimiento y por el temor a parecer ignorante, la
gente responde a tales preguntas.
Para ilustrar, con un ejemplo, el tercero de los casos, es decir, las
diferencias entre los distintos tipos de informaciones, vamos a servirnos de Bernard
Demory y Antoine Lancestre:
Se olvida muy a menudo (...) que la expresión de un punto de vista es
frecuentemente un fenómeno inacabado. Se pregunta a las personas como si
poseyesen ya una respuesta preparada para dar, cuando en realidad ignoran
muchas veces lo que piensan. (Demory y Lancestre, 1990: 98)
Cuadro 3.
Niveles de consciencia y niveles de investigación
Cuadro 4.
Tipos y niveles de información
HECHOS
Manifiesto Opiniones
ACTITUDES
Latente Representaciones
MOTIVA-
CIONES
Profundo Imágenes
13
Met. de Encuestas 10, 2008, 7-25 I. Martínez Luna
que estamos recogiendo, qué es lo que nos está diciendo la gente con tal
información.
Si bien todo puede ser preguntado, no todo puede ser (adecuadamente)
respondido. Sólo se debe preguntar aquello que puede recabar una respuesta fiable.
B) Elaboración del cuestionario: La siguiente afirmación recoge perfectamente
nuestra consideración acerca de la importancia del cuestionario: …el cuestionario es
un elemento esencial a la hora de determinar la calidad de la información que va a
ser recogida”. (Díaz de Rada, 2001: 165) Huelga cualquier otra explicación.
Solamente nos resta advertir que, en la práctica, la gente suele creer que cualquiera
puede elaborar un cuestionario, sin ser consciente de que esa tarea también requiere
una formación, una especialización y una experiencia.
Veamos mediante los datos de un estudio telefónico, un ejemplo de la
importancia que para la calidad de la información recogida mediante la encuesta
puede tener el orden de las opciones de respuesta, en el caso de una pregunta de
múltiple elección:
Cuadro 5.
¿De las siguientes instituciones o colectivos ¿qué tres cree Vd. Que tienen más
poder en el país vasco? (Leer todas las instituciones o colectivos) (máximo 3
respuestas)
14
Encuestas de opinión: de la teoría a la práctica Met. de Encuestas 10, 2008, 7-25
con información obtenida mediante otras estrategias de investigación. (Mencionado
por Díaz de Rada, 2001: 16). El problema es que, eso casi nunca es posible.
¿Cómo solventar estos problemas derivados de un uso o diseño inadecuado
del cuestionario? Tanto para mejorar la calidad de la encuesta en lo referente a la
idoneidad de sus preguntas para recabar la información buscada, como en el caso de
una elaboración más correcta del cuestionario, la realización de un pretest puede
ayudar mucho. Para ello, debe ser administrado a una pequeña muestra, pero
diversificada en su composición que contemple los casos más dispares existentes en
la muestra real.
Además, puede ser utilizado combinando distintas estrategias: utilizando
distintas versiones del cuestionario, con distintas formulaciones de preguntas para
ver su funcionamiento; formulando preguntas abiertas que pueden ayudarnos a
elaborar una pregunta cerrada; probando con distintos procedimientos de
administración del cuestionario; etc. (Díaz de Rada, 2001: 26-27, 141-145).
Con todo, hay que reconocer que nunca podrán ser eliminados
completamente todos los riesgos de sesgo en la información obtenida a través de un
cuestionario, ni tampoco el reduccionismo que implica su diseño.
15
Met. de Encuestas 10, 2008, 7-25 I. Martínez Luna
Cuadro 6.
Comparativa entre encuestas telefónicas y presenciales según el número de
contactos y abandonos
Telefónico Presencial
Febrero 2005 Febrero 2005
Nº contactos necesarios para realizar la 3,28 3,10
encuesta
Nº abandonos por encuesta realizada 0,10 0,12
Fuente: Banco de datos del Gabinete de Prospección Sociológica (Gobierno Vasco).
Elaboración propia.
Cuadro 7.
Comparativa entre encuestas telefónicas y presenciales según el recuerdo e
intención de votos
Telefónico Presencial
Febrero 2005 Febrero 2005
Ns/Nc en recuerdo de voto 31,7% 12%
Ns/Nc en intención de voto 55,1% 18%
Fuente: Banco de datos del Gabinete de Prospección Sociológica (Gobierno Vasco).
Elaboración propia.
Las diferencias en los resultados del resto de preguntas no son tan diferentes, si bien,
suele existir algo más “Ns/Nc” en el telefónico.
16
Encuestas de opinión: de la teoría a la práctica Met. de Encuestas 10, 2008, 7-25
1
III. Error de no-respuesta
1
No hay que confundir la No-Respuesta con el No Sabe/No Contesta.
17
Met. de Encuestas 10, 2008, 7-25 I. Martínez Luna
IV. Error del entrevistador
Podemos reducir a cuatro los tipos de errores inducidos por las o los
encuestadores, en la ejecución del trabajo de campo:
• cumplimentación del cuestionario por parte de los propios encuestadores (o,
dicho vulgarmente, inventarse la encuesta);
• mala selección del entrevistado;
• influir en la respuesta de los entrevistados;
• mala recogida de las respuestas dadas. (Díaz de Rada, 2001: 166-167)
Se trata de errores que afectan directamente a la calidad del trabajo del
encuestador, en un campo en el que no abunda la profesionalización, y en unas
condiciones laborales que difícilmente compensan la dureza del trabajo del equipo
encuestador (desplazamientos frecuentes, horarios intempestivos, fuerte presión
psicológica, etc.). En tales circunstancias, lo más probable es que el personal de
campo sienta la tentación de simplificar y hacer más fácil el trabajo de encuestar a
costa de ignorar los criterios a seguir. Ello repercutiría en un mayor riesgo de
incurrir en el primero y segundo de errores mencionados: inventarse la encuesta o
parte de ella y la incorrecta (más fácil) selección del entrevistado.
Veamos, como ejemplo, los resultados de la evaluación de un reciente
trabajo de campo2. La susodicha evaluación consistió en que una empresa, distinta a
la empresa ejecutora del trabajo de campo inspeccionase a domicilio la tarea
realizada por la primera. Los aspectos inspeccionados fueron: a) la selección de
entrevistados conforme al diseño muestral; b) la correcta realización de la encuesta.
La evaluación se realizó con el siguiente diseño:
Cuadro 8.
Evaluación de trabajo de campo
Nº Porcentaje Perfil
de encuestas
Trabajo de campo presencial 2.996 100%
Encuestas inspeccionadas a 50 encuestas 1,66% Rutas con bajo o nulo
domicilio control telefónico y nulo
domiciliario
Fuente: Banco de datos del Gabinete de Prospección Sociológica (Gobierno Vasco).
Elaboración propia.
2
El ejemplo es real, pero un tanto excepcional, puesto que no es habitual encontrar tan altos
niveles de error, lo cual ha sido una buena oportunidad para presentarlo aquí como ejemplo.
18
Encuestas de opinión: de la teoría a la práctica Met. de Encuestas 10, 2008, 7-25
Cuadro 9.
Errores del trabajo de campo
RESULTADOS PORCENTAJES
Errores o dudas sólidas detectadas en selección de entrevistado
Encuestas no realizadas, con seguridad 8%
Encuestas con serias dudas sobre su realización 2%
Encuesta realizada en otro lugar distinto a la señalada en la encuesta 8%
(calle, bares…)
Encuesta realizada a otra persona del mismo domicilio diferente a la 4%
registrada como encuestada
Errores o dudas sólidas detectadas en la cumplimentación de las
encuestas
Mención del cliente omitida 7%
Carta de presentación del cliente, no entregada 9%
Tarjeta para elegir entre diversas opciones de respuesta, no mostrada 49%
Tarjetas de recuerdo e intención de voto, no presentadas ni utilizadas 33%
Pregunta de recuerdo de voto, no realizada 9%
Pregunta sobre principales problemas del país, no realizada 4%
Pregunta sobre valoración de líderes políticos, no realizada 13%
Fuente: Banco de datos del Gabinete de Prospección Sociológica (Gobierno Vasco).
Elaboración propia.
19
Met. de Encuestas 10, 2008, 7-25 I. Martínez Luna
• de prevención: aumento del número de contactos con el encuestado (previos,
durante y a posteriori), gratificaciones y combinación de ambas estrategias.
• durante la realización del trabajo de campo: garantizar el anonimato y
confidencialidad, sustitución de no-respondientes, seguir buscando a quienes no
han respondido la primera vez o a una muestra de ellos, muestreo de preguntas
fundamentales.
• procesos de ajuste para mitigar el problema: imputación y ponderación.
• A esas tres estrategias, centradas las dos primeras en la relación con el
entrevistado y la tercera en el tratamiento de la información, se pueden –y se
deben- añadir otros dos elementos o actuaciones que tienen como objetivo el
equipo de campo:
a. manual de procedimiento: para la selección de las unidades
muestrales, de cumplimentación de la encuesta y de depuración de
la misma.
b. inspección rigurosa del trabajo de campo.
Debido a los límites inherentes a esta exposición, sólo vamos a reflexionar
aquí sobre la tercera de tales propuestas (los procesos de ajuste para mitigar el
problema, en sus dos opciones: imputación y ponderación) y sobre la quinta (la
inspección en el trabajo de campo).
A) Imputación o asignación de no respuestas. Dependiendo de cuál sea la temática
objeto de estudio, la imputación de un valor a las no-respuestas puede ser, o no,
necesaria o conveniente. Recordemos lo que dice Sánchez Carrión sobre la
imputación:
La mejor imputación es la que no se hace. (…) Pero para que no exista
necesidad de imputar es necesario obtener toda la información de cada una de las
variables –dicho de otra manera, hay que evitar la no respuesta parcial. El
problema es que no siempre se puede obtener la información deseada. En esos
casos la imputación puede ser un mal menor. (Sánchez Carrión 2005: 280)
A veces, la ausencia de respuesta corresponde a una pregunta o dimensión
clave, bien sea para proceder a un tratamiento estadístico de la información que sea
inviable con la existencia de casos perdidos (missing), o bien sea para proceder al
ajuste muestral en base a ese dato de nuestra muestra que nos falta para ciertas
unidades informantes. En ambas situaciones habrá que tratar de atribuir algún valor
a las no-respuestas, pero ello no siempre es posible o recomendable.
Un caso concreto puede ser el de los sondeos políticos, puesto que sin esa
asignación de respuestas no se puede proceder al ajuste de la muestra mediante el
recuerdo de voto. Es decir, si conocemos la realidad del voto en pasadas elecciones,
parece adecuado ajustar la muestra a dicha realidad, pero para ello hemos de asignar
previamente un valor a las no-respuestas en tal recuerdo.
Sirviéndonos de los datos ya mencionados anteriormente, tendríamos que
imputar algún valor a un 31,7% o a un 12% de la muestra, según la encuesta haya
sido realizada por teléfono o de forma presencial respectivamente:
20
Encuestas de opinión: de la teoría a la práctica Met. de Encuestas 10, 2008, 7-25
Cuadro 10.
Comparativa entre encuestas telefónicas y presenciales según el recuerdo de voto
Reflexiones finales
Las encuestas de opinión proporcionan una oportunidad –a veces, única-
para acceder al conocimiento de muchas facetas y dimensiones de la sociedad. Por
ello, la técnica de encuesta es en teoría una ventana a la sociedad.
Pero en la práctica esa ventana sólo nos deja ver la calle a través de un
cristal bastante empañado por todo un cúmulo de errores que enturbian la
información recogida. Además, mediante a través de esa ventana que es la encuesta
no vemos toda la calle, sino sólo un trozo estereotipado de la misma. El salto desde
la teoría que alumbra la investigación hasta la realidad concretada en preguntas, por
ejemplo, ilustra bien lo parcial de esa visión, como decíamos más atrás: Si bien todo
puede ser preguntado, no todo puede ser (adecuadamente) respondido.
Hay que reconocer y asumir que nunca podrán ser eliminados todos los
riesgos de sesgo y errores en la información obtenida a través de un cuestionario, ni
tampoco las limitaciones inherentes que corresponden a la encuesta tanto como
técnica concreta u opción técnica correspondiente a un determinado paradigma
metodológico. Y es que, por si todos los riesgos fueran pocos, aún se nos queda en
el tintero una crítica más radical, epistemológica, que habitualmente se hace a la
encuesta –muy frecuentemente desde el contraste con la metodología cualitativa o
comprehensiva-: la encuesta recurre a ideas esquematizadas y sintetizadas -a clichés
de la realidad-, y no permite trabajar con discursos extensos y matizados. La
23
Met. de Encuestas 10, 2008, 7-25 I. Martínez Luna
encuesta provoca, inevitablemente, un reduccionismo, una simplificación de la
realidad, que lleva a forzar y desdibujar la misma.
Pero, después de todo lo dicho, ¿aún es válida la encuesta? Aunque la
necesaria humildad científica nos obliga a reconocer los evidentes riesgos y
limitaciones de esta técnica, hemos de ratificar su valía.
Recordemos que Bericat recurre a Schopenhauer para reivindicar la
conveniencia de recurrir a más de un paradigma metodológico en los intentos que
realiza el investigador social para aprehender la realidad, porque es consciente de la
parcialidad y limitación de cada paradigma para recogerla adecuadamente. Si los
paradigmas científicos tienen limitaciones como vía de conocimiento de la realidad
social, otro tanto sucede con las técnicas empleadas en los mismos, incluida la
encuesta. Con las inherentes limitaciones, la encuesta es una de las sensibilidades
de las que dispone el científico social para formarse su propia representación del
mundo.
Si en la presente exposición se han presentado e ilustrado empíricamente
algunas de las dificultades que acechan al investigador social en su uso de la
encuesta, no ha sido para que el mismo claudique en los intentos de conocer la
realidad social, sino para ayudarle a superar tales trabas y a mejorar el uso de tal
técnica. La representación del mundo que nos da la encuesta, aunque limitada, ha de
ser de calidad. Es en el paso de la teoría a la práctica, también en el trabajo de
campo3, donde suele fallar más frecuentemente e inadvertidamente la calidad de la
encuesta y la inspección de campo es la única garantía para que ello no suceda.
Referencias
Alonso, Luís Enrique (1998). La mirada cualitativa en sociología. Madrid.
Fundamentos.
ANEIMO (1998): Estándar de calidad en la investigación de mercados (ECIM).
http://www.aedemo.es/aedemo3/index.php
Bericat, Eduardo (1998): La integración de los métodos cuantitativo y cualitativo en
la investigación social. Significado y medida. Barcelona. Ariel.
Cea d’Ancona, M. A. (1996). Metodología cuantitativa: Estrategias y técnicas de
investigación social. Madrid. Síntesis.
Demory, B. & Lancestre, A. (1990). Marqueting Qualitatif: Guide Pratique,
Méthodes et Outils. Paris, Les Presses du Management.
Díaz de Rada, Vidal (2000). Problemas originados por la no respuesta en
investigación social: definición, control y tratamiento. Pamplona-Iruñea.
Universidad Pública de Navarra.
Díaz de Rada, Vidal (2001). Diseño y elaboración de cuestionarios para la
investigación comercial. Madrid. ESIC (Escuela Superior de Gestión
Comercial y Marketing).
Groves, R. M. (1989). Survey Errors and Survey Costs. New Cork. Wiley.
3
A este respecto, es interesante tomar en consideración las directrices de ANEIMO (1998):
“Estándar de calidad en la investigación de mercados (ECIM)”.
24
Encuestas de opinión: de la teoría a la práctica Met. de Encuestas 10, 2008, 7-25
Lynn, P. (1996). Quality and Error in Self-Completion Surveys. Survey Methods
Newsletter 16, 1 (3-6).
Sánchez Carrión, Juan Javier (2005). Manual de análisis estadístico de los datos.
Madrid. Alianza.
Zikmund, William G. (2003). Fundamentos de investigación de mercados. Madrid.
Thomson Editores Spain-Paraninfo.
25