Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Metodológicos
59 Internet como
modo de
administración
de encuestas
Vidal Díaz de Rada Igúzquiza
Juan Antonio Domínguez Álvarez
Sara Pasadas del Amo
59 Internet como
modo de
administración
de encuestas
Vidal Díaz de Rada Igúzquiza
Juan Antonio Domínguez Álvarez
Sara Pasadas del Amo
Madrid, 2019
Consejo Editorial de la colección Cuadernos Metodológicos
Director
José Félix Tezanos Tortajada, Presidente del CIS
Consejeros
Antonio Alaminos Chica, Universidad de Alicante; Francisco Alvira Martín, Universidad Complutense
de Madrid; Eva Anduiza Perea, Universitat Autònoma de Barcelona; Andrés Arias Astray, Universidad
Complutense de Madrid; Miguel Ángel Caínzos López, Universidade Santiago de Compostela; M.ª
Angeles Cea D'Ancona, Universidad Complutense de Madrid; Jesús M. De Miguel Rodríguez,
Universitat de Barcelona; Vidal Díaz De Rada, Universidad Pública de Navarra; Verónica Díaz
Moreno, Universidad Nacional de Educación a Distancia; Modesto Escobar Mercado, Universidad
de Salamanca; Javier de Esteban Curiel, Centro de Investigaciones Sociológicas; Manuel Fernández
Esquinas, Consejo Superior de Investigaciones Científicas; J. Sebastián Fernández Prados,
Universidad de Almería; Isabel García Rodríguez, Instituto de Estudios Sociales Avanzados; Juan
Ignacio Martínez Pastor, Universidad Nacional de Educación a Distancia; Violante Martínez
Quintana, Universidad Nacional de Educación a Distancia; Mónica Méndez Lago, Centro de
Investigaciones Sociológicas; Verónica de Miguel Luken, Universidad de Málaga; Rosa Rodríguez
Rodríguez, Universidad Nacional de Educación a Distancia; Leire Salazar Vález, Universidad
Nacional de Educación a Distancia; Juan Salcedo Martínez, Universidad Europea; Rafael Serrano
del Rosal, Instituto de Estudios Sociales Avanzados; Luisa Carlota Solé i Puig, Universitat Autònoma
de Barcelona; Eva Sotomayor Morales, Centro de Investigaciones Sociológicas
Secretaria
M.ª del Rosario H. Sánchez Morales, Directora del Departamento de Publicaciones y Fomento de la
Investigación, CIS
Las normas editoriales y las instrucciones para los autores pueden consultarse en:
http://www.cis.es/publicaciones/CM/
Todos los derechos reservados. Prohibida la reproducción total o parcial de esta obra por cualquier
procedimiento (ya sea gráfico, electrónico, óptico, químico, mecánico, fotografía, etc.) y el
almacenamiento o transmisión de sus contenidos en soportes magnéticos, sonoros, visuales o de
cualquier otro tipo sin permiso expreso del editor.
O
DE
El papel utilizado para la impresión de este libro es 100% reciclado y totalmente libre de
C
XENT
•
100% reciclado
A nuestros hijos: Alba, Candela, Iago,
Juan Antonio, Mariana y Mario.
Índice
INTRODUCCIÓN......................................................................................... 9
1. ENCUESTAS WEB................................................................................. 13
1.1. Antecedentes, denominación, definición y características de la
encuesta web................................................................................... 13
1.2. Usos y aplicaciones......................................................................... 17
1.3. Usuarios y tipos de encuestas web................................................. 21
1.4. Ventajas e inconvenientes de la encuesta web.............................. 26
1.5. Criterios para la elección del modo y el diseño de encuesta web... 31
1.6. Herramientas para su programación y gestión............................. 35
4.
TRABAJO DE CAMPO Y TRATAMIENTO DE LOS DATOS EN
ENCUESTAS WEB................................................................................. 133
4.1. Estrategias de maximización de la respuesta (personalización,
recuerdos e incentivos)................................................................... 133
4.2. Ayuda a las personas entrevistadas (soporte web y telefónico)... 139
4.3. Gestión de campo mixto CAWI-CATI............................................ 140
4.4. Supervisión del trabajo de campo.................................................. 142
4.5. Validación y depuración de los datos............................................ 143
4.6. Fuentes de error, ponderación y ajustes........................................ 144
BIBLIOGRAFÍA........................................................................................... 151
Introducción
Si tuviéramos que identificar la época en que vivimos con una tecnología, esa
sería Internet. Al igual que sucedió con la máquina de vapor a finales del
siglo xviii y con la electricidad en la segunda mitad del siglo xix, los ordenado-
res e Internet han provocado cambios en múltiples aspectos de nuestras vidas.
Si bien de una manera menos radical que aquellas tecnologías, la aparición de
Internet ha transformado nuestra forma de trabajar, de comprar, de comuni-
carnos y de disfrutar de nuestro ocio, entre otros. Desde que en la década de
los noventa el acceso a Internet se abrió al público no experto con la aparición
del primer navegador, el número de usuarios de la World Wide Web no ha
dejado de crecer y en el año 2017 suponía el 45,8% de la población mundial,
el 84% en la Unión Europea y el 84,6% en España 1.
Teniendo estos datos en cuenta no es de extrañar que la industria de la
investigación mediante encuestas no tardara en incorporar esta tecnología a
su caja de herramientas como modo principal de administración de encues-
tas, como herramienta auxiliar en la implementación de otros modos (por
ejemplo, para la comunicación con las unidades muestrales) y, más reciente-
mente, como fuente directa de información (big data). Según datos de la
industria de estudios de mercado y de opinión, la recogida de datos online
supuso más de la mitad de la facturación del sector en 2016 tanto a nivel mun-
dial como en nuestro país (AEDEMO, 2017; ESOMAR, 2017). Este auge en el
uso de Internet para la investigación coincide además con un contexto en el
que conseguir muestras verdaderamente representativas de la población a tra-
vés del uso de modos tradicionales como la encuesta presencial o la encuesta
telefónica conlleva costes cada vez mayores. Todo esto hace que optar por la
encuesta web sea una apuesta de futuro a pesar de algunas limitaciones que,
como veremos, sigue teniendo este modo de administración.
A pesar de que la encuesta web es el modo de administración de encues-
tas más reciente, la técnica ya cuenta con un importante acervo de conoci-
miento práctico y metodológico del que extraer un conjunto de guías y
1
Personas con edades comprendidas entre 16 y 74 años que habían usado Internet en los tres
últimos meses (Banco Mundial, 2018; EUROSTAT, 2018; INE, 2018).
10 CUADERNOS METODOLÓGICOS 59
1
De las referencias citadas en este capítulo, hay que destacar el manual Web Survey Methodo-
logy, de Callegaro, Manfreda y Vehovar, publicado en 2015. Se trata de una de las referencias más
completas y actualizadas que existen sobre la metodología de la encuesta web y por este motivo
la hemos empleado como columna vertebral del capítulo.
14 CUADERNOS METODOLÓGICOS 59
viewing, términos usuales para referirse a las encuestas telefónicas y las encuestas presenciales
asistidas por ordenador.
3
Se emplea dicho anglicismo, presente en el diccionario de la RAE, para referirse al «con-
junto de programas, instrucciones y reglas informáticas para ejecutar ciertas tareas en una com-
putadora».
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 15
Figura I.1.
Encuestas online, encuestas por Internet y encuestas web
Encuestas online
Encuesta
Encuesta web
por correo electrónico
La figura I.1 muestra de manera gráfica las diferencias que existen entre los
tres términos que se emplean con más frecuencia para referirse a este tipo de
encuestas. En rigor, los términos «encuesta por Internet» y «encuesta online»
aluden a un conjunto de técnicas más amplio que la encuesta web. Así, las
encuestas por Internet incluirían, además de estas, las encuestas que se realizan
por correo electrónico, que emplean esta misma Red (Internet) para hacer llegar
un cuestionario electrónico a las personas que forman parte de la muestra. Por
su parte, la encuesta online se refiere no solo a las encuestas por Internet sino
también a todas aquellas encuestas electrónicas que se comparten a través de
redes de comunicación alternativas, como la red de telefonía móvil en el caso de
las encuestas realizadas a través de SMS 4 (Vehovar y Manfreda, 2017).
Las encuestas por SMS son aquellas en las que las preguntas y las respuestas a estas se
4
envían a través de este sistema. Este término no incluye, por tanto, a aquellas encuestas en las que
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 17
los SMS se emplean para invitar a las personas seleccionadas en la muestra a responder a una
encuesta web a la que acceden mediante un link proporcionado en el mensaje.
18 CUADERNOS METODOLÓGICOS 59
5
El cumplimiento de la norma ISO 26362 garantiza unos estándares mínimos de calidad
para este tipo de paneles. Asimismo, la Sociedad Europea de Opinión e Investigación de Merca-
dos (ESOMAR) dispone de la guía ESOMAR 28, en la que se plantean veintiocho preguntas y res-
puestas para ayudar al investigador que se plantea adquirir muestras de este tipo. Es de destacar
el papel de las asociaciones sectoriales AEDEMO y ANEIMO, que han contribuido activamente al
desarrollo y aplicación de estos estándares en nuestro país.
22 CUADERNOS METODOLÓGICOS 59
usuarios exigen a los resultados obtenidos con esta técnica. En este sentido, no
se le pide lo mismo a las «encuestas diarias» que llevan a cabo los medios de
comunicación que a las encuestas que tienen como objetivo producir estadís-
ticas oficiales. Esta diferencia en cuanto a las garantías y requisitos de calidad
exigidos a la técnica es la principal razón por la que la encuesta web se emplea
de manera más intensiva en segmentos como los medios de comunicación o
las empresas de investigación comercial que en ámbitos como la investigación
académica o la estadística oficial, en los que la adopción de la encuesta web se
está produciendo más lentamente. Asimismo, las diferencias en cuanto a las
prestaciones que los distintos tipos de usuarios requieren de esta técnica han
terminado configurando diseños de investigación basados en encuestas web
que difieren mucho entre sí. A continuación, caracterizamos estos tipos aten-
diendo a una doble clasificación: en función del tipo de muestreo empleado en
cada caso y en función de si la encuesta web se emplea como modo único o en
combinación con otros modos de administración de encuestas.
Como ocurre con cualquier encuesta con independencia del modo de
administración empleado en la recogida de los datos, el diseño de la muestra
y el procedimiento empleado para seleccionarla son uno de los principales
indicadores de la calidad de sus resultados. Solo los resultados de las encues-
tas cuyas muestras son seleccionadas mediante procedimientos de tipo proba-
bilístico permiten efectuar inferencias sobre el conjunto de la población
(Groves et al., 2009). En la mayoría de los casos, este tipo de muestreo requiere
de la existencia de un listado previo, también denominado marco muestral,
que identifique a toda la población, y que es el que se utiliza para seleccionar
previamente, mediante un procedimiento aleatorio, a los elementos de la
población a los que se invitará a participar en la encuesta (Callegaro, Lozar
Manfreda y Vehovar, 2015, p. 8).
Tabla I.1.
Tipos de encuesta web atendiendo a sus características muestrales principales
Encuestas —
Encuestas web probabilísti- — Encuestas web sin restricciones
sin listados cas de intercepción (autoseleccionadas)
–
Figura I.2.
Sistemas vs. encuestas basadas en modos mixtos
fase de recogida de los datos (Callegaro, Lozar Manfreda y Vehovar, 2015, pp.
37-40). La combinación en los modos de recogida de datos puede hacerse de
manera simultánea o secuencial (Toepoel, 2015, p. 95). En el primero de los
casos, la misma encuesta es respondida por distintos segmentos de la muestra
a través de medios distintos (presencial, telefónica, online), ya sea porque se
les ofrece la posibilidad de elegir su modo preferido o porque los responsables
de la investigación asignan modos diferentes para llegar a los distintos perfiles
(p. ej., CAWI para jóvenes y adultos, CATI para personas mayores). En el caso
de la aplicación secuencial, los distintos modos se administran uno después del
otro con el objetivo de incrementar la tasa de respuesta optimizando los cos-
tes totales de la investigación (Bethlehem y Biffignandi, 2012, p. 239).
Muchos de los ejemplos de aplicación de la encuesta web que hemos des-
crito en el epígrafe anterior responden a diseños de este tipo. Así, por ejemplo,
en el caso de las encuestas web y paneles online de tipo probabilístico, es
26 CUADERNOS METODOLÓGICOS 59
hecho posible que cualquier usuario medio pueda programar y llevar a cabo su
propia encuesta web. Este hecho, unido a la facilidad de acceso a los potencia-
les entrevistados y que no es necesario contar con personal ni costosas infraes-
tructuras como en el caso de la encuesta telefónica o la encuesta presencial,
dota a la encuesta web de una clara ventaja competitiva respecto a otros modos
y ha abierto el campo de la investigación a actores que previamente tenían que
contar con profesionales o empresas especializados en encuestas. Callegaro y
otros se refieren a estos usuarios como el segmento «Hágalo usted mismo» (Do
it yourself) del mercado de las encuestas web. Sin embargo, esta facilidad de
uso de la herramienta no debe conllevar una relajación en los requisitos y con-
troles de calidad de una encuesta (presentados a lo largo de este manual) ni en
las precauciones relacionadas con la protección y confidencialidad de los datos
obtenidos (tratados en profundidad en el epígrafe 2.6).
El siguiente conjunto de ventajas tiene que ver con la informatización del
cuestionario, muchas de ellas compartidas con las versiones asistidas por
ordenador de la encuesta telefónica (CATI) y la encuesta presencial (CAPI).
Esta característica reduce significativamente los errores de medida (p. ej., un
error de transcripción) y de no respuesta (p. ej., un error de filtro), facilitando
la experiencia de respuesta del cuestionario por parte del respondiente ya que
permite implementar controles de flujo de la entrevista (saltos, filtros, etc.) y
de coherencia en las respuestas que actúan de forma simultánea a la cumpli-
mentación del cuestionario. La automatización del cuestionario permite, ade-
más, la incorporación de distintos mecanismos para contrarrestar problemas
metodológicos que afectan a las encuestas, como la no respuesta parcial (es
posible programar alertas que indiquen que se ha quedado alguna pregunta
sin responder), los efectos de orden sobre la respuesta (aleatorizando el orden
de presentación de las categorías de respuesta) o determinadas limitaciones de
las personas que forman parte de la muestra (p. ej., aumentando el tamaño
de letra o incluyendo ayudas en audio para aquellas personas con dificultades
visuales). Muy relacionada con esta característica está también la posibilidad
de incluir elementos multimedia en el cuestionario, lo que hace posible
incorporar estímulos orales y visuales y diseños visuales alternativos de las
preguntas. Sin embargo, para que esta potencialidad pueda aprovecharse al
máximo es necesario que los cuestionarios hayan sido diseñados cuidadosa-
mente de forma que sean amigables para las personas que contestan la
encuesta, que no tengan errores de programación y que sigan los principios
metodológicos básicos de diseño de cuestionarios. Asimismo, muchas de las
características relacionadas con la posibilidad de añadir elementos multime-
dia en el cuestionario pueden estar condicionadas por las características de
los dispositivos empleados por quienes responden a la encuesta. En general,
cuanto más complejo sea un cuestionario en cuanto a la programación (filtros
o saltos usando scripts) o los elementos que lo conforman (imágenes o vídeos),
más cuidado hay que poner a la hora de garantizar su compatibilidad con los
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 29
Tabla I.2.
Ventajas y limitaciones de la encuesta web
Ventajas Limitaciones
De las múltiples ventajas que ofrece la encuesta web, las que se mencionan
más a menudo tienen que ver con que estas encuestas son más rápidas, más
sencillas y más baratas que las que se basan en los modos de administración
tradicionales (Bethlehem y Biffignandi, 2012, p. 45). Estos tres rasgos juntos
explican en buena medida el rápido crecimiento de la técnica en los últimos
años, así como su uso y aplicación en ámbitos que tradicionalmente hacían
un uso esporádico de la encuesta y en los que la calidad de los resultados no
siempre es una preocupación de primer orden.
Sin embargo, la encuesta web sigue presentando a fecha de hoy algunos
problemas que limitan su aplicación en determinados ámbitos y cuya
corrección incide negativamente sobre estas tres características. Así, por
ejemplo, la aplicación de la encuesta web al estudio de la población general
suele conllevar, como hemos visto anteriormente, la construcción de un
marco previo (en el caso de los paneles probabilísticos online) o el uso de
modos alternativos para seleccionar y contactar con los participantes poten-
ciales y encuestar a aquellos que no utilizan Internet, operaciones que enca-
recen considerablemente la encuesta, incrementan la duración del proceso
y lo hacen más complejo.
Con esto no queremos restar importancia a las ventajas que ofrece esta téc-
nica ni desincentivar su uso, sino más bien subrayar la necesidad de hacer un
balance equilibrado de sus ventajas e inconvenientes en comparación con
otros modos en función de cuáles sean nuestras necesidades concretas de
investigación. Para hacer este balance, en la elección del modo de administra-
ción de la encuesta deben tenerse en cuenta dos aspectos: su adecuación a la
pregunta de investigación y el efecto que tendrá el modo elegido sobre las
fuentes de error y los costes de la encuesta (Groves et al., 2009, p. 150).
En algunos casos, la pregunta de investigación es la que marca los límites
que priman a la hora de seleccionar el modo de administración más ade-
cuado. Así, por ejemplo, la mayoría de las encuestas preelectorales son telefó-
nicas por la necesidad de producir datos de manera rápida y acercándose lo
más posible a la fecha de la elección. Por otro lado, tiene poco sentido emplear
la encuesta web en una investigación cuyo objetivo principal consista en esti-
mar el uso de Internet y otras tecnologías. En otros casos, es la población a la
que se dirige la encuesta la que determinará cuál es la mejor forma para acce-
der a ella. Así, por ejemplo, en el caso de poblaciones que se definen en fun-
ción de su presencia en un determinado lugar (turistas en una ciudad,
pacientes de un centro de atención sanitaria, compradores en un centro
comercial…), el modo más eficiente será la encuesta presencial realizada en
los puntos en los que estas se encuentran. Por el contrario, en los casos en los
que la población de interés para la encuesta usa Internet de manera habitual
32 CUADERNOS METODOLÓGICOS 59
y se dispone de un listado que permite contactar con ella, la encuesta web será
el modo de elección.
Pero más allá de los límites que imponen los temas y la población estudia-
dos, el modo de administración y el diseño óptimo para la encuesta deben ser
aquellos que permitan obtener los datos de mejor calidad teniendo en cuenta
los recursos disponibles. Actualmente, el criterio más empleado para la eva-
luación de la calidad en este ámbito es el enfoque del error total de la encuesta
(ETE) (figura I.3). Según este enfoque, la encuesta por muestreo consistiría en
un proceso de inferencia que tiene el doble objetivo de obtener las respuestas
apropiadas (¿qué?) de los informantes adecuados (¿quién?) (Groves et al.,
2009; Font y Pasadas-del-Amo, 2016). A lo largo de este proceso pueden pro-
ducirse errores que acaben afectando a la calidad de los resultados de la
encuesta haciendo que estos se alejen de la realidad que pretendemos medir.
Figura I.3.
Fuentes de error de una encuesta
De todas las fuentes de error, las que están más condicionadas por el modo
de administración elegido son el error de cobertura, el error muestral y el
error de no respuesta, que hacen que la muestra seleccionada y finalmente
entrevistada se diferencie de la población estudiada, y el error de medida, por
el que las respuestas de las personas entrevistadas a nuestras preguntas no
reflejan adecuadamente el hecho por el que se pregunta (Groves et al., 2009, p.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 33
hemos visto que son las principales ventajas de la encuesta web, como el bajo
coste o la rapidez en el trabajo de campo. Las preguntas que recoge la tabla I.3,
pueden servir como guía para llevar a cabo el balance de las ventajas e incon-
venientes que la aplicación del modo web ofrece en relación con los objetivos
de nuestra investigación.
Tabla I.3.
Guía para la elección de la encuesta web
No
Muestreo Cobertura Medida
respuesta
…/…
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 35
…/…
No
Muestreo Cobertura Medida
respuesta
Tabla I.4.
Características de la oferta de software de encuestas web
Características n %
Código abierto 34 8
Tipo de software
Propietario 396 90
Gratuito 55 12
Fórmula de pago Previo pago 251 57
Varios planes, con versión gratuita limitada 122 28
Gratis 159 36
Hasta 100 $ 148 33
De 100 $ a 1.000 $ 162 37
Precio
De 1.000 $ a 5.000 $ 80 18
De 5.000 $ a 20.000 $ 30 7
Más de 20.000 $ 9 2
Total 442
Fuente: Elaboración propia a partir de www.websm.org > Software > multicriteria grid search.
Hoy en día, hay tres opciones principales para llevar a cabo una encuesta
web: programación propia (desarrollando código HTML, CSS, JavaScript,
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 37
6
El análisis de información relativa al proceso de la encuesta, como el tiempo que se ha tar-
dado en responder, el número de sesiones empleadas, el dispositivo empleado, etc. (también
denominados paradatos de la encuesta), es muy importante para detectar duplicados, problemas
en la cumplimentación, cambios en las respuestas o errores de flujo de la entrevista que pueden
afectar a la calidad de los resultados.
38 CUADERNOS METODOLÓGICOS 59
Tabla I.5.
Prestaciones de las aplicaciones de encuestas web
Prestaciones básicas
…/…
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 39
…/…
Prestaciones básicas
—
Permite utilizar el cuestionario en distintos modos (CATI, CAPI,
CAWI)
Soporte — Incluye elementos que permiten la gestión de contactos electró-
multimodo y nicos, telefónicos y presenciales y la sincronización de sus entre-
multidispositivo vistas en una base de datos única
— Permite optimizar el cuestionario para su visualización en distin-
tos dispositivos (PC, portátil, tabletas, smartphone…)
…/…
40 CUADERNOS METODOLÓGICOS 59
…/…
Prestaciones básicas
7
Los motivos que nos han llevado a elegir esta plataforma para el desarrollo de los ejemplos
prácticos son la antigüedad de la empresa, la cantidad y calidad de sus materiales de apoyo en
castellano y el hecho de que se trata de una empresa española que se rige por la legislación euro-
pea en materia de protección de datos personales. No existe ningún interés comercial o econó-
mico en esta elección. Alternativamente, se pueden llevar a cabo aplicaciones prácticas similares
mediante las cuentas básicas de plataformas más conocidas internacionalmente como Survey
Monkey (https://es.surveymonkey.com/) o Question Pro (https://www.questionpro.com/es/).
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 41
Orientado al lector que parte de cero, sin experiencia previa en programación, y que
necesite abordar una pequeña investigación, proponemos que se inicie con la aplica-
ción web e-encuesta.com para realizar su primera encuesta online.
Esta plataforma, disponible desde 2006, está desarrollada por una empresa española
que se rige por el marco jurídico europeo y cumple con los estándares del Código
Ético del sello Confianza Online. Tiene cinco planes distintos, con descuentos para
universidades y ONG, que cubren ampliamente las características descritas en este
epígrafe (un listado exhaustivo de las mismas puede verse en www.e-encuesta.com/
funcionalidades) y a partir de los cuáles es posible abordar pequeñas investigaciones
como pueden ser tesis doctorales u otras que no tengan recursos suficientes como
para programar la encuesta ad hoc.
Para utilizar la plataforma no es necesario tener ningún conocimiento previo de progra-
mación y el cuestionario se diseña en un entorno web sin instalar ningún software, y
utilizando menús muy intuitivos. A partir del plan básico sin coste, y sin ninguna barrera
de entrada, el lector puede experimentar una primera aproximación a la creación de
encuestas web, apoyado por videotutoriales, blogs y otros elementos didácticos dis-
ponibles en dicha plataforma, así como atención telefónica en español a partir de una
línea fija (tarifa local).
Resumen
Este capítulo presenta una panorámica cuyo objetivo es facilitar que el lector se sitúe
respecto a qué son las encuestas web (pp. 13-17), cuáles son sus ventajas e inconve-
nientes (pp. 26-30) y en qué casos es recomendable su uso frente a otros modos de
administración como la encuesta postal, presencial o telefónica (pp. 31-35). La idea
clave que ha guiado la redacción de este capítulo, y que queremos subrayar aquí, es
que la accesibilidad y «aparente» facilidad de uso de esta técnica no deberían suponer
una relajación de las normas y buenas prácticas requeridas en el diseño y ejecución
de una encuesta que busque obtener datos de calidad. Para ello, es importante ser
conscientes de las fuentes de error que acechan a la encuesta web (pp. 32-35 y
145-148). Y ello, con dos objetivos: evitar su uso cuando el modo web no sea el ade-
cuado para abordar nuestro objeto de estudio o a la población investigada y, en los
casos en los que optemos por utilizarlo, tratar de minimizar el impacto de las distintas
fuentes de error a lo largo de todo el proceso de diseño y ejecución de la encuesta web.
42 CUADERNOS METODOLÓGICOS 59
1
Fuente: GESOP. Disponible en: http://gesop.net/images/pdf/es/Informes/IG39_Comparati-
voCSTelefonoInternet_JUN14_CAST.pdf.
2
La teoría del muestreo abarca gran cantidad de conceptos y por su complejidad excede el
espacio disponible en un manual de este tipo. Para introducirse y profundizar en los principios
básicos de la teoría de muestreo recomendamos la lectura, en esta misma colección del CIS, de
los Cuadernos Metodológicos n.º 1 y n.º 6 sobre métodos de muestreo, y los manuales Técnicas
de muestreo, de Cochran (Editorial Cecsa, México), y Muestreo de encuestas, de Kish (Editorial
Trillas, México), que cubren ampliamente la teoría del muestreo estadístico.
46 CUADERNOS METODOLÓGICOS 59
Carta postal
Correo electrónico
Un buen diseño del envío de correos electrónicos es capital para obtener una
colaboración aceptable en las encuestas web. Hay que cuidar los siguientes
aspectos:
Tabla II.1.
Tasa de respuesta según grupo experimental
Días y horas del envío. Lo ideal sería entrar en el buzón del infor-
e)
mante en el momento en que este lo abre y/o es un momento propicio
para responder un e-mail, de esa forma nuestro mensaje estará posi-
cionado en los primeros lugares y esto es favorable para que se le
preste mayor atención; si mandamos el e-mail en fin de semana o de
madrugada, nuestro mensaje se devalúa. No existen un día y una
hora óptimos para toda la población, pero la experiencia nos dicta
que la franja óptima se sitúa en las mañanas de los primeros días
laborales de la semana.
Recordatorios. Además del correo electrónico inicial de invitación a
f)
participar en la encuesta, hay que realizar varios recuerdos con el fin de
aumentar la tasa de respuesta de la encuesta. El cómo y cuándo reali-
zarlos se describe en detalle en el epígrafe 4.1.
SMS
Tabla II.2.
Dispositivos con los que se suelen conectar a Internet personas
que usan Internet al menos semanalmente (porcentaje de individuos).
Respuesta múltiple
Fuente: Panel de hogares CNMC, 2.º trimestre de 2017. Universo: individuos que usan Internet al
menos semanalmente.
Tabla II.3.
Dispositivos empleados en la encuesta de panel PACIS
y para el acceso a Internet en España en el año 2017
Tabla II.4.
Tasa de colaboración en encuesta de PACIS tras envío de SMS
Un último ejemplo sobre la importancia del uso de SMS se trae a este manual
con la encuesta web que realizó el IESA/CSIC al marco de agentes medioam-
bientales de Andalucía en noviembre de 2017. Tras 12 días de recogida de cues-
tionarios se había alcanzado una colaboración del 57%, pero el campo estaba
próximo a cerrarse, por lo que se optó por reforzar el cuarto recordatorio con
SMS para los 256 casos en los que se tenía la posibilidad de contactar por ese
medio. Este recuerdo por SMS supuso un incremento significativo en la tasa
final de respuesta de la encuesta tal y como se puede apreciar en la figura II.1.
Hoy por hoy las aplicaciones de encuestas web no contemplan entre sus
opciones el envío automatizado de SMS personalizados. Si bien es posible
hacerlo mediante las herramientas de mailing mencionadas anteriormente,
como acumbamail.es o sendinblue.com, recomendamos el uso de herramientas
específicas, como smsup.es, smspubli.com o smsapi.com, que tienen un nivel
mayor de especialización y un coste sensiblemente menor.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 53
Figura II.1.
Evolución de colaboración en la encuesta a agentes de medio ambiente
82,3%
80%
70%
63,6%
60% 57,3% 56,3%
50%
42,7%
39,8%
40%
10%
0%
Envío de invitación 2.º envío, 3.er envío, 4.º y último, 4.º y último,
por e-mail solo e-mail solo e-mail solo e-mail e-mail+SMS
2-11-2017 7-11-2017 10-11-2017 14-11-2017 14-11-2017*
muestra=770 n=562 n=441 n=123 n=256
* El 14/11/2017 se realizaron dos envíos independientes uno a 123 personas sin móvil, y otro a 256
personas con móvil que recibieron además un SMS.
Fuente: Elaboración propia a partir de IESA/CSIC (2017). Encuesta E1710.
Otros medios
Tabla II.5.
Paradatos útiles para encuestas web 5
5
La dirección IP (Internet protocol) es el número o código que identifica un dispositivo dentro
de Internet. Existen proveedores específicos de bases de datos de IP, como ip2location.com, max-
mind.com o db-ip.com.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 57
— No usar cookies de terceros, es decir, solo cookies del dominio web donde
esté el cuestionario.
— No incluir ninguna información personal, tan solo un código sintético,
que solo nuestro servidor web sepa identificar, con el objeto de dar
acceso, redirigir al informante o presentar un diseño adecuado.
— Introducir una fecha de caducidad que esté relacionada con su finali-
dad, es decir, la fecha de finalización de la recogida de datos.
Si bien el hecho de cumplir con estos deberes pudiera parecer una carga
extra, es todo lo contrario, ya que aportar certidumbre sobre la seguridad de
los datos estimula la colaboración y esto reduce el error de no respuesta.
En todas aquellas encuestas en las que sea posible identificar las unidades
muestrales es necesario establecer un mecanismo de control y de acceso al
cuestionario, usualmente a través de una clave. Con ello garantizamos:
Para los datos de acceso, la clave y/o en la parametrización del enlace web,
en ningún caso deben usarse valores que puedan identificar a una persona de
la muestra (p. ej., NIF, CIF, correo electrónico, etc.).
Otro elemento de seguridad es el protocolo de transferencia de datos entre
el dispositivo del informante y el servidor donde se aloja el cuestionario. En
Internet el protocolo estándar para transmitir la información web (Hypertext
Transfer Protocol) es conocido por las siglas HTTP y la información que se
intercambia entre la persona que está visitando una página web y el ordena-
dor donde está alojada dicha página web pasa por múltiples ordenadores
desde el proveedor que da acceso a Internet al visitante hasta el proveedor que
60 CUADERNOS METODOLÓGICOS 59
da acceso a Internet al ordenador que tiene alojada la página web. Para hacer
más segura esa información se desarrolló el protocolo HTTPS, que encripta la
información, se crea un canal cifrado para que solo sea «entendible» en los
dos extremos. Por ejemplo, la información que se puede intercambiar en
http://www.ine.es/ no va encriptada, y la información que se puede intercam-
biar en https://iria.ine.es/ sí va encriptada.
Un cuestionario web, ante todo, es una página web, y si tiene algún error
de programación, aunque sea ajeno al diseño de la recogida de datos del for-
mulario, puede generar una brecha en la seguridad. El riesgo se reduce cum-
pliendo los estándares de accesibilidad y usabilidad en formatos digitales,
como UNE 139803, WCAG, y pautas de World Wide Web Consortium (W3C).
Existen herramientas muy útiles que testean y detectan errores sobre estánda-
res web, como tawdis.net (TAW de Fundación CTIC-Centro Tecnológico de la
Información y la Comunicación) y validator.w3.org (Validator de W3C). Se
debe testear el cuestionario web una vez hayamos concluido el diseño de la
encuesta, como se verá en el epígrafe de validación (4.5).
De cara a la exposición pública de la encuesta web, la seguridad, integridad
y privacidad en el tratamiento de la información de la encuesta se asume con
los elementos concretos que hemos mencionado: establecimiento de claves,
protocolo HTTPS y uso de estándares. Así como empleando un software de
servidor web actualizado y que tenga convenientemente configuradas sus
opciones de seguridad.
De cara al tratamiento interno, la base de datos que recoge la información
de la encuesta en el servidor debe estar en una ruta física distinta a aquella en
la que se encuentran las páginas web y hay que desvincular de dicha base los
elementos que pudieran identificar a las personas. Durante el proceso de reco-
gida de datos, si es necesario tener identificada la muestra para realizar un
correcto seguimiento de recuerdos, se usa la clave o código arbitrario que
tiene cada unidad muestral, manteniendo los datos identificables inaccesi-
bles, fuera de la red.
Si la investigación emplea un panel online, la empresa propietaria de dicho
panel es la garante de la seguridad, integridad y privacidad de los datos, y la
responsable frente a las brechas de seguridad que puedan producirse. Las
empresas con menor riesgo de brechas serán las más comprometidas con la
calidad y que, por tanto, tengan implementada la norma ISO 26362 y/o res-
pondan satisfactoriamente a las cuestiones planteadas en la guía ESOMAR 28,
a la que nos referimos con anterioridad.
En el caso de investigaciones que emplean paneles online o aplicaciones
web, aunque el investigador no tenga el control sobre el proceso de recopila-
ción de los datos, es posible hacerse una idea de la calidad del proceso obser-
vando si la empresa cumple lo siguiente:
— Ley 12/1989, de la Función Estadística Pública: regula el secreto estadístico para las
Administraciones públicas y garantiza el anonimato de los entrevistados, debido a que
los datos no pueden tratarse ni difundirse más que de forma numérica y agregada.
— Ley Orgánica 15/1999, de Protección de Datos de Carácter Personal, y el regla-
mento que la desarrolla, Real Decreto 1720/2007. Con la entrada en vigor en 2016
del Reglamento UE 2016/679, se derogó tanto parte de esta ley como de su regla-
mento, prevaleciendo lo que indica la norma europea.
62 CUADERNOS METODOLÓGICOS 59
Resumen
— Marco muestral.
— Protocolo de contacto con los informantes. Invitación y recuerdos.
— Encuesta multidispositivo.
— Paradatos y cookies.
— Códigos deontológicos, estándares de calidad y normativa legislativa son los prin-
cipios rectores para garantizar la seguridad, la integridad y la privacidad de los
datos de una encuesta.
3
Diseño del cuestionario
1
A los lectores que no se encuentren en esta situación recomendamos los textos de Azofra
(1999), en esta misma colección, así como los trabajos de Díaz de Rada (2001), Cea D’Ancona
(2004; 2012), Padilla, González y Pérez (2014) y Sarabia Sánchez (2013).
2
Por ejemplo, explicaciones de conceptos, listas desplegables, etc. Estas últimas son pre-
guntas cerradas cuyas opciones se despliegan cuando se pulsa un botón, definidas en inglés
como drop boxes, select list o drop-down box (Dillman, Smyth y Christian, 2014).
3
Botones de opción, casillas de verificación, etc.
68 CUADERNOS METODOLÓGICOS 59
usan de modo coherente, ayudan a los encuestados a mover sus ojos cruzando
el cuestionario y comprender los contenidos que se les presentan.
Los números tienen una influencia menor, tanto cuando se emplean en las
instrucciones («ir a la pregunta 7», por ejemplo) como cuando están en las
opciones de respuesta. Suponen una comunicación adicional normalmente
relacionada con la secuencia y el orden de respuestas. Los símbolos son figuras
que añaden más significado en función de lo que represente el símbolo para
cada entrevistado. Es interesante dar cuenta, en relación con este aspecto, de
una investigación realizada por Stange et al. (2016) donde —tras dividir una
muestra en dos partes equivalentes— una responde a una pregunta batería con
texto (muy satisfecho, algo satisfecho, neutro, algo insatisfecho y muy insatisfe-
cho) y otra, con unas caras con gestos diferentes, bien sonriendo o con gesto de
«disgusto»:
Ilustración III.1.
ojos del lector se sitúan primero en el texto, y después prestan atención a los
gráficos. Investigaciones realizadas analizando el recorrido de los ojos (eye
tracking) desvelan que el 78% de los usuarios fija primero su atención en el
texto, y únicamente un 22% lo hace en los gráficos (Nielsen, 2000).
Este nuevo marco comunicativo ha generado una gran cantidad de inves-
tigación relacionada con las encuestas por Internet, siendo actualmente una
de las áreas con mayor desarrollo. El gran impacto que tiene el modo de visua-
lización del cuestionario en la forma en la que es respondido lleva a algunos
expertos (entre otros, Couper, 2000; Dillman et al., 2014; Tourangeau et al.,
2013) a considerar el lenguaje visual como suplementario al lenguaje escrito.
En un trabajo sobre cómo el diseño visual afecta a la respuesta, Toepoel y Dill-
man (2012) fijan las siguientes 12 reglas a considerar:
4
El carácter introductorio de este texto impide un desarrollo exhaustivo de estas recomenda-
ciones. Para profundizar en estos aspectos del diseño de cuestionarios web, recomendamos la lec-
tura de los trabajos de Jenkins y Dillman (1997), Dillman, Gertseva y Mahon-Haft (2005), y
Toepoley y Dillman (2011).
72 CUADERNOS METODOLÓGICOS 59
Debe tenerse en cuenta que a medida que se desciende por la pantalla dis-
minuye la intensidad de la lectura, viendo solo el principio de la línea, normal-
mente alrededor de dos palabras o once caracteres (Nielsen, 2009, p. 1).
Figura III.1.
Lectura de páginas web utilizando la técnica de seguimiento de la mirada
Visionado de
Visionado del apartado
un producto en una Visionado de resultados
«sobre nosotros»
web de comercio en una web de búsquedas
en una web corporativa
electrónico
1. La primera idea por desterrar es la que indica que «nunca deben utili-
zarse fragmentos de una frase», frases incompletas que normalmente
carecen de sujeto o verbo. Las normas de escritura recomiendan utilizar
frases completas que expresan ideas completas. El modo web destierra
totalmente esta concepción al recomendar frases incompletas donde
—además— aparezcan resaltados determinados fragmentos para
aumentar el impacto de la idea. La detección de estos fragmentos favo-
rece una mejor localización de los temas, y permite a los usuarios pro-
fundizar en los temas que interesen. La brevedad es la norma a seguir.
2. Deletrear (escribir con letras) los números menores de 100, utilizando
valores numéricos para el resto, es otra costumbre en vías de desapari-
ción, fundamentalmente porque los números son fácilmente localiza-
dos dentro de un texto. Considerando siempre que la lectura en la web
es selectiva, y que muy pocos usuarios leen todas las palabras, Nielsen
(2007) señala que los números detienen el «deambular» de los ojos y
atraen su atención. Esta situación se explica por la diferente forma de
un grupo de dígitos, cuando se compara con un texto lleno de letras, y
porque los números representan hechos. Así, las normas habituales de
escritura, como la que propone el manual de Chicago 5, experimentan
un notable cambio en el medio Internet:
5
Este manual recomienda escribir con letras los números entre 1 y 99, añadir el término
«cientos», «miles» o «millones» a esos números cuando sea preciso, utilizar números redondea-
dos y que los números aparezcan al principio de la frase.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 75
tiempo que permite fijar la atención en puntos clave que, de otro modo,
quedan escondidos. Nielsen (1997) considera que un párrafo debe con-
tener una sola idea que debe aparecer en las primeras palabras. En caso
contrario, los lectores «saltarán» a otro sitio.
Tabla III.1.
Elementos de formularios web en HTML
más destacados en el diseño de encuestas web
Caja que permite introducir texto en una única línea. Se usa para
<text>
respuestas abiertas cortas.
Caja que permite introducir texto en múltiples líneas. Se usa para
<textarea> respuestas abiertas largas. Este elemento no permite avanzar con el
tabulador por los campos del formulario.
Caja que permite introducir un valor numérico. Activa el teclado
<number> numérico en dispositivos táctiles/teclados virtuales y permite acotar
a un rango concreto de números válidos.
<checkbox> Casilla de selección. Se usa para categorías de respuesta múltiple.
Botón de selección de opción. Se usa para categorías de respuesta
<radio>
única, cuando se activa una, se desactiva otra.
Muestra una lista desplegable para seleccionar una categoría. La lista
<select>
aparece oculta al cargar la página, por eso su uso debe ser limitado.
Similar a <select>, pero se puede introducir texto generando suge-
<datalist> rencias de cumplimentación de entre el listado que se haya pro-
puesto.
Al cargar la página posiciona el cursor en el campo del formulario
<autofocus>
donde se quiere empezar a introducir la información.
Atributo que muestra en <text>, <textarea> o <number> un texto
<placeholder> por defecto mientras el campo esté vacío y al escribir desaparece.
Ayuda a entender el propio campo.
Botón para enviar datos de un formulario. A partir de él se inicia, se
<submit> pasa de página o se finaliza la encuesta. Deberá etiquetarse conve-
nientemente para informar al encuestado de la acción que produce.
Figura III.2.
Ejemplo de cuestionario en formato continuo
Figura III.3.
Ejemplo de cuestionario en formato de paginación
conviene evitarlo puesto que cuando se lee una página web no existe el hábito
de desplazamiento en horizontal. En términos de diseño responsive, la solu-
ción es definir el ancho del formulario (width en HTML) con un valor relativo
en tantos por ciento, en vez de un valor absoluto en píxeles, de esa forma el
formulario se ajusta en ese tanto por ciento a la resolución horizontal de
cualquier de pantalla y evita siempre que se active la barra de desplazamiento
horizontal.
Cada formato tiene sus ventajas e inconvenientes, y deberán ser considera-
dos con detenimiento con el fin de llevar a cabo la mejor elección en función
de la investigación que se está desarrollando.
El formato continuo presenta como principal ventaja la mayor sencillez en
su elaboración, ya que se trataría del equivalente a un cuestionario autoadmi-
nistrado «tradicional» (de papel), pero implementado en otro soporte. Tal y
como han demostrado diversas investigaciones (entre otros, Mavletova y Cou-
per, 2014), este formato presenta menos problemas técnicos y una mayor faci-
lidad para introducir las respuestas. Es también el más adecuado en
investigaciones con modos mixtos (Toepoel, 2016), por su similitud con los
estímulos proporcionados en cada modo, y no es preciso explicar cómo pasar
de una pregunta a otra por la familiaridad de los usuarios de ordenadores con
la barra de desplazamiento (Tourangeau, Conrad y Couper, 2013).
A la inmediatez de la respuesta se añade la escasa probabilidad de que el
cuestionario cambie en los equipos de los encuestados (Callegaro, Lozar Man-
freda y Vehovar, 2015), aun cuando se trate de dispositivos antiguos o con
escasa potencia. La sencillez para ir a la última pregunta permite a los encues-
tados conocer la extensión del cuestionario (Toepoel, 2016), algo que implica
una seria desventaja de este formato para cuestionarios extensos, mientras
80 CUADERNOS METODOLÓGICOS 59
6
Términos empleados para referirnos a las personas que abandonan la colaboración sin lle-
gar a completar el cuestionario, breakoffs y tradeoffs en inglés, situación muy diferente de aque-
llos que lo interrumpen (momentáneamente) y vuelven después a completarlo.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 81
Figura III.4a.
Advertencia de preguntas no respondidas
en un cuestionario con formato de paginación
Figura III.4b.
Advertencia de preguntas no respondidas en un cuestionario
con formato de continuo integradas en el formulario del cuestionario
Figura III.4c.
Advertencia de preguntas no respondidas en un cuestionario
con formato de paginación integradas en el formulario del cuestionario
Hasta ahora se ha presentado el formato más sencillo, una pregunta por pantalla, pero es
7
2013; Peytchev et al., 2006; Tourangeau et al., 2004; Vehovar, Lozar Man-
freda y Batagelj, 2000). Investigaciones realizadas por Toepoel et al. (2009)
detectan una duración similar al comparar un cuestionario con 40 variables
y otro de 4 páginas con 10 variables por página con 302 y 303 segundos, res-
pectivamente; tiempo que aumenta a 316 segundos cuando se utilizan 10
páginas con 4 variables, alcanzando los 384 cuando hay 1 variable por pan-
talla.
Otra desventaja del formato paginación es la desorientación del encues-
tado (Toepoel et al., 2009), que desconoce en qué lugar del cuestionario se
encuentra —al principio, mitad o final—, lo que genera una mayor dificultad
de que el encuestado «recuerde» la información que ha proporcionado ante-
riormente, incluso cuando las preguntas disponen de botones para ir hacia
adelante y atrás. Es posible que esta sea una de las razones que expliquen la
mayor tasa de cuestionarios interrumpidos en las partes centrales del cues-
tionario, personas que abandonan el proceso antes de terminar, aunque
también puede ser debido a problemas técnicos con el servidor (Mavletova y
Couper, 2014). En cualquier caso, la tasa de abandonos producidos tras
comenzar el cuestionario es superior en este formato a la experimentada por
el formato continuo (entre otros, Mavletova y Couper, 2014; McGeeney y
Marlar, 2013).
Además, debe destacarse la mayor dificultad en la elaboración del cuestio-
nario, así como el riesgo de que este no funcione en determinados equipos por
problemas tanto de capacidad del dispositivo (hardware) como de las aplica-
ciones instaladas: navegador, sistema operativo, etc. Las escasas investigacio-
nes que han preguntado a los encuestados por el formato que prefieren, o el
que les reporta más satisfacción, han señalado que prefieren el formato conti-
nuo (Peytchev et al., 2006; Mavletova y Couper, 2014).
Se han expuesto los formatos más extremos, pero existen entre ellos dife-
rentes formatos híbridos (Peytchev et al., 2006; Toepoley, Das y van-Soest,
2008; Toepoel, 2016) que comparten —de diferente manera— las característi-
cas de uno y otro. Como ejemplo, la investigación de Norman et al. (2011)
compara el efecto de un cuestionario de 76 preguntas utilizando cuatro for-
matos distintos:
Una investigación similar fue realizada por Toepoley, Das y Van Soest
(2009) con un cuestionario formado por 40 ítems en formato escalas de Likert
que son administrados en una sola pantalla, en 4 pantallas con 10 ítems, en 10
pantallas de 4 ítems cada una, y en 40 pantallas. Ambos estudios concluyen
que el formato continuo presenta una mayor correlación entre los ítems, no
significativa, un elevado número de preguntas no respondidas, y es peor eva-
luado por parte de los encuestados, si bien supone un considerable ahorro de
tiempo, alrededor de 80 segundos —2 segundos por pregunta— cuando se
compara con la administración pregunta a pregunta (Toepoley, Das y van-
Soest, 2009).
Finalizamos señalando que debe optarse por el formato de paginación
cuando se tengan cuestionarios más complejos, tanto por su longitud como
por la utilización de numerosas preguntas filtro y rutas complejas, así como
cuando se precise que las preguntas sean respondidas en el mismo orden. Es
también el formato recomendable para reducir el efecto del orden de las pre-
guntas, de las categorías de respuesta, así como cuando se precisan preguntas
complejas, como hacer cálculos, etc. En síntesis, y parafraseando a Couper
(2011a), «las probabilidades de utilizar un formato de paginación —frente al
continuo— aumentan a medida que el cuestionario aumenta su complejidad
y adaptación al encuestado, y que el investigador desea tomar el control de la
interacción». En la tabla III.2 se presentan esquemáticamente las ventajas e
inconvenientes de uno y otro.
Tabla III.2.
Ventajas y desventajas
de los formatos continuo y de paginación
Continuo De paginación
…/…
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 87
…/…
Continuo De paginación
Recomendaciones de utilización
Fuente: Peytchev et al., 2006; Mavletova y Couper, 2014; McGeeney y Marlar, 2013; Tourangeau
et al., 2004; Vehovar y Manfreda, 2000; Toepoel, 2016.
88 CUADERNOS METODOLÓGICOS 59
Tabla III.3.
Recomendaciones para la presentación visual del cuestionario
Regla 1: Utilizar las propiedades del diseño visual para enfatizar elementos que son
importantes para los encuestados y no enfatizar los que no sean importantes.
Regla 2: Elegir la fuente, tamaño de la fuente y longitudes de línea para asegurar la
comprensión del texto.
Regla 3: Utilizar letra negrita y/o de mayor tamaño para la pregunta; más suave (no
negrilla) o más pequeña para las respuestas y sus espacios.
Regla 4: Todas las respuestas, espacios y opciones de respuesta deben estar en el
mismo formato de letra.
Regla 5: Utilizar el espaciado para crear asociación pregunta-opciones de res-
puesta, y separar la pregunta del resto.
Regla 6: Colocar las instrucciones dentro de la pregunta donde se precisen, donde
se van a utilizar.
Regla 7: Separar las instrucciones ocasionales del «cuerpo» de la pregunta utili-
zando otra tipografía.
Figura III.5a.
Inicio de cuestionario web
Figura III.5b.
Información tras pulsar el botón «Contactar»
Figura III.6.
Primera pregunta de un cuestionario web
Figura III.7.
Información tras pulsar el botón «aplazar»
Figura III.8.
Elementos comunes en las pantallas con preguntas
en formato paginación; barra de progreso al 53%
respuesta de los menos motivados tenga una baja calidad. ¿Merece la pena
«seducir» a que los encuestados respondan, aunque proporcionen malas res-
puestas? La baja influencia de esta herramienta para disminuir el abandono
temprano, o incluso el incremento de este, lleva a estos autores a recomendar
no utilizarla (Villar et al., 2013); «desactivando esta opción en las aplicaciones
que lo incluyan por defecto» (Dillman et al., 2014). Otros expertos opinan que
la barra de progreso considera las preguntas respondidas respecto a la totali-
dad de preguntas del cuestionario, no teniendo en cuenta las preguntas filtra-
das, ni tampoco que determinadas preguntas (por ejemplo, las baterías)
precisan de más tiempo de respuesta (Dillman et al., 2014). En el cuestionario
mostrado entre las figuras III.6, III.8 y III.9 se incluye esta barra a modo ilus-
trativo.
La falta de eficacia de la barra de progreso recomienda informar al princi-
pio del cuestionario acerca de la duración estimada de respuesta, siempre que
el cuestionario presente una duración máxima de 20 minutos 9. Diversas inves-
tigaciones han demostrado aumentos en la tasa de respuesta cuando la dura-
ción es inferior a esta cifra. Así, Galesic y Bosnjak (2009) demuestran que
informar en la introducción de una duración de 10, 20 y 30 minutos genera
tasas de respuestas del 75%, 65% y 62%, respectivamente; en línea con los
hallazgos de Crawford, Couper y Lamias (2001), que localizan tasas de res-
puesta del 68% cuando se dice que cumplimentar el cuestionario precisará
entre 8 y 10 minutos, reduciéndose al 63% cuando son necesarios 20 minutos.
Al final de este epígrafe se analizará con más detalle la importancia del tiempo
de respuesta.
Volviendo al ejemplo, y siguiendo con esta visión de la pantalla de arriba
abajo, es el momento de hablar de los elementos específicos del cuestionario, si
bien la primera página (figura III.6) tiene la particularidad de que lleva a cabo
una breve introducción al encuestado señalando de forma genérica el tema de
la encuesta. Se trata de una información más breve que las utilizadas en encues-
tas presenciales y telefónicas, puesto que deja de lado la justificación de la inves-
tigación, las referencias a la privacidad, y cómo contactar con el responsable de
la investigación al haber sido presentado antes (primera pantalla, figura III.5a).
Se procede de esta forma, en primer lugar, porque el encuestado ya ha podido
leer esta información en la primera pantalla y no es necesario repetirla. Ade-
más, debe tenerse en cuenta que se trata de una encuesta realizada a un panel
con el que el encuestado lleva tiempo colaborando, por lo que es muy probable
que ya conozca las características de la investigación y no necesite más infor-
mación que la aquí mostrada. Por último, es importante no «cargar» dema-
siado una página donde ya se solicitan respuestas del encuestado; porque la
9
Los autores del presente texto han defendido, en diversos foros, limitar la duración del cues-
tionario a este tiempo como máximo, reduciéndolo en un tercio cuando se trata de encuestas tele-
fónicas.
98 CUADERNOS METODOLÓGICOS 59
Si se opta por incluir los dos botones, tanto de avance como de retroceso,
será conveniente una digresión sobre dónde colocar cada uno. Por ejemplo,
puede usarse la lógica de relacionar «atrás» con el lado «izquierdo», pero si
nos movemos en un formulario web con el tabulador llegaremos antes al
botón de la izquierda que al de la derecha: ¿conviene entonces poner el
botón de avance antes que el de retroceso?, ¿los ponemos superpuestos o en
misma línea?… Una investigación de Couper et al. (2011a) sobre varias
muestras extraídas de un panel no probabilístico analizó los abandonos
tempranos, el tiempo medio de respuesta, y la frecuencia de uso del botón
«Pregunta anterior», en función de cinco posiciones distintas de ambos
botones. Sus resultados recomendaban colocar los botones en el margen
izquierdo, uno junto a otro, y con el botón «Anterior» a la izquierda y el
«Siguiente» a su derecha. Si bien este experimento no incluía un diseño de
ambos botones a la derecha o en el medio, por lo que, si nos basásemos en
el citado estudio, la recomendación sería evitar la superposición (un botón
encima del otro) y el botón de avance antes que el de retroceso. Un ejemplo
del uso de ambos botones puede verse en la figura III.9. donde, además, tie-
nen el apoyo visual con los signos «<<» y «>>».
Figura III.9.
Ejemplo de inclusión de botones de retroceso y avance
Debe tenerse en cuenta que el texto de los botones puede causar efectos no
deseados para tamaños de pantalla reducidos; por ejemplo, en un teléfono
inteligente, si incluimos los dos botones, con los textos «Pregunta anterior» y
«Pregunta siguiente», puede ocurrir que se superpongan porque no quepan en
la misma línea, de ahí que en la figura anterior aparecen «<< Anterior» y
«Siguiente >>». Sin embargo, cuando se omite el botón de retroceso, será más
informativo un texto de avance como «Siguiente pregunta».
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 101
10
Herramienta de investigación de mercados que busca conocer el recuerdo de anuncios
publicitarios en televisión y radio, realizando un acercamiento paulatino al anuncio. Selecciona-
das las personas que estaban viendo la televisión o escuchando radio en un momento determi-
nado, primero se les pregunta si recuerdan los anuncios emitidos, después, si había alguno de
coches (por ejemplo), a continuación, de qué marca era el coche, posteriormente, el modelo, etc.
El recuerdo espontáneo del vehículo (marca y modelo) obtiene más valoración que el resto.
102 CUADERNOS METODOLÓGICOS 59
A la hora de utilizar este recurso debe tenerse presente que los avisos inter-
fieren en el desarrollo de la respuesta, pudiendo ser considerados ofensivos y
molestos, por lo que hay que utilizarlos siguiendo los estándares profesionales
y emplear siempre mensajes educados y respetuosos. Los avisos pueden ser de
dos tipos: avisos «fuertes» (hard prompts) que interrumpen el proceso de nave-
gación hasta que el problema queda solucionado, o avisos «suaves» (soft
prompts) que informan al encuestado de la existencia de algún problema, pero
le permiten seguir. El contenido del aviso debe señalar con precisión el pro-
blema localizado.
En el ámbito de la investigación comercial diversos expertos, entre otros,
Albaum et al. (2010), optan por «forzar» u «obligar» a los encuestados a res-
ponder a TODAS las preguntas del cuestionario, mientras que en el ámbito de
la sociología o la investigación académica se rechaza esa opción. La recomen-
dación de estos es diseñar cuestionarios amigables y «enseñar» al encuestado
cómo responder, reduciendo al máximo el número de avisos (evitando así
generar mala sensación en el encuestado), que pueden dar lugar a abandonos
de la encuesta (entre otros, Christian et al., 2007; Couper, 2008).
En el epígrafe anterior se han explicado detalladamente los elementos
incluidos en una página con preguntas, pero no todas las páginas de un cues-
tionario tienen por qué incorporar preguntas. Así, según Callegaro, Lozar
Manfreda y Vehovar (2015, pp. 89-90), se debe distinguir entre varios tipos de
páginas:
a) No colocarlas, dando por hecho que los encuestados tienen familia-
ridad con las encuestas web.
b) Colocarlas al principio de la encuesta, en una página específica. Per-
sonalmente estamos más de acuerdo con Dillman, Tortora y Bowker
(1998) cuando recomiendan no colocar todas las instrucciones en
una página porque hay una gran probabilidad de que no se lean y de
que se olviden cuando sea necesario utilizarlas.
c) Emplear enlaces con instrucciones disponibles cuando sea necesa-
rio, si bien esta opción tiene el problema de que muy pocas perso-
nas abren los enlaces (entre otros, Conrad et al., 2006; Peytchev et
al., 2006).
d) Instrucciones en el primer momento en que sean necesarias, que se
trata de la opción más recomendada por la mayor parte de expertos.
Hay tres formas de colocarlas (Dillman, Tortora y Bowker, 1998):
Figura III.10.
Página final del cuestionario:
agradecimiento y sugerencias de los participantes
Figura III.11.
Tipos de preguntas abiertas. Clasificación propuesta por Dillman et al. (2009)
1. La primera es preguntar por las unidades específicas. Esto es, en lugar de
preguntas «con qué frecuencia haces X», plantear cuántas veces se hace X,
siempre considerando un período concreto de tiempo. Siguiendo esta reco-
mendación, la pregunta «¿Sueles comer en casa al mediodía?» se transfor-
maría en «¿Cuántas veces comiste al mediodía en casa la semana pasada?».
2. La segunda recomendación propone visualizar la unidad de medida,
colocándola justo detrás de donde se anota la respuesta. Siguiendo con
el ejemplo anterior, tras <number>, hay que incluir el texto «días la
semana pasada». Una alternativa con los nuevos estándares de HTML es
visualizar la unidad de medida en el interior de <number>.
3. La tercera aboga por disponer de un espacio adecuado en función de la
respuesta esperada; considerando siempre que el espacio debe ade-
cuarse al tipo de respuesta demandada. Se profundizará sobre este
aspecto en los siguientes párrafos.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 111
Figura III.12.
Influencia del espacio de respuesta de las preguntas abiertas
% de encuestados
Recurso gráfico empleado
Tipo de espacio que utilizan el formato
DD/MM/AAAA
DD/MM/AAAA
11
Los ocho planteados para el día (2), mes (2) y año (4) y los dos espacios de separación entre
cada uno.
112 CUADERNOS METODOLÓGICOS 59
de un formato más claro y preciso ya que aplica el estándar HTML5 del año
2014, que sustituye para los datos numéricos el elemento <text> por el ele-
mento <number>. Claro, por la información que muestra al encuestado cuando
se encuentra con esta pregunta: un elemento <number> para el día, otro para
el mes, y otro para el año, con el apoyo de <placeholder> para «etiquetarlos».
Preciso porque, además de conocer el día concreto, no permite colocar en el
primer elemento <number> una cifra superior al 31, ni en el segundo una cifra
superior al 12 para el mes. Además, cuando el entrevistado responde, por ejem-
plo, que ha nacido el día 31 en el mes de abril (que tiene 30 días) salta una
alerta integrada en la casilla del elemento para una ágil rectificación. Para los
años la casilla se acota al rango de edades de la población objeto de estudio,
evitando la introducción de años improbables.
Una vez introducido un número en la casilla del elemento <number>, si el
cursor se sitúa dentro de la casilla se activa de forma nativa un icono en
el margen derecho del elemento que permite «subir» o «bajar» con facilidad el
número anotado (véase la parte inferior de la figura III.12, el mes erróneo
introducido, 13, que podría corregirse pulsando en la pestaña triangular de su
derecha en vez de introducir de nuevo un número).
Finalizada la exposición para respuestas numéricas se procede con las pre-
guntas abiertas para respuestas cortas o listados (figura III.11). Estas pregun-
tas están «a medio camino» entre las preguntas numéricas y las que recogen
descripciones y explicaciones, y las respuestas se recogen en un formato
<text>. Son utilizadas, por ejemplo, para recoger marcas, tipos de negocio,
adjetivos, etc.; una información que, en principio, puede ser rápidamente
codificada y procesada al no presentar una gran variabilidad.
Al igual que en el caso anterior, Dillman, Smyth y Christian (2009) pre-
sentan tres recomendaciones para el uso de ese tipo de preguntas. La pri-
mera, referida a especificar con precisión en el enunciado de la pregunta el
número y tipo de respuesta deseada. A modo de ejemplo, «Por favor dime los
TRES principales problemas que existen actualmente en España», idea
tomada de un Barómetro del CIS. Citar el número tres produce un significa-
tivo aumento de respuesta, como demuestra Dillman en una investigación
en la que se planteó la siguiente pregunta: «[…] podrías decirme el nombre
de los tres establecimientos que más te gustaría ver en tu ciudad y que
actualmente no existen?». Utilizar el término «tres» (establecimientos)
frente a los «establecimientos» (sin número), aumenta un 32% el número de
encuestados que dicen tres o más (Dillman, Smyth y Christian, 2009). Un
12% dijo más de cinco negocios.
La segunda recomendación alude al espacio para la respuesta, que se ade-
cúe a la cantidad y al tipo de respuestas esperadas, puesto que el encuestado
interpreta esa información como la cantidad y tipo de información esperada
(Stern et al., 2012). La tercera recomendación insiste, al igual que como se
señaló en las preguntas numéricas, en etiquetar el espacio para reforzar el tipo
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 113
Tabla III.4.
Número de respuestas en una pregunta «narrativa-explicativa»
—— Dejar un espacio adecuado para la tarea propuesta, para todas las res-
puestas que se esperan de la pregunta planteada, teniendo siempre pre-
sente que un mayor espacio proporciona más respuestas.
—— Como segunda recomendación, advertir específicamente que no hay limi-
tación de espacio, insistiendo en que se puede escribir cuanto se quiera.
—— La tercera propone utilizar «motivación extra» para responder.
—— Programar indagaciones que aparezcan automáticamente en función
de la longitud de la respuesta. Preguntas del tipo «¿alguna otra razón
más?» o «¿desea precisar más?» producen significativos aumentos en el
número y la longitud de las respuestas.
Una situación muy adecuada para el empleo de este tipo de preguntas abier-
tas es utilizar el cajón del elemento <textarea> para recibir opiniones de cual-
quier índole de los encuestados al final, estar siempre abierto a sus observaciones
para programar nuevos cuestionarios. En la figura III.10 se mostró un cuestio-
nario del IESA/CSIC que termina ofreciendo al encuestado la posibilidad de
expresarse. Dado su carácter voluntario y normalmente ajeno a las preguntas
de investigación, hay que verificar que no sea obligatoria para poder cerrar el
cuestionario, cerrando el cuestionario con un mensaje que clarifique al entre-
vistado la finalización del mismo, como se muestra en la figura III.13.
Figura III.13.
Mensaje de despedida, fin de la encuesta
Fuente: IESA/CSIC.
En castellano todos los artículos tienen dos caracteres, y las preposiciones son —en su
12
Las preguntas cerradas disponen de una serie de respuestas para que el encues-
tado seleccione la más apropiada, y serán clasificadas en función del número de
respuestas a recoger. Este número de respuestas es el que habitualmente dic-
tará la utilización de una u otra herramienta gráfica. Así, las preguntas de res-
puesta única recogen la respuesta a partir del elemento <radio>, que tiene una
apariencia de botón redondo (parte izquierda de la figura III.14), aunque en
ocasiones emplean también el elemento <select>, que tiene una apariencia de
lista desplegable (drop-down box, drop boxes o select list), donde las opciones de
respuesta se muestran cuando se pulsa en un determinado lugar de la pregunta,
desplegando y visibilizando en ese momento las categorías disponibles (parte
derecha de la figura III.14). Cuando una pregunta permite más de una respuesta
se emplea el elemento <checkbox>, que tiene una apariencia de botón cuadrado
(casilla de verificación) que permite una selección múltiple. En ocasiones se
emplean también listas desplegables en preguntas con varias respuestas, aun-
que son más usuales en preguntas de respuesta única.
Figura III.14.
Ejemplo del uso de botones de opción
y casillas de verificación en un programa informático
Figura III.15.
Ejemplos de preguntas con respuesta única
Figura III.16.
Ejemplos de pregunta con respuesta semiabierta
13
Las primeras se refieren a escalas que comienzan con números positivos y terminan en negati-
vos; mientras que las negativas-positivas comienzan en números negativos y terminan en positivos.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 119
Figura III.17.
Ejemplo de preguntas en batería
14
Digamos que se trata de un «particular» tipo de respuesta múltiple —diferente al que será
señalado más adelante— en la medida en que se expresan —en principio— tantas respuestas
como preguntas son formuladas. Es decir, no es que la pregunta permita varias respuestas, sino
que se formulan varias preguntas (p. ej., valoración de la satisfacción con su estado de salud, su
trabajo, su pareja…) y cada una genera una respuesta.
120 CUADERNOS METODOLÓGICOS 59
Este esfuerzo cognitivo que supone tener que unir la información de filas y
columnas termina produciendo una alta tasa de no respuesta parcial (Dillman y
Christian, 2005) y escasa diferenciación, esto es, que el entrevistado proporciona
la misma respuesta a todos los ítems (entre otros, Couper et al., 2013; Touran-
geau, Couper y Conrad, 2004; Vehovar, Lozar Manfreda y Batagelj, 2000; Lozar
Manfreda y Vehovar, 2008). Aunque puede reducirse el esfuerzo sombreando/
coloreando de modo diferente los ítems alternos con el fin de evitar que el encues-
tado se confunda en el momento de responder, como se ha procedido en la figura
III.17, debe tenerse en cuenta que colocar los ítems en una misma pantalla incre-
menta la correlación entre ellos (entre otros, Dillman, Smyth y Christian, 2014;
Tarnai y Dillman, 1992; Tourangeau, Couper y Conrad, 2004).
Estos factores llevan a recomendar la «descomposición» del formato de
batería en «varias preguntas» individuales, tal y como se muestra en la figura
III.18, mejorando la calidad de respuesta aun a costa de aumentar el tiempo
empleado en responder la pregunta. Además de las razones anteriores, diver-
sos expertos (entre otros, Hanson, 2017; Revilla, Toninelli y Ochoa, 2017;
2015; Smyth y Olson, 2016), tras detectar que en este tipo de preguntas el
soporte empleado (ordenador/tableta/teléfono) afecta a los resultados, reco-
miendan que para mejorar la comparabilidad entre los soportes hay que evi-
tar el formato «batería» cuando la encuesta pueda responderse con ordenador
o teléfono, utilizando en su lugar un formato «pregunta a pregunta».
Figura III.18.
Descomposición de preguntas de batería en preguntas individuales
página se podría prescindir del botón del elemento <submit> para enviar la res-
puesta, dado que al seleccionar la respuesta se puede activar (con una instruc-
ción en JavaScript) el envío del formulario directamente a la siguiente página.
Se trata de un avance automático que, para una batería de preguntas cerradas
descompuestas en una por página, genera una ganancia de tiempo que Hays et
al. (2010) cuantifican en dos segundos por pregunta, aunque su uso tiene las
limitaciones que mencionamos en el epígrafe 3.3.2.
Las casillas de verificación se utilizan para las preguntas cerradas que permi-
ten más de una respuesta; definidas normalmente como preguntas multirres-
puesta o de respuesta múltiple. Se trata de una derivación de las preguntas
anteriores, con categorías exhaustivas, aunque no excluyentes. Otra diferen-
cia es que suelen presentar un mayor número de categorías, y —en la admi-
nistración presencial— utilizan con frecuencia ilustraciones y tarjetas para
que el encuestado pueda visualizar todas las opciones.
Figura III.19.
Tipos de preguntas multirrespuesta
Figura III.20a.
Pregunta cerrada con listas desplegables
15
En este cuestionario hay una multirrespuesta categórica, la pregunta 16, y tres dicotómi-
cas: preguntas 15a, 15b y 17a.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 123
Figura III.20b.
Pregunta cerrada con listas desplegables usando <datalist>
Debe quedar claro que la respuesta a una pregunta con listas desplegables
no es equivalente a la de las preguntas con botones de opción (Dillman, 2000),
y que no son preguntas fáciles de responder, algo esencial en la elaboración de
cuestionarios autoadministrados (Dillman, Tortora y Bowker, 1998). Las
investigaciones citadas han dado cuenta de una mayor carga de trabajo, la
presencia de un efecto primacía, que puede explicar la similitud en el tiempo
necesario para responder el cuestionario, ausencia de pistas sobre las opcio-
nes de respuesta, imposibilidad de introducir nuevas respuestas no proporcio-
nadas y mayor posibilidad de elegir una respuesta incorrecta en función de la
«precisión» del puntero del ratón.
Este epígrafe sobre preguntas cerradas finaliza con el polémico tema de la
conveniencia de dejar una categoría específica para el «no sabe» o «no con-
testa». Aunque hay encuestados que pueden encontrarse en esa situación, son
numerosos los expertos que recomiendan no colocarlas al tratarse de dos
categorías «de refugio» para personas que no desean pensar o que buscan ter-
minar rápido el proceso de respuesta (entre otros, Krosnick et al.; 2002; Kros-
nick y Presser, 2010; Toepoel, 2016).
Ante esta situación el investigador tiene tres formas de reaccionar (Peyt-
chev y Crawford, 2006): permitir que el entrevistado deje preguntas sin res-
ponder, empleando un código determinado para estas preguntas; advertir al
encuestado que ha dejado una pregunta sin responder, en caso de que se
trate de un olvido y desee corregirlo, o impedir que el cuestionario avance
hasta que no se haya respondido a la pregunta. Esta última situación, muy
utilizada por la investigación de opinión y mercados (Albaum et al., 2010;
Callegaro, Lozar Manfreda y Vehovar, 2015), es fuertemente criticada por
los expertos que realizan investigaciones académicas o gubernamentales,
aludiendo a que, si responder a una encuesta es algo voluntario, igualmente
debe ser voluntaria la respuesta a las distintas preguntas que conforman el
cuestionario (Dillman, Tortora y Bowker, 1998; Dillman et al., 2009; Couper,
2011b). Además, forzar la respuesta produce numerosos abandonos tempra-
nos (Derouvray y Couper, 2002), por lo que consideramos que se trata de
una práctica que debe ser evitada. De hecho, una investigación de Peytchev
et al. (2006) compara si es mejor disponer de una opción «rechazo respon-
der» o permitir dejar preguntas sin responder, señalando que esta última
presenta mejores resultados.
Una solución intermedia consiste en ocultar en un primer momento las
posibles respuestas que pudieran ser «refugio» (no sabe, no contesta, punto
medio de las escalas) y en el caso de que se pase a la siguiente pregunta sin
responder, en vez de volver a la pregunta con una alerta de obligatoriedad,
como refleja la figura III.4a, se vuelva a la pregunta, pero exponiendo las
opciones omitidas, como aparece en la figura III.21, donde se muestran con
una tonalidad más clara las categorías anteriormente ocultas en la figura
III.15 (preguntas #1 y #2) apoyadas con algún mensaje de alerta. La ventaja
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 125
Figura III.21.
Declaración de no respuesta parcial
16
Fuente: gs.statcounter.com.
17
85% según el Panel de Hogares CNMC para 2T2017.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 127
18
Fuente: StatCounter.
128 CUADERNOS METODOLÓGICOS 59
Figura III.22.
Resoluciones de pantalla en píxeles más usuales.
Accesos a Internet desde España en enero de 2018
100%
92%
90% 88%
85%
80%
70% 72%
70%
59%
60%
50%
40% 33%
30% 23%
21%
20%
10% 8%
0% 1%
0%
De 1000 De 400 De 1000 De 400 De 400 De 300
a 1999, a 999, a 1999, a 999, a 999, a 399,
ordenador ordenador tableta tableta teléfono teléfono
Por otro lado, los estándares de HTML, así como las versiones de los nave-
gadores, han evolucionado y minimizan los efectos de visualización causados
por la resolución de pantalla, y en caso de que no adapten el diseño de forma
automática, los dispositivos actuales permiten manualmente ampliar o redu-
cir lo que se muestra en pantalla (esto se hace muy evidente en los dispositivos
táctiles, pero también en las opciones del menú de los navegadores y atajos
como pulsar las teclas «Control» y «+»). En la figura III.23 se presenta el
mismo diseño programado de dos formas, sin controlar y controlando que se
adapte de forma automática al dispositivo.
La visión «No responsive» de la figura III.23 implicaría que la persona
encuestada tendría que ampliar manualmente la pregunta para poder verla.
No le impide responderla, pero se incrementa el riesgo de incurrir en sesgos
de no respuesta o el de medida.
Las últimas versiones de software comercial tienen implementado el diseño
adaptable a la diversidad de resoluciones de pantalla, y en caso de diseñar el
cuestionario con programación propia, a partir de los paradatos podemos
obtener el tipo de dispositivo (ordenador, tableta o teléfono inteligente), la
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 129
Figura III.23.
Diferencias en la adaptación del diseño al dispositivo
c) La versión definitiva del estándar HTML5 a final de 2014, que, aunque
sin duda aporta grandes mejoras, también genera nuevos hábitos de
navegación e interacción con formularios de Internet. Por ejemplo, con
la incorporación del elemento <number>, que, como se indicó más
atrás, sustituye al elemento <text> para introducir números, y en un dis-
positivo móvil activa el teclado numérico.
Resumen
— Usabilidad.
— Diseño web adaptativo.
— Reglas de diseño para la visualización online del cuestionario.
— Formularios web, HTML5.
— Formatos continuo y de paginación.
— Botones de avance y retroceso.
— Barra de progreso.
— Duración máxima y óptima del cuestionario web.
— Diseños multipantalla y multidispositivo. Regla de diseño mobile-first.
4
Trabajo de campo
y tratamiento de los datos
en encuestas web
1. El coste. El correo electrónico tiene un coste fijo y el SMS tiene un coste
variable (0,04 € aprox./unidad).
2. Los días y franjas horarias de uso. El correo electrónico suele ser más
efectivo por las mañanas y en días laborales debido a que está normali-
zado su uso tanto en el ámbito formativo como en el laboral, el SMS
suele funcionar mejor al final de la mañana y por las tardes porque su
uso está más restringido en los ámbitos formativos y laborales.
3. Inmediatez de acceso al mensaje. El correo electrónico puede leerse
al cabo de varios días, el SMS se percibe de forma inmediata usual-
mente con alerta sonora.
4. Registro de entrega. Del correo electrónico obtenemos una informa-
ción parcial de lectura, para el SMS tenemos un reporte de la herra-
mienta que hayamos empleado que nos identifica los entregados y los
no entregados.
Figura IV.1.
Evolución de colaboración en la muestra de investigadores
entre el 26-10-2016 y el 25-11-2016
40% 36,5%
30% 28,9%
Figura IV.2.
Evolución de colaboración en la muestra de
asistentes entre el 17/10/2016 y el 28/11/2016
34,1% 34,8%
34%
31,9%
32% 30,7%
30% 28,6%
28% 26,9%
26%
24% 23,2%
21,8%
22%
20%
17,8%
18%
16%
14% 13%
12%
10%
8%
6% 4,8% 5% 5%
4% 2,3% 3% 3%
1,7% 1,7% 1,0%
2%
0%
Día Siguientes 1.er Siguientes 2.º Siguientes 3.er Siguientes 4.er Cierre
de 8 días recuerdo 4 días recuerdo 9 días recuerdo 6 días recuerdo tras
invitación (n=1.705) (n=1.597) (n=1.483) (n=1.413) 4 días
(muestra=2069)
En relación con el recuerdo por correo electrónico, cada uno de los mensa-
jes debe adaptar su contenido a las circunstancias concretas del envío, tanto
en lo que se refiere al asunto (podría figurar, por ejemplo, «1.er recuerdo», «2.º
Recuerdo», …, «Último recuerdo» [el empleo de «Último aviso» mantiene o
reactiva a un incremento final como se observa en las figuras anteriores VI.2
y VI.3, y en la figura II.1 del epígrafe 2.4]) como en el cuerpo del mensaje, con
un inicio similar a «[…] como le indicábamos en un e-mail anterior […]» y con
menor carga de texto que el e-mail de invitación, que sí explica con más deta-
lle todos los aspectos relevantes de la encuesta.
El incentivo es otro factor que puede contribuir de manera significativa a
activar la colaboración, si bien se corre el riesgo de motivar a unos perfiles
socioeconómicos más que a otros, y, por tanto, introducir un error de mues-
treo que pueda ser más grave que un error de no respuesta. En las muestras
de panel esto se conoce como el problema del opinador profesional. Por lo
anterior, es un error pensar en incentivos en términos exclusivamente econó-
micos. Una buena estrategia de incentivos debe iniciarse respondiendo a la
pregunta: ¿Qué grado de interés tiene el objetivo de la encuesta para quien
responde, y por qué? Y a partir de la respuesta, hay que desarrollar el texto de
invitación con el que se solicita la colaboración. El interés en la investigación,
en el tema tratado y en sus futuros resultados se convierte así en el primer
incentivo a tener en cuenta, particularmente cuando el objeto de estudio son
determinados colectivos que pueden tener un interés especial en el objeto de
la encuesta (p. ej., colectivos profesionales).
Habitualmente no se repara en que el objetivo de una investigación
afecta siempre en algún grado a la población objetivo, incluso para estudios
a población general. Por ejemplo en el estudio citado anteriormente del
IESA/CSIC sobre la evaluación del desarrollo de «La Noche Europea de los
Investigadores» en Andalucía en su edición de 2016, había dos poblaciones,
una con mayor grado de interés en sus resultados: los investigadores parti-
cipantes, con un mayor incentivo de partida para colaborar, de los cuales
colaboraron algo más de las dos terceras partes, y la otra, de público asis-
tente, que de partida tenía un menor interés en el tema pero aun así cola-
boró en algo más de un tercio. El texto de invitación dirigido a los asistentes
a las actividades de «La Noche» subrayaba la importancia que tenía su valo-
ración de las actividades para mejorar la siguiente edición de la actividad,
en 2017.
Asimismo, «compartir los resultados» de la investigación aumenta mucho
la colaboración si la población objetivo se siente muy identificada con el
objeto de estudio. Como ejemplo, en el año 2012, en un estudio sobre la Carac-
terización de la arqueología comercial en España elaborado por el Incipit-CSIC
en colaboración con el IESA-CSIC, se invitó a colaborar al conjunto de empre-
sas de arqueología domiciliadas en España. La promesa de compartir los
resultados del estudio públicamente y con todas las empresas participantes
138 CUADERNOS METODOLÓGICOS 59
Tabla IV.1.
Tipos de incentivos y efecto sobre las tasas de respuesta
¿Incrementan la tasa
Tipo Ejemplos
de respuesta?
No monetarios, sin
Bolígrafos, sellos, tiques
condicionar a la Algo
para un sorteo
participación en la encuesta
No monetarios, Vales regalo, puntos
condicionados a la de lealtad (canjeables Probablemente no
participación en la encuesta por regalos)
Monetarios, sin condicionar Dinero Sí
Monetarios, condicionados Dinero, crédito en Paypal… Algo
Sorteo de tabletas,
Sorteos condicionados No
portátiles, viajes, etc.
Probablemente no,
Donación a ONG
pudiendo incluso reducir
condicionada
las tasas de respuesta
Fuente: http://digital.csic.es/bitstream/10261/103597/1/DISCO_arqueologia_comercial_España.
1
pdf.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 139
en un estudio del CIS (Pasadas et al., 2017) para una muestra de tamaño 4.500
cuyo único canal de contacto fue postal, facilitando en la carta dirección web
del cuestionario, clave de acceso y un número de teléfono 900 de atención gra-
tuita, se recibieron 276 llamadas (6%) con un coste total de 99,56 €. En la ges-
tión de llamadas se identificó a 214 informantes, de los cuales 68 finalizaron
la encuesta web. Por tanto, aportar la línea telefónica tuvo un coste de 1,46 €
por encuesta obtenida tras la gestión de la llamada, y, además, redujo el coste
indirecto de enviar un recuerdo postal a los que no iban a colaborar por algún
motivo (tabla IV.2).
Tabla IV.2.
Resultados de la gestión de línea telefónica de ayuda
— Las personas que se pueden contactar solo por teléfono, para las que
habrá que aplicar solo las acciones propias de un trabajo CATI 2 (contac-
tación, rellamadas, supervisión y revisión de audios, etc.).
— Las personas que se pueden contactar solo por Internet, para las que se
aplica la gestión de contactos planificada (epígrafe 2.4), así como lo que
se expondrá en el siguiente epígrafe de supervisión.
— Las que se pueden contactar por teléfono o por Internet, en este caso
depende de la decisión de permitir la administración simultánea o
secuencial (epígrafes 1.3 y 2.4). La administración simultánea está con-
dicionada a que nuestro diseño contenga los dos módulos integrados de
CAWI y CATI en un mismo servidor web, pues de otro modo genera un
elevado número de duplicados y un coste elevado.
—
Tanto si la administración es simultanea como si es secuencial, es
imprescindible establecer una clave única para ambos modos que per-
mita el control de flujo de la muestra entre un modo y otro.
—
Comprobar que se están cumpliendo todas las especificaciones que
hemos definido en la planificación de contactos.
— Controlar la tasa de colaboración y otros paradatos. Con base en ellos,
gestionar adecuadamente la planificación de recuerdos e investigar
posibles errores.
— Controlar los canales de ayuda (correo electrónico y/o teléfono) para,
con base en ellos, investigar posibles errores.
— Gestión de incidencias, intentando subsanarlas y/o evitar que se repitan.
Tabla IV.3.
Herramientas online para validación externa del diseño de cuestionario web
tawdis.net Sí Sí No No
validator.w3.org Sí No No No
quirktools.com/screenfly/ No No Sí No
responsinator.com No No Sí No
browsera.com No No Sí No
browserstack.com No No Sí Sí
crossbrowsertesting.com No No Sí Sí
podemos afirmar, por ejemplo, que el error con un nivel de confianza del 95%,
para variables dicotómicas con un tamaño de muestra de 1.200 casos, será del
±2,83%, y para 1.600 sería ±2,45%. El error de muestreo es el que se difunde
habitualmente en las fichas técnicas de las encuestas, y nos informa del cuál
es el error esperado en el caso de que se haya aplicado un muestreo probabi-
lístico, que recordemos que son aquellos procedimientos de muestreo en los
que se cumple que la probabilidad de pertenecer a la muestra de todas las uni-
dades de la población sea conocida y que esta sea mayor que cero. En el caso
de que estas premisas no se cumplan, aparecen sesgos que contribuyen a que
el error total de la encuesta sea habitualmente mayor que el que dicta el error
de muestreo. Por este motivo, en muchas fichas técnicas suele añadirse la
coletilla «error de muestreo teórico», pues para que se den las condiciones de
una muestra insesgada donde el error teórico coincida con el real debe cum-
plirse lo siguiente:
3
Los ejemplos empleados a lo largo de este manual son una prueba de ello. Así, por ejemplo,
en la figura II.1 vemos que el 17,7% del colectivo profesional estudiado no respondió a la encuesta.
En las encuestas descritas en las figuras IV.1 y IV.2 la no respuesta alcanzó al 31,9% y al 65,2%
de las respectivas muestras.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 147
No
Muestreo Cobertura Medida
respuesta
1. Que haya una fuente fiable con la que se puedan comparar los resulta-
dos de nuestra encuesta, y que sus datos sean comparables con los nues-
tros por la forma en que han sido recogidos (pregunta y opciones de
respuesta similares).
2. Que se trate de una variable relevante, con influencia sobre el tema tra-
tado en nuestra encuesta.
Resumen
Este último capítulo del manual se centra en las fases de trabajo de campo y trata-
miento posterior de los datos, fases que deben estar siempre guiadas por el objetivo
de minimización de las distintas fuentes de error. Dentro de este esfuerzo general,
destacan por su importancia las estrategias empleadas para maximizar la tasa de res-
puesta de la encuesta (pp. 133-139) y las dirigidas a resolver las dudas de las perso-
nas entrevistadas (pp. 139-141), disminuyendo así los errores de medida. El capítulo
subraya también la importancia de la supervisión del trabajo de campo (pp. 142-143)
y de la validación, depuración (pp. 143-145) y ajuste de los datos (pp. 145-150) para
la obtención de datos de encuesta de buena calidad.
— Maximización de la respuesta.
— Incentivos condicionados y no condicionados.
— Soporte web y telefónico (línea 900).
— Error de cobertura, error de muestreo, error de no respuesta, error de medida.
— Validación y depuración de datos.
— Ponderación y ajuste (calibración, postestratificación).
5
El raking consiste en un ajuste proporcional iterativo. La implementación del raking se
puede llevar a cabo con el software R, función rake del paquete survey; en la documentación de la
función rake se puede ampliar información: https://cran.r-project.org/web/packages/survey/sur-
vey.pdf, y también es de interés la dirección: http://sdaza.com/survey/2012/08/25/raking/. Asi-
mismo, los programas de análisis estadístico Gandía Barbwin y el SPSS, este último activando el
módulo RAKE a partir de su versión 19, proporcionan esta función.
Bibliografía
Bosnjak, Michael; Neubarth, Wolfgang; Couper, Mick P.; Bandilla, Wolfgang y Kacz-
mirek, Lars (2008). «Prenotification in Web-Based Access Panel Surveys: The
Influence of Mobile Text Messaging Versus E-Mail on Response Rates and Sample
Composition». Social Science Computer Review, 26(2), pp. 213-223.
Boulianne, Shelley; Klofstad, Casey A. y Basson, Danna (2011). «Sponsor Prominence
and Responses Patterns to an Online Survey». International Journal of Public Opi-
nion Research, 23, pp. 79-87.
Bradburn, Norman; Sudman, Seymour y Wansink, Brian (2004). Asking questions. The
definitive guide to questionnaire design-Form market research, political polls and
social and health questionnaires. San Francisco: Jossey-Bass.
Brick, J. Michael y Lepkowski, James M. (2008). «Multiple mode and frame Telephone
surveys». En: Lepkowski, J. M.; Tucker, C.; Brick, J. M.; Leeuw, E. D. de; Japec, L.;
Lavrakas, P. J.; Link, M. W. y Sangster, R. L. (eds.). Advances in telephone survey
methodology. New York: Wiley.
Callegaro, Mario; Yang, Yongwie; Bhols, Denisson S.; Dillman, Don A. y Chin, Tzu Y.
(2009). «Response latency as an indicator of optimizing in online questionnaires».
Bulletin of Sociological Methodology, 103(1), pp. 5-25.
Callegaro, Mario; Lozar Manfreda, Katja y Vehovar, Vasja (2015). Web Survey Methodo-
logy. London: SAGE.
Callegaro, Mario; Baker, Reginald P.; Bethlehem, Jelke; Göritz, Anja S.; Krosnick, Jon
A. y Lavrakas, Paul J. (eds.) (2014). Online Panel Research: A Data Quality Perspec-
tive. West Sussex: John Wiley y Sons.
Callegaro, Mario; Murakami, Michael H.; Tepman, Ziv y Henderson, Vani (2015).
«Yes–no answers versus check-all in self‑administered modes. A systematic review
and analyses». International Journal of Market Research, 57(2), pp. 203-223.
Cape, Pete y Phillips, Keith (2015). Questionnaire length and fatigue effects: the latest
thinking and practical solutions. Disponible en: https://www.surveysampling.com/
site/assets/files/1586/questionnaire-length-and-fatiigue-effects-the-latest-thinking-
and-practical-solutions.pdf, acceso el 15 de diciembre de 2017.
Cea D’Ancona, María Ángeles (2004). Métodos de encuesta: Teoría y práctica, errores y
mejora. Madrid: Síntesis.
Cea D’Ancona, María Ángeles (2012). Fundamentos y aplicaciones en metodología cuan-
titativa. Madrid: Síntesis.
Christian, Leah Melani y Dillman, Don A. (2004). «The Influence of Graphical and
Symbolic Language Manipulations on Responses to Self-Administered Questions».
Public Opinion Quarterly, 68, pp. 57-80.
Christian, Leah Melani; Dillman, Don A. y Smyth, Jolene D. (2007). «Helping Respondents
Get It Right the First Time: The Relative Influence of Words, Symbols, and Graphics in
Web and Telephone Surveys». Public Opinion Quarterly, 71(1), pp. 113-125.
Colorlite (2013). «Corrección del daltonismo». Disponible en: http://www.daltonismo-
eu.com/es/index.php, acceso el 12 de diciembre de 2017.
Conrad, Frederic G.; Couper, Mick P.; Tourangeau, Roger y Peytchev, Andy (2006).
«Use and non-use of clarification features in web surveys». Journal of Official Sta-
tistics, 22(2), pp. 245-269.
Conrad, Frederick G.; Couper, Mick P.; Tourangeau, Roger y Peytchev, Andy (2010).
«The impact of progress indicators on task completion». Interacting with Compu-
ters, 22, pp. 417-427.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 153
Conrad, Frederic G.; Couper, Mick P.; Tourangeau, Roger y Zhang, Chan (2017).
«Reducing speeding in web surveys by providing immediate feedback». Survey
Research Methods, 11, pp. 45-61.
Couper, Mick P. (2005). «Technology Trends in Survey Data Collection». Social
Science Computer Review, 23(4), pp. 486-501. Disponible en: https://doi.org/
10.1177/0894439305278972.
Couper, Mick P. (2008). Designing effective web surveys. New York: Cambridge.
Couper, Mick P. (2011a). Web survey methodology: interface design, sampling and statis-
tical methodology. Vitoria: Euskal Estatistika Erakundea.
Couper, Mick P. (2011b). «Interface design for web surveys». XXIV Seminario Interna-
cional de Estadística, Euskal Estatistika Erakundea.
Couper, Mick P. (2017). «New developments in survey data collection». Annual Review
of Sociology, 43, pp. 121-145.
Couper, Mick P. y Miller, Peter V. (2008). «Web Survey Methods Introduction». Public Opi-
nion Quarterly, 72(5), pp. 831-835. Disponible en: https://doi.org/10.1093/poq/nfn066.
Couper, Mick P. y Bosnjak, Michael (2010). «Internet Surveys». En: Marsden, P. V. y
Wright, J. D. (eds.). Handbook of Survey Research. Bingley: Emerald Group
Publishing Limited.
Couper, Mick. P. y Peterson, Gregg J. (2017). «Why Do Web Surveys Take Longer on
Smartphones?». Social Survey Computer Review, 35, pp. 357-377.
Couper, Mick P.; Traugott, Michael W. y Lamias, Mark J. (2001). «Web survey design
y administration». Public Opinion Quarterly, 65, pp. 230-253.
Couper, Mick P.; Tourangeau, Roger; Conrad, Frederic G. y Crawford, S. D. (2004).
«What they see is what we get: response options for web surveys». Social Science
Computer Review, 22(1), pp. 111-127.
Couper, Mick P.; Baker, Reg y Mechling, Joane (2011a). «Placement of navigations
buttons in web surveys». Survey Practice, 4(1). Disponible en: http://www.survey-
practice.org/article/3054.pdf, acceso el 24 de julio de 2018.
Couper, Mick P.; Kennedy, Courtney; Conrad, Frederic G. y Tourangeau, Roger
(2011b). «Designing inputs fields for non-narrative open-ended responses in web
surveys». Journal of Official Statistics, 27, pp. 65-85.
Couper, Mick P.; Tourangeau, Roger; Conrad, Frederick G. y Zang, Chan (2013). «The
Design of Grids in Web Surveys». Social Science Computer Review, 31(3), pp. 322-345.
Crawford, Scott D.; Couper, Mick P. y Lamias, Mark J. (2001). «Web surveys: Percep-
tion of burden». Social Science Computer Review, 19, pp. 146-162.
Cristian, Leah Melani (2007). How mixed-mode surveys are transforming social research:
the influence of survey mode on measurement in web and telephone surveys.
Washington: Washington State University. [Tesis doctoral].
Christian, Leah Melani y Smyth, Jolene D. (2008). «Visual Communication». En:
Lavrakas, P. (ed.). Encyclopedia of Survey Research Methods. California: SAGE
Publications, Inc.
Davidov, Eldad y Depner, Felix (2011). «Testing for measurement equivalence of
human values across online and paper and pencil surveys». Quality and Quantity,
45, pp. 375-390.
Denscombe, Martyn (2009). «Item non-response rates: a comparison of online and
paper questionnaires». International Journal of Social Research Methodology,
12(44), pp. 281-291.
154 CUADERNOS METODOLÓGICOS 59
Derouvray, Debra y Couper, Mick P. (2002). «Designing a Strategy for Reducing “No
Opinion” Responses in Web-Based Surveys». SSCR, 20(1), pp. 3-9.
Díaz de Rada, Vidal (2001). Diseño y elaboración de cuestionarios para la investigación
comercial. Madrid: ESIC.
Díaz de Rada, Vidal (2015 [2005]). Manual del trabajo de campo en la encuesta (presen-
cial y telefónica). Madrid: Centro de Investigaciones Sociológicas.
Díaz de Rada, Vidal y Domínguez Álvarez, Juan Antonio (2014). «Response Quality of
Self-Administered Questionnaires: A Comparison between Paper and Web Ques-
tionnaires». Social Science Computer Review, 32(2), pp. 256-269.
Díaz de Rada, Vidal y Domínguez Álvarez, Juan Antonio (2017). «Comparación de
métodos de campo en la encuesta». Revista Española de Investigaciones Sociológi-
cas, 158, pp. 137-148.
Dillman, Don A. (1978). Mail and telephone surveys. The Total Design Method. New
York: Wiley.
Dillman, Don A. (1991). «The Design and Administration of Mail Surveys». Annual
Review of Sociology, 17, pp. 225-249.
Dillman, Don A. (2000). Mail and Internet surveys. The Tailored Design Method. New
York: Wiley.
Dillman, Don. A. (2007). Mail and Internet Surveys. The Tailored Design Method.
Hoboken, New Jersey: Wiley.
Dillman, Don A. y Christian, Leah Melani (2005). «Survey mode as a source of instabi-
lity across surveys». Field Methods, 17(1), pp. 30-52.
Dillman, Don A.; Tortora, Robert D. y Bowker, Dennis (1998). Principles for Construc-
ting Web Surveys. Technical Report 98-50 of the Social and Economic Sciences
Research Center. Pullman: Washington State University.
Dillman, Don A.; Gertseva, Arina y Mahon-Haft, Taj (2005). «Achieving usability in
establishment surveys through the application of visual design principles». Journal
of Official Statistics, 21(2), pp. 183-214.
Dillman, Don A.; Smyth, Jolene D. y Christian, Leah Melani (2009). Internet, Mail and
Mixed-Mode Surveys: The Tailored Design Method. New York: Wiley. (3.ª ed.).
Dillman, Don A.; Smyth, Jolene D. y Christian, Leah Melani (2014). Internet, Phone, Mail
and Mixed-Mode Surveys: The Tailored Design Method. New York: Wiley. (4.ª ed.).
Domínguez, Juan Antonio y Trujillo, Manuel (2014). Encuesta web a alumnos univer-
sitarios. Experimento metodológico. Córdoba: IESA/CSIC. Disponible en: www.iesa.
csic.es/documentos/expmovil.pdf
Emde, Matthias (2012). «Using adaptive questionnaire design in open-ended ques-
tions». Proceedings of the Survey Research Methods Questions, American Statistical
Association, San Diego, California. Disponible en: http://www.aapor.org/AAPOR_
Main/media/AnnualMeetingProceedings/2012/01_Fuchs_Emde_B4_adaptive-
design_May17_Medi6.pdf, acceso el 25 de octubre 2017.
Emde, Matthias (2014). Open-ended questions in Web surveys. Using visual and adap-
tive questionnaire design to improve narrative responses. Deutschland: Technische
Universität Darmstadt. [Tesis doctoral].
Engel, Uwe y Köster, Britta (2015). «Response effects and cognitive involvement in
answering survey questions». En: Engel, U.; Jann, B.; Lynn, P.; Scherpenzeel, A. y
Sturgis, P. (eds.). Improving survey methods. Lessons from recent research. New
York/London: Routledge and European Association of Methodology.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 155
Eurostat (2018). Indicadores: Digital Economy and Society. Banco de Datos de Euros-
tat. Disponible en: http://ec.europa.eu/eurostat/web/digital-economy-and-society/
data/database, acceso agosto de 2018.
Font, Joan y Pasadas del Amo, Sara (2016). Las encuestas de opinión. Madrid: CSIC/
Catarata.
Fowler, Floyd J. (2017). Recensión de Web survey methodology de M. Callegaro, K. Lozar
Manfreda y V. Vehovar (SAGE, 2015). Public Opinion Quarterly, 81(1), pp. 199-201.
Fricker, Ronald y Schonlau, Matthias (2002). «Advantages and disadvantages of Inter-
net research surveys: evidence tom the literature». Field Methods, 14, pp. 347-367.
Galesic, Mirta (2006). «Dropouts on the web. Effects of interest and burden experience
during an online survey». Journal of Official Statistics, 22(2), pp. 313-328.
Galesic, Mirta y Bosnjak, Michael (2009). «Effects of Questionnaire Length on Partici-
pation and Indicators of Response Quality in a Web Survey». Public Opinion Quar-
terly, 73, pp. 349-360.
Galesic, Mirta; Tourangeau, Rogert; Couper, Mick P. y Conrad, Frederick (2008). «Eye-
tracking data: New Insights on Response Order Effects and Other Cognitive Short-
cuts in Survey Responding». Public Opinion Quarterly, 72(5), pp. 892-913.
García Ferrando, Manuel y Llopis, Ramón (2015). «La encuesta». En: García Ferrando,
M.; Alvira, F.; Alonso, L. E. y Escobar, M. (eds.). El análisis de la realidad social.
Madrid: Alianza. (4.ª ed.).
Gendall, Philip y Healey, Benjamin (2008). «Asking the age question in mail and online
surveys». International Journal of Market Research, 50(3), pp. 309-317.
Gilljam, Mikael y Granberg, Donald (1993). «Should we take don’t know for an
answer?». Public Opinion Quarterly, 57, pp. 348-357.
Greszki, Robert; Meyer, Marco y Schoen, Harald (2015). «Exploring the effects of
removing “too fast” responses and respondents from web surveys». Public Opinion
Quarterly, 79(2), pp. 471-503.
Groves, Robert M. (1989). Survey Error and Survey Cost. New York: Wiley.
Groves, Robert M. (2011). «Three Eras of Survey Research». Public Opinion Quarterly,
75(5), pp. 861-871. Disponible en: https://doi.org/10.1093/poq/nfr057
Groves, Robert M.; Fowler, Floyd; Couper, Mick; Lepkowski, James; Singer, Eleanor y
Tourangeau, Roger (2009). Survey methodology. Hoboken, New Jersey: Wiley. (2.a ed.).
Groves, Robert M.; Presser, Stanley; Tourangeau, Roger; West, Brady T.; Couper, Mick
P.; Singer, Eleanor y Toppe, Christopher (2012). «Support for the Survey Sponsor
and Nonresponse Bias». Public Opinion Quarterly, 76, pp. 512-524.
Hammen, Kerstin (2010). «The impact of visual and functional design elements in
online survey research». Ponencia presentada en General Online Research confe-
rence, Pforzheim, Germany, mayo de 2010.
Hansen, Kasper M. y Tue Pedersen, Rasmus (2012). «Efficiency of Different
Recruitment Strategies for Web Panels». International Journal of Public Opinion
Research, 24, pp. 238-249.
Hanson, Tim (2017b). Adapting questionnaires for Smartphones: An experiment on grid for-
mat questions. European Survey Research Association (ESRA), 20 julio. Disponible en:
https://www.europeansurveyresearch.org/conference/programme2017?sess=36#175,
acceso el 15 de diciembre 2017.
Hays, Ron D.; Bode, Rita; Rothrock, Nan; Riley, William; Cella, David y Gershon;
Richard (2010). «The impact of next and back buttons on time to complete and
156 CUADERNOS METODOLÓGICOS 59
Kierman, Nancy F.; Kierman, Michaela; Oyler, Mary A. y Gilles, Carles (2005). «Is a
web survey as effective as a mail survey? A field experiment among computer
users». Social American Journal of Evaluation, 26(2), pp. 245-252.
Kreuter, Frauke (2018a). «Getting the Most Out of Paradata». En: Vannette, D. y Kros-
nick J. (eds.). The Palgrave Handbook of Survey Research. London: Palgrave Macmi-
llan, Cham.
Kreuter, Frauke (2018b). «Paradata». En: Vannette D. y Krosnick J. (eds.). The Palgrave
Handbook of Survey Research. London: Palgrave Macmillan, Cham.
Krosnick, Jon A. y Presser, Stanley (2010). «Question and questionnaire design». En:
Marsden, P. V. y Wright, J. D. (eds.). Handbook of Survey Research. Bingley: Eme-
rald Group Publishing Limited.
Krosnick, Jon A.; Holbrook, Allyson L.; Berent, Matthew K.; Carson, Richard T.; Hane-
mann, W. Michael; Kopp, Raymond J.; Mitchell, Robert Cameron; Presser, Stanley;
Ruud, Paul A.; Smith, V.; Kerry, V.; Moody, Wendy R.; Green, Melanie C. y Conaway,
Michael (2002). «The Impact of “No Opinion” Response Options on Data Quality:
Non-Attitude Reduction or an Invitation to Satisfice?». Public Opinion Quarterly,
66(3), pp. 371-403. DOI: 10.1086/341394.
Kwak, Nojin y Radler, Barry (2002). «A Comparison between mail and web surveys:
response pattern, respondent profile and data quality». Journal of Official Statistics,
18 (2), pp. 257-273.
Leeuw, Edith D. de (2005). «To mix or not to mix data collection modes in surveys».
Journal of official statistics, 21(2), p. 233.
Leeuw, Edith D. de y Hox, Joop J. (2011). «Internet surveys as part of a mixed-mode
design». Social and behavioral research and the Internet, pp. 45-76.
Leeuw, Edith de (2008). «Choosing the method of data collection». En: Leeuw, E. D.
de; Hox, J. J. y Dillman, D. A. (eds.). International Handbook of Survey Methodology.
New York: Lawrence Erlbaum Associates y Asociación Europea de Metodología.
Liu, Mingnan y Cho, Sarah (2016). «Web survey experiments on fully balanced, minima-
lly balanced and unbalanced rating scales». Survey Methods: Insights from the Field.
Disponible en: http://surveyinsights.org/?p=7650, acceso el 15 de marzo de 2017.
Liu, Mingnan y Keusch, Florian (2017). «Effects of Scale Direction on Response Style
of Ordinal Rating Scales». Journal of Official Statistics, 33(1), p. 137.
Loosveldt, Geert (2008). «Face to face interviews». En: Leeuw, E. D. de; Hox, J. J. y
Dillman, D. A. (eds.). International Handbook of Survey Methodology. New York:
Lawrence Erlbaum Associates y Asociación Europea de Metodología.
Loranger, Hoa (2014). Break Grammar Rules on Websites for Clarity. Disponible en:
https://www.nngroup.com/articles/break-grammar-rules, acceso el 10 de octubre
2017.
Lozar Manfreda, Katja y Vehovar, Vasja (2008). «Internet surveys». En: Leeuw, E. D.
de; Hox, J. J. y Dillman, D. A. (eds.). International Handbook of Survey Methodology.
New York: Lawrence Erlbaum Associates y Asociación Europea de Metodología.
Lozar Manfreda, Katja; Bosnjak, Michael; Berzelak, Jerney; Haas, Iris y Vehovar, Vasja
(2008). «Web surveys versus other survey modes: a meta-analysis comparing res-
ponse rates». International Journal of Market Research, 50(1), pp. 79-104.
Lugtig, Peter y Toepoel, Vera (2016). «The Use of PCs, Smartphones, and Tablets in a
Probability-Based Panel Survey: Effects on Survey Measurement Error». Social
Sciences Computer Review, 34, pp. 78-94.
158 CUADERNOS METODOLÓGICOS 59
Lynn, Peter y Kaminska, Olena (2012). «Factors afecting measurement error in mobile
phone interviews». En: Sabine, H.; Häder, M. y Kuhne, M. (eds.). Telephone Surveys
in Europe: Research and Practice. Manheim: Springer Verlag.
Martín, Jorge (2015). «Diseño eficaz de cuestionarios online». Curso organizado por la
Asociación Española de Estudios de Mercado, Marketing y Opinión, 12-13 de mayo
de 2015.
Mavletova, Aigul y Couper, Mick P. (2013). «Sensitive Topics in PC Web and Mobile
Web Surveys: Is There a Difference?». Survey Research Methods, 7(3), pp. 191-205.
Mavletova, Aigul y Couper, Mick P. (2014). «Mobile Web Survey Design: Scrolling ver-
sus Paging, SMS versus E-mail Invitations». Journal of Survey Statistics and
Methodology, 2(4), pp. 498-518.
McGeeney, Kyley y Marlar, Jenny (2013). «Mobile browser web surveys. Testing res-
ponse rates, data quality and best practices». Ponencia presentada en la Conferen-
cia anual de la AAPOR, 16-19 de mayo, Boston, EE. UU..
Messer, Benjamin L. y Dillman, Don A. (2011). «Surveying the general public over the
internet using address-based sampling and mail contact procedures». Public Opi-
nion Quarterly, 75, pp. 429-457.
Messer, Benjamin L.; Edwards, Michelle L. y Dillman, Don A. (2012). «Determinants
of Item Nonresponse to Web and Mail Respondents in Three Address-Bases Mixed-
Mode Surveys of the General Public». Survey Practice, 5(2). Disponible en: http://
surveypractice.wordpress.com/2012/4, acceso el 15 de noviembre de 2012.
Millar, Morgan y Dillman, Don A. (2011). «Improving Response to Web and Mixed-
Mode Surveys». Public Opinion Quarterly, 75, pp. 249-269.
Millar, Morgan y Dillman, Don A. (2012). «Encouraging survey response via
smartphone». Survey Practice, 5, p. 3.
Miller, Peter V. y Cannel, Charles F. (1982). «A Study of Experimental Techniques for
Telephone Interviewing». Public Opinion Quarterly, 46, pp. 250-269.
Moscoso, David y Moyano, Eduardo (2010). Condiciones de vida y expectativas de
retorno de los andaluces en el extranjero. Sevilla: Consejería de Gobernación y Justi-
cia, Junta de Andalucía. Disponible en: http://www.juntadeandalucia.es/export/
drupaljda/informe_iesa.pdf, acceso el 27 de septiembre de 2017.
Nielsen, Jakob (1996). «F-Shaped pattern for reading web pages». Disponible en:
https://www.nngroup.com/articles/f-shaped-pattern-reading-web-content/, acceso
el 3 de octubre de 2017.
Nielsen, Jakob (1997). «How users read on the web». Disponible en: https://www.
nngroup.com/articles/how-users-read-on-the-web/, acceso el 3 de octubre de 2017.
Nielsen, Jakob (2000). «Eyetracking Study of Web Readers». Disponible en: https://
www.nngroup.com/articles/eyetracking-study-of-web-readers, acceso el 10 de octu-
bre de 2017.
Nielsen, Jakob (2004). «Guidelines for visualizing links». Disponible en: https://www.
nngroup.com/articles/guidelines-for-visualizing-links/, acceso el 10 de septiembre
de 2017.
Nielsen, Jakob (2005). «Guidelines for visualizing links». Disponible en: https://www.
nngroup.com/articles/guidelines-for-visualizing-links/, acceso el 10 de septiembre
de 2017.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 159
Nielsen, Jakob (2006). «F-Shaped pattern for reading web content». Disponible en:
https://www.nngroup.com/articles/f-shaped-pattern-reading-web-content, acceso
el 3 de octubre de 2017.
Nielsen, Jakob (2007). «Show Numbers as Numerals When Writing for Online Rea-
ders». Disponible en: https://www.nngroup.com/articles/web-writing-show-num-
bers-as-numerals, acceso el 25 de octubre de 2017.
Nielsen, Jakob (2008). «How Little Do Users Read?». Disponible en: https://www.
nngroup.com/articles/how-little-do-users-read, acceso el 10 de octubre de 2017.
Nielsen, Jakob (2009). «First 2 Words: A Signal for the Scanning Eye». Disponible en:
https://www.nngroup.com/articles/first-2-words-a-signal-for-scanning/, acceso el
25 de octubre de 2017.
Nielsen, Jakob (2013). «Website reading: it (something) does happen». Disponible en:
https://www.nngroup.com/articles/website-reading, acceso el 10 de octubre de 2017.
Norman, Kent L.; Friedman, Zachary; Norman, Kirk y Stevenson, Rod (2001). «Navi-
gation issues in the design of online self-administered questionnaires». Behaviour
and Information Technology, 2(1), pp. 37-45.
Olson, Kristen; Lepkowski, James M. y Garabrant, David H. (2011). «An Experimental
Examination of the Content of Persuasion Letters on Nonresponse Rates and Sur-
vey Estimates in a Nonresponse Follow-Up Study». Survey Research Methods, 5(1),
pp. 21-26.
Padilla García, José Luis; González, Andrés y Pérez, Cristino (2014). «Elaboración del
cuestionario». En: Rojas, A. J.; Fernández Prados, J. S. y Pérez, C. (eds.). Investigar
mediante encuestas. Madrid: Síntesis.
Pasadas del Amo, Sara; Domínguez, Juan Antonio; Trujillo, Manuel; Ropero, Ana B. y
Moreno, Jesús (2016). «¿Donar o no donar? Efectos de la deseabilidad social en la
elección del incentivo en una encuesta online y telefónica». 12.º Congreso de la
Federación Española de Sociología, Gijón, 30 de junio a 2 de julio de 2016.
Pasadas del Amo, Sara; Domínguez, Juan Antonio; Méndez, Mónica y Trujillo, Manuel
(2017). «Device use and effects of screen size on data quality in a cross-sectional
probability-based online survey in Spain». 7.º Congreso de la Asociación Europea de
Metodología de Encuestas, Lisboa, 17-21 de julio de 2017.
Peterson, Gregg (2012). «Unintended mobile respondents». Ponencia presentada en
CASRO Technology Conference, New York, 31 de mayo de 2012.
Peterson, Gregg; Mechling, Joanne; LaFrance, John; Swinehart, Janice y Ham, Gina
(2013). «Solving the unintentional mobile challenge». Ponencia presentada en
CASRO Technology Conference, New York, 31 de mayo de 2013.
Peterson, Gregg; Griffin, Jamie; LaFrance, John y Li, JiaoJiao (2017). «Smartphone
Participation in Web Surveys». En: Biemer, P. P.; De Leeuw, E.; Eckman, S.;
Edwards, B.; Kreuter, F.; Lyberg, L. E.; ... y West, B. T. (Eds.). (2017). Total Survey
Error in Practice. West Sussex: John Wiley & Sons, pp. 203-233.
Peytchev, Andy y Crawford, Scott D. (2006). «A typology of real time validations in
web-based surveys». Social Science Computer Review, 23(2), pp. 235-249.
Peytchev, Andy; Couper, Mick P.; McCabe, Sean E. y Crawford, Scott D. (2006). Web
survey design: Paging versus scrolling. International Journal of Public Opinion
Quarterly, 70(4), 596-607.
Presser, Stanley (1992). «Survey Sponsorship, Response Rates and Response Effects».
Social Science Quarterly, 73, pp. 699-702.
160 CUADERNOS METODOLÓGICOS 59
Redline, Cleo y Dillman, Don A. (1999). The influence of auxiliary, symbolic, nume-
ric and verbal languages on navigation compliance in self-administered question-
naires. Washington: Social and Economic Sciences Research Center (SESRC),
Washington State University.
Redline, Cleo y Dillman, Don A. (2002). «The Influence of Alternative Visual Designs
on Respondents’ Performance with Branching Instructions in Self-Administered
Questionnaires». En: Groves, R. M.; Dillman D. A. Dillman; Eltinge, J. L. (eds.).
Survey Nonresponse. New York: Wiley.
Redline, Cleo; Dillman, Don A.; Dajani, Aref N. y Scaggs, Mary Ann (2003). «Impro-
ving navigation performance in U.S. Census 2000 by altering the visually admi-
nistered languages of branching instructions». Journal of Official Statistics, 19(4),
pp. 403-419.
Reja, Ursa; Lozar Manfreda, Katja; Hlebec, Valentina y Vehovar, Vasja (2003). «Open-
ended vs. close-ended questions in web questionnaires». Metodoloski zvezki, 19,
pp. 159-177.
Revilla, Melanie (2014). Evaluación y mejora de las preguntas de encuestas utilizando el
programa Survey Quality Predictor (SQP) 2.0. Curso impartido en la Universitat
Pompeu Fabra.
Revilla, Melanie (2015). «Effect of using different labels for the scales in a web survey».
International Journal of Market Research, 57(2), pp. 225-238. DOI: 10.2501/IJMR-
2014-028.
Revilla, Melanie y Ochoa, Carlos (2015). «What are the links in a web survey among
response time, quality and auto-evaluation of the efforts done?» Social Science
Computer Review, 33(1), pp. 97-114.
Revilla, Melanie y Ochoa, Carlos (2017). «Forum: Ideal and maximum length for a web
survey». International Journal of Market Research, 59(5), pp. 557-566.
Revilla, Melanie A.; Saris, Willem E. y Krosnick, Jon A. (2014). «Choosing the Number
of Categories in Agree–Disagree Scales». Sociological Methods y Research, 43(1),
pp. 73-97.
Revilla, Melanie; Toninelli, Daniele y Ochoa, Carlos (2015). An experiment comparing
grids and item-by-item formats in web surveys completed through PCs and smartpho-
nes. Barcelona: RECSM. Working Paper n.º 46. Disponible en: https://www.upf.edu/
documents/3966940/3986764/RECSM_wp046.pdf, acceso el 15 de diciembre 2017.
Revilla, Melanie; Toninelli, Daniele y Ochoa, Carlos (2017). «An experiment compa-
ring grids and item-by-item formats in web surveys completed through PCs and
smartphones». Telematics and Informatics, 34, pp. 30-42.
Rodríguez Osuna, Jacinto (1993). Métodos de muestreo: casos prácticos. Madrid: Cen-
tro de Investigaciones Sociológicas.
Rodríguez Osuna, Jacinto (2005 [1991]). Métodos de muestreo. Madrid: Centro de
Investigaciones Sociológicas.
Sánchez Fernández, Juan; Muñoz Leiva, Francisco y Montoro Ríos, Francisco J.
(2009). «¿Cómo mejorar la tasa de respuesta en encuestas online?». Revista de Estu-
dios Empresariales. Segunda época, 1, pp. 45-62. Disponible en: http://revistaselec-
tronicas.ujaen.es/index.php/REE/article/view/358
Sarabia Sánchez, Francisco J. (2013). «La construcción del cuestionario». En: Sarabia
Sánchez, F. J. (ed.). Métodos de investigación social y de la empresa. Madrid: Pirámide.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 161
Saris, Willem E. (1998). «Ten years of interviewing without interviewers: The telepa-
nel». En: Couper, Mick P.; Baker, Reginald P.; Bethlehem, Jelke; Clark, Cynthia Z.
F.; Martin, Jean, Nichols, William L. y O’Reilly, James M. (eds.). Computer assisted
survey information collection. New York: John Wiley & Sons, S., pp. 409-429.
Schonlau, Matthias y Couper, Mick P. (2016). «Semi-automated categorization of
open-ended questions». Survey Research Methods, 10(2), pp. 143-152. DOI: http://
dx.doi.org/10.18148/srm/2016.v10i2.6213
Schonlau, Mattias; Fricker, Ronald D. y Elliott, Marc C. (2002). Conducting research
surveys via e-mail and the Web. Santa Monica, California: RAND.
Schoua-Glusberg, Alisu, Vidal (2017). «How many questions fit in a 30-minute web
Survey?». AAPOR-net, l4 de febrero de 2017.
Schwarz, Norbert y Hippler, Hans J. (1995b). «The numeric values of rating scales: a
comparison of their impact in mail surveys and telephone interviews». Internatio-
nal Journal of Public Opinion Research, 7, pp. 72-74.
Schwarz, Norbert y Hippler, Hans J. (1995a). «Subsequent Questions May Influence
Answer to Preceding Questions in Mail Surveys». Public Opinion Quarterly, 59, pp. 93-97.
Schwarz, Norbert; Hippler, Hans J.; Deutsch, Brigitte y Strack, Fritz (1985). «Res-
ponse scales: effect of category range on reporter behavior and comparative judg-
ments». Public Opinion Quarterly, 49, pp. 388-395.
Schwarz, Norbert; Knäuper, Bärbel; Hippler, Hans J.; Noelle-Newman, Elisabeth y
Clark, Leslie (1991). «Numeric Values May Change the Meaning of Scale Labels».
Public Opinion Quarterly, 55, pp. 570-582.
Shaefer, David D. y Dillman, Don A. (1998). «Development of a standard e-mail
methodology. Results of an experiment». Public Opinion Quarterly, 62, pp. 378-397.
Shih, Tse Hua y Fan, Xitao (2008). «Comparing Response Rates from Web and Mail
Surveys: A Meta-Analysis». Field Methods, 20, pp. 249-271.
Silber, Henning; Höhne, Jan Karem y Schlosser, Stephan (2016). «Question Order Expe-
riments in the German-European Context». Survey Methods: Insights from the Field.
Disponible en: http://surveyinsights.org/?p=7645, acceso el 15 de noviembre de 2016.
Smyth, Jolene D. (2018). «Visual design in surveys using numbers, symbols and gra-
phics effectively». Conferencia Web de AAPOR, 18 de septiembre de 2018.
Smyth, Jolene D.; Dillman, Don A. y Christian, Leah Melanie (2008). «Does ‘yes or no’
on the telephone mean the same as ‘check-all-apply’ on the web». Public Opinion
Quarterly, 72, pp. 103-113.
Smyth, Jolene D. y Olson, Kristen (2016). «A Comparison of Fully Labeled and Top-
Labeled Grid Question Formats». Ponencia presentada en la Conferencia Interna-
cional de diseño de cuestionarios, Miami, Florida, 9-13 de noviembre de 2016.
Smyth, Jolene D.; Dillman, Don A.; Christian, Leah Melani y Stern, Michael J. (2006).
«Effects of Using Visual Design Principles to Group Response Options in Web Sur-
veys». International Journal of Internet Science, 1(1), pp. 6-16.
Smyth, Jolene D.; Dillman, Don A.; Christian, Leah Melanie y Mcbride, Mallory (2009).
«Open-Ended Questions in Web Surveys: Can Increasing the Size of Answer Boxes
and Providing Extra Verbal Instructions Improve Response Quality?». Public Opi-
nion Quarterly, 73, pp. 325-337.
Sommer, Jana; Diedenhofen, Birk y Musch, Jochen (2017). «Not to Be Considered
Harmful. Mobile-Device Users Do Not Spoil Data Quality in Web Surveys». Social
Survey Computer Review, 35(3), pp. 378-377.
162 CUADERNOS METODOLÓGICOS 59
Stange, Mathew; Barry, Amanda; Smyth, Jolene D. y Olson, Kristen (2106). «Effects of
Smiley Face Scales on Visual Processing of Satisfaction Questions in Web Sur-
veys». Social Science Computer Review. DOI: 10.1177/0894439316674166.
Stern, Michael J.; Dillman, Don A. y Smyth, Jolene D. (2007). «Visual Design, Order
Effects, and Respondent Characteristics in a Self-Administered Survey». Survey
Research Methods, 1(3), pp. 121-138.
Stern, Michael J.; Smyth, Jolene D. y Mendez, Jeanette (2012). «The Effects of Item
Saliency and Question Design on Measurement Error in a Self-Administered Sur-
vey». Field Methods, 24(1), pp. 3-27.
Sudman, Seymour y Bradburn, Norman M. (2002). Asking questions. New York: Wiley.
Toepoel, Vera (2015). Doing Surveys Online. London: SAGE.
Toepoel, Vera (2016). Doing survey Online. London: SAGE.
Toepoel, Vera y Couper, Mick. P. (2011). «Can verbal instructions counteract visual
context effects in web survey?». Public Opinion Quarterly, 75, pp. 1-18.
Toepoel, Vera y Dillman, Don A. (2011). «How visual design affects the interpretability
of survey question». En: Das, Marcel; Ester, P. y Kaczmirek, L. (eds.). Social and
behavioral research and the Internet. New York: Taylor.
Toepoel, Vera; Das, Marcel y Soest, Arthur van (2008). «Effects of design in web sur-
veys. Comparing trained and fresh respondents». Public Opinion Quarterly, 72(5),
pp. 985-1007.
Toepoel, Vera; Das, Marcel y Soest, Arthur van (2009). «Design web questionnaire: The
effects of the number of items per screen». Field Methods, 21(1), pp. 200-213.
Toepoel, Vera; Vis, Corrie; Das, Marcel y Soest, Arthur van (2009). «Design of Web
Questionnaires. An Information-Processing Perspective for the Effect of Response
Categories». Sociological Methods & Research, 37(3), pp. 371-392.
Tourangeau, Roger; Couper, Mick P. y Conrad, Frederick (2004). «Spacing, Position,
and Order: Interpretive heuristics for visual features of survey questions». Public
Opinion Quarterly, 68(3), pp. 368-393.
Tourangeau, Roger; Couper, Mick P. y Conrad, Frederick (2007). «Color, labels, and
interpretative heuristic for response scales». Public Opinion Quarterly, 71,
pp. 91-112.
Tourangeau, Roger; Conrad, Frederick G. y Couper, Mick P. (2013). The Science of Web
Surveys. New York: Oxford University Press.
Tourangeau, Roger; Couper, Mick P.; Galesic, Mirta y Givens, Jean (2004). «A Compari-
son of Two Web Based Surveys: Static versus Dynamic Versions of the NAMCS Ques-
tionnaire». Ponencia presentada en la 6.ª Conferencia de la Sociedad Científica de
Metodología Social (RC33), Ámsterdam, Países Bajos, 17-20 de agosto de 2004.
Vehovar, Vasja y Čehovin, Gregor (2014). «Questionnaire length and breakoffs in web
surveys. A meta-study». Presentado en el 7.º Encuentro de Metodología de Encuestas
en Internet, Internet Survey Methodology Worksop, Bozano.
Vehovar, Vasja y Manfreda, Katja (2017). «Overview: Online Surveys». En: The SAGE
Handbook of Online Research Methods). London: SAGE Publications Ltd., pp. 143-
161. Disponible en: https://doi.org/10.4135/9781473957992.
Vehovar, Vasja; Lozar Manfreda, Katja y Batagelj, Zenei (2000). «Design Issues in Web
Surveys». Ponencia presentada en la Conferencia anual de la AAPOR, Portland, Ore-
gón, EE. UU., 17-21 de mayo de 2000.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 163
Vehovar, Vasja; Lozar Manfdeda, Katja y Koren, Gasper (2008). «Internet surveys».
En: Donsbach, W. y Traugott, M. W. (eds.). The SAGE Handbook of Public Opinion
Research. Thousand-Oaks, California: SAGE.
Vehovar, Vasja; Čehovin, Gregor; Kavčič, Luka y Lenar, Jurij (2012). A WebSM Study:
Survey Software Features Overview. Faculty of Social Sciences.
Villar, Ana; Callegaro, Mario y Yang, Yongwei (2013). «Where am I? A meta-analysis
of experiments on the effects of progress indicators for web surveys». Social Survey
Computer Review, 31(6), pp. 744-762.
Weinreich, Harald; Obendorf, Hartmut; Herder, Eelco y Mayer, Matthias (2008). «Not
Quite the Average: An Empirical Study of Web Use». ACM Transactions on the Web,
2(1). Disponible en: https://dl.acm.org/citation.cfm?doid=1326561.1326566, acceso
el 22 de noviembre de 2017.
Wrolewski, Luke (2009). Web form design. Filling in the blanks. Brooklyn, New York:
Rosenfeld Media.
Yan, Ting; Conrad, Frederick G.; Couper, Mick P. y Tourangeau, Roger (2011). «Should
I stay or should I go: The effects of progress feedback, promised task duration, and
length of questionnaire on completing web surveys». International Journal of Public
Opinion Research, 23, pp. 131-147.
Zeglovits, Eva y Schwarzer, Steve (2016). «Presentation matters: how mode effects in
item non-response depend on the presentation of response options». International
Journal of Social Research Methodology, 19, pp. 191-203.
Zhang, Chan y Conrad, Frederick (2014). «Speeding in Web Surveys: The tendency to
answer very fast and its association with straightlining». Survey Research Methods,
8(2), pp. 109-125.
Cuadernos Metodológicos ha sido galardonada con
el Premio a la Mejor Colección en los XIII Premios
Nacionales de Edición Universitaria otorgados
por la UNE.
Números publicados
58. Investigación cualitativa en salud
Juan Zarco Colón, Milagros Ramasco Gutiérrez,
Azucena Pedraz Marcos, Ana María Palmar Santos
57. Análisis sociológico con documentos personales
M.ª José Rodríguez Jaume y José Ignacio Garrigós
56. Análisis Cualitativo Comparado (QCA)
Iván Medina, Pablo José Castillo Ortiz, Priscilla Álamos-
Concha y Benoît Rihoux
55. Análisis on line del Banco de Datos del CIS
Jesús Bouso Freijo
54. Análisis discriminante
M.ª Ángeles Cea D'Ancona
53. Simulación basada en agentes. Introducción a NetLogo
José Ignacio García-Valdecasas
52. Investigación Cualitativa Longitudinal
Jordi Caïs, Laia Folguera y Climent Formoso
51. Indicadores de partidos y sistemas de partidos
Leticia M. Ruiz Rodríguez y Patricia Otero Felipe
50. Representación espacial y mapas
Rodrigo Rodrigues-Silveira
49. Introducción al análisis multinivel
Héctor Cebolla Boado
48. El paquete estadístico R
Jesús Bouso Freijo
47. Análisis de contenido de textos políticos.
Un enfoque cuantitativo
Sonia Alonso, Andrea Volkens y Braulio Gómez
46. Análisis de datos incompletos en ciencias sociales
Gonzalo Rivero Rodríguez
45. Análisis de datos con Stata
Modesto Escobar Mercado, Enrique Fernández Macías
y Fabrizio Bernardi
44. La investigación sobre el uso del tiempo
M.ª Ángeles Durán y Jesús Rogero
43. Análisis sociológico del sistema de discursos
Fernando Conde Gutiérrez del Álamo
42. Encuesta deliberativa
María Cuesta, Joan Font, Ernesto Ganuza, Braulio Gómez
y Sara Pasadas
41. Dinámica del grupo de discusión
Jesús Gutiérrez Brito
40. Evolución de la Teoría Fundamentada como técnica
de análisis cualitativo
Jaime Andréu Abela, Antonio García-Nieto
y Ana M.ª Pérez Corbacho
39. El análisis de segmentación: técnicas y aplicaciones de
los árboles de clasificación
Modesto Escobar Mercado
38. Análisis de la Historia de Acontecimientos
Fabrizio Bernardi
37. Teoría Fundamentada Grounded Theory: El desarrollo
de teoría desde la generalización conceptual
Virginia Carrero Planes, Rosa M.ª Soriano Miras y Antonio
Trinidad Requena
36. Manual de trabajo de campo en la encuesta
Vidal Díaz de Rada
35. La encuesta: una perspectiva general metodológica
Francisco Alvira Martín
34. Teoría de juegos
Ignacio Sánchez-Cuenca
Vidal Díaz de Rada Igúzquiza es doctor en Sociología y Ciencias políticas por la
Universidad de Deusto y licenciado en Investigación y Técnicas de Mercado. Es profesor
en el Departamento de Sociología de la Universidad Pública de Navarra y miembro de
I-COMMUNITAS. Sus áreas de investigación son la sociología del consumo y el diseño y
análisis de encuestas para el conocimiento de la realidad social.
Sara Pasadas del Amo es doctora en Sociología por la Universidad Pública de Navarra.
Investiga sobre metodología de encuestas y participación política en el IESA-CSIC, donde
ha sido coordinadora de la Unidad Técnica de Estudios Aplicados entre 2009 y 2017. Sus
intereses de investigación se centran en la mejora de las técnicas y procedimientos de
encuesta y su adaptación al nuevo contexto social y tecnológico, temas sobre los que ha
publicado diversos trabajos.
ISBN 978-84-7476-807-7
GOBIERNO MINISTERIO
CIS
Centro de
DE ESPAÑA DE LA PRESIDENCIA Investigaciones
Sociológicas