Está en la página 1de 167

Cuadernos

Metodológicos

59 Internet como
modo de
administración
de encuestas
Vidal Díaz de Rada Igúzquiza
Juan Antonio Domínguez Álvarez
Sara Pasadas del Amo

El 86% de los hogares españoles tenía acceso a Internet en


2018 y el 86% había utilizado esta tecnología en los últimos
tres meses. Estos datos explican en gran medida la
importancia que Internet ha alcanzado en los últimos años
como fuente para la obtención de información (big data) y
como modo de administración de encuestas en nuestro país.
Hoy por hoy, la encuesta web supone el 42% de la
facturación de las encuestas realizadas por las empresas del
sector de la investigación en España y el 67% de las
realizadas en todo el mundo (ANEIMO, 2017). Este desarrollo
se ha visto acompañado de un importante esfuerzo de
investigación metodológica en las últimas décadas que ha
permitido que quien se enfrenta hoy al diseño y ejecución de
una encuesta web lo haga conociendo cuáles son las
mejores prácticas en este ámbito. Sin embargo, este
conocimiento está disponible en su mayor parte en inglés y
son muy escasos los textos en castellano que abordan los
aspectos metodológicos de las encuestas web en su
conjunto. Este volumen pretende revertir esa situación,
trasladando al lector hispanohablante los resultados de las
investigaciones metodológicas más recientes y
acompañándole en la planificación, diseño y trabajo de
campo de una encuesta web.
Cuadernos
Metodológicos

59 Internet como
modo de
administración
de encuestas
Vidal Díaz de Rada Igúzquiza
Juan Antonio Domínguez Álvarez
Sara Pasadas del Amo

Madrid, 2019
Consejo Editorial de la colección Cuadernos Metodológicos
Director
José Félix Tezanos Tortajada, Presidente del CIS
Consejeros
Antonio Alaminos Chica, Universidad de Alicante; Francisco Alvira Martín, Universidad Complutense
de Madrid; Eva Anduiza Perea, Universitat Autònoma de Barcelona; Andrés Arias Astray, Universidad
Complutense de Madrid; Miguel Ángel Caínzos López, Universidade Santiago de Compostela; M.ª
Angeles Cea D'Ancona, Universidad Complutense de Madrid; Jesús M. De Miguel Rodríguez,
Universitat de Barcelona; Vidal Díaz De Rada, Universidad Pública de Navarra; Verónica Díaz
Moreno, Universidad Nacional de Educación a Distancia; Modesto Escobar Mercado, Universidad
de Salamanca; Javier de Esteban Curiel, Centro de Investigaciones Sociológicas; Manuel Fernández
Esquinas, Consejo Superior de Investigaciones Científicas; J. Sebastián Fernández Prados,
Universidad de Almería; Isabel García Rodríguez, Instituto de Estudios Sociales Avanzados; Juan
Ignacio Martínez Pastor, Universidad Nacional de Educación a Distancia; Violante Martínez
Quintana, Universidad Nacional de Educación a Distancia; Mónica Méndez Lago, Centro de
Investigaciones Sociológicas; Verónica de Miguel Luken, Universidad de Málaga; Rosa Rodríguez
Rodríguez, Universidad Nacional de Educación a Distancia; Leire Salazar Vález, Universidad
Nacional de Educación a Distancia; Juan Salcedo Martínez, Universidad Europea; Rafael Serrano
del Rosal, Instituto de Estudios Sociales Avanzados; Luisa Carlota Solé i Puig, Universitat Autònoma
de Barcelona; Eva Sotomayor Morales, Centro de Investigaciones Sociológicas
Secretaria
M.ª del Rosario H. Sánchez Morales, Directora del Departamento de Publicaciones y Fomento de la
Investigación, CIS

Díaz de Rada Igúzquiza, Vidal


Internet como modo de administración de encuestas / Vidal Díaz de Rada Igúzquiza,
Juan Antonio Domínguez Álvarez y Sara Pasadas del Amo. – Madrid : Centro de
Investigaciones Sociológicas, 2019
(Cuadernos metodológicos; 59)
1. Encuestas 2. Internet
303.62:004.738.5

Las normas editoriales y las instrucciones para los autores pueden consultarse en:
http://www.cis.es/publicaciones/CM/
Todos los derechos reservados. Prohibida la reproducción total o parcial de esta obra por cualquier
procedimiento (ya sea gráfico, electrónico, óptico, químico, mecánico, fotografía, etc.) y el
almacenamiento o transmisión de sus contenidos en soportes magnéticos, sonoros, visuales o de
cualquier otro tipo sin permiso expreso del editor.

COLECCIÓN «CUADERNOS METODOLÓGICOS», NÚM. 59


Catálogo de Publicaciones de la Administración General del Estado
http://publicacionesoficiales.boe.es
Primera edición, septiembre, 2019

© CENTRO DE INVESTIGACIONES SOCIOLÓGICAS


Montalbán, 8. 28014 Madrid
© Vidal Díaz de Rada Igúzquiza, Juan Antonio Domínguez Álvarez, Sara Pasadas del Amo
derechos reservados conforme a la ley

Impreso y hecho en España


Printed and made in Spain
NIPO (papel): 045-19-025-4 / NIPO (electrónico): 045-19-026-X
ISBN (papel): 978-84-7476-807-7 / ISBN (electrónico): 978-84-7476-808-4
Depósito Legal: M-27150-2019
Fotocomposición e impresión: RALI, S.A.

O
DE
El papel utilizado para la impresión de este libro es 100% reciclado y totalmente libre de
C
XENT

cloro, de acuerdo con los criterios medioambientales de contratación pública.


LO RO
E


100% reciclado
A nuestros hijos: Alba, Candela, Iago,
Juan Antonio, Mariana y Mario.
Índice

INTRODUCCIÓN......................................................................................... 9

1. ENCUESTAS WEB................................................................................. 13
1.1. Antecedentes, denominación, definición y características de la
encuesta web................................................................................... 13
1.2. Usos y aplicaciones......................................................................... 17
1.3. Usuarios y tipos de encuestas web................................................. 21
1.4. Ventajas e inconvenientes de la encuesta web.............................. 26
1.5. Criterios para la elección del modo y el diseño de encuesta web... 31
1.6. Herramientas para su programación y gestión............................. 35

2. PLANIFICACIÓN DE UNA ENCUESTA WEB...................................... 43


2.1. Pasos básicos en el proceso de investigación mediante encuesta
web................................................................................................... 43
2.2. Elección del diseño general de la encuesta. ¿Modo único o modos
mixtos?............................................................................................. 43
2.3. Diseño del plan de muestreo.......................................................... 45
2.4. Diseño del protocolo de contacto con los informantes................. 47
2.5. Información auxiliar: paradatos y cookies.................................... 54
2.6. Seguridad, integridad y privacidad de los datos........................... 58

3. DISEÑO DEL CUESTIONARIO............................................................ 65


3.1. ¿Una nueva forma de comunicación? Consideraciones previas.... 67
3.2. Formulario y paginación de un cuestionario web........................ 75
3.3. Diseño del cuestionario.................................................................. 88
3.3.1. Fundamentos básicos del cuestionario soportado/mos-
trado en pantallas................................................................. 88
3.3.2. Elementos en la página........................................................ 92
3.3.3. Organización del cuestionario............................................. 101
8 CUADERNOS METODOLÓGICOS 59

3.4. La pregunta, elemento esencial del cuestionario.......................... 108


3.4.1. Preguntas abiertas................................................................ 108
3.4.2. Preguntas cerradas............................................................... 116
3.5. Diseños multipantalla y multidispositivo...................................... 126

4. 
TRABAJO DE CAMPO Y TRATAMIENTO DE LOS DATOS EN
ENCUESTAS WEB................................................................................. 133
4.1. Estrategias de maximización de la respuesta (personalización,
recuerdos e incentivos)................................................................... 133
4.2. Ayuda a las personas entrevistadas (soporte web y telefónico)... 139
4.3. Gestión de campo mixto CAWI-CATI............................................ 140
4.4. Supervisión del trabajo de campo.................................................. 142
4.5. Validación y depuración de los datos............................................ 143
4.6. Fuentes de error, ponderación y ajustes........................................ 144

BIBLIOGRAFÍA........................................................................................... 151
Introducción

Si tuviéramos que identificar la época en que vivimos con una tecnología, esa
sería Internet. Al igual que sucedió con la máquina de vapor a finales del
siglo xviii y con la electricidad en la segunda mitad del siglo xix, los ordenado-
res e Internet han provocado cambios en múltiples aspectos de nuestras vidas.
Si bien de una manera menos radical que aquellas tecnologías, la aparición de
Internet ha transformado nuestra forma de trabajar, de comprar, de comuni-
carnos y de disfrutar de nuestro ocio, entre otros. Desde que en la década de
los noventa el acceso a Internet se abrió al público no experto con la aparición
del primer navegador, el número de usuarios de la World Wide Web no ha
dejado de crecer y en el año 2017 suponía el 45,8% de la población mundial,
el 84% en la Unión Europea y el 84,6% en España 1.
Teniendo estos datos en cuenta no es de extrañar que la industria de la
investigación mediante encuestas no tardara en incorporar esta tecnología a
su caja de herramientas como modo principal de administración de encues-
tas, como herramienta auxiliar en la implementación de otros modos (por
ejemplo, para la comunicación con las unidades muestrales) y, más reciente-
mente, como fuente directa de información (big data). Según datos de la
industria de estudios de mercado y de opinión, la recogida de datos online
supuso más de la mitad de la facturación del sector en 2016 tanto a nivel mun-
dial como en nuestro país (AEDEMO, 2017; ESOMAR, 2017). Este auge en el
uso de Internet para la investigación coincide además con un contexto en el
que conseguir muestras verdaderamente representativas de la población a tra-
vés del uso de modos tradicionales como la encuesta presencial o la encuesta
telefónica conlleva costes cada vez mayores. Todo esto hace que optar por la
encuesta web sea una apuesta de futuro a pesar de algunas limitaciones que,
como veremos, sigue teniendo este modo de administración.
A pesar de que la encuesta web es el modo de administración de encues-
tas más reciente, la técnica ya cuenta con un importante acervo de conoci-
miento práctico y metodológico del que extraer un conjunto de guías y

1
  Personas con edades comprendidas entre 16 y 74 años que habían usado Internet en los tres
últimos meses (Banco Mundial, 2018; EUROSTAT, 2018; INE, 2018).
10 CUADERNOS METODOLÓGICOS 59

recomendaciones para aplicarla logrando unos estándares adecuados de


calidad. Existen muy buenos manuales que recogen la evidencia empírica y
los resultados de la investigación metodológica en torno a la encuesta web y
que se han publicado en los últimos años en inglés. Entre estos podemos
diferenciar entre aquellos textos que, partiendo de la base de que se conoce
la práctica de la investigación mediante encuestas, explican cómo la web
puede ser utilizada para llevarlas a cabo, y aquellos otros en los que se con-
sidera que los lectores no tienen ningún conocimiento del tema y llevan a
cabo una explicación pormenorizada de todos los principios y reglas de la
investigación con encuestas (Fowler, 2017). Dentro del primer grupo, Fowler
incluye los textos de Tourangeau, Conrad y Couper (2013), y Dillman, Smyth
y Christian (2014); mientras que los libros de Bethlehem y Biffignandi (2012)
y Callegaro, Lozar Manfreda y Vehovar (2015) y Toepoel (2016) quedarían
clasificados dentro del segundo grupo.
Con este manual pretendemos hacer accesible este conocimiento acumu-
lado en las últimas dos décadas a un público amplio en castellano. Para ello,
partimos de la literatura existente sobre la encuesta web, así como de nuestra
experiencia en la realización de este tipo de encuestas en nuestro país. Este
manual presupone conocimiento previo sobre la encuesta como instrumento
de investigación cuantitativa, y los diversos modos de administración de cues-
tionarios. En este sentido, y con el fin de refrescar conceptos, recomendamos
la lectura, en esta misma colección del Centro de Investigaciones Sociológicas
(CIS), de los siguientes Cuadernos Metodológicos:

— N.º 1 y n.º 6, Métodos de muestreo.


— N.º 9, Encuestas telefónicas y por correo.
— N.º 26, Cuestionarios.
— N.º 35, La encuesta: una perspectiva general metodológica.
— N.º  36, Manual de trabajo de campo en la encuesta (personal y telefónica).

El manual se organiza en cuatro grandes capítulos que abordan desde


aspectos más teóricos relacionados con la definición de la encuesta web y su
caracterización en comparación con otros modos de encuesta (capítulo 1)
hasta la implementación del trabajo de campo de una encuesta web (capítulo
4), pasando por la planificación de la encuesta y el plan de muestreo (capítulo
2) y los requisitos que debe tener el cuestionario para aprovechar al máximo
las ventajas que proporciona la encuesta web (capítulo 3).
Los autores desean expresar su agradecimiento a Jolene Smyth y al Depar-
tamento de Sociología de la Universidad de Nebraska-Lincoln, en especial a
Julia McQuillan. La consulta de las investigaciones de la profesora Smyth y
sus recomendaciones a una versión previa han mejorado notablemente el tra-
bajo. También agradecen a Manolo Trujillo sus siempre precisos consejos, a
los directores del IESA, Manuel Pérez Yruela, Eduardo Moyano, Joan Font y
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 11

Rafael Serrano, por impulsar y dotar de recursos la investigación mediante


encuestas online desde 2003, y a todas las compañeras y todos los compañeros
que nos han acompañado en la Unidad Técnica de Estudios Aplicados del
IESA en estos años: Abril, Carmela, Elena, Fernando, Jorge, José Luis, Julia,
Marga, Mica, Óscar, Rafi, Regina y Vicente. Señalar, por último, que este texto
se ha realizado dentro de una investigación financiada por el Ministerio de
Economía y Competitividad, ref. MTM2015-63609-R.
1
Encuestas web 1

1.1. Antecedentes, denominación, definición


y características de la encuesta web

La necesidad de conocer y cuantificar el mundo ha sido una constante en la


historia de la humanidad. Muchas antiguas civilizaciones, como la egipcia, la
china o la romana, produjeron estadísticas con fines políticos y económicos
(de-Heer, de-Leeuw y van-der- Zouwen, 1999). El instrumento principal con el
que contaban los Estados para obtener información sobre su población eran
los censos o registros, en los que se enumeraba la población en su totalidad o
un segmento completo de esta, como el censo elaborado por Alonso de Quin-
tanilla en 1482 en España. A partir de principios del siglo xx, la caja de herra-
mientas se amplía cuando se llevan a cabo las primeras encuestas dirigidas a
muestras representativas de la población. Desde entonces, el número de
encuestas que se realizan en el mundo sobre los más diversos temas no ha
dejado de crecer (Bethlehem y Biffignandi, 2012).
En los poco más de cien años que han transcurrido entre 1912, fecha en la
que A. L. Bowley comenzó los trabajos de la que se considera la primera
encuesta científica a partir de una muestra de hogares de clase trabajadora en
Gran Bretaña, y la actualidad, la técnica de encuesta ha evolucionado a medida
que iba incorporando los avances teóricos producidos en el ámbito de la esta-
dística y las ciencias sociales, pero también de manera muy importante con la
adopción, desde muy pronto, de las innovaciones producidas en las tecnolo-
gías de la información y la comunicación a partir de la segunda mitad del
siglo pasado. Las primeras encuestas se llevaron a cabo cara a cara y por correo
postal, convirtiéndose muy pronto la encuesta presencial en el modo de

1
  De las referencias citadas en este capítulo, hay que destacar el manual Web Survey Methodo-
logy, de Callegaro, Manfreda y Vehovar, publicado en 2015. Se trata de una de las referencias más
completas y actualizadas que existen sobre la metodología de la encuesta web y por este motivo
la hemos empleado como columna vertebral del capítulo.
14 CUADERNOS METODOLÓGICOS 59

administración dominante. Posteriormente, la universalización en el uso del


teléfono en los años sesenta y setenta del siglo pasado, unida al incremento en
los costes de las encuestas presenciales y el descenso en sus tasas de respuesta,
hizo que se generalizara el uso de la encuesta telefónica (Groves, 2011).
Más recientemente, la extensión del uso de tecnologías como el ordenador
personal o Internet y el teléfono inteligente o smartphone ha modificado la
forma en la que se recoge y se trata la información estadística y ha ampliado
el abanico de herramientas y técnicas disponibles para ello (Couper, 2005;
2017). Así, por ejemplo, la aplicación de la tecnología informática a los modos
de administración heteroadministrados, es decir, aquellos que cuentan con la
figura de la entrevistadora, permitió automatizar el proceso de recogida de
datos reduciendo significativamente los errores de tratamiento, así como el
tiempo y los costes asociados con esta tarea. Las técnicas de encuesta asistida
por ordenador (Computer Assisted Interviewing) se aplicaron primero en el
ámbito de la encuesta telefónica (CATI) y más tarde en la encuesta presencial
(CAPI 2), cuando la reducción en el tamaño de los ordenadores y la aparición
de dispositivos más pequeños y de menor coste, como la agenda electrónica o
la tableta, permitieron el uso generalizado en las empresas de campo y el
transporte por parte de las entrevistadoras. Algo similar ocurrió con las
encuestas autoadministradas a partir del momento en que la existencia de
redes interconectadas de ordenadores hizo posible que las propias personas
entrevistadas cumplimentaran el cuestionario y lo devolvieran a los investiga-
dores tal y como se hacía tradicionalmente en las encuestas postales (Vehovar
y Manfreda, 2017).
El desarrollo de Internet se inició a finales de los años sesenta cuando el
Departamento de Defensa de los Estados Unidos encargó la creación de una
red que conectara los ordenadores de las distintas instituciones académicas y
organismos estatales con el fin de que estos pudieran compartir sus recursos
informáticos. Esta primera red, llamada ARPANET, se presentó públicamente
en 1972. Ese mismo año se escribió el código del primer software 3, que permi-
tía enviar y recibir correos electrónicos. La red fue ampliándose y extendién-
dose a medida que se creaban las técnicas y protocolos necesarios para el
intercambio de información. En 1982 se adoptó el conjunto de protocolos
TCP/IP como el estándar para la comunicación de redes conectadas, un hito
que es considerado como el inicio de Internet. Aún habrían de pasar diez años
más antes de que los primeros navegadores, que facilitaban el uso de la red al

  Acrónimos de Computer Assisted Personal Interviewing y Computer Assisted Telephone Inter-


2

viewing, términos usuales para referirse a las encuestas telefónicas y las encuestas presenciales
asistidas por ordenador.
3
  Se emplea dicho anglicismo, presente en el diccionario de la RAE, para referirse al «con-
junto de programas, instrucciones y reglas informáticas para ejecutar ciertas tareas en una com-
putadora».
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 15

público no experto, terminaran de sentar las bases para la expansión de la


World Wide Web en el mundo (Bethlehem y Biffignandi, 2012).
Tal y como había sucedido en el pasado con el teléfono y los ordenadores,
el ámbito de la investigación mediante encuestas trató de aprovechar desde
muy temprano las ventajas que llevaba aparejada esta nueva tecnología. Las
primeras encuestas que empleaban la Red como medio de distribución del
cuestionario fueron las encuestas por correo electrónico o EMS (Electronic
Mail Surveys) a mediados de los años ochenta del siglo pasado. En estas
encuestas el cuestionario, que podía consistir en un fichero de software o en
un documento de texto, era adjuntado a un mensaje de correo electrónico que
se dirigía al destinatario con el ruego de que lo devolviera cumplimentado.
Estos primeros cuestionarios electrónicos eran muy sencillos y no disponían
aún de las principales ventajas que proporciona la entrevista asistida por
ordenador, como la automatización de saltos y filtros o el control de errores e
inconsistencias en las respuestas (Bosch y Torrente, 1993; Bethlehem y Biffig-
nandi, 2012; Callegaro, Lozar Manfreda y Vehovar, 2015).
Además de la encuesta por correo electrónico, en esos primeros momentos
del desarrollo de Internet, se diseñaron herramientas informáticas que facili-
taran a los miembros de los paneles existentes la cumplimentación y el envío
de sus respuestas desde el ordenador personal a través de la línea telefónica
con la ayuda de un módem. Los telepaneles, como se denominó a esta técnica,
son otro de los antecedentes de la encuesta web y uno de sus ejemplos más
conocidos es el que puso en marcha la Universidad de Ámsterdam en 1986
(Saris, 1998), que daría lugar más tarde al panel LISS (Longitudinal Internet
Studies for the Social Sciences), el primer panel online de tipo probabilístico
diseñado con fines académicos (Callegaro et al., 2014; Callegaro, Lozar Man-
freda y Vehovar, 2015).
A partir de mediados de los años noventa, con la aparición de los primeros
navegadores, y de 2000, con la introducción de la web 2.0, se amplían las venta-
jas de Internet como modo de administración de encuestas, ya que el nuevo len-
guaje permite programar formularios complejos y recopilar los datos en el
servidor de forma simultánea a la cumplimentación de la encuesta (Bethlehem
y Biffignandi, 2012). Las encuestas web van ganando en dinamismo e interacti-
vidad de forma que, en la actualidad, estas proporcionan el mismo grado de
control sobre el proceso de respuesta que el resto de las herramientas de entre-
vista asistida por ordenador (control del flujo de la entrevista, filtro de pregun-
tas, controles de validez de las respuestas, etc.). Este hecho ha contribuido a
que la encuesta web se haya convertido en la técnica online dominante en la
actualidad, haciendo que el uso de herramientas previas, como la encuesta por
correo electrónico, y otras como las aplicaciones de encuestas basadas en el
cliente, cuyo antecedente es el telepanel, tenga un carácter muy limitado. Y
explica también el rápido crecimiento de la encuesta web en los últimos veinte
años a medida que el uso de Internet se iba generalizando entre la población.
16 CUADERNOS METODOLÓGICOS 59

Precisamente, uno de los rasgos que apunta a lo relativamente reciente del


desarrollo de este modo de administración es la multitud de términos que
existen para referirse a él. Encuestas web, encuestas online, encuestas por
Internet, encuestas electrónicas, encuestas digitales, e-encuestas o el acró-
nimo CAWI (Computer-assisted web interviewing), con un uso más especiali-
zado, son algunos de los términos que se emplean habitualmente para referirse
a este modo de administración de encuestas.
Sin embargo, aunque a menudo se utilicen como sinónimos, estos térmi-
nos no significan lo mismo ni definen con la misma precisión a la encuesta
web, que, como se ha mencionado, es la herramienta que ha terminado impo-
niéndose en este ámbito.

Figura I.1.
Encuestas online, encuestas por Internet y encuestas web

Encuestas online

Encuestas por Internet

Encuesta
Encuesta web
por correo electrónico

Fuente: Vehovar y Manfreda, 2017.

La figura I.1 muestra de manera gráfica las diferencias que existen entre los
tres términos que se emplean con más frecuencia para referirse a este tipo de
encuestas. En rigor, los términos «encuesta por Internet» y «encuesta online»
aluden a un conjunto de técnicas más amplio que la encuesta web. Así, las
encuestas por Internet incluirían, además de estas, las encuestas que se realizan
por correo electrónico, que emplean esta misma Red (Internet) para hacer llegar
un cuestionario electrónico a las personas que forman parte de la muestra. Por
su parte, la encuesta online se refiere no solo a las encuestas por Internet sino
también a todas aquellas encuestas electrónicas que se comparten a través de
redes de comunicación alternativas, como la red de telefonía móvil en el caso de
las encuestas realizadas a través de SMS 4 (Vehovar y Manfreda, 2017).

  Las encuestas por SMS son aquellas en las que las preguntas y las respuestas a estas se
4

envían a través de este sistema. Este término no incluye, por tanto, a aquellas encuestas en las que
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 17

Si bien muchos de los contenidos y recomendaciones que se dan en este


manual son aplicables a otro tipo de encuestas y cuestionarios asistidos por
ordenador, este trabajo se enfoca específicamente en la encuesta web definida
como el «modo de administración de encuestas que emplea cuestionarios
informáticos auto-administrados, alojados en un servidor web conectado a
Internet, al que los respondientes acceden a través de un navegador web»
(Callegaro, Lozar Manfreda y Vehovar, 2015, p. 5).
Este es el término que empleamos de manera preferente a lo largo de este
trabajo junto con el acrónimo CAWI, en aquellos contextos en los que se com-
para este con otros modos de encuesta asistida por ordenador, como la
encuesta presencial (CAPI) o la encuesta telefónica (CATI).
En lo que se refiere a las características definitorias de este modo de admi-
nistración de encuestas, Mick Couper destaca las siguientes cinco, que se
desarrollan con más profundidad a lo largo del manual:

1. Son autoadministradas, no se cuenta con la presencia de una persona


(encuestadora) que ayude y oriente a quien responde al cuestionario
acerca de cómo llevar a cabo esta tarea.
2. Están informatizadas, lo que implica que, al igual que en otros modos
de entrevista asistidos por ordenador, el diseño del cuestionario se
puede beneficiar de todas las ventajas asociadas a esta tecnología.
3. Son interactivas. A pesar de la inexistencia de la figura del entrevista-
dor, la encuesta web implica una relación activa y dinámica entre la per-
sona que responde a la entrevista y la herramienta empleada en la
encuesta.
4. Son distribuidas, en el sentido en que las herramientas empleadas en el
proceso de realización de una encuesta web son a menudo propiedad de
quien responde a la encuesta (dispositivo y software empleado, conexión
a la Red, etc.).
5. Son herramientas que proporcionan una gran riqueza audiovisual. La
encuesta web permite la incorporación de imágenes, audios y vídeos
que enriquecen significativamente el abanico de posibilidades a emplear
en una encuesta (Couper, 2008, pp. 27-34).

1.2.  Usos y aplicaciones

A las características mencionadas en el epígrafe anterior, en la introducción


al número monográfico que la revista Public Opinion Quarterly dedicó a la
encuesta web en 2008, Couper añade su gran diversidad: «Al contrario que

los SMS se emplean para invitar a las personas seleccionadas en la muestra a responder a una
encuesta web a la que acceden mediante un link proporcionado en el mensaje.
18 CUADERNOS METODOLÓGICOS 59

otros modos de administración de encuestas, donde el método nos dice algo


tanto sobre el proceso de muestreo como sobre el modo de recogida de los
datos, el término “Encuesta Web” es demasiado amplio como para proporcio-
narnos información útil de la forma en que el estudio se ha llevado a cabo»
(Couper y Miller, 2008).
Efectivamente, hoy por hoy la encuesta web es un modo que plantea pocos
obstáculos de entrada ya que no requiere de inversiones costosas en equipa-
miento tecnológico ni la contratación y gestión de personal de campo. Asi-
mismo, el desarrollo de herramientas y plataformas de programación y
gestión de encuestas web ha reducido significativamente el nivel del conoci-
miento informático y técnico necesario para poner en marcha una encuesta
de este tipo. Estas facilidades explican el importante crecimiento que ha
tenido la técnica en los últimos años y el gran número de ámbitos distintos en
los que se aplica este recurso para obtener información. En su manual sobre
encuestas web, Callegaro y otros señalan ocho grandes áreas en las que actual-
mente se aplica la encuesta web de forma habitual (Callegaro, Lozar Man-
freda y Vehovar, 2015, pp. 25-31).
El primero de estos ámbitos, al que la encuesta web se adecúa particular-
mente bien, es la obtención de información sobre poblaciones con una alta
cobertura de Internet y en las que la información de contacto con cada uno
de sus miembros es fácilmente accesible. Un ejemplo de este tipo de encuestas
web son las encuestas realizadas en organizaciones (empresas, universidades,
asociaciones profesionales, etc.) que cuentan con listados de sus trabajadores
o miembros que permiten extraer una muestra de tipo probabilístico
(encuesta) o bien enviar una invitación a cumplimentar el cuestionario a la
totalidad de estos (censo).
Otro ejemplo de encuestas web dirigidas a poblaciones con una alta
cobertura de Internet son las encuestas de satisfacción de clientes/usua-
rios. Se trata de encuestas, realizadas por las empresas e instituciones entre
sus clientes o usuarios, que tienen el objetivo de valorar su satisfacción con
productos o servicios recientemente adquiridos o de evaluar de manera
más general la imagen, los valores y la calidad ofrecida por la organización.
En general, estas encuestas parten de un cuestionario estándar que la
empresa u organización envía de forma sistemática (p. ej., siempre que un
cliente compra o contrata un determinado servicio) o con cierta periodici-
dad (p. ej., encuesta anual a todos los usuarios de determinado servicio en
el último año) a partir de los datos recogidos en su base de datos de clientes
o usuarios. Si bien los casos más conocidos de este tipo de encuestas son las
que se llevan a cabo en el sector privado, también encontramos muchos
ejemplos de encuestas de satisfacción llevadas a cabo por las Administra-
ciones públicas (p. ej., encuestas de satisfacción de usuarios de los servicios
de salud, encuestas de satisfacción de los usuarios de bibliotecas universi-
tarias, etc.).
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 19

Un tercer campo de aplicación de la encuesta web, más prometedor cuanto


más generalizado sea el uso de Internet en la población, son las encuestas
dirigidas a población general. Hoy por hoy, sin embargo, la encuesta web
presenta aún ciertas limitaciones para obtener por sí misma muestras repre-
sentativas de la población general. Aún existe una parte importante de la
población que no usa Internet y, por tanto, no resulta accesible por este medio.
La falta de cobertura es uno de los problemas que más suele afectar a los
resultados de una encuesta, ya que implica no efectuar la medición en una
parte de la población, en este caso aquella que no tiene acceso a Internet. La
importancia real de esta fuente de error viene dada por dos factores: por un
lado, la magnitud del grupo de población que queda excluida del marco, y, por
otro, la existencia de diferencias significativas entre esta y la población cubierta
en las variables de interés para la investigación (Groves et al., 2009). Así, por
ejemplo, en el caso de España, el porcentaje de personas que no usaban Inter-
net en 2017 era del 56,3% entre las personas mayores de 65 años o del 48%
entre las personas con educación primaria. Asimismo, las viviendas sin acceso
a Internet suponían el 23,9% del total de viviendas en núcleos urbanos de
menos de 10.000 habitantes (INE, TICH-2017).
Además de este problema de cobertura, la encuesta web tiene el problema
de que no existen marcos muestrales de contacto digital directo (p. ej., lista-
dos de direcciones de correo electrónico) que permitan seleccionar muestras
probabilísticas de los usuarios de Internet cuando se trata de la población
general. Para superar estas limitaciones, que presenta la encuesta web para el
abordaje de la población general, se está recurriendo al uso de paneles, mues-
tras prerreclutadas de la población para que participe en encuestas periódicas
y diseños de encuesta basados en modos mixtos de administración. En este
tipo de diseños mixtos, la encuesta web se utiliza como modo principal o auxi-
liar de recogida de información junto con otros modos de administración (de-
Leeuw, 2005; de-Leeuw y Hox, 2011). El más habitual entre este tipo de
diseños consiste en enviar una carta por correo postal a una muestra nominal,
extraída de una fuente como el censo o el padrón de habitantes, invitándoles
a contestar un cuestionario al que pueden acceder a través de Internet intro-
duciendo una clave de identificación (entre otros, Dillman et al., 2014; Millar
y Dillman, 2011; Messer y Dillman, 2011; Hansen et al., 2012; Messer et al.,
2012), o bien optar por fórmulas alternativas como la encuesta postal o tele-
fónica. Este tipo de diseño, en el que la encuesta web se ofrece como una de
las opciones posibles para cumplimentar un cuestionario, se emplea ya de
manera habitual en muchas de las encuestas de cierta entidad que se realizan
en nuestro país. Así, por ejemplo, muchas de las operaciones estadísticas que
realiza el Instituto Nacional de Estadística (INE), dirigidas tanto a hogares
como a establecimientos, ofrecen esta posibilidad a las personas encuestadas
a través de su portal para la cumplimentación de encuestas por Internet
(https://iria.ine.es).
20 CUADERNOS METODOLÓGICOS 59

Precisamente, las encuestas de empresas o establecimientos, cuyo obje-


tivo es la obtención de información de tipo fáctico (facturación, número de
empleados, fórmulas de contratación, etc.) acerca del conjunto de las empre-
sas o establecimientos que operan en un determinado sector de actividad, es
otro de los ámbitos en los que la encuesta web se ha desarrollado con fuerza.
En la mayoría de los casos, se trata de operaciones que las agencias estadísti-
cas venían realizando recurriendo a modos clásicos, como la encuesta postal
o la telefónica, y que han pasado a hacerlo a través de la web. Algunos ejem-
plos de operaciones en las que ha ocurrido esto en España son la Encuesta
anual de coste laboral, la Encuesta de ocupación en alojamientos turísticos o
los Indicadores de actividad del sector servicios, entre otras estadísticas que
produce el INE. Además de facilitar la recogida de información, la encuesta
web se adapta particularmente bien a este tipo de encuestas porque facilita el
acceso al cuestionario y su cumplimentación por parte de varias personas
(p. ej., el responsable de recursos humanos para los datos de personal, el res-
ponsable de administración para los datos de facturación, etc.).
Como hemos señalado, uno de los obstáculos principales a los que se
enfrenta la encuesta web es la inexistencia en muchos casos de listados de
contacto que puedan ser empleados como marcos para seleccionar las mues-
tras de las encuestas. Para hacer frente a esta limitación se crearon los pane-
les online, «bases de datos de encuestados potenciales que se declaran
dispuestos a cooperar en encuestas futuras si son seleccionados para ello»
(Callegaro, Lozar Manfreda y Vehovar, 2015, p. 3). Las encuestas web que
emplean alguno de estos paneles como marco muestral son las más frecuentes
en la actualidad en el ámbito de la investigación comercial.
Existen dos tipos principales de paneles online: probabilísticos y no proba-
bilísticos. Los paneles probabilísticos son reclutados empleando modos de
administración que permiten seguir procedimientos de muestreo de tipo pro-
babilístico como la encuesta postal, telefónica o presencial, y corrigen el pro-
blema de cobertura de los hogares sin acceso a Internet proporcionando los
dispositivos y el conocimiento básico para que puedan acceder a esta tecnolo-
gía o bien empleando un modo alternativo para entrevistarlos (Callegaro et
al., 2014). Estos paneles se están desarrollando con fuerza en los últimos años
y existen importantes ejemplos tanto en el ámbito internacional (el Innova-
tion Panel en el Reino Unido, el LISS en Holanda, el ELIPSS en Francia, el
German Internet Panel en Alemania o el American Trends Panel en EE. UU.)
como en España (el Panel ciudadano para la investigación social, PACIS,
desarrollado por el IESA/CSIC, y el panel E-MOP, de la empresa IMOP). Sin
embargo, se trata de instrumentos costosos y caros de poner en marcha y
mantener, por lo que su uso suele estar restringido en muchos casos al ámbito
académico.
En el sector de la investigación comercial, por el contrario, se recurre más al
uso de paneles online no probabilísticos, denominados también comunidades
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 21

online, paneles voluntarios, autoseleccionados o de acceso. Estos paneles están


formados por personas, reclutadas o bien sin ningún tipo de restricción (se per-
mite el autorregistro, p. ej., SONDEA INTERNET) o mediante invitación previa
o captación activa (no se permite el autorregistro, p. ej., NETQUEST), que
voluntariamente se dan de alta para participar en las encuestas que les sean
enviadas a cambio de un incentivo (los más habituales son los puntos canjea-
bles por regalos). Las encuestas que se basan en este tipo de paneles no son pro-
babilísticas, si bien tratan de garantizar la representatividad de sus resultados
haciendo que la muestra seleccionada se parezca a la población en determina-
dos parámetros, que son controlados en el momento de selección de la muestra
(estratificación) o, a posteriori, aplicando técnicas de ponderación de datos
(postestratificación) (Callegaro, Lozar Manfreda y Vehovar, 2015, p. 29) 5.
Otro ámbito de aplicación de la encuesta web es aquel que tiene que ver
con el estudio de aquellos grupos o poblaciones que se conforman como tal
precisamente por su uso de Internet. Este sería el caso de las encuestas web
dirigidas a miembros de comunidades online, grupos de personas con obje-
tivos o intereses comunes que utilizan la red para conectarse e intercambiar
información, o a los usuarios de una página o servicio concreto con el fin de
que estos hagan una evaluación del sitio.
Por último, mencionar las consultas, votaciones y cuestionarios que los
medios de comunicación hacen a su audiencia solicitando que responda a
alguna pregunta o vote entre varias opciones como un ámbito de aplicación
de la encuesta web muy frecuente y que termina afectando a la idea que el
gran público tiene de esta técnica. Es necesario advertir aquí, sin embargo,
que estas consultas carecen de los controles y requisitos que le son exigibles a
una encuesta que pretenda obtener datos representativos de la realidad que
está midiendo. Estas consultas, por tanto, no son encuestas, aunque tengan el
mismo formato y empleen las mismas herramientas de programación de
cuestionarios web.

1.3.  Usuarios y tipos de encuestas web

Hemos visto en el epígrafe anterior que la encuesta web se aplica a un gran


número de ámbitos y en respuesta a necesidades de información que difieren
mucho en cuanto a los requisitos de control del proceso y de la calidad que sus

5
 El cumplimiento de la norma ISO 26362 garantiza unos estándares mínimos de calidad
para este tipo de paneles. Asimismo, la Sociedad Europea de Opinión e Investigación de Merca-
dos (ESOMAR) dispone de la guía ESOMAR 28, en la que se plantean veintiocho preguntas y res-
puestas para ayudar al investigador que se plantea adquirir muestras de este tipo. Es de destacar
el papel de las asociaciones sectoriales AEDEMO y ANEIMO, que han contribuido activamente al
desarrollo y aplicación de estos estándares en nuestro país.
22 CUADERNOS METODOLÓGICOS 59

usuarios exigen a los resultados obtenidos con esta técnica. En este sentido, no
se le pide lo mismo a las «encuestas diarias» que llevan a cabo los medios de
comunicación que a las encuestas que tienen como objetivo producir estadís-
ticas oficiales. Esta diferencia en cuanto a las garantías y requisitos de calidad
exigidos a la técnica es la principal razón por la que la encuesta web se emplea
de manera más intensiva en segmentos como los medios de comunicación o
las empresas de investigación comercial que en ámbitos como la investigación
académica o la estadística oficial, en los que la adopción de la encuesta web se
está produciendo más lentamente. Asimismo, las diferencias en cuanto a las
prestaciones que los distintos tipos de usuarios requieren de esta técnica han
terminado configurando diseños de investigación basados en encuestas web
que difieren mucho entre sí. A continuación, caracterizamos estos tipos aten-
diendo a una doble clasificación: en función del tipo de muestreo empleado en
cada caso y en función de si la encuesta web se emplea como modo único o en
combinación con otros modos de administración de encuestas.
Como ocurre con cualquier encuesta con independencia del modo de
administración empleado en la recogida de los datos, el diseño de la muestra
y el procedimiento empleado para seleccionarla son uno de los principales
indicadores de la calidad de sus resultados. Solo los resultados de las encues-
tas cuyas muestras son seleccionadas mediante procedimientos de tipo proba-
bilístico permiten efectuar inferencias sobre el conjunto de la población
(Groves et al., 2009). En la mayoría de los casos, este tipo de muestreo requiere
de la existencia de un listado previo, también denominado marco muestral,
que identifique a toda la población, y que es el que se utiliza para seleccionar
previamente, mediante un procedimiento aleatorio, a los elementos de la
población a los que se invitará a participar en la encuesta (Callegaro, Lozar
Manfreda y Vehovar, 2015, p. 8).

Tabla I.1.
Tipos de encuesta web atendiendo a sus características muestrales principales

Muestreo probabilístico Muestreo no probabilístico


+
— Encuestas probabilísticas a — Encuestas web con listas incom-
poblaciones de internautas pletas de la población objetivo
Encuestas
— Encuestas web probabilísti- — Encuestas web basadas en listas
con listados
cas de la población general autoseleccionadas
— Paneles online probabilísticos — Paneles online no probabilísticos

Encuestas — 
Encuestas web probabilísti- — Encuestas web sin restricciones
sin listados cas de intercepción (autoseleccionadas)

Fuente: Callegaro, Lozar Manfreda y Vehovar, 2015, p. 8.


INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 23

La tabla I.1 clasifica los distintos tipos de encuestas web en función de


estas dos características, lo que permite ordenarlos en función del nivel de
representatividad que cabe esperar de sus resultados. El tipo de encuesta que
obtendría datos más representativos de la población es la encuesta web diri-
gida a poblaciones usuarias de Internet cuya muestra ha sido seleccionada a
partir de un listado de las unidades que forman parte de la población mediante
un procedimiento probabilístico (p. ej., encuestas a miembros de colectivos
universitarios, empleados, clientes, miembros registrados de comunidades
online, etc.). En segundo lugar, estarían aquellas encuestas y paneles online
dirigidos a la población general en los que la selección de la muestra se ha
efectuado a partir de listados de la población (p. ej., Padrón Continuo de Habi-
tantes, Registro de viviendas, RDD, etc.) y la invitación a participar en la
encuesta o a inscribirse en el panel se ha llevado a cabo por un medio distinto
a Internet (encuesta presencial, postal o telefónica). Si no emplean algún
modo complementario para encuestar a la parte de población que no dispone
de Internet (también denominada población offline), estos tipos de encuesta
pueden presentar sesgos de cobertura, más graves cuanto mayor sea el tamaño
del segmento no cubierto. Por este motivo, estarían situadas por detrás de las
anteriores, que tienen una cobertura completa de la población. También es
posible, aunque mucho menos frecuente, encontrar encuestas web en las que
se sigue un procedimiento probabilístico para seleccionar entre los visitantes
a una determinada página a aquellos que serán invitados a participar en la
encuesta. Son las denominadas encuestas web de intercepción en las que la
invitación a participar en la encuesta se activa aleatoriamente con el fin de
obtener una muestra representativa de la población objetivo, que en este caso
serían los visitantes de esa/s determinada/s página/s.
Entre las encuestas web de tipo no probabilístico se encuentran aquellas
que utilizan un listado que no es exhaustivo de la población, por lo que incum-
plen una de las reglas básicas del muestreo probabilístico por la que todas las
unidades de la población deben tener una probabilidad mayor que cero de ser
seleccionadas para formar parte de la muestra de la encuesta. También entran
dentro de este grupo las encuestas web que se basan en listados de contactos
y en paneles autoseleccionados, en los que la inscripción es voluntaria o la
selección se realiza mediante procedimientos no probabilísticos (inscripción
libre o invitación por cuotas). Si bien estos tipos de encuesta no son probabi-
lísticos, el hecho de contar con un listado previo permite a los investigadores
tratar de controlar parte de las características de la muestra seleccionada, por
ejemplo, estableciendo cuotas que ajusten la distribución de la muestra por
sexo, edad o por otras características consideradas relevantes para el objeto
de estudio. Esta característica la diferencia de las encuestas web sin restric-
ciones, que se situarían en el extremo opuesto del continuo, ya que carecen de
todo tipo de controles respecto a quién y cómo participa en ellas, por lo que el
nivel de representatividad que podemos esperar de sus datos es muy bajo.
24 CUADERNOS METODOLÓGICOS 59

La tipología anterior es aplicable a las encuestas web tanto cuando se


emplean como modo único como cuando complementan a otros en una
encuesta cuyo diseño esté basado en modos mixtos de administración. Como
hemos señalado en el epígrafe dedicado a los usos de la encuesta web, la com-
binación de distintos modos de administración es bastante habitual, particu-
larmente en el ámbito de la investigación académica y la estadística oficial,
que, en general, suelen trabajar con muestras de población general y requie-
ren niveles altos de calidad y control del proceso. En algunos casos, como en
el de los paneles y encuestas probabilísticas de la población general, la
encuesta web es el modo de administración principal y se emplea un modo
alternativo (generalmente la encuesta postal y la encuesta telefónica) para
acceder a la población offline o para incrementar las tasas de respuesta de la
población online (de-Leeuw y Hox, 2011). En otros, como en los ejemplos
mencionados de las encuestas a establecimientos del INE, la encuesta web se
ofrece como modo complementario al que venía empleándose tradicional-
mente (p. ej., cuestionario autoadministrado postal o encuesta telefónica),
aunque a menudo termina convirtiéndose en el modo principal por las venta-
jas que proporciona tanto para quien lleva a cabo la encuesta como para quien
la responde.
La figura I.2 muestra las distintas fases en el proceso de una encuesta en
las que la encuesta web puede combinarse con otros modos dando lugar a dis-
tintos sistemas de encuesta basados en modos mixtos. El modo online puede
emplearse de forma auxiliar en las fases previa y posterior al trabajo de campo,
como medio de contacto con los hogares seleccionados para formar parte de
la muestra de la encuesta para notificarles que han sido elegidos para partici-
par en una encuesta o, al final del proceso, para agradecer la participación en
la encuesta y, en su caso, hacer llegar el incentivo a la respuesta. Este sería el
caso, por ejemplo, de una encuesta presencial en establecimientos en la que se
notifica por correo electrónico la próxima visita de las personas que tomarán
los datos. De la misma forma, el correo electrónico es a veces el modo elegido
para ponerse en contacto con las personas encuestadas por teléfono o presen-
cialmente para agradecerles su participación en la misma y hacerles llegar un
resumen de los resultados de la investigación o los bonos regalo que a menudo
se emplean como incentivo a la participación. Igualmente, el correo postal o
el contacto telefónico pueden emplearse para comunicarse con los hogares
seleccionados para responder a una encuesta cuyo modo principal sea la
encuesta web, como sucede muy a menudo en el caso de las encuestas web y
los paneles online de tipo probabilístico en los que la selección de la muestra
se realiza a partir de un listado exhaustivo de la población.
Los casos en los que la combinación de modos se produce fuera del
momento de recogida de los datos se denominan «contacto multimodo», para
diferenciarlos de las encuestas basadas en modos mixtos en las que la combi-
nación de modos se produce en la fase de respuesta o medida, es decir, en la
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 25

Figura I.2.
Sistemas vs. encuestas basadas en modos mixtos

Fuente: Callegaro, Lozar Manfreda y Vehovar, 2015; De Leeuw, 2005.

fase de recogida de los datos (Callegaro, Lozar Manfreda y Vehovar, 2015, pp.
37-40). La combinación en los modos de recogida de datos puede hacerse de
manera simultánea o secuencial (Toepoel, 2015, p. 95). En el primero de los
casos, la misma encuesta es respondida por distintos segmentos de la muestra
a través de medios distintos (presencial, telefónica, online), ya sea porque se
les ofrece la posibilidad de elegir su modo preferido o porque los responsables
de la investigación asignan modos diferentes para llegar a los distintos perfiles
(p. ej., CAWI para jóvenes y adultos, CATI para personas mayores). En el caso
de la aplicación secuencial, los distintos modos se administran uno después del
otro con el objetivo de incrementar la tasa de respuesta optimizando los cos-
tes totales de la investigación (Bethlehem y Biffignandi, 2012, p. 239).
Muchos de los ejemplos de aplicación de la encuesta web que hemos des-
crito en el epígrafe anterior responden a diseños de este tipo. Así, por ejemplo,
en el caso de las encuestas web y paneles online de tipo probabilístico, es
26 CUADERNOS METODOLÓGICOS 59

habitual combinar el CAWI para encuestar a la población que es usuaria de


Internet (población online) con el CATI o la encuesta postal para llegar a los
no usuarios de Internet (población offline) (figura I.2, tipo 1 concurrente). Asi-
mismo, es bastante habitual recurrir al CATI para incrementar las tasas de
respuesta obtenidas con el CAWI cuando en los listados de contacto dispone-
mos también del teléfono de las personas seleccionadas en la muestra (figura
I.2, tipo 1 secuencial). La encuesta web también puede emplearse como modo
auxiliar para la cumplimentación de determinadas partes de una encuesta por
motivos de privacidad o de costes (figura I.2, tipo 2). Es el caso de una encuesta
en la que se deriva a responder en la web aquellas partes del cuestionario que
versan sobre temas especialmente sensibles o que complementan el cuestio-
nario principal con una recogida de datos complementarios a través de la web
(p. ej., diarios de actividades, tiques de compra, etc.). Otro tipo de diseño en el
que se combina el uso de la encuesta web con otros modos de manera secuen-
cial son las encuestas y paneles longitudinales (figura I.2, tipo 3). Dado el
mayor grado de compromiso que requiere por parte de la persona entrevis-
tada participar en una operación de este tipo, es habitual que el primer con-
tacto se lleve a cabo de manera presencial o telefónica, empleando la encuesta
online en las sucesivas oleadas. Por último, en encuestas multinacionales es
también habitual combinar el uso de la encuesta web en aquellos países en los
que el número de usuarios de Internet es muy alto con modos como la encuesta
telefónica o la encuesta presencial en los países con baja penetración de Inter-
net (figura I.2, tipo 4).
La combinación de distintos modos de administración en la fase de reco-
gida de datos de una misma encuesta es un elemento que introduce mucha
complejidad y requiere de un cuidadoso análisis metodológico tanto en la fase
de diseño de la muestra y del cuestionario como en la ejecución del trabajo de
campo. Asimismo, el uso de distintos modos y marcos muestrales requiere a
menudo la aplicación de ponderaciones antes de proceder al análisis de los
datos. Las distintas implicaciones que conlleva la elección de un diseño de
encuesta basado en modos mixtos de administración se detallan en el próximo
capítulo, dedicado a la planificación de una encuesta web.

1.4.  Ventajas e inconvenientes de la encuesta web

Callegaro y otros hacen un repaso sistemático de las principales característi-


cas de las encuestas web y las ventajas e inconvenientes que se derivan de
cada una de ellas (Callegaro, Lozar Manfreda y Vehovar, 2015, pp. 18-25).
Según estos autores, una de las principales ventajas es su reducido coste en
comparación con las encuestas basadas en modos de administración heteroad-
ministrados, en los que la partida del personal de campo encarece considera-
blemente la factura total de la encuesta, e incluso con la encuesta postal, cuya
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 27

implementación conlleva determinados costes como la impresión de cuestio-


narios y sobres, el franqueo o la grabación de los datos, de los que la encuesta
web carece. En el caso de la encuesta web, los costes variables de la recogida
de datos, aquellos en los que se incurre con cada una de las entrevistas reali-
zadas, son normalmente muy bajos. Así, una vez cubiertos los costes fijos de
la investigación (costes del alojamiento web, programación, software, etc.),
similares a los de otros modos de administración, el número de entrevistas
realizadas tiene un impacto muy bajo sobre el coste global de la investigación.
Por ejemplo, en el caso de una encuesta web en que la invitación a participar
en ella se lleve a cabo por e-mail o a través de un banner colocado en una
página web, el coste unitario de cada una de las entrevistas de la muestra sería
el resultado de dividir los costes fijos de la encuesta entre el total de unidades
de la muestra, ya que en este caso los costes variables serían cero. Sin embargo,
el bajo coste de la encuesta online no es lineal ni se produce con todos los tipos
de encuesta. Cuando no disponemos de un marco adecuado de la población o
cuando queremos maximizar las tasas de respuesta, a través del uso de incen-
tivos económicos, múltiples recuerdos y el uso de modos alternativos, los cos-
tes se disparan acercándose mucho a los de otros modos como la encuesta
postal o la encuesta telefónica. Por este motivo, el coste no debe valorarse de
manera aislada, como sucede con demasiada frecuencia en el ámbito de la
investigación mediante encuestas, sino en relación con la calidad de los resul-
tados obtenidos.
Una segunda ventaja de la encuesta web está relacionada con la rapidez
en el proceso de recogida de datos, si bien esta característica también
depende mucho del tipo de diseño de encuesta web elegido, como se ha men-
cionado. Cuando el modo de contacto con los potenciales entrevistados se
lleva a cabo también por Internet (invitación por e-mail o banner), las encues-
tas web son sensiblemente más rápidas que otros modos de administración.
Ahorran tiempo a los investigadores ya que la mayoría de las respuestas se
obtienen en un plazo corto tras el envío de la invitación, Ilieva et al. (2002) lo
cuantifican en cinco o seis días, y a quienes responden a la encuesta, ya que
la automatización del cuestionario y la simultaneidad del envío disminuyen la
carga de la persona entrevistada. Al igual que ocurre en el caso de los costes,
la rapidez en la recogida de los datos no debe ser un fin en sí mismo, sino que
debe valorarse de manera conjunta con otros elementos importantes de la
calidad de los datos, en particular con las tasas de respuesta obtenidas. En
este sentido, una encuesta web cuyo diseño incorpore una estrategia de
recuerdos que maximice la respuesta puede resultar más lenta que una
encuesta telefónica que obtenga tasas de respuesta similares.
La tercera ventaja es la facilidad de implementar una encuesta web. Si
bien al principio del desarrollo de Internet llevar a cabo una encuesta web
requería un nivel alto de conocimiento informático y de programación, con los
años han ido apareciendo programas informáticos y plataformas que han
28 CUADERNOS METODOLÓGICOS 59

hecho posible que cualquier usuario medio pueda programar y llevar a cabo su
propia encuesta web. Este hecho, unido a la facilidad de acceso a los potencia-
les entrevistados y que no es necesario contar con personal ni costosas infraes-
tructuras como en el caso de la encuesta telefónica o la encuesta presencial,
dota a la encuesta web de una clara ventaja competitiva respecto a otros modos
y ha abierto el campo de la investigación a actores que previamente tenían que
contar con profesionales o empresas especializados en encuestas. Callegaro y
otros se refieren a estos usuarios como el segmento «Hágalo usted mismo» (Do
it yourself) del mercado de las encuestas web. Sin embargo, esta facilidad de
uso de la herramienta no debe conllevar una relajación en los requisitos y con-
troles de calidad de una encuesta (presentados a lo largo de este manual) ni en
las precauciones relacionadas con la protección y confidencialidad de los datos
obtenidos (tratados en profundidad en el epígrafe 2.6).
El siguiente conjunto de ventajas tiene que ver con la informatización del
cuestionario, muchas de ellas compartidas con las versiones asistidas por
ordenador de la encuesta telefónica (CATI) y la encuesta presencial (CAPI).
Esta característica reduce significativamente los errores de medida (p. ej., un
error de transcripción) y de no respuesta (p. ej., un error de filtro), facilitando
la experiencia de respuesta del cuestionario por parte del respondiente ya que
permite implementar controles de flujo de la entrevista (saltos, filtros, etc.) y
de coherencia en las respuestas que actúan de forma simultánea a la cumpli-
mentación del cuestionario. La automatización del cuestionario permite, ade-
más, la incorporación de distintos mecanismos para contrarrestar problemas
metodológicos que afectan a las encuestas, como la no respuesta parcial (es
posible programar alertas que indiquen que se ha quedado alguna pregunta
sin responder), los efectos de orden sobre la respuesta (aleatorizando el orden
de presentación de las categorías de respuesta) o determinadas limitaciones de
las personas que forman parte de la muestra (p. ej., aumentando el tamaño
de letra o incluyendo ayudas en audio para aquellas personas con dificultades
visuales). Muy relacionada con esta característica está también la posibilidad
de incluir elementos multimedia en el cuestionario, lo que hace posible
incorporar estímulos orales y visuales y diseños visuales alternativos de las
preguntas. Sin embargo, para que esta potencialidad pueda aprovecharse al
máximo es necesario que los cuestionarios hayan sido diseñados cuidadosa-
mente de forma que sean amigables para las personas que contestan la
encuesta, que no tengan errores de programación y que sigan los principios
metodológicos básicos de diseño de cuestionarios. Asimismo, muchas de las
características relacionadas con la posibilidad de añadir elementos multime-
dia en el cuestionario pueden estar condicionadas por las características de
los dispositivos empleados por quienes responden a la encuesta. En general,
cuanto más complejo sea un cuestionario en cuanto a la programación (filtros
o saltos usando scripts) o los elementos que lo conforman (imágenes o vídeos),
más cuidado hay que poner a la hora de garantizar su compatibilidad con los
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 29

distintos dispositivos y características de la conexión a Internet de la que dis-


ponen las personas entrevistadas. Muchas de las aplicaciones profesionales de
encuestas web resuelven automáticamente y de forma óptima estas cuestio-
nes, no obstante, tal y como se especifica en el capítulo dedicado al diseño del
cuestionario, es muy recomendable que se pruebe el funcionamiento del cues-
tionario en múltiples dispositivos antes de poner en marcha el trabajo de
campo de la encuesta.
Asimismo, la encuesta web proporciona una gran flexibilidad geográfica
y temporal, ya que puede ser respondida desde cualquier parte del mundo y
en cualquier momento. Este hecho, unido a su capacidad para ofrecer a golpe
de clic versiones de un mismo cuestionario en distintos idiomas, hace que esta
herramienta facilite mucho el trabajo en encuestas internacionales. Sin
embargo, esta característica también puede suponer una desventaja impor-
tante para aquellas encuestas con un ámbito territorial definido, ya que en
este modo es más complicado establecer restricciones geográficas.
Por último, un importante grupo de las ventajas asociadas con este modo
de administración tiene que ver con el hecho de que se trata de una encuesta
autoadministrada, que no requiere del concurso de una encuestadora para
recoger las respuestas. Además de la conveniencia para quien responde a la
encuesta, que puede elegir cuándo y cómo cumplimentar el cuestionario, esta
característica hace que no existan sesgos asociados con el entrevistador.
Esta característica resulta particularmente relevante en el caso de encuestas
que versan sobre temas especialmente sensibles. Se ha demostrado que en
estas encuestas la presencia del entrevistador hace que se active el sesgo de
deseabilidad social, según el cual parte de las personas entrevistadas eludirían
declarar aquellos comportamientos o actitudes que están mal vistos social-
mente (como el consumo de drogas o las actitudes racistas) y declararían
aquellos otros que son vistos como algo positivo, aunque no los hayan llevado
a cabo (como votar o donar dinero a una ONG). Hasta la fecha muchos estu-
dios han demostrado que la encuesta web contribuye a reducir el número de
respuestas socialmente deseables en temas tan diversos como el consumo de
alcohol y drogas, el aborto, la asistencia a servicios religiosos o el voto, entre
otros (Mavletova y Couper, 2013).
Pero la ausencia de una persona que guíe el proceso de la entrevista tam-
bién puede tener efectos negativos sobre la calidad de los datos recogidos. Dis-
tintas investigaciones han puesto de manifiesto que la encuesta web obtiene
tasas de no respuesta y de abandono en curso del cuestionario significativa-
mente superiores a las de las técnicas heteroadministradas. Asimismo, es más
probable que la persona que contesta el cuestionario lo haga mientras lleva a
cabo otras tareas (multi-tasking) o en condiciones que no son las idóneas para
responder a una encuesta (entornos ruidosos, presencia de terceros, etc.). Por
otro lado, algunas personas encuestadas pueden tener dificultades respon-
diendo al cuestionario como consecuencia de sus habilidades y conocimiento
30 CUADERNOS METODOLÓGICOS 59

instrumental de Internet o de sus características personales (edad, nivel de


estudios, discapacidad audiovisual, etc.). Por todos estos motivos, las encues-
tas web, al igual que otros modos autoadministrados, funcionan mal con
cuestionarios largos, siendo veinte minutos la longitud máxima recomendada
para estas encuestas (Callegaro, Lozar Manfreda y Vehovar, 2015, p. 24) y de
en torno a diez minutos la duración óptima (Revilla y Ochoa, 2017). Una sín-
tesis de todas estas razones se muestra en la tabla I.2.

Tabla I.2.
Ventajas y limitaciones de la encuesta web

Ventajas Limitaciones

No siempre, según diseño


Costes Bajo coste
Relación calidad-precio
No siempre, según diseño
Rapidez Recogida de datos veloz
Relación calidad-rapidez
Fácil de diseñar e
Facilidad de uso
implementar
Automatización de flujo de Fallos de programación
entrevista, controles de Fallos provocados por la falta de
consistencia y coherencia alfabetización informática de los
Informatización
de las respuestas entrevistados
Menor carga sobre el Incremento de abandonos si se
entrevistado implementa obligatoriedad
Posibilidad de incorporar Problemas de compatibilidad con
Multimedia
estímulos audiovisuales los equipos de los entrevistados
Encuesta activa 24 h/7 d
Sin limitación geográfica
Más difícil establecer
Flexibilidad Facilidad para acceder a
restricciones geográficas
poblaciones muy
dispersas en el territorio
Más autoselección
Más no respuesta
Más libertad para el
Sin control sobre el contexto de
entrevistado
la entrevista (presencia de
No hay sesgo del
Autoadministración terceros, condiciones,
entrevistador
multi-tasking, etc.)
Menos deseabilidad
Identidad del entrevistado y falta
social
de control sobre respuestas
conjuntas

Fuente: Elaboración propia a partir de Callegaro, Lozar Manfreda y Vehovar, 2015.


INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 31

1.5. Criterios para la elección del modo y el diseño


de encuesta web

De las múltiples ventajas que ofrece la encuesta web, las que se mencionan
más a menudo tienen que ver con que estas encuestas son más rápidas, más
sencillas y más baratas que las que se basan en los modos de administración
tradicionales (Bethlehem y Biffignandi, 2012, p. 45). Estos tres rasgos juntos
explican en buena medida el rápido crecimiento de la técnica en los últimos
años, así como su uso y aplicación en ámbitos que tradicionalmente hacían
un uso esporádico de la encuesta y en los que la calidad de los resultados no
siempre es una preocupación de primer orden.
Sin embargo, la encuesta web sigue presentando a fecha de hoy algunos
problemas que limitan su aplicación en determinados ámbitos y cuya
corrección incide negativamente sobre estas tres características. Así, por
ejemplo, la aplicación de la encuesta web al estudio de la población general
suele conllevar, como hemos visto anteriormente, la construcción de un
marco previo (en el caso de los paneles probabilísticos online) o el uso de
modos alternativos para seleccionar y contactar con los participantes poten-
ciales y encuestar a aquellos que no utilizan Internet, operaciones que enca-
recen considerablemente la encuesta, incrementan la duración del proceso
y lo hacen más complejo.
Con esto no queremos restar importancia a las ventajas que ofrece esta téc-
nica ni desincentivar su uso, sino más bien subrayar la necesidad de hacer un
balance equilibrado de sus ventajas e inconvenientes en comparación con
otros modos en función de cuáles sean nuestras necesidades concretas de
investigación. Para hacer este balance, en la elección del modo de administra-
ción de la encuesta deben tenerse en cuenta dos aspectos: su adecuación a la
pregunta de investigación y el efecto que tendrá el modo elegido sobre las
fuentes de error y los costes de la encuesta (Groves et al., 2009, p. 150).
En algunos casos, la pregunta de investigación es la que marca los límites
que priman a la hora de seleccionar el modo de administración más ade-
cuado. Así, por ejemplo, la mayoría de las encuestas preelectorales son telefó-
nicas por la necesidad de producir datos de manera rápida y acercándose lo
más posible a la fecha de la elección. Por otro lado, tiene poco sentido emplear
la encuesta web en una investigación cuyo objetivo principal consista en esti-
mar el uso de Internet y otras tecnologías. En otros casos, es la población a la
que se dirige la encuesta la que determinará cuál es la mejor forma para acce-
der a ella. Así, por ejemplo, en el caso de poblaciones que se definen en fun-
ción de su presencia en un determinado lugar (turistas en una ciudad,
pacientes de un centro de atención sanitaria, compradores en un centro
comercial…), el modo más eficiente será la encuesta presencial realizada en
los puntos en los que estas se encuentran. Por el contrario, en los casos en los
que la población de interés para la encuesta usa Internet de manera habitual
32 CUADERNOS METODOLÓGICOS 59

y se dispone de un listado que permite contactar con ella, la encuesta web será
el modo de elección.
Pero más allá de los límites que imponen los temas y la población estudia-
dos, el modo de administración y el diseño óptimo para la encuesta deben ser
aquellos que permitan obtener los datos de mejor calidad teniendo en cuenta
los recursos disponibles. Actualmente, el criterio más empleado para la eva-
luación de la calidad en este ámbito es el enfoque del error total de la encuesta
(ETE) (figura I.3). Según este enfoque, la encuesta por muestreo consistiría en
un proceso de inferencia que tiene el doble objetivo de obtener las respuestas
apropiadas (¿qué?) de los informantes adecuados (¿quién?) (Groves et al.,
2009; Font y Pasadas-del-Amo, 2016). A lo largo de este proceso pueden pro-
ducirse errores que acaben afectando a la calidad de los resultados de la
encuesta haciendo que estos se alejen de la realidad que pretendemos medir.

Figura I.3.
Fuentes de error de una encuesta

Fuente: Groves et al., 2009, p. 48.

De todas las fuentes de error, las que están más condicionadas por el modo
de administración elegido son el error de cobertura, el error muestral y el
error de no respuesta, que hacen que la muestra seleccionada y finalmente
entrevistada se diferencie de la población estudiada, y el error de medida, por
el que las respuestas de las personas entrevistadas a nuestras preguntas no
reflejan adecuadamente el hecho por el que se pregunta (Groves et al., 2009, p.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 33

163). La elección del diseño de la encuesta, en general, y del modo de admi-


nistración, en particular, debe hacerse de forma que se reduzcan al máximo
las distintas fuentes de error (que se desarrollan más ampliamente en el epí-
grafe 4.6) sin que se disparen los costes y los recursos asignados a la investi-
gación.
Ya se han señalado en el epígrafe anterior las ventajas e inconvenientes que
presenta la encuesta web en lo que se refiere a los errores relacionados con el
proceso de respuesta a las preguntas de la encuesta (error de medida). Sin
embargo, hoy por hoy las limitaciones principales de este modo tienen que ver
con sus dificultades para obtener muestras verdaderamente representativas
de la población general como consecuencia de que una parte aún impor-
tante de esta no utiliza Internet (falta de cobertura) y, por tanto, no resulta
accesible por este medio, y de que no existen marcos muestrales (p. ej., lista-
dos de direcciones de correo electrónico) que permitan seleccionar muestras
probabilísticas de los usuarios de Internet. Asimismo, la encuesta web obtiene
a menudo tasas de respuesta significativamente menores que las encuestas
con entrevistador/a (presencial y telefónica) (Bethlehem y Biffignandi, 2012).
La falta de cobertura de Internet en determinados segmentos de la pobla-
ción es una de las principales limitaciones de la encuesta web. Por otro lado,
en el caso de la encuesta web no siempre se cuenta con un marco muestral
que proporcione el listado completo de los miembros de la población sobre
el que seleccionar la muestra. Esto resulta factible cuando trabajamos con
poblaciones muy específicas de las que disponemos de un contacto digital,
como e-mail o teléfono inteligente, o un directorio auxiliar que difunda ade-
cuadamente el acceso online (p. ej., estudiantes universitarios, trabajadores
de una empresa determinada, etc.). Sin embargo, ese no suele ser el caso
cuando se trata de encuestas dirigidas a población general ya que no existen
directorios adecuados.
Como se ha comentado en el epígrafe 1.2, de aplicaciones de la encuesta
web, en estos casos se suele recurrir a diseños de tipo panel, muestras pre-
rreclutadas de las que se dispone de su dirección de contacto, o diseños
basados en modos mixtos en los que la invitación a participar en la encuesta
para los que no acceden a Internet se lleva a cabo por un medio distinto a
Internet, como un cuestionario postal o una encuesta telefónica. Por último,
la encuesta web también presenta índices elevados de no respuesta, uno de
los principales problemas a los que se enfrenta la técnica de la encuesta en
la actualidad con independencia del modo de administración empleado.
Para tratar de reducir esta fuente de error es habitual recurrir al uso de
incentivos, económicos o de otro tipo, que tienen como fin incrementar las
tasas de respuesta.
Recurrir a este tipo de diseños y estrategias más complejos mejora la cali-
dad de los resultados en lo que se refiere a la representatividad de los datos
obtenidos, pero tiene consecuencias sobre algunas de las características que
34 CUADERNOS METODOLÓGICOS 59

hemos visto que son las principales ventajas de la encuesta web, como el bajo
coste o la rapidez en el trabajo de campo. Las preguntas que recoge la tabla I.3,
pueden servir como guía para llevar a cabo el balance de las ventajas e incon-
venientes que la aplicación del modo web ofrece en relación con los objetivos
de nuestra investigación.

Tabla I.3.
Guía para la elección de la encuesta web

Las respuestas negativas incrementan considerablemente los siguientes errores

No
Muestreo Cobertura Medida
respuesta

¿Se cuenta con algún recurso y apoyo


(infraestructura, software, personal, X X X X
administración, finanzas y gestión)?
¿Son amplias las opciones técnicas de
los programas de encuestas web que X X X X
podemos usar?
¿Hay otros aspectos de la investigación
que pueden afectar negativamente en la X X X X
elección del modo web?
¿Es posible identificar unívocamente y
contactar a las unidades de la X X
población?
¿Se adecúa la encuesta web a la
población objeto de nuestra X X
investigación?
¿Se requiere una muestra/precisión de
X
tipo probabilístico?
¿El nivel de no respuesta y de no
X X
cobertura que se espera es aceptable?
¿Hay recursos suficientes para enviar
X X
invitaciones postales o solo por e-mail?
¿Se pueden implementar medidas de
aumento de las tasas de respuesta, X X
como modo mixtos?
¿El plazo disponible para la
investigación es adecuado para una X X
estrategia de recuerdos?

…/…
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 35

…/…

Las respuestas negativas incrementan considerablemente los siguientes errores

No
Muestreo Cobertura Medida
respuesta

¿Existe alguna limitación de tipo legal,


confidencialidad o privacidad para la X X
recogida de datos a través de la web?
¿Tiene la población las habilidades
necesarias para responder a un X X
cuestionario web?
¿Tiene la población suficiente
motivación para rellenar el cuestionario X X
web de manera correcta?
¿Se requiere ayuda para motivar a los
entrevistados, clarificar conceptos e X X
instrucciones o intervenir físicamente?
¿Pueden medirse los conceptos
necesarios a través de un cuestionario X
autoadministrado?
¿El modo de encuesta web es
adecuado para el tema de estudio y el X
tipo de datos que se deben recoger?
¿El cuestionario es lo suficientemente
breve y sencillo para ser X
autoadministrado?
¿Se pueden implementar medidas de
aumento de las tasas de respuesta con X
incentivos?

Fuente: Elaboración propia, basada parcialmente en Callegaro et al., 2015, p. 36.

1.6.  Herramientas para su programación y gestión

Finalizamos este capítulo introductorio haciendo un breve repaso a un aspecto


fundamental de la encuesta web como son los programas y herramientas
necesarios para llevarlas a la práctica. Al inicio del desarrollo de esta técnica,
los cuestionarios se programaban desde cero empleando lenguajes de progra-
mación web. Posteriormente, han ido apareciendo herramientas que permi-
ten poner en marcha una encuesta web sin necesidad de contar con
conocimientos de programación y la opción de construcción ad hoc se ha
36 CUADERNOS METODOLÓGICOS 59

quedado reducida a aquellos casos en los que se requiere un control total de


la encuesta (p. ej., encuestas oficiales) (Kaczmirek, 2016).
La página websm.org (Web Survey Methodology Site), desarrollada por
miembros de la Universidad de Liubliana, en Eslovenia, con el objetivo de
recopilar y difundir la información existente sobre metodología de las encues-
tas web, permite que nos hagamos una idea del amplio abanico de opciones
entre las que elegir a la hora de programar una encuesta de este tipo. En
noviembre de 2017, su apartado de software online tenía identificadas 442
herramientas con características y prestaciones muy diversas (tabla I.4).

Tabla I.4.
Características de la oferta de software de encuestas web

Características n %

Código abierto 34 8
Tipo de software
Propietario 396 90

Software + hosting 288 65


Tipo de servicio
Solo software 149 33

Gratuito 55 12
Fórmula de pago Previo pago 251 57
Varios planes, con versión gratuita limitada 122 28

Gratis 159 36
Hasta 100 $ 148 33
De 100 $ a 1.000 $ 162 37
Precio
De 1.000 $ a 5.000 $ 80 18
De 5.000 $ a 20.000 $ 30 7
Más de 20.000 $ 9 2

Tipo de compañía Grandes compañías de software 53 12


Multimodo Permite integración con CATI 46 10

Total 442

Fuente: Elaboración propia a partir de www.websm.org > Software > multicriteria grid search.

Hoy en día, hay tres opciones principales para llevar a cabo una encuesta
web: programación propia (desarrollando código HTML, CSS, JavaScript,
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 37

PHP o ASP y SQL), utilizar un programa para crear formularios web o


emplear un software de creación y gestión de encuestas web. La programa-
ción web de la encuesta es la opción más flexible y versátil en lo que se
refiere tanto a las características formales del cuestionario como a los ele-
mentos de control de las respuestas y para el almacenamiento de informa-
ción sobre el proceso de cumplimentación que pueda ser relevante para
evaluación de la calidad de los datos obtenidos 6. En este sentido, es la
opción idónea para encuestas que requieren de un elevado control del pro-
ceso y que persigan maximizar la calidad de los datos. El principal problema
que presenta esta opción tiene que ver con que requiere un nivel alto de
conocimiento de programación y mayor inversión de tiempo y recursos
económicos (Toepoel, 2015).
Una segunda opción, mucho menos exigente en lo que se refiere al conoci-
miento informático requerido son los programas para la creación de formula-
rios (p. ej., Google Forms o Typeform). Este tipo de programas están diseñados
para proporcionar a sus usuarios una forma sencilla y ágil de incorporar for-
mularios y sondeos sencillos en sus páginas web. Se trata de herramientas que
no están pensadas específicamente para la gestión de encuestas web científi-
cas, por lo que suelen tener bastantes limitaciones a la hora de incorporar ele-
mentos básicos en una encuesta como los controles de flujo de la entrevista
(saltos y filtros) o los controles de consistencia en las respuestas. Por otro
lado, esta opción no proporciona herramientas para la gestión de la muestra
de la encuesta, algo esencial, que sí deberían hacer los programas de creación
y gestión de encuestas web científicas.
Sin duda, la opción a la que se recurre con más frecuencia son los progra-
mas y plataformas de encuestas web en cualquiera de sus distintos tipos. Se
trata de aplicaciones que están específicamente diseñadas para llevar a cabo
encuestas, por lo que suelen incluir las funciones necesarias en los distintos
momentos del proceso de realización de una encuesta: desde la programación
del cuestionario hasta el análisis de los resultados, pasando por la gestión de
la muestra. Dentro de estos es posible diferenciar entre aquellos que ofrecen
tanto el software como el alojamiento de la encuesta en su servidor web (p. ej.,
SurveyMonkey, e-encuesta.com o questionpro.com) y aquellos otros en los
que se proporciona el software pero el alojamiento es opcional. En estos casos,
la encuesta se suele alojar en servidores propios de la institución o empresa
que va a emplear el software (p. ej., LimeSurvey); esta opción es la que más se
asemeja a la programación propia puesto que el código fuente suele ser abierto

6
  El análisis de información relativa al proceso de la encuesta, como el tiempo que se ha tar-
dado en responder, el número de sesiones empleadas, el dispositivo empleado, etc. (también
denominados paradatos de la encuesta), es muy importante para detectar duplicados, problemas
en la cumplimentación, cambios en las respuestas o errores de flujo de la entrevista que pueden
afectar a la calidad de los resultados.
38 CUADERNOS METODOLÓGICOS 59

y controlamos el servidor web y los datos relacionados con el proceso de


cumplimentación del cuestionario, también denominados paradatos (epí-
grafe 4.5).
Asimismo, otro elemento que nos puede ayudar a decidirnos a la hora de
seleccionar un software para el diseño y gestión de encuestas web es si propor-
ciona soporte para la integración de la encuesta web con otros modos. Ya
hemos comentado que uno de los usos habituales de la encuesta web en la
actualidad es en encuestas que combinan distintos modos de administración
de encuestas (modos mixtos). En este sentido, un software que permita traba-
jar con CATI, CAPI o CAWI (p. ej., Gandía Integra o Voxco) de manera simul-
tánea es una opción muy ventajosa para las empresas o instituciones que
trabajan con encuestas de este tipo.
La tabla I.5 muestra los distintos aspectos que deben tenerse en cuenta a la
hora de elegir un software de encuestas web. La elección de la herramienta
concreta deberá ir unida a una evaluación cuidadosa de las prestaciones que
ofrece cada una de ellas en relación con el precio y la manera en que estas se
ajustan a nuestras necesidades. En este sentido, no es lo mismo seleccionar
un software para llevar a cabo una encuesta web puntual en la que se
requiera un nivel bajo de control del proceso que elegir el software para un
departamento o empresa especializados en encuestas, donde tanto la canti-
dad de encuestas realizadas como la variedad de temas y diseños metodoló-
gicos empleados exigirán un mayor nivel en las prestaciones del software de
gestión de encuestas.

Tabla I.5.
Prestaciones de las aplicaciones de encuestas web

Prestaciones básicas

— Incluye preguntas básicas (simple, múltiple, cajas de texto, cam-


pos numéricos)
— Incluye preguntas avanzadas (baterías de respuesta única y múl-
tiple, campos de texto, numéricas, etc.)
— Permite copiar y pegar preguntas y grupos de preguntas
Edición del — Permite «buscar y reemplazar» textos en el cuestionario
cuestionario — Permite elegir el tipo de control de no respuesta (no respuesta
libre, control suave y control duro)
— Permite crear cuestionarios de varias páginas
— Permite hacer énfasis visuales en el texto (negrita, subrayado, etc.)
— Permite insertar imágenes
— Permite programar condiciones (saltos, filtros, etc.)

…/…
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 39

…/…

Prestaciones básicas

— Permite activar o desactivar la barra de progreso de entrevista


— Permite recuperar información de respuestas anteriores en el
cuestionario
Edición del
— Permite programar bucles de preguntas
cuestionario
— Permite aleatorizar y/o rotar el orden de presentación de las pre-
(continuación)
guntas y respuestas
— Permite exportar el cuestionario a diferentes formatos
— Permite importar el cuestionario desde diferentes formatos

— Proporciona distintas plantillas y formatos de cuestionario


— Permite personalizar los distintos elementos del diseño
— Permite personalizar el texto de los botones de navegación y los
avisos del cuestionario
Presentación y — Permite incorporar la traducción de la pregunta a distintos idiomas
lenguaje (sin tener que hacer un cuestionario distinto para cada idioma)
— Permite adaptar el cuestionario a usuarios con discapacidad
(tamaño de letra, audio, etc.)
— Las distintas interfaces del software están disponibles en varios
idiomas (incluido el castellano)

— 
Permite utilizar el cuestionario en distintos modos (CATI, CAPI,
CAWI)
Soporte — Incluye elementos que permiten la gestión de contactos electró-
multimodo y nicos, telefónicos y presenciales y la sincronización de sus entre-
multidispositivo vistas en una base de datos única
— Permite optimizar el cuestionario para su visualización en distin-
tos dispositivos (PC, portátil, tabletas, smartphone…)

— Permite el envío automático de invitaciones por e-mail


— Permite el envío automático de recuerdos
Captación y — Permite la posibilidad de limitar el acceso a quienes dispongan
acceso de un código de acceso válido
— Permite generar el código HTML necesario para incrustar el
cuestionario en la página web o en una ventana emergente

— Permite visualizar los resultados a medida que se lleva a cabo el


trabajo de campo
— Incorpora herramientas de análisis y visualización de los resulta-
Gestión de dos (estadísticos descriptivos, tablas cruzadas, gráficos, etc.)
datos y análisis — Recoge datos de calidad del proceso de respuesta de la encuesta
(duración total, duración por páginas, abandonos, etc.)
— Proporciona informes sobre la calidad de los datos de la encuesta
(tasas de respuesta, incidencias, etc.)

…/…
40 CUADERNOS METODOLÓGICOS 59

…/…

Prestaciones básicas

— Permite establecer distintos permisos en función del tipo de


Permisos de usuario (diseñador, entrevistado, cliente, etc.)
usuario, — Permite aplazar y retomar la entrevista en otro momento
privacidad y — Se garantiza la privacidad de las respuestas y la seguridad en su
seguridad transmisión (protocolo de encriptación)
— Permite realizar copia de seguridad de los datos de la encuesta

Fuente: Vehovar et al., 2012.

Además del software para la programación y gestión de la encuesta web, un


aspecto importante a tener en cuenta con este tipo de encuestas es la convenien-
cia de contar con un dominio web propio para cada estudio, esto es sencillo de
gestionar cuando la encuesta se aloja en un servidor web propio, y también es
un servicio que ofrecen algunos planes de aplicaciones comerciales como Sur-
veyMonkey, e-encuesta.com o questionpro.com. El dominio web es un ele-
mento de comunicación muy poderoso. Elegido adecuadamente reduce el error
de no respuesta de forma directa porque será fácil de leer y escribir y aporta
confianza respecto a la entidad que lleva a cabo la investigación. Asimismo, de
forma indirecta, disponer de un dominio propio hace más viables algunas estra-
tegias de comunicación como la gestión de ayudas por e-mail y los recuerdos o
la difusión del dominio web a través de una carta postal o SMS (epígrafe 2.4).
De las tres opciones existentes para llevar a cabo una encuesta web, en
este manual nos enfocamos principalmente en el diseño de encuestas
mediante programación web, ya que es la opción más versátil y cuyo cono-
cimiento permite entender mejor los elementos y procesos básicos que ofre-
cen los distintos programas y plataformas de creación y gestión de encuestas
web. No obstante, somos conscientes de que la opción de programación web
está fuera del alcance de buena parte de los lectores del manual. Por este
motivo, a lo largo del texto hemos incorporado una serie de recuadros en
los que se explica la manera de implementar las cuestiones abordadas en el
texto en una de las plataformas comerciales de encuestas web más utiliza-
das en España, e-encuesta.com 7 (ver recuadro). Desaconsejamos vivamente

7
  Los motivos que nos han llevado a elegir esta plataforma para el desarrollo de los ejemplos
prácticos son la antigüedad de la empresa, la cantidad y calidad de sus materiales de apoyo en
castellano y el hecho de que se trata de una empresa española que se rige por la legislación euro-
pea en materia de protección de datos personales. No existe ningún interés comercial o econó-
mico en esta elección. Alternativamente, se pueden llevar a cabo aplicaciones prácticas similares
mediante las cuentas básicas de plataformas más conocidas internacionalmente como Survey
Monkey (https://es.surveymonkey.com/) o Question Pro (https://www.questionpro.com/es/).
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 41

la opción de emplear programas de diseño de formularios web para realizar


encuestas ya que carecen de muchos de los elementos básicos para diseñar
y gestionar una encuesta con una mínima calidad (p. ej., posibilidad de pro-
gramar saltos y filtros, controles de coherencia de las respuestas, segui-
miento de las respuestas, etc.).

Aplicación práctica con plataforma de encuestas web

Orientado al lector que parte de cero, sin experiencia previa en programación, y que
necesite abordar una pequeña investigación, proponemos que se inicie con la aplica-
ción web e-encuesta.com para realizar su primera encuesta online.
Esta plataforma, disponible desde 2006, está desarrollada por una empresa española
que se rige por el marco jurídico europeo y cumple con los estándares del Código
Ético del sello Confianza Online. Tiene cinco planes distintos, con descuentos para
universidades y ONG, que cubren ampliamente las características descritas en este
epígrafe (un listado exhaustivo de las mismas puede verse en www.e-encuesta.com/
funcionalidades) y a partir de los cuáles es posible abordar pequeñas investigaciones
como pueden ser tesis doctorales u otras que no tengan recursos suficientes como
para programar la encuesta ad hoc.
Para utilizar la plataforma no es necesario tener ningún conocimiento previo de progra-
mación y el cuestionario se diseña en un entorno web sin instalar ningún software, y
utilizando menús muy intuitivos. A partir del plan básico sin coste, y sin ninguna barrera
de entrada, el lector puede experimentar una primera aproximación a la creación de
encuestas web, apoyado por videotutoriales, blogs y otros elementos didácticos dis-
ponibles en dicha plataforma, así como atención telefónica en español a partir de una
línea fija (tarifa local).

Resumen

Este capítulo presenta una panorámica cuyo objetivo es facilitar que el lector se sitúe
respecto a qué son las encuestas web (pp. 13-17), cuáles son sus ventajas e inconve-
nientes (pp. 26-30) y en qué casos es recomendable su uso frente a otros modos de
administración como la encuesta postal, presencial o telefónica (pp. 31-35). La idea
clave que ha guiado la redacción de este capítulo, y que queremos subrayar aquí, es
que la accesibilidad y «aparente» facilidad de uso de esta técnica no deberían suponer
una relajación de las normas y buenas prácticas requeridas en el diseño y ejecución
de una encuesta que busque obtener datos de calidad. Para ello, es importante ser
conscientes de las fuentes de error que acechan a la encuesta web (pp. 32-35 y
145-148). Y ello, con dos objetivos: evitar su uso cuando el modo web no sea el ade-
cuado para abordar nuestro objeto de estudio o a la población investigada y, en los
casos en los que optemos por utilizarlo, tratar de minimizar el impacto de las distintas
fuentes de error a lo largo de todo el proceso de diseño y ejecución de la encuesta web.
42 CUADERNOS METODOLÓGICOS 59

Conceptos principales del capítulo

— Encuesta web, encuesta online y encuesta por Internet.


— Características de la encuesta web (autoadministrada, informatizada, interactiva,
distribuida, visualmente rica).
— Encuestas web probabilísticas y no probabilísticas.
— Modos mixtos de administración de encuestas.
— Error total de la encuesta: errores de cobertura, no respuesta y medida.
— Programas y aplicaciones de encuestas web.
2
Planificación de una encuesta web

2.1. Pasos básicos en el proceso de investigación mediante


encuesta web

El punto de partida de cualquier investigación mediante encuesta, con inde-


pendencia del modo de administración empleado, es la definición clara y
concisa del objetivo de la encuesta. El objetivo determinará cuál es la pobla-
ción que necesitamos investigar, su grado de accesibilidad y el marco ade-
cuado que permita seleccionar la muestra y contactar con las unidades
muestrales, ya que si el sesgo de cobertura es alto o está muy concentrado
en un grupo sociodemográfico determinado podría sesgar los resultados
obtenidos.
Cerrada la pregunta de investigación, tal y como refleja el epígrafe 1.5,
podremos considerar o no la encuesta web como viable, siendo muy útiles
para tal fin las cuestiones planteadas en la tabla I.3.
En la planificación de la encuesta hay que determinar el modo o modos
de administración del cuestionario, seleccionar la muestra y establecer los
protocolos de contacto, estableciendo, además, la política de privacidad y
usos de los datos.

2.2. Elección del diseño general de la encuesta.


¿Modo único o modos mixtos?

Si el conjunto de la población objeto de estudio es usuaria habitual de Inter-


net, salvo que la complejidad del cuestionario requiera que sea guiado por
un encuestador, podemos usar como modo único de administración la
encuesta web. No obstante, es necesario tener muy en cuenta las limitacio-
nes descritas en el epígrafe 1.2, y optar por un diseño basado en modos mix-
tos de administración cuando una parte de la población analizada no sea
44 CUADERNOS METODOLÓGICOS 59

usuaria de Internet. En estos casos habría que prever un modo de adminis-


tración de la encuesta alternativo (encuesta postal, telefónica o presencial)
para estas personas.
No hay que confundir «modos de administración» con «modos de con-
tacto», para el contacto emplearemos mejor la expresión «canal de contacto»,
donde la invitación a participar en una encuesta web puede ser de modo natu-
ral desde un canal online (marco de e-mails, teléfonos inteligentes, miembros
de una red…), pero también desde un canal offline (postal o teléfono), desde
el que se puede informar y facilitar el acceso a la encuesta web, en este caso
estamos hablando de canales mixtos para el contacto, integrados en una estra-
tegia de comunicación (epígrafe 2.4).
Cuando nos vemos en la necesidad de emplear un modo mixto, hay que
elaborar un cuestionario lo más análogo posible, y en este sentido hay que
usar como modelo o plantilla el modo más limitado; si, por ejemplo, se va a
emplear un modo mixto CAWI-CATI-CAPI, no se puede emplear soporte
visual en el cuestionario CAWI y CAPI porque el cuestionario CATI no lo
puede utilizar.
El mayor problema que plantea la integración de datos recogidos de modos
mixtos es la generación de errores de medida debido a las características sin-
gulares de cada modo, por ejemplo, un cuestionario autoadministrado (postal
o web) frente a uno guiado por encuestador (presencial o telefónico).
Por otro lado, con la lógica de aplicar el mismo diseño, se pueden generar
efectos contrarios en un hipotético error de medida, como el efecto primacía
en las encuestas web, que consiste en la tendencia a responder lo primero
que se ha leído, y el efecto de recencia en encuestas telefónicas, que consiste
en responder lo último que se ha escuchado. En algunos casos es posible
reducir o controlar ambos efectos a la vez, por ejemplo, en el caso de un
modo mixto con presencia computacional en todos los modos CAWI-CATI-
CAPI podemos aleatorizar las respuestas para, de esa forma, reducir ambos
efectos contrarios.
Otro ejemplo de singularidad es la limitación física de un cuestionario en
papel, por lo que para una respuesta abierta en su análogo en digital habría
que limitar el «espacio visual» y/o el número de caracteres, por ejemplo, con
un contador decreciente. No siempre es posible aplicar alguna técnica para
homogeneizar todos los modos del cuestionario, y en este sentido se aplica la
máxima mencionada anteriormente: elaborar el cuestionario a partir del
modo más limitado. Los efectos del modo se desarrollan más detalladamente
en el capítulo 3, dedicado al diseño de cuestionarios en encuesta web.
La empresa GESOP, para el Barómetro político de Catalunya de El Perió-
dico de febrero de 2014, empleó dos muestras, una solo CATI y otra con modos
mixtos CATI-CAWI, concluyendo que era viable utilizar de forma combinada
ambas metodologías en estudios de carácter político o de opinión bajo la pre-
misa de adecuar el diseño del cuestionario de manera uniforme en las
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 45

categorías de respuesta, pues las diferencias que encontraron se explicaban


por las opciones intermedias o la no respuesta (NS/NC), que no se sugerían
por teléfono pero eran visibles por Internet 1.
Por todo lo anterior, tras la recogida de los datos, es importante mantener
en el fichero de resultados una variable de control que indique el modo por el
cual ha sido recogido el dato, y es conveniente realizar un análisis estadístico
confrontando las muestras recogidas por cada modo para detectar inconsis-
tencias, errores de medida y/o efectos de diseño particulares.
Por último, para las personas que pudieran acceder a varios modos de
administración de la encuesta, podemos diferenciar dos estrategias a la hora
de aplicar un modo mixto de administración de cuestionario, a las que ya se
hizo referencia en el epígrafe 1.3, de tipos de encuestas web:

1. Simultánea: en el primer contacto con el informante este elije el modo de


responder, esto produce una mayor dispersión en los modos de adminis-
tración del cuestionario. Como ventaja, la tasa de colaboración puede ser
mayor, ya que desde un primer momento se le facilita el canal con el que
se sienta más cómodo, y como desventaja, se incrementan los costes.
2. Secuencial: el informante va siendo invitado por distintos modos
secuencialmente. Se produce una mayor concentración en el modo de
administración del cuestionario. Como ventaja, los costes son más bajos
porque se inicia la secuencia por los modos de menor coste, y como des-
ventaja, la saturación en los impactos de contacto podría reducir la tasa
de colaboración.

2.3.  Diseño del plan de muestreo 2

Si la población objeto de estudio puede ser contactada en su totalidad de


forma digital a través de e-mail u otro canal de coste residual, la recomenda-
ción es invitar a la totalidad de la población objeto de estudio, recordando que
el uso del muestreo solo es útil cuando el coste de entrevistar a toda la pobla-
ción no es asumible.
En la práctica no suele darse la situación descrita en el párrafo anterior,
por las restricciones económicas o de acceso a los informantes, y requerimos

1
  Fuente: GESOP. Disponible en: http://gesop.net/images/pdf/es/Informes/IG39_Comparati-
voCSTelefonoInternet_JUN14_CAST.pdf.
2
  La teoría del muestreo abarca gran cantidad de conceptos y por su complejidad excede el
espacio disponible en un manual de este tipo. Para introducirse y profundizar en los principios
básicos de la teoría de muestreo recomendamos la lectura, en esta misma colección del CIS, de
los Cuadernos Metodológicos n.º 1 y n.º 6 sobre métodos de muestreo, y los manuales Técnicas
de muestreo, de Cochran (Editorial Cecsa, México), y Muestreo de encuestas, de Kish (Editorial
Trillas, México), que cubren ampliamente la teoría del muestreo estadístico.
46 CUADERNOS METODOLÓGICOS 59

de un muestreo. El escenario ideal para la investigación científica es disponer


o poder construir un marco de referencia (marco nominal o censal, direccio-
nes postales o electrónicas, rangos de números telefónicos…) que identifique
de forma unívoca a nuestra población, y llevar a cabo un muestreo probabilís-
tico, donde todas las personas tienen la misma probabilidad de ser elegidas.
Por lo que el plan de muestreo inicialmente tiene que poner el foco en la for-
mación o actualización de dicho marco, que para minimizar el error de cober-
tura debe ser lo más exhaustivo posible sin incurrir en duplicados.
Existiendo un marco adecuado para contactar a un coste razonable y de
forma directa con la población, lo más aconsejable será aplicar un muestreo
aleatorio simple o sistemático sobre dicho marco, seleccionando una muestra
de tamaño establecido en función de las necesidades de precisión que tenga-
mos, y la probabilidad que queremos de que nuestros estimadores estén den-
tro del intervalo de confianza obtenido con dicha precisión. Si tenemos
información adicional sobre variables relacionadas con la información que
buscamos podemos también utilizar un muestreo de tipo estratificado.
Si no tenemos un marco apropiado y abarcable que incluya todas las uni-
dades finales de muestreo, o bien resulta demasiado caro obtenerlo, se puede
recurrir a un muestreo por conglomerados. Es el caso en que para llegar a
obtener la información de contacto de la población hay que dar un paso
intermedio, que puede tener un coste, bien en tiempo o en dinero. Por ejem-
plo, que el marco sea de personas que desarrollan actividades profesionales
colegiadas, en ese caso puede ser complicado obtener la información de con-
tacto de todos los colegiados o difundir la encuesta entre todos ellos. Una
solución es tomar cada colegio como unidad intermedia, o conglomerado, y
seleccionar un número reducido de ellos. En cada uno de los colegios, des-
pués, podríamos optar, si hay posibilidad, por seleccionar a todos los cole-
giados en la muestra, o bien realizar un submuestreo de ellos, según indiquen
las circunstancias.
En la práctica nunca se va a lograr una colaboración total de la muestra,
siempre hay que tener en cuenta la posible falta de respuesta. Es recomenda-
ble buscar en investigaciones anteriores qué tasa de colaboración es esperable,
y aumentar la muestra inicial teniendo en cuenta esa estimación.
Aplicando todo lo anterior a las encuestas web, en caso de no tener un
marco digital adecuado, deberemos recurrir en el muestreo a un marco offline
(postal o telefónico), garantizando desde ese marco un acceso adecuado a la
encuesta web, y en el caso de que parte de la población seleccionada no acceda
a Internet, aplicar un modo mixto.
Una alternativa al muestreo probabilístico sería un muestreo por cuotas,
que es el empleado en los marcos de panel, donde se selecciona aleatoria-
mente una muestra proporcional a la población en las cuotas que hayamos
definido, usualmente grupos de edad, género, nivel de formación o hábitat. Es
decir, tratando de cumplir con las cuotas la función de las variables auxiliares
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 47

cuando una muestra necesita ser ponderada. La ponderación es otro elemento


importante en la teoría del muestreo y se desarrolla más ampliamente en el
epígrafe 4.6 de este manual.

2.4.  Diseño del protocolo de contacto con los informantes

El plan y protocolo de contacto con los informantes es capital para el éxito


de una encuesta online, «no hay una segunda oportunidad para una primera
impresión», por ello este epígrafe adquiere gran relevancia. Un lector novel
en esta materia puede pensar que es suficiente con remitir un enlace de la
encuesta por e-mail, o difundir el cuestionario en un soporte digital, red
social o carta postal con un enlace web y clave de acceso, y a partir de ahí
esperar hasta tener el fichero de datos. Esto hizo el INE, una de las primeras
oficinas estadísticas en recoger datos censales por Internet, en la operación
censal de 2001. Sin embargo, solo 13.768 hogares rellenaron los cuestiona-
rios completamente por Internet, un 0,097% de hogares, cuando el porcen-
taje de hogares con acceso a Internet en aquel momento era del 21,3% 3. La
confrontación de estos dos porcentajes pone de manifiesto que, para un
cuestionario web, el acceso a Internet es una condición necesaria pero no
suficiente a la hora de lograr una tasa de colaboración aceptable.
Hay que planificar todas las acciones posibles de contacto, y es aconsejable
establecer los canales de contacto que podremos usar, el contenido que vamos
a difundir y una cronología o secuencia de este. Y que la planificación de cada
una de las acciones de comunicación se retroalimente con la información
obtenida en las acciones anteriores.
Para el protocolo de contacto tanto de una encuesta CAWI como de una
encuesta que emplee un modo mixto CAWI-CATI, las mayores tasas de cola-
boración se obtienen al conjugar acertadamente los distintos canales de con-
tacto disponibles. Vamos a analizar aquí los más frecuentes: carta postal,
e-mail y SMS.

Carta postal

La utilización de la carta postal 4 es un elemento importante a considerar, y


su uso previo al e-mail nos garantiza una mayor tasa de colaboración, por-
que reduce la desconfianza de una comunicación digital, y un menor sesgo
del marco, porque llega a informantes para los que no disponemos de su

  Fuentes: INE (http://www.ine.es/censo2001/internet.htm) y EGM (Abr/May 2001).


3

  La carta postal como modo de administración de encuestas se aborda en profundidad en el


4

Cuaderno Metodológico n.º 9, Encuestas telefónicas y por correo.


48 CUADERNOS METODOLÓGICOS 59

dirección de correo electrónico, este es erróneo o estos informantes usan


gestores de correo electrónico que clasifican las comunicaciones de remiten-
tes desconocidos como spam. El contenido de la carta postal debe ser claro
y conciso, centrado en los objetivos del estudio, la privacidad y los datos de
contacto. El enlace a la encuesta y una clave de acceso a la misma deben
ocupar una posición centrada e independiente del texto de la carta.
Por otra parte, si se trata de una encuesta en modo mixto, aumenta la cola-
boración del modo CAWI de los que estaban clasificados como CATI, y reduce
el error de no respuesta de la submuestra de CATI al generar confianza previa
a la llamada telefónica.
Las devoluciones postales deben documentarse y es muy conveniente
informatizar y, si es posible, incorporar esta información en la fase de super-
visión del trabajo de campo (epígrafe 4.4).

Correo electrónico

Un buen diseño del envío de correos electrónicos es capital para obtener una
colaboración aceptable en las encuestas web. Hay que cuidar los siguientes
aspectos:

Personalización. Las tasas de acceso a la encuesta y de colaboración


a) 
mejoran con la utilización de elementos personalizados (Dillman, 2007;
Heerwegh et al., 2005; Joinson et al., 2007).
El asunto del mensaje. Es lo primero que se lee, y puede ser lo único
b) 
si la frase no resulta lo suficientemente interesante o importante para el
receptor del mensaje. En un experimento que se llevó a cabo en el IESA/
CSIC, se dividió aleatoriamente el censo de 1.005 médicos internos resi-
dentes (MIR) en tres grupos del mismo tamaño, y a cada grupo se le
envió el cuestionario digital por e-mail con un asunto distinto. Transcu-
rridos siete días se analizó si existían diferencias en el nivel de res-
puesta obtenida en la encuesta según el asunto empleado, observándose
cómo uno de los asuntos destacaba sobre los otros dos (tabla II.1). En
el envío de recuerdo de la encuesta a quienes no habían participado
aún se usó el asunto que demostró ser más eficaz.
El cuerpo del mensaje. Debe ser claro y conciso, debe contener
d) 
información muy sintética de objetivos del estudio, privacidad y
datos de contacto. Podemos tener la tentación de incluir todo tipo de
informaciones sobre nuestra encuesta, pero toda esa «masa» de infor-
mación debe ir solo en la página web de la encuesta, en un menú con
un buen sistema de apartados. Un mensaje de invitación bien dise-
ñado, que incluya la confiabilidad del remitente, aumentará la tasa
de colaboración.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 49

Tabla II.1.
Tasa de respuesta según grupo experimental

Colaboración con la encuesta


Asunto del correo electrónico
transcurridos siete días

Evaluación del IESA/CSIC a los MIR 28,3%


Evaluación Consejería de Salud a los MIR 30,4%
Evaluación a los MIR 41,3%

Fuente: IESA/CSIC (2008). Estudio E0813.

Días y horas del envío. Lo ideal sería entrar en el buzón del infor-
e) 
mante en el momento en que este lo abre y/o es un momento propicio
para responder un e-mail, de esa forma nuestro mensaje estará posi-
cionado en los primeros lugares y esto es favorable para que se le
preste mayor atención; si mandamos el e-mail en fin de semana o de
madrugada, nuestro mensaje se devalúa. No existen un día y una
hora óptimos para toda la población, pero la experiencia nos dicta
que la franja óptima se sitúa en las mañanas de los primeros días
laborales de la semana.
Recordatorios. Además del correo electrónico inicial de invitación a
f) 
participar en la encuesta, hay que realizar varios recuerdos con el fin de
aumentar la tasa de respuesta de la encuesta. El cómo y cuándo reali-
zarlos se describe en detalle en el epígrafe 4.1.

Las devoluciones de los correos electrónicos deben documentarse y es muy


conveniente informatizar y, si es posible, integrar esta información en la super-
visión del trabajo de campo (epígrafe 4.4).
En sus prestaciones, la mayoría de las aplicaciones de encuestas web que
se comentan en el epígrafe 1.6 incluyen el envío automático de invitaciones o
recuerdos por e-mail, pero dado que es un elemento independiente a la
encuesta web, con particularidades técnicas específicas, planteamos la posi-
bilidad de usar una herramienta especializada en envíos masivos (mailings),
como acumbamail.es, benchmarkemail.es, mailchimp.com, mailrelay.com o
sendinblue.com, porque mejora el porcentaje de correos electrónicos entre-
gados correctamente (usan mejores técnicas para evitar la clasificación como
spam), y tiene una paleta de diseños y edición de los mismos que harán más
atractivo el cuerpo del mensaje, además de una importante métrica y traza-
bilidad de los correos abiertos, reenviados, etc.
50 CUADERNOS METODOLÓGICOS 59

SMS

El envío de un mensaje de texto a un teléfono móvil como refuerzo al envío de


correos electrónicos (o llamada en modo mixto CAWI-CATI) se ha convertido
en un elemento poderoso para incrementar la colaboración, dado que los telé-
fonos inteligentes son dispositivos primordiales para conectarse a Internet.
En España el teléfono inteligente es el dispositivo preferido entre las personas
que usan Internet al menos semanalmente, un 85% según el Panel de hogares
CNMC para 2T2017 (tabla II.2), por lo que en algunos segmentos de población
la invitación a la encuesta por SMS desplaza a la invitación por e-mail como
canal principal de contacto, y no solo es aconsejable su uso, sino determi-
nante para incrementar la tasa de colaboración (Bosnjak et al., 2008).

Tabla II.2.
Dispositivos con los que se suelen conectar a Internet personas
que usan Internet al menos semanalmente (porcentaje de individuos).
Respuesta múltiple

II-2015 IV-2015 II-2016 IV-2016 II-2017

Ordenador de sobremesa 47,5% 44,8% 44,9% 43,3% 40,0%


Ordenador portátil 56,3% 56,1% 56,0% 53,0% 52,8%
Teléfono móvil 77,6% 80,7% 81,8% 83,5% 85,2%
Tableta 34,7% 37,1% 39,2% 37,3% 36,9%
Videoconsola 5,7% 6,5% 7,3% 6,1% 6,2%
Televisión 7,6% 7,9% 10,2% 10,1% 11,6%
Otros 1,0% 0,6% 0,9% 0,6% 0,5%

Fuente: Panel de hogares CNMC, 2.º trimestre de 2017. Universo: individuos que usan Internet al
menos semanalmente.

Por otra parte, se ha constatado la relevancia de elegir un teléfono inteli-


gente para rellenar la encuesta web, sin haber sido invitado por teléfono inte-
ligente. En un estudio solo por encuesta web a población general realizado
por el CIS en colaboración con el IESA/CSIC y la Universidad de Stanford,
que se llevó a cabo en enero de 2016, se contactó solo por carta postal y el
14,05% de los cuestionarios se rellenaron desde un teléfono inteligente (Pasa-
das-del-Amo et al., 2017).
En otro estudio del panel probabilístico PACIS realizado en octubre de
2017, se llevó a cabo una estrategia de invitación que empleó de manera
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 51

secuencial la carta postal, seguida del correo electrónico y, por último, el


SMS, siendo la cumplimentación por teléfono inteligente del 43,8%. Los datos
de cumplimentación de la encuesta por tipo de dispositivo empleado son muy
similares a los que proporciona el proveedor de contadores de Internet
StatCounter sobre los dispositivos empleados en España para navegar por
Internet en 2017, que podemos ver en la tabla II.3.

Tabla II.3.
Dispositivos empleados en la encuesta de panel PACIS
y para el acceso a Internet en España en el año 2017

Dispositivo Encuesta PACIS Muestra de accesos a Internet desde España


empleado octubre 2017 Año 2017

Ordenador 53,8% 51,2%


Teléfono inteligente 43,8% 42,6%
Tableta 2,4% 6,1%
Consolas — 0,1%
n=827 n=345 millones

Fuente: Elaboración propia a partir de encuesta de IESA/CSIC E1707 y gs.statcounter.com.

Para invitar a participar en una encuesta web a través de teléfono inteli-


gente hay que tener en cuenta la limitación de la longitud de los mensajes de
texto (SMS) a 160 caracteres, por lo que hay que ajustar bien el contenido.
El texto elegido tiene la misma importancia que el asunto en el correo electró-
nico y debe incluir el enlace web con acceso a la información de la investi-
gación y al cuestionario. En este sentido, se aconseja que el enlace web
corresponda con un dominio web limpio sin parámetros vinculados. Para el
panel PACIS del IESA/CSIC en su estudio E1707 de octubre de 2017 se crea-
ron dos mensajes distintos:

a) Estimado panelista, tiene un mensaje en www.pacis.es. Clave: XXXX.


b) Estimado panelista, tiene un mensaje en www.pacis.es/carta.asp?id=xxxx.

En el primero, la clave estaba desvinculada de la página web y el panelista


debía introducirla en la página de acceso al cuestionario. En el segundo, la
clave formaba parte del enlace, siendo recogida como valor del parámetro id.
Cada uno de los mensajes se envió a la mitad de la muestra, seleccionada de
forma aleatoria. El mensaje de tipo «b» requería menos esfuerzo porque no
52 CUADERNOS METODOLÓGICOS 59

había que introducir la clave para acceder al cuestionario, el parámetro id con-


tenía la clave que el servidor web leía directamente, anulándose así el riesgo de
introducir una clave errónea. A pesar de que la opción «b» ofrecía a priori más
ventajas, tuvo mayor éxito el envío de tipo «a», que separaba la clave del enlace
web (tabla II.4). Las hipótesis que barajamos en la explicación de este resul-
tado son dos: la desconfianza al leer un SMS que contenía un enlace largo y
«extraño» frente a un enlace limpio sin parámetros y la carencia de acceso a
Internet desde el teléfono móvil, que obliga a escribir la página web en otro dis-
positivo. Esta preferencia puede cambiar debido a la curva de aprendizaje y
características de la población, confianza en el remitente y futura conexión a
Internet del teléfono móvil, por lo que recomendamos que se experimente con
las fórmulas de contacto en las pruebas piloto de los estudios.

Tabla II.4.
Tasa de colaboración en encuesta de PACIS tras envío de SMS

Entrega correcta Colaboró ese día Tasa de


Tipo de mensaje
de SMS o el siguiente colaboración

a)  Clave separada del dominio


388 40 10,3%
web
b) Con clave integrada en el
352 26 7,4%
dominio web
n=740

Fuente: Elaboración propia a partir de encuesta de IESA/CSIC E1707.

Un último ejemplo sobre la importancia del uso de SMS se trae a este manual
con la encuesta web que realizó el IESA/CSIC al marco de agentes medioam-
bientales de Andalucía en noviembre de 2017. Tras 12 días de recogida de cues-
tionarios se había alcanzado una colaboración del 57%, pero el campo estaba
próximo a cerrarse, por lo que se optó por reforzar el cuarto recordatorio con
SMS para los 256 casos en los que se tenía la posibilidad de contactar por ese
medio. Este recuerdo por SMS supuso un incremento significativo en la tasa
final de respuesta de la encuesta tal y como se puede apreciar en la figura II.1.
Hoy por hoy las aplicaciones de encuestas web no contemplan entre sus
opciones el envío automatizado de SMS personalizados. Si bien es posible
hacerlo mediante las herramientas de mailing mencionadas anteriormente,
como acumbamail.es o sendinblue.com, recomendamos el uso de herramientas
específicas, como smsup.es, smspubli.com o smsapi.com, que tienen un nivel
mayor de especialización y un coste sensiblemente menor.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 53

Figura II.1.
Evolución de colaboración en la encuesta a agentes de medio ambiente

82,3%
80%

70%
63,6%
60% 57,3% 56,3%

50%
42,7%
39,8%
40%

30% 27% 25,4%


21,5%
20%

10%

0%
Envío de invitación 2.º envío, 3.er envío, 4.º y último, 4.º y último,
por e-mail solo e-mail solo e-mail solo e-mail e-mail+SMS
2-11-2017 7-11-2017 10-11-2017 14-11-2017 14-11-2017*
muestra=770 n=562 n=441 n=123 n=256

% sobre envíos (n) % acumulado de muestra

* El 14/11/2017 se realizaron dos envíos independientes uno a 123 personas sin móvil, y otro a 256
personas con móvil que recibieron además un SMS.
Fuente: Elaboración propia a partir de IESA/CSIC (2017). Encuesta E1710.

Al igual que en el caso de los correos electrónicos devueltos, recomenda-


mos guardar y analizar la información que aportan los SMS no entregados,
que quedan documentados por las herramientas anteriores, para utilizarla en
la supervisión del trabajo de campo (epígrafe 4.4).

Otros medios

El uso de redes sociales, códigos QR en prensa y banners en páginas web (como


buscadores o prensa online, etc.) puede ser útil para difundir aquellas encues-
tas web que no sean nominales. Para estos casos, es importante incorporar
controles en el cuestionario y los paradatos que permitan detectar duplicida-
des en la respuesta del cuestionario (control de IP y fecha y hora de cumpli-
mentación, preguntar dirección de correo electrónico, etc.).
54 CUADERNOS METODOLÓGICOS 59

Aplicación práctica con plataforma de encuestas web

La herramienta e-encuesta.com contempla el envío por correo electrónico tanto desde


su plataforma como desde otras aplicaciones. Para este segundo caso permite en
algunos de sus planes la generación de un fichero .csv con enlaces parametrizados
(agrega información adicional al enlace que lo vuelve único), lo importante es no per-
der la parametrización, como se indica en su soporte, para conservar la trazabilidad
de los datos, y poder emitir los recordatorios a la muestra adecuada.
Al igual que en el envío de correos electrónicos, se pueden exportar a un fichero los
enlaces parametrizados y enviarlos mediante alguna de las herramientas de mailing o
SMS mencionadas anteriormente (p. 49 y p. 53). Asimismo, uno de sus planes contem-
pla la generación de enlaces acortados para enviarlos por SMS.
Las distintas opciones para la difusión del cuestionario se encuentran en el menú
«Recopilar», donde, además, se puede generar el cuestionario en PDF y obtener el
código QR del enlace a la encuesta para imprimirlo en carteles, pegatinas, etc.

2.5.  Información auxiliar: paradatos y cookies

Los paradatos son datos generados automáticamente en el proceso por el cual


se recopilan los datos de la encuesta, el termino fue acuñado en 1998 por Mick
P. Couper en el ámbito de la informatización de las entrevistas (Kreuter,
2018a), si bien este tipo de información ha existido desde el origen de la
encuesta científica y en todos los modos de administración. En este sentido, el
fichero de incidencias y anotaciones de campo (día y hora de entrevista,
número de contactos, tipo de rechazo, etc.) es un claro ejemplo de paradatos,
siendo su característica principal que no dependen del informante, sino que
son datos objetivos que se producen para todas las unidades muestreadas.
Fue hacia finales del siglo pasado, con el proceso de informatización de las
encuestas, en cualquiera de sus modos (CAPI, CATI, CAWI), cuando se empezó
a sacarle jugo a los paradatos, ocupando hoy un papel muy importante para
garantizar el éxito en la recogida de datos (Kreuter, 2018b).
Un análisis adecuado de los paradatos de una encuesta nos previene de
errores en dos niveles: medición (p. ej., en el modo CAWI, esta información
nos permite mostrar una pregunta ajustada al tamaño de la pantalla del dis-
positivo empleado por la persona que cumplimenta la encuesta) y represen-
tatividad (p. ej., el análisis de los paradatos de encuestas anteriores en los
modos CAPI/CATI nos permite optimizar los horarios de visitas y llamadas, o,
en el modo CAWI, lanzar un mailing en los momentos en que es más probable
que el mensaje sea visto en la bandeja de entrada).
Centrándonos en el modo CAWI, podemos considerarlos como aquellos
datos que, si bien no son recogidos a través del formulario web, sirven para
identificar, clasificar y modular el comportamiento de este gracias a variables
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 55

auxiliares que recoge el servidor web y que quedan almacenadas en un fichero


del mismo identificado como log. El fichero log es un registro donde se alma-
cena toda la actividad del servidor web; se trata de una grabación secuencial
en un fichero de texto sin formato que puede ser leído y procesado sin mucha
dificultad, donde cada línea del fichero contiene información sobre el instante
y las características técnicas de un dispositivo que realiza una petición o des-
carga ficheros contenidos en el servidor. Se trata de una información auxiliar
invisible para los encuestados con un valor extraordinario para el investiga-
dor como veremos a continuación.
Gracias al análisis del fichero log del servidor tenemos una trazabilidad
completa de todos los informantes cuando abren el cuestionario web: horas de
acceso, tiempos de respuesta en cada pregunta, saltos hacia atrás, abandonos
o errores de programación, número de veces (sesiones) que han entrado, zona
geográfica, tipo de dispositivo (ordenador, teléfono o tableta), navegador web
(browser), sistema operativo o desde donde llegan al enlace de la encuesta
web, entre otros, que nos permiten detectar comportamientos e incidencias de
forma activa durante el campo, además de poder añadir a nuestro fichero
de datos información auxiliar muy valiosa.
Otra utilidad del log es la posibilidad de gestionar los recuerdos (epígrafe
4.1) en función de si el primer mensaje de invitación a participar en la encuesta
ha sido o no leído. Si al realizar un mailing lo diseñamos en formato HTML e
incluimos una imagen que se descarga desde nuestro servidor para cada uni-
dad muestral (por ejemplo, el logo de nuestra institución) renombrada conve-
nientemente, la descarga de esa imagen quedará registrada en el fichero log.
Existe la limitación de los gestores de correo que bloquean imágenes del ser-
vidor, pero siendo un remitente confiable, con diseño y etiquetado adecuado,
la imagen suele dar resultados de descarga aceptables.
El tamaño de los ficheros log crece continuamente en el servidor web, gene-
rándose uno por día y conservándose por un período de tiempo limitado,
usualmente de uno a dos meses, por lo que es conveniente establecer una
periodicidad de copias de seguridad de estos ficheros.
La mayoría de los paradatos se obtienen del lado del servidor web y, por
tanto, los puede registrar el fichero log. Hay algunos que solo están disponibles
del lado del dispositivo del encuestado y en ese caso solo se pueden obtener con
programación propia (usualmente con JavaScript, PHP o ASP) o en programas
específicos (sobre todo de código abierto, epígrafe 1.6). El caso más señalado de
este tipo de paradatos es la resolución de la pantalla (ancho por alto medido en
píxeles) del dispositivo empleado por la persona para responder a la encuesta.
En general, todos los paradatos se pueden obtener con programación,
siendo preferible prever por adelantado cuáles serán nuestros requerimientos
de este tipo de información para aplicarlos al mismo cuestionario que se está
realizando. En la tabla II.5 se expone una relación de los paradatos más usua-
les y su utilidad.
56 CUADERNOS METODOLÓGICOS 59

Tabla II.5.
Paradatos útiles para encuestas web 5

Paradato Fuente Utilidad/es

Registro log Controles de flujo, ajustar protocolo


Días/horas de acceso
o base de datos de recuerdos
Ubicación geográfica Dirección IP13 Control de error de cobertura
Proveedor de acceso a Control de error muestral
Dirección IP
Internet (cuotas de mercado)
Software de navegación Navegador Ajustar a un diseño adecuado
Sistema operativo y versión Navegador Ajustar a un diseño adecuado
Dispositivo móvil Navegador Ajustar a un diseño adecuado
Ajustar a un diseño adecuado
Modelo de dispositivo (pulgadas)
Navegador
móvil Control de error muestral
(cuotas de mercado)
Idioma configurado Navegador Presentar el idioma adecuado
Resolución Ajustar a un diseño adecuado
Ancho por alto en píxeles
pantalla (scrollbar)
Enlace desde el que se
HTTP referer Control de filtros
accedió

Fuente: Elaboración propia.

El navegador por el que se accede al cuestionario nos suministra un gran


número de paradatos, entre ellos, el acceso desde un teléfono inteligente o
tableta, y en este caso, además, el modelo concreto, por ello, de forma indi-
recta, nos proporciona el tamaño de pantalla, ya que todos los modelos en sus
especificaciones técnicas incluyen el dato en pulgadas de la diagonal de la
pantalla (1” son 2,54 cm).
No confundir tamaño de pantalla (solo disponible en paradatos de teléfo-
nos inteligentes y tabletas) con la resolución de pantalla (disponible para
todos los dispositivos), que se mide en píxeles, entendiendo como píxel el
tamaño más pequeño que una imagen puede tener. Dos dispositivos pueden
tener tamaños de pantalla muy distintos, pero igual resolución de pantalla, y
en este caso la imagen que se visualiza en ambos dispositivos es la misma,

5
  La dirección IP (Internet protocol) es el número o código que identifica un dispositivo dentro
de Internet. Existen proveedores específicos de bases de datos de IP, como ip2location.com, max-
mind.com o db-ip.com.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 57

aunque ajustada al tamaño de la pantalla. En un navegador que muestre un


diseño que tenga una resolución superior a la pantalla, se activa la barra de
desplazamiento (scrollbar) horizontal y/o vertical con la que nos movemos
para ver el diseño completo. Por ello, para controlar el uso o no de la barra de
desplazamiento deberemos controlar el paradato de resolución de pantalla.
Aunque con los estándares actuales de programación web orientados a un
diseño web adaptativo también se cubre este control de diseño.
Los paradatos son muy útiles para una eficiente supervisión del trabajo de
campo, validación y depuración de errores, como se verá posteriormente (epí-
grafes 4.4 y 4.5), por ello es muy importante poder controlarlos y gestionarlos.
Si se opta por controlar y/o gestionar algunos paradatos en el inicio o a lo
largo de la cumplimentación de la encuesta, puede resultar adecuado el uso
de cookies para conservar su información, porque la respuesta del servidor
web es más eficiente al leer solo la cookie con una información sintética que
recogiendo los paradatos en cada salto de página.
Una cookie es un pequeño fichero de texto que controlamos desde el servi-
dor web y que almacenamos en el navegador que visualiza el cuestionario
web. Las cookies pueden ser de sesión, por lo que se borrarán una vez finalice
la sesión, o persistentes, que permanecen en el navegador del informante de
forma indefinida, hasta una fecha determinada que indiquemos o hasta que
las borre el informante de su navegador (las cookies persistentes quedan regis-
tradas en el fichero log).
Las cookies o variables de sesión son necesarias para gestionar correcta-
mente la grabación de los datos cuando el cuestionario no se presenta en una
sola página (formato de paginación, epígrafe 3.2), ya que al cambiar de página
el servidor web necesita identificar de nuevo al informante para grabar el
siguiente dato que aporte en el mismo registro y no otro. Este tipo de cookies
no generan excesivos problemas, porque usualmente los navegadores las
aceptan por defecto. Aunque darían problemas en informantes que acceden a
Internet desde redes muy restringidas. El uso de este tipo de cookies para el fin
descrito está permitido en la normativa legal vigente.
Las cookies persistentes que mantenemos en el navegador del informante
hasta una fecha determinada son útiles, como se describía anteriormente,
para ajustar el cuestionario en función de los paradatos detectados. Otra uti-
lidad es gestionar el aplazamiento y facilitar la realización de la encuesta en
distintas sesiones en un cuestionario que no disponga de clave de acceso (o
si la tiene, que no tenga que recordarla o introducirla), pues sin la cookie
debería empezar desde el principio. Aunque para esta utilidad hay que tener
en cuenta que las cookies solo se guardan en el navegador donde se presenta
el cuestionario web, por lo que, si el cuestionario se abre en otro dispositivo
o en otro navegador del mismo dispositivo, la cookie no se podrá leer y el
cuestionario se abrirá en la primera página. Los navegadores restringen más
este tipo de cookies permanentes y su uso está limitado por la normativa
58 CUADERNOS METODOLÓGICOS 59

vigente. Si es necesario emplear cookies permanentes, las recomendaciones


principales son:

— No usar cookies de terceros, es decir, solo cookies del dominio web donde
esté el cuestionario.
— No incluir ninguna información personal, tan solo un código sintético,
que solo nuestro servidor web sepa identificar, con el objeto de dar
acceso, redirigir al informante o presentar un diseño adecuado.
— Introducir una fecha de caducidad que esté relacionada con su finali-
dad, es decir, la fecha de finalización de la recogida de datos.

Con las recomendaciones anteriores, las cookies persistentes tienen la


misma función que las variables de sesión de cara a su consideración no res-
trictiva en la normativa jurídica.
La facilidad de acceso a los paradatos es máxima cuando la encuesta web
se programa ad hoc y también en aquellos casos en los que se emplean progra-
mas de gestión de encuestas web instalados en un servidor propio (p. ej.,
LimeSurvey). En los casos en los que se emplean plataformas y programas
web de programación y gestión online de encuestas web no es posible acceder
al fichero log y a la gestión de cookies. No obstante, cualquier aplicación de
encuestas web con rigor científico emplea los paradatos y las cookies de forma
adecuada para controlar los errores de medición y representatividad.

Aplicación práctica con plataforma de encuestas web

La herramienta e-encuesta.com emplea paradatos automáticamente para lograr un


diseño web adaptativo, mostrando el cuestionario en un tamaño de pantalla adecuado.
Asimismo, gracias a la parametrización de los enlaces, se controlan días y horas de
acceso individualizados, y una gestión eficiente de los recuerdos. Al permitir la para-
metrización manual, el investigador puede generar sus propios paradatos, por ejem-
plo, introduciendo en el enlace algún código que identifique el género o rango de
edad de la persona a la que se le envía el enlace para que participe en la encuesta.

2.6.  Seguridad, integridad y privacidad de los datos

Las personas de la muestra deben tener garantizadas en todo momento la


seguridad, la integridad y la privacidad de la información que aportan, y, ade-
más, estar informadas de ello. Esto está recogido en los códigos deontológi-
cos (ICC/ESOMAR y CODIM), en los estándares de calidad (UNE ISO-20252,
ISO 26362), y en la normativa legislativa (Ley 12/1989, Ley Orgánica 15/1999,
Ley 34/2002, RD 1720/2007 y Reglamento UE 2016/679).
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 59

Si bien el hecho de cumplir con estos deberes pudiera parecer una carga
extra, es todo lo contrario, ya que aportar certidumbre sobre la seguridad de
los datos estimula la colaboración y esto reduce el error de no respuesta.
En todas aquellas encuestas en las que sea posible identificar las unidades
muestrales es necesario establecer un mecanismo de control y de acceso al
cuestionario, usualmente a través de una clave. Con ello garantizamos:

— seguridad, integridad y privacidad de la información suministrada;


— control del error del muestreo, evitando, por ejemplo, duplicados, y
— gestión eficiente de recuerdos para quienes no han colaborado.

La clave suele ir parametrizada en el enlace a la encuesta web, de tal modo


que al recibir el enlace al cuestionario el servidor web la recoge sin interven-
ción del informante, no obstante, es aconsejable establecer unos criterios a fin
de que no resulte complejo que el informante la use, por ejemplo, al recibirla
en una carta postal o por SMS (epígrafe 2.4). Algunas recomendaciones para
reducir los errores de acceso a partir de la clave son:

— Usar solo letras (intercalar letras y números genera errores de cambio


de teclado), excluyendo la i y la o, ya que sus mayúsculas pueden con-
fundirse con el 1 y el 0, y la ñ.
— Adaptar la longitud de la clave al tamaño de la muestra. La combina-
ción de letras recomendadas (excluyendo i, o y ñ) son permutaciones de
24 elementos con repetición, si establecemos claves de tres letras tenemos
13.824 claves posibles, si establecemos cuatro letras serían 331.776 claves
posibles. Por tanto, sugerimos cuatro letras como tamaño de clave razo-
nable, usando tres letras para muestras de tamaño inferior a 400, o cinco
letras para muestras de tamaño superior a 10.000.
— Mostrar la clave al informante en mayúsculas, pero programar el for-
mulario de acceso para que la acepte tanto si se introduce la clave en
mayúsculas como en minúsculas.
— Documentar las claves erróneas que se ingresen en el formulario.

Para los datos de acceso, la clave y/o en la parametrización del enlace web,
en ningún caso deben usarse valores que puedan identificar a una persona de
la muestra (p. ej., NIF, CIF, correo electrónico, etc.).
Otro elemento de seguridad es el protocolo de transferencia de datos entre
el dispositivo del informante y el servidor donde se aloja el cuestionario. En
Internet el protocolo estándar para transmitir la información web (Hypertext
Transfer Protocol) es conocido por las siglas HTTP y la información que se
intercambia entre la persona que está visitando una página web y el ordena-
dor donde está alojada dicha página web pasa por múltiples ordenadores
desde el proveedor que da acceso a Internet al visitante hasta el proveedor que
60 CUADERNOS METODOLÓGICOS 59

da acceso a Internet al ordenador que tiene alojada la página web. Para hacer
más segura esa información se desarrolló el protocolo HTTPS, que encripta la
información, se crea un canal cifrado para que solo sea «entendible» en los
dos extremos. Por ejemplo, la información que se puede intercambiar en
http://www.ine.es/ no va encriptada, y la información que se puede intercam-
biar en https://iria.ine.es/ sí va encriptada.
Un cuestionario web, ante todo, es una página web, y si tiene algún error
de programación, aunque sea ajeno al diseño de la recogida de datos del for-
mulario, puede generar una brecha en la seguridad. El riesgo se reduce cum-
pliendo los estándares de accesibilidad y usabilidad en formatos digitales,
como UNE 139803, WCAG, y pautas de World Wide Web Consortium (W3C).
Existen herramientas muy útiles que testean y detectan errores sobre estánda-
res web, como tawdis.net (TAW de Fundación CTIC-Centro Tecnológico de la
Información y la Comunicación) y validator.w3.org (Validator de W3C). Se
debe testear el cuestionario web una vez hayamos concluido el diseño de la
encuesta, como se verá en el epígrafe de validación (4.5).
De cara a la exposición pública de la encuesta web, la seguridad, integridad
y privacidad en el tratamiento de la información de la encuesta se asume con
los elementos concretos que hemos mencionado: establecimiento de claves,
protocolo HTTPS y uso de estándares. Así como empleando un software de
servidor web actualizado y que tenga convenientemente configuradas sus
opciones de seguridad.
De cara al tratamiento interno, la base de datos que recoge la información
de la encuesta en el servidor debe estar en una ruta física distinta a aquella en
la que se encuentran las páginas web y hay que desvincular de dicha base los
elementos que pudieran identificar a las personas. Durante el proceso de reco-
gida de datos, si es necesario tener identificada la muestra para realizar un
correcto seguimiento de recuerdos, se usa la clave o código arbitrario que
tiene cada unidad muestral, manteniendo los datos identificables inaccesi-
bles, fuera de la red.
Si la investigación emplea un panel online, la empresa propietaria de dicho
panel es la garante de la seguridad, integridad y privacidad de los datos, y la
responsable frente a las brechas de seguridad que puedan producirse. Las
empresas con menor riesgo de brechas serán las más comprometidas con la
calidad y que, por tanto, tengan implementada la norma ISO 26362 y/o res-
pondan satisfactoriamente a las cuestiones planteadas en la guía ESOMAR 28,
a la que nos referimos con anterioridad.
En el caso de investigaciones que emplean paneles online o aplicaciones
web, aunque el investigador no tenga el control sobre el proceso de recopila-
ción de los datos, es posible hacerse una idea de la calidad del proceso obser-
vando si la empresa cumple lo siguiente:

— Parametrización de la muestra con caracteres aleatorios no identificables.


INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 61

— Transmisión de los datos con el protocolo HTTPS.


— Que las herramientas que testean los estándares web no detecten errores.

En cualquier caso, para todas las organizaciones externas (panel, aplica-


ción encuesta web, aplicación de mailing, SMS, etc.) que intervengan en la
investigación, se deben verificar estos dos aspectos:

— Que dispongan de textos como aviso legal, política de privacidad, condi-


ciones de contratación, política de cookies o similares donde se concre-
ten las cuestiones mercantiles y de materia de protección de datos, y que
estos no contravengan la legislación que ampara a la muestra. Poniendo
especial cuidado en aplicaciones donde solo se ofrece un plan gratuito.
Una aplicación que no genere ingresos con otros planes es susceptible
de generar ingresos a costa de los datos de la investigación, siendo esto
un motivo de peso para desechar dicha organización.
— Que expongan su número de identificación NIF (o VAT en la Unión
Europea) y domicilio fiscal. Además de ser un requisito para las empre-
sas que operan en España, se puede clarificar cuál es el marco jurídico
por el que se rige la plataforma y verificar el pasado de buenas o malas
prácticas de la organización o plataforma a la que le estamos confiando
nuestro trabajo de campo.

Por último, cuando dependemos de una organización externa, el único


dato personal que podría ser necesario facilitar en caso de un estudio nominal
es la dirección de correo electrónico para poder lanzar la encuesta, porque
otros que pudieran ser útiles (p. ej., para cuotas, como sexo o grupo de edad)
pueden parametrizarse con códigos arbitrarios. Por tanto, no debemos com-
partir con ninguna plataforma externa otras variables auxiliares de carácter
personal de las que podamos disponer (nombre, dirección postal, teléfono,
sexo, edad…), ya que las variables de interés siempre pueden anexarse al
fichero de datos de la encuesta de forma offline a partir del código de identifi-
cación del registro.

Marco jurídico aplicable a las encuestas web en España

— Ley 12/1989, de la Función Estadística Pública: regula el secreto estadístico para las
Administraciones públicas y garantiza el anonimato de los entrevistados, debido a que
los datos no pueden tratarse ni difundirse más que de forma numérica y agregada.
— Ley Orgánica 15/1999, de Protección de Datos de Carácter Personal, y el regla-
mento que la desarrolla, Real Decreto 1720/2007. Con la entrada en vigor en 2016
del Reglamento UE 2016/679, se derogó tanto parte de esta ley como de su regla-
mento, prevaleciendo lo que indica la norma europea.
62 CUADERNOS METODOLÓGICOS 59

— Ley 34/2002, de Servicios de la Sociedad de la Información y de Comercio Electró-


nico (LSSI-CE): si bien una investigación mediante encuesta, por lo común, no tiene
fin comercial, esta ley regula determinados aspectos del entorno digital que deben
ser tenidos en cuenta aun sin fin de lucro, como el uso de cookies y las comunica-
ciones electrónicas.
— Reglamento UE 2016/679, Reglamento General de Protección de Datos (RGPD): es
la principal norma por la que se rige España en materia de protección de datos.
Afecta a todos los países de la Unión Europea unificando tanto derechos como obli-
gaciones. Si el marco de referencia o el panel sobre el que construimos la muestra
contiene datos de carácter personal tendremos que estar muy atentos al cumpli-
miento de esta ley. A partir de la Agencia Española de Protección de Datos (aepd.es)
se accede a un espacio didáctico y divulgativo donde podemos resolver dudas,
realizar gestiones en materia de protección de datos y estar al día en materia legis-
lativa sobre protección de datos personales.

Aplicación práctica con plataforma de encuestas web

Como se mencionó en epígrafe 2.4, e-encuesta.com permite en algunos de sus planes


la generación de enlaces parametrizados, que el investigador podrá asignar fuera de
línea a su marco (direcciones de correo electrónico). Si consideramos que nuestra
muestra es muy sensible esto supone un plus de seguridad, ya que podremos usar
otras herramientas, ajenas a e-encuesta.com, para realizar el envío de los correos
electrónicos y/o SMS, desvinculando así la información de los contactos de sus res-
puestas en la encuesta. Si operamos de esta forma, la gestión de recuerdos no podrá
hacerse desde esta herramienta, sino que deberá llevarse a cabo desde la misma apli-
cación externa empleada para realizar la invitación a participar en la encuesta, a partir
de la información de la cumplimentación de las encuestas que se vaya generando.

Resumen

Este capítulo es un recorrido a través de los pasos y cuestiones previas a tener en


cuenta en el diseño y puesta en marcha de una encuesta web: desde la elección del
diseño general (pp. 44-45), hasta el diseño del plan para seleccionar a la muestra
(pp. 45-47) y contactar con ella (pp. 47-54). Asimismo, el capítulo aborda dos cuestiones
de vital importancia para llevar a cabo una encuesta web con las máximas garantías de
calidad, la recogida y análisis de datos auxiliares sobre el trabajo de campo de la
encuesta (pp. 54-58) y la seguridad y la protección de los datos personales (pp. 58-62).
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 63

Conceptos principales del capítulo

— Marco muestral.
— Protocolo de contacto con los informantes. Invitación y recuerdos.
— Encuesta multidispositivo.
— Paradatos y cookies.
— Códigos deontológicos, estándares de calidad y normativa legislativa son los prin-
cipios rectores para garantizar la seguridad, la integridad y la privacidad de los
datos de una encuesta.
3
Diseño del cuestionario

El cuestionario es uno de los aspectos más importantes para controlar el error


de medida, y en el cuestionario web, además, el error de no respuesta, tal y
como se señaló en los epígrafes 1.4 y 1.5, cuando se aludió a los tipos de erro-
res considerados por el enfoque del error total de la encuesta (figura I.3). En
este sentido, las posibilidades gráficas y el entorno visual del cuestionario web
suponen una notable mejora que puede minimizar el error de medida y redu-
cir el error de no respuesta (Smyth, 2018).
Antes de ahondar en el diseño de un cuestionario web, hay dos premisas
que deben prevalecer en cualquier diseño. Usabilidad (en la literatura
anglosajona, usability): que la página web sea sencilla de usar facilitando la
lectura de textos, descargando rápidamente la información y con funciones
y menús sencillos para producir satisfacción y comodidad. Y diseño web
adaptativo (en la literatura anglosajona, responsive): que la página web se
adapte automáticamente al dispositivo en el que se visualiza. Además de las
herramientas que analizan los estándares (epígrafe 2.6), existen distintas
herramientas online que permiten comprobar el cumplimiento de ambas
premisas (usabilidad y diseño adaptativo) de cualquier cuestionario web
(epígrafe 4.5).
En la definición de las encuestas web, realizada en las últimas líneas del
epígrafe 1.1, se aludió a los rasgos específicos de estas señalados por Couper
(2008 y 2011a), que las define como autoadministradas, computarizadas, inte-
ractivas, distribuidas y con un gran diseño gráfico. Estas características espe-
cíficas de las encuestas web, someramente explicadas en páginas anteriores,
son recuperadas en este capítulo con el fin de detallar las implicaciones que la
computarización y la interactividad tienen sobre el diseño del cuestionario de
una encuesta web.
Respecto a la primera, la encuesta web comparte los rasgos específicos de
las encuestas administradas que han sustituido el cuestionario de papel por
cuestionarios electrónicos (CAPI y CATI), que aportan notables mejoras al
proceso de medición. Estas encuestas se caracterizan por la facilidad de
66 CUADERNOS METODOLÓGICOS 59

adaptación del cuestionario al universo objeto de estudio. Para ello, disponen


de herramientas para:

—— elaboración de rutas (de preguntas) automáticas generadas por la


secuencia de preguntas filtro;
—— cuestionarios que «recuperan» información previa (datos disponibles
en el marco muestral, en mediciones anteriores en el caso de paneles, o
en preguntas anteriores del mismo cuestionario);
—— facilidad para aleatorizar el orden de preguntas, respuestas, la termino-
logía y el formato del cuestionario, y
—— controles de consistencia complejos que detectan los errores en el
momento que se producen, lo que permite solicitar una nueva respuesta
del entrevistado que constate la adecuación de las anteriores, verifi-
cando así la exactitud de determinadas respuestas.

Todos estos aspectos, en especial el último, suponen importantes aumentos


de la interactividad con el encuestado, interactividad que va desde la adaptación
de la ruta de preguntas (no detectada por el encuestado) hasta la disposición
automática de definiciones terminológicas estandarizadas (Conrad et al., 2006),
e incluso indicaciones a la persona entrevistada de que responda más lenta-
mente, empleando más tiempo en el proceso de respuesta (Conrad et al., 2017;
Revilla y Ochoa, 2015). En definitiva, estas «reacciones» del cuestionario a las
respuestas generan una interacción con el encuestado, adoptando así el cuestio-
nario algunas de las funciones «tradicionales» del entrevistador (Couper, 2008).
Además, el cuestionario electrónico dispone de una amplia variedad de recur-
sos visuales con una calidad notablemente superior a los utilizados en cuestiona-
rios de papel, de fácil disposición y sin apenas coste (Smyth, 2018). No solo se
alude al empleo de dibujos y fotografías, sino también a la disposición de espa-
cios, colores, utilización de símbolos y señales, etc., con probada influencia en la
respuesta (entre otros, Christian y Smyth, 2008; Smyth et al., 2006; Stern, Dill-
man y Smyth, 2008; Smyth, 2018). La importancia e influencia de estos aspectos
en el diseño del cuestionario han generado el desarrollo de una teorización sobre
la comunicación visual que será abordada en el epígrafe 3.1.
En conclusión, el cuestionario autoadministrado a través de la web incorpora
una gran cantidad de elementos que mejoran la medición, pero, inevitable-
mente, complejizan el diseño del cuestionario. Así, a las recomendaciones apli-
cadas a cualquier tipo de cuestionario, referidas al uso de respuestas cortas, no
plantear preguntas con dos temas, etc., se añade la disposición de todos los ele-
mentos adicionales expuestos en los párrafos anteriores. Todo esto implica, lógi-
camente, emplear más tiempo y recursos en el diseño del cuestionario atendiendo
a los distintos elementos que detallamos sistemáticamente en este capítulo.
La exposición se organiza en cinco partes, comenzando por las normas
«nuevas» para el diseño de cuestionarios que son consecuencia del cambio en
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 67

la forma de comunicación: del empleo de recursos visuales y orales propios de


las encuestas heteroadministradas (con encuestador) a recursos visuales espe-
cíficos de las encuestas autoadministradas. A esta situación hay que añadir el
cambio de paradigma que supone la lectura de información a través de la web
en pantallas, que genera una nueva forma de visualización. Estos aspectos son
desarrollados en el primer epígrafe, dedicando el segundo a la exposición de
las ventajas e inconvenientes de los dos formatos utilizados actualmente en
las encuestas web: la programación continua (scrolling), en la que las pregun-
tas se presentan en una sola página, por lo que su visualización implica el uso
de la barra de desplazamiento, y la paginación (paging), en la que las pregun-
tas se programan empleando múltiples pantallas. El tercer epígrafe se encarga
del diseño del cuestionario, y en el cuarto se detallan las normas que deben
cumplir las preguntas a utilizar en encuestas autoadministradas a través de
Internet, que suponen diferencias importantes respecto a las preguntas admi-
nistradas por un encuestador; y se termina con una breve exposición sobre los
diseños multipantalla y multidispositivo.
Este capítulo sobre el diseño del cuestionario considera que el lector tiene
conocimientos suficientes para diseñar un cuestionario, y que ya domina los
principios y recomendaciones sobre el lenguaje a utilizar, los tipos de preguntas,
así como los efectos generados por la unión de las preguntas en un cuestionario 1.
Teniendo presente esta situación, las siguientes páginas consideran aquellos
aspectos específicos que presentan variaciones sustanciales respecto a lo señalado
en las publicaciones citadas en la nota a pie. Así, por ejemplo, en las preguntas
abiertas se detallan todas las mejoras propuestas por el «modo visual» —caracte-
rístico de las encuestas web—, considerando que el lector tiene suficientes nocio-
nes de las ventajas e inconvenientes de estas preguntas, y que sabe cuándo
utilizarlas. De la misma forma se opera con las preguntas cerradas, donde se
alude a «nuevos» tipos de preguntas 2 y formas de responder propias de Internet 3,
así como a la presentación de gráficos e ilustraciones dentro del cuestionario.

3.1. ¿Una nueva forma de comunicación?


Consideraciones previas

Al comienzo de este capítulo se aludió a que las grandes posibilidades gráficas


son una ventaja importante del cuestionario web que lo diferencia de otras

1
  A los lectores que no se encuentren en esta situación recomendamos los textos de Azofra
(1999), en esta misma colección, así como los trabajos de Díaz de Rada (2001), Cea D’Ancona
(2004; 2012), Padilla, González y Pérez (2014) y Sarabia Sánchez (2013).
2
  Por ejemplo, explicaciones de conceptos, listas desplegables, etc. Estas últimas son pre-
guntas cerradas cuyas opciones se despliegan cuando se pulsa un botón, definidas en inglés
como drop boxes, select list o drop-down box (Dillman, Smyth y Christian, 2014).
3
  Botones de opción, casillas de verificación, etc.
68 CUADERNOS METODOLÓGICOS 59

modalidades de encuesta con y sin encuestador. El aspecto específico que


define el modo autoadministrado es la ausencia de un entrevistador que haga
de intermediario entre el investigador y el entrevistado, estableciéndose una
relación directa entre ambas partes. En la investigación con encuesta una de
las funciones más importantes de este intermediario es animar a la coopera-
ción, solucionando las dudas y suspicacias del seleccionado, y estableciendo
un marco adecuado de cooperación para responder el cuestionario. Cumplida
esta función, una vez que el seleccionado acepta cooperar, se procede al
empleo de recursos orales, en la encuesta telefónica, y orales-visuales-paralin-
güísticos (Loosveldt, 2008; de-Leeuw, 2008) en la encuesta presencial.
En el modo autoadministrado, por el contrario, estas dos funciones se des-
plazan al cuestionario; al cuestionario y a todos los aspectos relacionados con
el mismo, como son la institución que solicita la colaboración, la forma en la
que accede al seleccionado, uso de incentivos, personalización del destinatario,
el propio diseño de las preguntas, etc. (entre otros, Lozar Manfreda et al., 2008;
Shih y Fan, 2008). Una vez que el seleccionado accede a responder tiene lugar
un proceso comunicativo muy diferente al producido en las encuestas con
encuestador por la gran influencia de la comunicación visual. Debe tenerse en
cuenta que el seleccionado no cuenta con una persona que le «ayude» en el pro-
ceso de respuesta, y debe ser el propio cuestionario el que le guíe sobre cómo
proceder, especificando cómo debe responder, si debe saltar determinadas pre-
guntas o responder a todas, etc. El objetivo, en definitiva, es que el cuestionario
cuente con los recursos necesarios para facilitar el proceso de «navegación» del
encuestado. Este lenguaje visual es considerado como un «nuevo» lenguaje
auxiliar que no solo hace el cuestionario más atractivo, sino que influye en el
modo en el que los encuestados interpretan las preguntas (entre otros, Couper,
Traugott y Lamias, 2001; Christian y Dillman, 2004; Tourangeau, Couper y
Conrad, 2004; 2007; Dillman, 2007; Vehovar, Lozar Manfreda y Koren, 2008).
Por todo ello, en la encuesta autoadministrada tiene lugar un proceso comuni-
cativo muy diferente al producido en las encuestas con encuestador.
El cuestionario cuenta con varios tipos de elementos visuales que transmi-
ten significados al encuestado (Redline y Dillman, 1999; Smyth, 2018): pala-
bras, números y símbolos. El encuestado, a solas con el cuestionario, presta una
atención selectiva a determinados elementos, influyendo más unos aspectos
que otros. En una teorización sobre la influencia del diseño visual en los cues-
tionarios autoadministrados, diversos expertos (entre otros, Redline y Dillman,
1999; Dillman, Gertseva y Mahon-Haft, 2005; Tourangeau, Conrad y Couper,
2013) establecen una «jerarquía de impactos», considerando que las palabras
presentan el mayor nivel de influencia; «son la fuente fundamental de signifi-
cado que emplean los encuestados para conocer qué se les pregunta» (Redline
y Dillman, 1999; Toepoel, Das y van-Soest, 2009). Dentro de este aspecto se
incluye también su componente gráfico: tipo de fuente, tamaño y otros realces,
como negrilla, itálica y subrayado. Todos ellos son elementos que, cuando se
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 69

usan de modo coherente, ayudan a los encuestados a mover sus ojos cruzando
el cuestionario y comprender los contenidos que se les presentan.
Los números tienen una influencia menor, tanto cuando se emplean en las
instrucciones («ir a la pregunta 7», por ejemplo) como cuando están en las
opciones de respuesta. Suponen una comunicación adicional normalmente
relacionada con la secuencia y el orden de respuestas. Los símbolos son figuras
que añaden más significado en función de lo que represente el símbolo para
cada entrevistado. Es interesante dar cuenta, en relación con este aspecto, de
una investigación realizada por Stange et al. (2016) donde —tras dividir una
muestra en dos partes equivalentes— una responde a una pregunta batería con
texto (muy satisfecho, algo satisfecho, neutro, algo insatisfecho y muy insatisfe-
cho) y otra, con unas caras con gestos diferentes, bien sonriendo o con gesto de
«disgusto»:

Ilustración III.1.

Fuente: Stange et al., 2016.

Las respuestas al cuestionario no difieren significativamente entre una ver-


sión y otra, aunque los entrevistados con el cuestionario con «caritas» respon-
den más rápido; diferencias en rapidez que aumentan notablemente en los
entrevistados con bajos niveles educativos. Este hallazgo lleva a los autores a
recomendar el uso de «caritas» en lugar de texto, fundamentalmente para faci-
litar la comprensión y facilitar la respuesta de los sectores con menos estudios.
Otros símbolos muy utilizados son una flecha junto a un botón de opción,
que indica al encuestado que debe dirigirse a otro sitio, un «€» tras un cajón
de texto que pregunta sobre los ingresos, que indica que deben darse en euros,
etc. En definitiva, el uso del «lenguaje simbólico» ayuda al encuestado a seguir
el cuestionario en el orden debido y a contestar de forma adecuada.
A esta clasificación, Dillman et al. (2014) le añaden los gráficos, considera-
dos como formas e imágenes visuales con diferente nivel de complejidad, y
que expresan también un determinado significado a los encuestados. El tér-
mino gráfico se utiliza aquí en sentido «amplio», considerando gráfico tanto
el indicador de dónde debe darse la respuesta (« » o « ») como los logos,
fotografías, etc. Considerando la jerarquía de impactos —antes aludida—, los
gráficos presentan el menor nivel de influencia, fundamentalmente porque los
70 CUADERNOS METODOLÓGICOS 59

ojos del lector se sitúan primero en el texto, y después prestan atención a los
gráficos. Investigaciones realizadas analizando el recorrido de los ojos (eye
tracking) desvelan que el 78% de los usuarios fija primero su atención en el
texto, y únicamente un 22% lo hace en los gráficos (Nielsen, 2000).
Este nuevo marco comunicativo ha generado una gran cantidad de inves-
tigación relacionada con las encuestas por Internet, siendo actualmente una
de las áreas con mayor desarrollo. El gran impacto que tiene el modo de visua-
lización del cuestionario en la forma en la que es respondido lleva a algunos
expertos (entre otros, Couper, 2000; Dillman et al., 2014; Tourangeau et al.,
2013) a considerar el lenguaje visual como suplementario al lenguaje escrito.
En un trabajo sobre cómo el diseño visual afecta a la respuesta, Toepoel y Dill-
man (2012) fijan las siguientes 12 reglas a considerar:

1. En preguntas abiertas el espacio dejado para responder debe coincidir


con la longitud de la respuesta prevista, ya que el primero informa sobre
el segundo. Así, por ejemplo, si se pregunta sobre la ciudad de naci-
miento, no se debe dejar un espacio de varias líneas, sino limitar la edi-
ción de texto en una sola línea.
2. Asegurarse de que cada opción de respuesta (sustantiva) consigue el
mismo impacto visual, esto es, no debe concederse un mayor énfasis a
unas categorías que a otras.
3. Colocar las escalas visuales consistentemente en un orden ascendente o
descendente para todo el cuestionario.
4. Presentar las escalas ordinales con botones de opción, en un formato
lineal, con el mismo espacio entre las opciones de respuesta, de modo que
el lenguaje visual transmita que la escala es clara para los encuestados.
5. Asegurarse de que el punto medio visual (de la escala) coincide con el
punto medio conceptual.
6. Tener en cuenta, cuando se presenten varios ítems en una pantalla, que
aumenta la correlación entre ítems, sobre todo las escalas evaluativas.
7. Utilizar escalas completamente etiquetadas en cada opción de res-
puesta. Si no es posible, porque va a utilizarse un diseño mixto con
encuestas telefónicas, añadir puntos del 1 hasta el final de la escala.
8. Utilizar un orden lógico en las opciones de respuesta (por ejemplo, pro-
gresivo), teniendo en cuenta que los encuestados interpretan ese orden.
9. Siempre que sea posible, presentar las opciones de respuesta de forma
aleatoria para evitar los efectos derivados del orden de las respuestas.
10. Colocar las instrucciones para responder a la derecha de la pregunta en
el espacio entre las preguntas y las respuestas (Zeglovits y Schwarzer,
2016), asegurándose de que los encuestados no deben utilizar mucho
esfuerzo para leerlas.
11. Evitar el abuso de dibujos, números y columnas cuando estos elementos
gráficos sean innecesarios para la correcta comprensión de la pregunta.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 71

12. Cuando se deseen comparar resultados de diferentes estudios, hay que


asegurarse de que los encuestados han utilizado los mismos recursos
visuales.

A estas recomendaciones, Toepoel (2016) añade que los investigadores con


encuestas deben tener en cuenta que los siguientes elementos influyen en la
respuesta 4:

— Tamaño del espacio de respuesta.


— Dibujos, sonidos y vídeos.
— Espacio.
— Etiquetas.
— Orden.
— Símbolos, señales.
— Color.
— Instrucciones.
— Números.
— Visibilidad.

La importancia del diseño visual, frente a la comunicación oral, precisa


también dar cuenta de un nuevo «marco comunicativo» al sustituir la comu-
nicación con un entrevistador por la exposición frente a una pantalla. Por ello,
el diseño del cuestionario debe prestar suma atención a cómo se recibe la
información, visionada en una pantalla, que sigue unas reglas muy diferentes
del visionado en papel. Una de las personas que más ha trabajo sobre el tema,
Jacob Nielsen (2006), da cuenta de una pauta de lectura en «F» que ha sido
adoptada por la mayor parte de la literatura sobre el tema. La lectura en pan-
talla sigue la siguiente secuencia (figura III.1):

—— La lectura comienza con un movimiento horizontal, que se inicia nor-


malmente en la parte superior del documento (pantalla/papel) y que
sigue una orientación —en la cultura occidental— de izquierda a dere-
cha. Llegados al margen derecho, la atención vuelve a la parte izquierda.
—— Situado en esta posición, la atención del lector se desplaza hacia abajo
por el margen izquierdo, y —tras «saltar» una parte del texto/pantalla—
repite la secuencia anterior de lectura de izquierda a derecha. En este
caso la atención no llega hasta el margen derecho, cubriendo así un
área más corta que la lectura anterior.

4
  El carácter introductorio de este texto impide un desarrollo exhaustivo de estas recomenda-
ciones. Para profundizar en estos aspectos del diseño de cuestionarios web, recomendamos la lec-
tura de los trabajos de Jenkins y Dillman (1997), Dillman, Gertseva y Mahon-Haft (2005), y
Toepoley y Dillman (2011).
72 CUADERNOS METODOLÓGICOS 59

—— Se vuelve a la parte izquierda para proceder con un desplazamiento ver-


tical (hacia abajo) visionando el margen izquierdo. En función de la
velocidad de desplazamiento puede leer todo que se encuentra, creando
así un mapa de contenido en su cabeza, o puede desplazarse más rápido
«saltando» determinadas partes del contenido, elaborando así un mapa
«menos definido».

Debe tenerse en cuenta que a medida que se desciende por la pantalla dis-
minuye la intensidad de la lectura, viendo solo el principio de la línea, normal-
mente alrededor de dos palabras o once caracteres (Nielsen, 2009, p. 1).

Figura III.1.
Lectura de páginas web utilizando la técnica de seguimiento de la mirada

Visionado de
Visionado del apartado
un producto en una Visionado de resultados
«sobre nosotros»
web de comercio en una web de búsquedas
en una web corporativa
electrónico

Fuente: Nielsen, 2006, p. 2.

Esta pauta de comportamiento adquiere así una forma de «F», si bien


puede convertirse en una «E» cuando el lector lee al final de la página todo
el texto hasta el margen derecho, esto es, la pauta seguida al inicio. Estos
hallazgos, logrados utilizando técnicas de seguimiento de la mirada (eye
tracking), localizan también una lectura en «L», en algunos casos en los que
la lectura detenida alcanza a la parte final de la pantalla, si bien Nielsen
(1996) señala que la pauta más habitual es la lectura en «F». En cualquier
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 73

caso, todas tienen en común que el desplazamiento vertical se lleva a cabo


por la parte izquierda, lo que implica una mayor atención a los elementos
colocados en ese lugar. En la figura III.1 se muestra la lectura de páginas
web de distinto contenido donde se observa el patrón de lectura en forma
de «F».
Existen herramientas online que escanean el cuestionario con técnicas de
seguimiento de la mirada mostrando los elementos más atractivos de la ima-
gen en forma de puntos «calientes» y «fríos» (p. ej., feng-gui.com).
La pauta de lectura en «F» conlleva las siguientes implicaciones para tener
en cuenta en cualquier diseño de cuestionario web (Nielsen, 2006, p. 2):

—— Los usuarios no leen el texto de forma convencional, de una forma


exhaustiva, «palabra a palabra». Normalmente se lee el 28% de las pala-
bras, aunque la mayor parte de los usuarios apenas llega al 20% (Wein-
reich et al., 2008).
—— Los dos primeros párrafos deben contener la información más impor-
tante, ya que es la posición a la que se presta más atención, es el lugar
donde más tiempo permanecen.
—— La página debe comenzar con los párrafos y las viñetas que tengan la
información más esencial, siendo recomendable utilizar subtítulos para
fijar la atención.

Consecuencia de esta forma de comportamiento, Nielsen (1997) detecta en


sus investigaciones que solo un 16% de las personas analizadas llevan a cabo
una lectura «palabra a palabra», mientras que la gran mayoría —el 79%—
«escanea» la página buscando palabras clave (destacadas por cambios en el
color, tamaño y fuente), subtítulos significativos y listados en viñetas. Varios
factores explican esta situación (Nielsen, 2013):

—— Los usuarios de Internet están «orientados a la acción», buscando res-


puestas rápidas a sus preguntas e inquietudes, en lugar de volver atrás
y satisfacer esta inquietud con la lectura completa del texto.
—— El contenido de la web está distribuido en múltiples lugares, múltiples
páginas, mientras que el material impreso se acumula en un solo objeto.
Este último precisa de una «pauta de navegación» que requiere de más
trabajo que la navegación en la Red: «pasar la página» frente al «clic del
ratón».
—— Los usuarios normalmente leen unas pocas palabras de cada página
porque están impacientes y rápidamente pulsan el botón de enviar (ele-
mento <submit>) con el ratón para abrir una nueva página.
—— Los estilos de escritura elaborados precisan de una lectura sosegada, un
tiempo del que no se dispone en la Red, lo que hace que los usuarios no
les dediquen el tiempo que precisan.
74 CUADERNOS METODOLÓGICOS 59

Esta situación lleva a Loranger (2014) a proponer la ruptura de tres reglas


«básicas» de la escritura cuando se trata de redactar para el entorno web:

1. La primera idea por desterrar es la que indica que «nunca deben utili-
zarse fragmentos de una frase», frases incompletas que normalmente
carecen de sujeto o verbo. Las normas de escritura recomiendan utilizar
frases completas que expresan ideas completas. El modo web destierra
totalmente esta concepción al recomendar frases incompletas donde
—además— aparezcan resaltados determinados fragmentos para
aumentar el impacto de la idea. La detección de estos fragmentos favo-
rece una mejor localización de los temas, y permite a los usuarios pro-
fundizar en los temas que interesen. La brevedad es la norma a seguir.
2. Deletrear (escribir con letras) los números menores de 100, utilizando
valores numéricos para el resto, es otra costumbre en vías de desapari-
ción, fundamentalmente porque los números son fácilmente localiza-
dos dentro de un texto. Considerando siempre que la lectura en la web
es selectiva, y que muy pocos usuarios leen todas las palabras, Nielsen
(2007) señala que los números detienen el «deambular» de los ojos y
atraen su atención. Esta situación se explica por la diferente forma de
un grupo de dígitos, cuando se compara con un texto lleno de letras, y
porque los números representan hechos. Así, las normas habituales de
escritura, como la que propone el manual de Chicago 5, experimentan
un notable cambio en el medio Internet:

— Escribir los números con dígitos, no letras,


— utilizar números aun cuando el número sea la primera palabra de
una frase o viñeta,
— emplear números para ‘grandes números’ aun cuando sean superio-
res al millón,
— deletrear los números que no representen hechos específicos, y
— representar con dígitos los ‘grandes números’ como trillón, etc., (Niel-
sen, 2007).

En definitiva, utilizar dígitos en vez de letras aumenta la localización de


informaciones —buscadas por los usuarios— dentro de una página web
repleta de información.
3. Los párrafos «deben contener entre tres y cinco frases» es otra de las
reglas habituales que todos hemos escuchado desde niños, pero en el
modo web un párrafo de una sola frase proporciona más impacto, al

5
  Este manual recomienda escribir con letras los números entre 1 y 99, añadir el término
«cientos», «miles» o «millones» a esos números cuando sea preciso, utilizar números redondea-
dos y que los números aparezcan al principio de la frase.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 75

tiempo que permite fijar la atención en puntos clave que, de otro modo,
quedan escondidos. Nielsen (1997) considera que un párrafo debe con-
tener una sola idea que debe aparecer en las primeras palabras. En caso
contrario, los lectores «saltarán» a otro sitio.

En definitiva, Loranger (2014) propone el uso de «fragmentos» de frases y


de «números» y párrafos breves, siempre considerando las características de
la audiencia y el grado de formalidad de la situación. A estas ideas Nielsen
(1997) añade la recomendación de comenzar los textos por las conclusiones,
lo que él llama la pirámide invertida, y utilizar la mitad de las palabras que en
una conversación convencional. En diversos trabajos demuestra cómo el
impacto de un anuncio (comercial) aumenta significativamente empleando
viñetas, reduciendo al mínimo el número de palabras, y centrándose en infor-
mación objetiva. De hecho, cuando el diseño de la página consigue que los
usuarios localicen la información que están buscando, se interrumpe el esca-
neo y se procede con la lectura (Nielsen, 2013).
Ahora bien, hay una excepción en relación con el escaneo, relacionada
con el nivel educativo: las personas con niveles educativos más bajos no
pueden escanear, procediendo a una lectura detallada, mientras que las
personas con alto nivel educativo leen toda la página solo si les parece inte-
resante o si están buscando información relacionada con el hecho en cues-
tión (Nielsen, 2007).
Esta digresión sobre la lectura de pantallas, ausente en los textos de cues-
tionarios, es fundamental en la medida que el cuestionario debe adaptarse al
«nuevo» formato de respuesta, como es la lectura en línea en una pantalla,
siempre considerando que cuando el contenido atrae la atención del lector
este cambia su comportamiento interrumpiendo el escaneo y procediendo
con la lectura del texto (Nielsen, 2013).

3.2.  Formulario y paginación de un cuestionario web

La base de todo cuestionario web es un formulario desarrollado en HTML,


en este sentido ha sido muy relevante para las encuestas web la reciente
evolución desde el estándar HTML4, del año 1997, al estándar HTML5, del
año 2014. En HTML5 los elementos de los formularios tienen un mayor
grado de lo que se conoce en programación informática como marcado
semántico, es decir, se entienden de una forma más clara por quienes los
rellenan y aportan más uniformidad en la diversidad de navegadores web
existentes. Asimismo, actualmente los navegadores web pueden hacer de
forma directa algunos procesos para los que antes era necesario recurrir a
programación en JavaScript y/o interactuar con el servidor web, con los
gravísimos riesgos que ello suponía por el rechazo al JavaScript en muchas
76 CUADERNOS METODOLÓGICOS 59

configuraciones de navegación. Por ejemplo, con el estándar de HTML5 se


pueden validar de forma directa un campo numérico o una fecha sin nin-
gún riesgo de error para cualquier configuración de navegador web y con
una alerta rápida, integrada por igual en todos los navegadores y sencilla de
interpretar.
Por lo anterior, el bagaje metodológico de encuestas web basadas en
HTML4 que traemos a este manual guarda una correspondencia de mejora en
el diseño aplicando HTML5, y, en algunos casos, como los procesos de verifi-
cación de los datos introducidos, donde el uso de JavaScript hacía poco reco-
mendable o compleja una acción concreta, ahora es muy sencilla y sin riesgos.
Los formularios web en su lenguaje de programación tienen una serie de
elementos (tipos, atributos y etiquetas) que influyen en mayor o menor medida
en el diseño de encuestas web. En la tabla III.1. se exponen los más determi-
nantes y a los que se alude a lo largo de este capítulo.
Además de los elementos descritos en la tabla anterior, existe una función
conocida como «arrastrar y soltar» (drag and drop), que a partir de HTML5 se
integra de forma nativa, siendo una función muy útil para ordenar imágenes
o categorías de respuesta, y que antes de 2014 no estaba disponible de manera
estandarizada.
El software comercial con versiones posteriores a 2014 debería implemen-
tar adecuadamente estos elementos, que presentamos aquí con el objetivo de
que el lector sepa cuáles son las distintas opciones disponibles para el diseño
del formulario web.
Aunque en una página web se pueden integrar varios formularios, en una
encuesta web todas las preguntas que se planteen en una página deben estar
integradas en el mismo formulario, dicho de otro modo, en cada página solo
puede haber un botón para enviar los datos (elemento <submit>). Por tanto,
antes de entrar de lleno en el diseño, hay que decidir si se opta por un formato
donde todas las preguntas del cuestionario se integren en un mismo formula-
rio y, por tanto, en una única página, al que hemos denominado formato con-
tinuo (en la literatura anglosajona, scrolling), o bien se va a programar el
cuestionario en varios formularios y, por tanto, las preguntas se van a repartir
entre varias páginas, lo que se denomina formato de paginación (en la lite-
ratura anglosajona, paging).
En el formato de programación continuo, el contenido total del cuestio-
nario está en una única página y usualmente no se puede visualizar por
completo en la pantalla, por lo que en un navegador web se activa automá-
ticamente una barra de desplazamiento vertical en el lado derecho. El
encuestado se traslada de una pregunta a otra utilizando la barra de despla-
zamiento vertical, el tabulador, el ratón, y/o las teclas de dirección (Peytchev
et al., 2006). En la figura III.2 se puede apreciar cómo este formato presenta
en la pantalla varias preguntas a la vez y el encuestado tiene que «saltar» de
una pregunta a otra, desplazando la pantalla cuando sea preciso hasta el
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 77

Tabla III.1.
Elementos de formularios web en HTML
más destacados en el diseño de encuestas web

Elemento Descripción del elemento

Caja que permite introducir texto en una única línea. Se usa para
<text>
respuestas abiertas cortas.
Caja que permite introducir texto en múltiples líneas. Se usa para
<textarea> respuestas abiertas largas. Este elemento no permite avanzar con el
tabulador por los campos del formulario.
Caja que permite introducir un valor numérico. Activa el teclado
<number> numérico en dispositivos táctiles/teclados virtuales y permite acotar
a un rango concreto de números válidos.
<checkbox> Casilla de selección. Se usa para categorías de respuesta múltiple.
Botón de selección de opción. Se usa para categorías de respuesta
<radio>
única, cuando se activa una, se desactiva otra.
Muestra una lista desplegable para seleccionar una categoría. La lista
<select>
aparece oculta al cargar la página, por eso su uso debe ser limitado.
Similar a <select>, pero se puede introducir texto generando suge-
<datalist> rencias de cumplimentación de entre el listado que se haya pro-
puesto.
Al cargar la página posiciona el cursor en el campo del formulario
<autofocus>
donde se quiere empezar a introducir la información.
Atributo que muestra en <text>, <textarea> o <number> un texto
<placeholder> por defecto mientras el campo esté vacío y al escribir desaparece.
Ayuda a entender el propio campo.
Botón para enviar datos de un formulario. A partir de él se inicia, se
<submit> pasa de página o se finaliza la encuesta. Deberá etiquetarse conve-
nientemente para informar al encuestado de la acción que produce.

Fuente y demo de cada elemento en: www.w3schools.com/html/.

final de la página, donde se sitúa el botón del elemento <submit> etiquetado


como «Grabar cuestionario», «Finalizar», etc., con el que se envían todos los
datos y finaliza la encuesta. Este formato es recomendable para cuestiona-
rios cortos.
En el formato de paginación, el contenido del cuestionario se divide en
varias páginas; usualmente las preguntas de cada página se visualizan por
completo en la pantalla, y al final de cada página, con el botón del elemento
<submit> etiquetado como «Continuar», «Siguiente», etc., se envían los
datos de las preguntas formuladas en esa página, y, además, hace avanzar el
78 CUADERNOS METODOLÓGICOS 59

Figura III.2.
Ejemplo de cuestionario en formato continuo

Fuente: Tarjeta postal adaptada en www.nocheinvestiga.es, IESA/CSIC E1705.

cuestionario a la siguiente página (figura III.3). Este formato es recomenda-


ble en el caso de cuestionarios largos, ya que permite la opción de aplaza-
miento, en cuestionarios donde queramos separar las preguntas por bloques
temáticos, y para dispositivos con tamaño de pantalla reducido, como los
teléfonos inteligentes, donde se recomienda una pregunta por página.
El formato de paginación no está exento de que se active la barra de des-
plazamiento vertical del lado derecho, pues dependerá del tamaño y/o resolu-
ción de la pantalla. También en ambos formatos podría activarse la barra de
desplazamiento horizontal en la parte inferior de la pantalla si el contenido
del cuestionario se saliera de los márgenes laterales, si bien esto último
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 79

Figura III.3.
Ejemplo de cuestionario en formato de paginación

Fuente: Página 5 de un cuestionario web de evaluación, IESA/CSIC E1705.

conviene evitarlo puesto que cuando se lee una página web no existe el hábito
de desplazamiento en horizontal. En términos de diseño responsive, la solu-
ción es definir el ancho del formulario (width en HTML) con un valor relativo
en tantos por ciento, en vez de un valor absoluto en píxeles, de esa forma el
formulario se ajusta en ese tanto por ciento a la resolución horizontal de
cualquier de pantalla y evita siempre que se active la barra de desplazamiento
horizontal.
Cada formato tiene sus ventajas e inconvenientes, y deberán ser considera-
dos con detenimiento con el fin de llevar a cabo la mejor elección en función
de la investigación que se está desarrollando.
El formato continuo presenta como principal ventaja la mayor sencillez en
su elaboración, ya que se trataría del equivalente a un cuestionario autoadmi-
nistrado «tradicional» (de papel), pero implementado en otro soporte. Tal y
como han demostrado diversas investigaciones (entre otros, Mavletova y Cou-
per, 2014), este formato presenta menos problemas técnicos y una mayor faci-
lidad para introducir las respuestas. Es también el más adecuado en
investigaciones con modos mixtos (Toepoel, 2016), por su similitud con los
estímulos proporcionados en cada modo, y no es preciso explicar cómo pasar
de una pregunta a otra por la familiaridad de los usuarios de ordenadores con
la barra de desplazamiento (Tourangeau, Conrad y Couper, 2013).
A la inmediatez de la respuesta se añade la escasa probabilidad de que el
cuestionario cambie en los equipos de los encuestados (Callegaro, Lozar Man-
freda y Vehovar, 2015), aun cuando se trate de dispositivos antiguos o con
escasa potencia. La sencillez para ir a la última pregunta permite a los encues-
tados conocer la extensión del cuestionario (Toepoel, 2016), algo que implica
una seria desventaja de este formato para cuestionarios extensos, mientras
80 CUADERNOS METODOLÓGICOS 59

que es irrelevante en el formato de paginación, ya que el encuestado en nin-


gún momento conoce la longitud del cuestionario a no ser que se le informe
al inicio. De hecho, cuando el estudio desarrollado por Mavletova y Couper
(2014) analiza el momento del abandono en cada formato, da cuenta de que
en el formato de paginación se producen más abandonos tempranos 6 en la
primera página, mientras que en el formato continuo los abandonos tienen
lugar en las preguntas centrales o finales. Por último, los cuestionarios preci-
san de menos tiempo en su respuesta que cuando se emplea el formato de
paginación (entre otros, Vehovar, Lozar Manfreda y Batagelj, 2000; Peytchev
et al., 2006; Mavletova y Couper, 2014).
Su principal inconveniente alude a la «pérdida de frescura» del encues-
tado, que ha podido leer el cuestionario por completo y proceder a responder
después (Toepoel, 2016), manteniendo —de forma consciente— la coherencia
entre preguntas (puesto que conoce todo el cuestionario antes de proceder
con la respuesta). Muy relacionado con esta situación es que no se dispone de
información de cómo el encuestado ha respondido el cuestionario, esto es,
puede comenzar por el final, por las preguntas que le han resultado más inte-
resantes, realizar correcciones, etc. Esto implica que es prácticamente impo-
sible conocer la influencia de unas preguntas en otras, del mismo modo que
tampoco se sabe si el cuestionario ha sido respondido de una vez o en varias
sesiones, etc.
Otras desventajas del formato continuo están relacionadas con la necesi-
dad de que sea el propio encuestado el que lleve a cabo los filtros de las pre-
guntas, con los consiguientes errores de omisión y sobredeclaración, estos
últimos más frecuentes que los primeros. Un experimento realizado por
Peytchev et al. (2006) con estudiantes de la Universidad de Michigan cifra en
2,3% los errores de omisión en este tipo de formato, mientras que los errores
de sobredeclaración llegan al 6,9%. Unos resultados que, en línea con otras
investigaciones realizadas por Redline y Dillman (2002), Redline, Dillman y
Dajani (2003), Bowker y Dillman (2000), y Dillman et al. (1998), dan cuenta
de la mala sensación y frustración del encuestado al tener que saltar un gran
número de preguntas, sensación que termina generando un mayor número
de errores y preguntas sin responder.
Volviendo a las desventajas del formato continuo, toda la información
está en poder del encuestado puesto que no se envía hasta que el cuestiona-
rio está completado y pulsa el botón del elemento <submit> para enviarlo.
Esto genera que —en función de la temática del cuestionario o de su longi-
tud— la información pueda perderse si el navegador se cierra accidental-
mente antes de enviarlo (Toepoel, 2016), por errores al pulsar el botón del

6
  Términos empleados para referirnos a las personas que abandonan la colaboración sin lle-
gar a completar el cuestionario, breakoffs y tradeoffs en inglés, situación muy diferente de aque-
llos que lo interrumpen (momentáneamente) y vuelven después a completarlo.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 81

elemento <submit> o, incluso, por deseos explícitos del encuestado, que


interrumpe momentáneamente el proceso de respuesta («seguiré más
tarde»), y olvida después enviar las respuestas ya efectuadas. Estos motivos
llevan a Couper (2011b) a recomendar no colocar en este diseño botones del
tipo «Cancelar», «Limpiar», «Resetear», etc., que pueden ser utilizados sin
querer o pensando que el efecto es diferente al que creía el entrevistado.
Couper justifica esta forma de proceder porque si el encuestado se arre-
piente de las respuestas proporcionadas o, repentinamente, le ha molestado
una pregunta y decide no cooperar, abandonar esa página o cerrar el nave-
gador proporciona el mismo efecto.
Una estrategia que minimiza la situación descrita en el párrafo anterior
es «partir» el cuestionario en varias páginas, que serán enviadas al investi-
gador cuando se «salta de una a otra». Así se procedió en el estudio Condi-
ciones de vida y expectativas de retorno de los emigrantes de Andalucía
(Moscoso y Moyano, 2010), donde las 57 preguntas (136 variables) del
cuestionario fueron divididas en 7 bloques-páginas, agrupadas por temáti-
cas. Cuando el encuestado pulsa el botón del elemento <submit> para
enviar los datos y acceder a la siguiente página el cuestionario le advierte
de que ha dejado preguntas sin responder, ofreciendo la posibilidad de vol-
ver atrás (verificar) o continuar respondiendo (figura III.4a). Cuando se
opta por este formato el cuestionario es inmediatamente enviado al IESA/
CSIC, lo que implica que —aun cuando no termine el cuestionario— al
menos se cuenta con una parte de la información. Un análisis del citado
estudio desvela que el 4,6% de los encuestados interrumpieron el cuestio-
nario antes de terminarlo.

Figura III.4a.
Advertencia de preguntas no respondidas
en un cuestionario con formato de paginación

Fuente: Cuestionario web del estudio de IESA/CSIC E0916.


82 CUADERNOS METODOLÓGICOS 59

Figura III.4b.
Advertencia de preguntas no respondidas en un cuestionario
con formato de continuo integradas en el formulario del cuestionario

Fuente: Tarjeta postal adaptada en www.nocheinvestiga.es, IESA/CSIC E1705.

Figura III.4c.
Advertencia de preguntas no respondidas en un cuestionario
con formato de paginación integradas en el formulario del cuestionario

Fuente: Página 5 de un cuestionario web del estudio de IESA/CSIC E1705.

En el ejemplo anterior la alerta se desvinculaba del formulario, por ello


debía retroceder o avanzar de página antes de volver a leer las preguntas, esto
ayuda a poner el foco sobre la alerta, con un mensaje limpio y/o instrucción
concreta. Sin embargo, existe ganancia de tiempo evitando una página en el
caso de integrar la alerta en el formulario. Cuando se opta por este diseño y
existen varias preguntas en el mismo formulario, tanto en formato continuo
(figura III.4b) como en paginación 7 (figura III.4c), es conveniente retirar del

  Hasta ahora se ha presentado el formato más sencillo, una pregunta por pantalla, pero es
7

posible que en cada pantalla aparezca más de una pregunta.


INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 83

mismo las preguntas que sí se han respondido y no estén relacionadas, ade-


más de destacar la alerta con un fondo llamativo (en los ejemplos usan el ama-
rillo, también son usuales el fondo negro y letras amarillas).
La información relativa a los cuestionarios incompletos, que lógicamente
no puede incorporarse a los datos del estudio, permite conocer el perfil de las
personas que han abandonado el cuestionario antes de completarlo, así como
las preguntas que por su dificultad o la temática tratada han podido causar el
abandono.
Otro inconveniente, relacionado con el dispositivo, es la necesidad de con-
tar con una pantalla de grandes dimensiones, lo que dificulta responder el
cuestionario en dispositivos de tamaño mediano (agendas electrónicas, PDA o
tabletas), o incluso lo impide totalmente en teléfonos inteligentes. Una de las
potencialidades de las encuestas electrónicas es la posibilidad de llevar a cabo
la edición y limpieza de datos en el mismo momento en el que se responde
(entre otros, Couper y Bosnjack, 2010; Couper, 2011a; Toepoel, 2016), algo
que plantea dificultades en el formato continuo (Toepoel, 2016).
A estas desventajas del formato continuo se añaden otras que aluden a la per-
cepción el encuestado (Schonlau, Fricker y Elliott, 2002) de que estas largas
páginas supondrán una gran carga de trabajo, precisando de mucho tiempo y
esfuerzo para responder. Por último, algunas investigaciones (entre otros, Veho-
var, Lozar Manfreda y Batagelj, 2000; Peytchev et al., 2006; Mavletova y Couper,
2014, p. 507) dan cuenta de un elevado número de preguntas no respondidas,
fundamentalmente en preguntas de batería (Vehovar, Lozar Manfreda y Bata-
gelj, 2000). Los expertos explican esta situación por el hecho de tener un elevado
número de preguntas en cada página, así como por la ausencia de una verifica-
ción por parte del programa informático (Vehovar, Lozar Manfreda y Batagelj,
2000). El aumento de la correlación entre preguntas situadas en la misma pan-
talla es otro de los aspectos detectados por la investigación sobre el tema (entre
otros, Couper, Traugott y Lamias, 2001; Tourangeau, Couper y Conrad, 2004;
2007), si bien normalmente el efecto es pequeño y no significativo (Peytchev et
al., 2016; Toepoley, Das y van-Soest, 2008). Toepoley et al. (2009) han demos-
trado que la correlación es mayor en los encuestados con experiencia (partici-
pantes en paneles) que en los encuestados sin experiencia, al tiempo que estos
últimos están menos afectados por el número de preguntas por pantalla.
En definitiva, el formato de programación continuo reproduce el cuestio-
nario autoadministrado «tradicional» en el que la única novedad es el cambio
en la forma de transmisión —del correo a la Red— y en el soporte de este, del
papel a la pantalla (Peytchev et al., 2006), sin llegar a aprovechar completa-
mente las ventajas que proporciona el modo web. Aunque algunos expertos
señalan que el cuestionario debe ser respondido de una sola vez, se trata de
una limitación que ha sido superada en la actualidad, ya que la tecnología per-
mite «interrumpir» el proceso de respuesta y volver en cualquier momento al
punto en el que se dejó la encuesta.
84 CUADERNOS METODOLÓGICOS 59

El segundo formato —de paginación— administra las preguntas a través


de sucesivas páginas del navegador. Respondida la primera 8, al pulsar el
botón Enviar del elemento <submit> se comprueba la información propor-
cionada y, si es correcta, es enviada al servidor apareciendo la siguiente
pregunta. La mayor parte de las veces en cada página hay únicamente una
pregunta (Norman et al., 2001), y existen escasos estudios sobre el número
óptimo de preguntas en cada pantalla (Toepoley, Das y van-Soest, 2008). Se
trata, en definitiva, de una aplicación de los desarrollos planteados inicial-
mente a los programas de entrevistas asistidas por ordenador (Computer
Assisted Interviewing), lo que implica que se beneficia de todos los avances
implementados en los cuestionarios electrónicos (Couper y Bosnjack, 2010;
Toepoel, 2016):

—— Cambio de posición de determinadas preguntas para neutralizar la


influencia de unas sobre otras.
—— Aleatorización de las opciones de respuesta, que evita los efectos de pri-
macía y de recencia.
—— Aplicación de saltos automáticos en preguntas filtro, evitando los erro-
res de omisión y sobredeclaración antes señalados.
—— Facilidad para utilizar complicadas rutas de preguntas, por ejemplo,
para conocer con precisión la actividad laboral desarrollada por el
encuestado.
—— Aplicación de reglas de consistencia con las respuestas proporcionadas,
repitiendo las preguntas con problemas o desplegando nuevas pregun-
tas antes de finalizar la respuesta, etc.

En definitiva, una mayor calidad de la respuesta y un fichero de datos «lim-


pio» tras la finalización de la recogida. Para paliar la ausencia de la figura de
un entrevistador que responda dudas o anime a seguir colaborando, este for-
mato puede proporcionar aclaraciones —solicitadas o no solicitadas— de los
conceptos complejos (Conrad et al., 2006), indicaciones sobre la baja res-
puesta, advertencias —o solicitudes de leer más despacio las preguntas (Con-
rad et al., 2017)— cuando el cuestionario se está respondiendo demasiado
rápido (téngase en cuenta que el servidor controla la velocidad de respuesta),
etc. Otros expertos destacan también la menor influencia de unas preguntas
en otras, también denominada efecto de contexto (Callegaro, Lozar Manfreda
y Vehovar, 2015).
Entre sus inconvenientes, la práctica totalidad de las investigaciones
realizadas han destacado el incremento del tiempo de respuesta al cuestio-
nario, diferencia que se reduce cuando se trata de cuestionarios complejos
con un gran número de preguntas filtro (entre otros, McGeeney y Marlar,

  Considerando el formato más sencillo, una pregunta por pantalla.


8
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 85

2013; Peytchev et al., 2006; Tourangeau et al., 2004; Vehovar, Lozar Man-
freda y Batagelj, 2000). Investigaciones realizadas por Toepoel et al. (2009)
detectan una duración similar al comparar un cuestionario con 40 variables
y otro de 4 páginas con 10 variables por página con 302 y 303 segundos, res-
pectivamente; tiempo que aumenta a 316 segundos cuando se utilizan 10
páginas con 4 variables, alcanzando los 384 cuando hay 1 variable por pan-
talla.
Otra desventaja del formato paginación es la desorientación del encues-
tado (Toepoel et al., 2009), que desconoce en qué lugar del cuestionario se
encuentra —al principio, mitad o final—, lo que genera una mayor dificultad
de que el encuestado «recuerde» la información que ha proporcionado ante-
riormente, incluso cuando las preguntas disponen de botones para ir hacia
adelante y atrás. Es posible que esta sea una de las razones que expliquen la
mayor tasa de cuestionarios interrumpidos en las partes centrales del cues-
tionario, personas que abandonan el proceso antes de terminar, aunque
también puede ser debido a problemas técnicos con el servidor (Mavletova y
Couper, 2014). En cualquier caso, la tasa de abandonos producidos tras
comenzar el cuestionario es superior en este formato a la experimentada por
el formato continuo (entre otros, Mavletova y Couper, 2014; McGeeney y
Marlar, 2013).
Además, debe destacarse la mayor dificultad en la elaboración del cuestio-
nario, así como el riesgo de que este no funcione en determinados equipos por
problemas tanto de capacidad del dispositivo (hardware) como de las aplica-
ciones instaladas: navegador, sistema operativo, etc. Las escasas investigacio-
nes que han preguntado a los encuestados por el formato que prefieren, o el
que les reporta más satisfacción, han señalado que prefieren el formato conti-
nuo (Peytchev et al., 2006; Mavletova y Couper, 2014).
Se han expuesto los formatos más extremos, pero existen entre ellos dife-
rentes formatos híbridos (Peytchev et al., 2006; Toepoley, Das y van-Soest,
2008; Toepoel, 2016) que comparten —de diferente manera— las característi-
cas de uno y otro. Como ejemplo, la investigación de Norman et al. (2011)
compara el efecto de un cuestionario de 76 preguntas utilizando cuatro for-
matos distintos:

a) Todas las preguntas en una sola página (continuo con 76 preguntas en


una única página).
b) Varias preguntas por pantalla (en seis páginas) que precisa de un breve
desplazamiento, similar a la investigación Condiciones de vida y expec-
tativas de retorno de los emigrantes de Andalucía que fue mencionada
anteriormente.
c) Una subdivisión de la anterior, en la que todas las preguntas caben den-
tro de la pantalla.
d) Una pregunta por pantalla (paginación, con 76 pantallas).
86 CUADERNOS METODOLÓGICOS 59

Una investigación similar fue realizada por Toepoley, Das y Van Soest
(2009) con un cuestionario formado por 40 ítems en formato escalas de Likert
que son administrados en una sola pantalla, en 4 pantallas con 10 ítems, en 10
pantallas de 4 ítems cada una, y en 40 pantallas. Ambos estudios concluyen
que el formato continuo presenta una mayor correlación entre los ítems, no
significativa, un elevado número de preguntas no respondidas, y es peor eva-
luado por parte de los encuestados, si bien supone un considerable ahorro de
tiempo, alrededor de 80 segundos —2 segundos por pregunta— cuando se
compara con la administración pregunta a pregunta (Toepoley, Das y van-
Soest, 2009).
Finalizamos señalando que debe optarse por el formato de paginación
cuando se tengan cuestionarios más complejos, tanto por su longitud como
por la utilización de numerosas preguntas filtro y rutas complejas, así como
cuando se precise que las preguntas sean respondidas en el mismo orden. Es
también el formato recomendable para reducir el efecto del orden de las pre-
guntas, de las categorías de respuesta, así como cuando se precisan preguntas
complejas, como hacer cálculos, etc. En síntesis, y parafraseando a Couper
(2011a), «las probabilidades de utilizar un formato de paginación —frente al
continuo— aumentan a medida que el cuestionario aumenta su complejidad
y adaptación al encuestado, y que el investigador desea tomar el control de la
interacción». En la tabla III.2 se presentan esquemáticamente las ventajas e
inconvenientes de uno y otro.

Tabla III.2.
Ventajas y desventajas
de los formatos continuo y de paginación

Continuo De paginación

Ventajas de cada formato

— Sencillez en su elaboración — Se adapta mejor a pantallas pequeñas


— Conocimiento de la extensión del cues- — Cuestionario flexible que se adapta al
tionario (ventaja si son breves, desven- entrevistado: aleatorización, filtros, etc.
taja en largos) — Comprobación de las respuestas
— Facilidad para pasar de unas pregun- durante la entrevista, permitiendo
tas a otras correcciones
— Rapidez en su disposición del encues- — Cuando hay una pregunta por ventana
tado no suele activarse la barra de despla-
— Estabilidad en todos los equipos zamiento

…/…
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 87

…/…

Continuo De paginación

Ventajas de cada formato (continuación)

— Rapidez en la administración (se reduce — Fichero de datos limpio tras la entrevista


en cuestionarios complejos y con — Uso de recursos específicos del modo
muchas preguntas filtro) autoadministrado: aclaraciones, reducir
— Adecuado para modos mixtos velocidad de respuesta, etc.
— Menor efecto contexto

Desventajas de cada formato

— Pérdida de espontaneidad — Mayor duración del cuestionario


— Gran carga de trabajo, necesidad de — Dificultad de acceso a la información
mucho tiempo para responder proporcionada anteriormente
— Desconocimiento del proceso de res- — Mayores interrupciones en el proceso
puesta de respuesta
— Facilidad corrección de respuestas — Mayor dificultad en la elaboración del
anteriores cuestionario
— Imposibilidad de «comprobar» la infor- — Más errores del funcionamiento del
mación antes de su grabación cuestionario en los equipos de los
— Información en poder del entrevistado encuestados
— Necesidad de gran pantalla — Más afectado por problemas técnicos
— Pérdida de interacción con el investi- relacionados con la conexión (servi-
gador dor, navegador, etc.)
— Forma de visualización desconocida
— Filtros de preguntas «manuales»
— Mayor tasa de no respuesta parcial
— Mayor influencia de unas preguntas en
otras
— Aumento de la correlación entre pre-
guntas

Recomendaciones de utilización

— Cuestionarios breves — Cuestionarios más largos


— Ausencia o pocas preguntas filtro — Numerosas preguntas filtro
— No hay influencia del orden de las pre- — Las preguntas deben seguir un orden
guntas — Se desea eliminar errores tanto de cate-
— Necesidad de consultar la información gorías como de preguntas
ya proporcionada — Cuando se utilizan preguntas comple-
— En estudios mixtos jas (hacer cálculos, etc.)
— Si se responde por teléfono inteligente

Fuente: Peytchev et al., 2006; Mavletova y Couper, 2014; McGeeney y Marlar, 2013; Tourangeau
et al., 2004; Vehovar y Manfreda, 2000; Toepoel, 2016.
88 CUADERNOS METODOLÓGICOS 59

Aplicación práctica con plataforma de encuestas web

La plataforma e-encuesta.com ofrece ambas posibilidades de creación de un cuestio-


nario. Mediante la opción «Construir» se inicia el diseño del cuestionario en la «Página
1», en la que se pueden incluir tantas preguntas como sea necesario, obteniendo
como resultado un cuestionario continuo. Alternativamente, con la opción «Añadir
página», se pueden añadir tantas páginas como se requiera en función del diseño ele-
gido (una página por cada bloque temático o una página por pregunta), resultando en
este último caso un cuestionario con diseño de paginación.

3.3.  Diseño del cuestionario

En los modos administrados con encuestador la secuencia de las preguntas


—con sus correspondientes instrucciones— constituye, prácticamente, el
cuestionario final. Tan solo queda colocar las variables del control de la
muestra (distrito, sección, hábitat, comunidad autónoma, etc.) e informacio-
nes adicionales como la solicitud del número de teléfono para la comproba-
ción de las entrevistas. En los modos autoadministrados la situación es muy
diferente. La falta de un encuestador (que anime a la cooperación) precisa de
la utilización de recursos para facilitar la tarea del encuestado potencial y
lograr así una mayor respuesta. La investigación sobre cómo el cuestionario
ayuda a aumentar la tasa de respuesta en las encuestas autoadministradas es
ingente, habiéndose analizado aspectos como la influencia del color del cues-
tionario, su tamaño, el tipo de espaciado, el empleo de diversos tipos de fran-
queo en el sobre de respuesta, etc. (Dillman, 1991; Heberlein y Baumgartner,
1978; 1981).

3.3.1. Fundamentos básicos del cuestionario soportado/mostrado


en pantallas

Si el cuestionario en papel ha generado esa cantidad de experimentos, las


posibilidades gráficas del cuestionario electrónico transmitido por Internet
constituyen todo un desafío. El primer aspecto a considerar es definir la reso-
lución y el tamaño de la pantalla, en la medida en que el cuestionario no está
limitado por dimensiones 21 x 29,7 (Din A-4) o 29,7 x 42 (Din A-3). A partir de
los paradatos (tabla II.5) es posible controlar la resolución de pantalla y, en
algunos casos, el tamaño de esta, como se explica en el epígrafe 2.5, y gracias
a ello presentar el diseño más adecuado para cada dispositivo que accede a la
encuesta web.
Decidido el tamaño del «área de trabajo», antes de proceder con la
elaboración de las preguntas es necesario tomar una serie de decisiones
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 89

relativas a los recursos gráficos de las palabras, la fuente de letra, tamaño y


color, así como el empleo de recursos de énfasis que destaquen determina-
das palabras, utilizando cursivas, negritas, subrayados, etc. Estas decisio-
nes sobre la letra están directamente relacionadas con el color elegido para
el fondo de pantalla. Otros aspectos relevantes son el diseño de la página y
el alineado, el uso de elementos que pueden ser utilizados para enfatizar
determinados mensajes (por ejemplo, recuadros o fondos de pantalla), así
como de los recursos de navegación. Todos estos aspectos, que buscan
aumentar la cooperación y reducir el error de medida serán expuestos en
este epígrafe.
La gran influencia de las palabras, a las que ya se aludió en la jerarquía de
impactos descrita en el epígrafe 3.1, precisa comenzar con los aspectos rela-
cionados con la escritura. Esto implica considerar la fuente empleada, tamaño,
color y el uso de «variaciones» para enfatizar algunas partes del mensaje
mediante el uso de mayúsculas, subrayados, negrillas, cursivas, etc. (tabla
III.3, regla 1). Se trata de un aspecto muy estudiado en la literatura, con un
notable acuerdo del empleo de tamaños grandes que faciliten la lectura;
aspecto no muy decisivo en la encuesta por Internet por la facilidad que tiene
el encuestado para ampliar la pantalla (Couper, 2011b). Ahora bien, si es posi-
ble evitar ese esfuerzo, mejor que mejor. Dillman, Smyth y Christian (2014)
recomiendan emplear fuentes de texto que utilicen espacios proporcionales,
frente a las no proporcionales, utilizando algunas fuentes habituales como
Arial y Calibri. Otros expertos, como Callegaro, Lozar Manfreda y Vehovar
(2015), optan por Arial y Verdana, mientras que Couper (2011b) recomienda
utilizar una fuente «palo seco» (sans serif), por ejemplo, Arial o Ms Sans Serif
(tabla III.3, regla 2). Justifica esta decisión en que Arial es la fuente más habi-
tual en navegadores, mientras que Times Roman es el tipo de letra más común
para lenguaje impreso. No es un asunto baladí en la medida en que la elección
del tipo de letra influye en la legibilidad.
Respecto al tamaño del texto, Dillman y su equipo recomiendan un tamaño
de fuente entre 10 y 12 puntos para la mayor parte de la población, mientras
que Couper (2011b) se decanta por este último (tabla III.3, regla 2). Estos
tamaños deberán incrementarse cuando se trate de encuestas dirigidas a per-
sonas mayores. En cualquier caso, debe tenerse en cuenta que el tamaño —y
la legibilidad— del texto varía en función de la resolución de la pantalla y del
navegador utilizado; aspectos que deben ser tenidos en cuenta por el investi-
gador.
Elegido el cuerpo de letra y su tamaño, la siguiente decisión está relacio-
nada con el énfasis selectivo. El empleo de elementos de resalte de informa-
ción es muy variado en la encuesta por Internet, permitiendo mejorar
notablemente ese primer consejo realizado por Dillman, en uno de los tex-
tos más utilizados sobre encuestas autoadministradas (1978), cuando reco-
mendaba el empleo de mayúsculas para las respuestas y minúsculas en
90 CUADERNOS METODOLÓGICOS 59

Tabla III.3.
Recomendaciones para la presentación visual del cuestionario

Regla 1: Utilizar las propiedades del diseño visual para enfatizar elementos que son
importantes para los encuestados y no enfatizar los que no sean importantes.
Regla 2: Elegir la fuente, tamaño de la fuente y longitudes de línea para asegurar la
comprensión del texto.
Regla 3: Utilizar letra negrita y/o de mayor tamaño para la pregunta; más suave (no
negrilla) o más pequeña para las respuestas y sus espacios.
Regla 4: Todas las respuestas, espacios y opciones de respuesta deben estar en el
mismo formato de letra.
Regla 5: Utilizar el espaciado para crear asociación pregunta-opciones de res-
puesta, y separar la pregunta del resto.
Regla 6: Colocar las instrucciones dentro de la pregunta donde se precisen, donde
se van a utilizar.
Regla 7: Separar las instrucciones ocasionales del «cuerpo» de la pregunta utili-
zando otra tipografía.

Fuente: Dillman, Smyth y Christian, 2014, pp. 183-192.

negrilla para las preguntas. Además de las mayúsculas, en la encuesta por


Internet pueden utilizarse subrayados, cursivas, negrillas y distintos colo-
res de fuente.
Los expertos recomiendan destacar la pregunta con negritas y/o con letra
de mayor tamaño; y una letra más suave (no negrilla) y más pequeña para las
respuestas y sus espacios (ver tabla III.3, regla 3). De hecho, en las respuestas
utilizan letra Calibri por su gran legibilidad y su carácter profesional, elimi-
nando todos los aspectos de resalte (Nielsen, 2005). Cuando se trate de pre-
guntas con opciones de respuesta nominales, es importante colocar una
categoría para «otras» respuestas, en la misma tipografía que las anteriores
opciones (tabla III.3, regla 4). Respecto al uso del subrayado, se recomienda
no emplearlo para enfatizar por el peligro de que el usuario lo considere como
un enlace (Nielsen, 2004).
En lo que se refiere al color, la literatura recomienda emplear este recurso
con prudencia, teniendo siempre presente que su uso afecta a la interpreta-
ción que pueda hacer el lector (Vehovar, Lozar Manfreda y Koren, 2008). Se
trata de una herramienta que ayuda a organizar la información, mejora la
comprensión del significado de determinados elementos (Dillman et al., 2014)
e incluso aumenta la motivación del encuestado (Vehovar, Lozar Manfreda y
Koren, 2008), pero debe utilizarse considerando las recomendaciones de cau-
tela, moderación, consistencia, uso apropiado y redundancia, tal y como
señala Couper (2011b, p. 103):
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 91

—— Moderación, no emplear más de cuatro colores en una pantalla, utili-


zando el rojo para advertencias («mensajes de emergencia» en la termi-
nología de Couper, 2008).
—— Consistencia a lo largo de todo el cuestionario, que implica la utilización de
un color para una determinada acción. Así, por ejemplo, puede emplearse un
color para aspectos de navegación, otro para elementos de ayuda, etc.;
siempre manteniendo el mismo tono a lo largo de todo el cuestionario.
—— Uso apropiado, considerando y respetando en todo momento las con-
venciones culturales.
—— Redundancia, que implica transmitir el mismo mensaje con y sin el uso
del color. Se trata de adecuarse, por un lado, a las personas que no diferen-
cian con precisión el color, y, por otro, a los navegadores que no propor-
cionan una diferenciación clara de colores. Así, por ejemplo, considerando
que alrededor de dos millones de personas en España son daltónicas —un
8% de los hombres y el 0,5% de las mujeres (Colorlite, 2013)—, deben evi-
tarse las alternancias rojo y verde. Couper (2011b) aboga también por no
utilizar las combinaciones azul-amarillo y verde-azul.

El uso del color aumenta la motivación del encuestado, mejora de la experien-


cia de responder, y reduce el número de abandonos tempranos (Couper, 2011b;
Dillman et al., 2014), pero deben tenerse en cuenta los diferentes significados atri-
buidos a cada color (Tourangeau et al., 2013) y al efecto negativo que pueden tener
en las respuestas de los encuestados (Vehovar, Lozar Manfreda y Koren, 2008).
Elegidos los aspectos relativos a la letra, llega el momento de decidir el
color del soporte donde se colocan las preguntas. El fondo de pantalla es un
aspecto fundamental en la medida en que un contraste inadecuado dificultará
y hará más pesada la lectura. Lo recomendable es emplear colores opuestos,
esto es, uso de tonos claros en el fondo de pantalla y oscuros en el texto (pala-
bras + números) y símbolos. Dillman et al. (2014) recomiendan el uso de tonos
claros azules o verdes porque son agradables y transmiten calma. Frente a la
pantalla blanca, recomendada por Callegaro, Lozar Manfreda y Vehovar
(2015), utilizar colores de fondo permite, por un lado, crear un lugar para que
el lector fije la atención, y, por otro, disponer de espacios en blanco que indi-
can al encuestado el lugar donde proporcionar la respuesta.

Aplicación práctica con plataforma de encuestas web

Una vez construido el cuestionario, en la herramienta e-encuesta.com el paso siguiente


es la aplicación de los elementos de diseño al mismo. En el menú «Diseñar» se ofrece la
posibilidad de elegir entre una veintena de formatos por defecto o bien construir un diseño
personalizado. Es en este paso en el que se eligen las características abordadas en este
epígrafe, como el tipo, el tamaño y el color de la fuente y el color del fondo, entre otros.
92 CUADERNOS METODOLÓGICOS 59

3.3.2.  Elementos en la página

Elegidos el tipo de letra y el fondo de pantalla, es el momento de proceder con


el diseño de la página considerando siempre —como se ha señalado anterior-
mente— cuáles son las convenciones de lectura en el ordenador: la visualiza-
ción en «F» y el escaneado como forma habitual de lectura (Nielsen, 1997).
Teniendo presente este hecho, la colocación de un encabezado en la «posi-
ción privilegiada» con el logo de la organización que realiza el estudio contri-
buye a aumentar la colaboración y disminuir los abandonos tempranos,
siempre que se trate de una organización prestigiosa (entre otros, Presser,
1992; Heerwegh y Loosveldt, 2006; Boulianne, Klofstad y Basson, 2011; Gro-
ves et al., 2012). En el ejemplo presentado en la figura III.4a se utilizó este
espacio para colocar el logo del IESA/CSIC.
Ahora bien, pese al lugar estratégico de esta información, numerosos
expertos (entre otros, Benway y Lane, 1998) han demostrado que los encues-
tados casi no observan la cabecera de la página, solo la ven (diferente de
mirar) e inmediatamente ignoran toda la información que contiene, fenó-
meno conocido como «ceguera ante el anuncio» (banner blindness). Ante esta
situación, y siempre considerando que el margen izquierdo es utilizado por el
internauta para desplazarse de arriba a abajo (de la pantalla), este espacio
puede ser utilizado para facilitar en el proceso de navegación (Vehovar, Lozar
Manfreda y Batagelj, 2000; Norman et al., 2011).

Figura III.5a.
Inicio de cuestionario web

Fuente: Cuestionario web demo PACIS de IESA/CSIC, 2017.

Esto explica el diseño del cuestionario mostrado en las figuras III.5a y


III.5b, colocando el logo de la institución que realiza el estudio a pie de página.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 93

Ahora bien, en la «situación privilegiada» del margen superior izquierdo apa-


recen el nombre y la dirección del realizador de la investigación, con un enlace
donde se proporcionan más información de esta, una ilustración, y un breve
menú —en la parte derecha— dedicado a preguntas frecuentes, información
sobre privacidad, y a cómo contactar (figura III.5a):

—— Cuando se pulsa sobre el enlace «Preguntas frecuentes» se sustituye el


texto bajo la línea verde horizontal abriendo una ventana donde se
explica qué es el PACIS, su finalidad, la entidad que lleva a cabo esta ini-
ciativa, su funcionamiento, razones para participar que animan a la
colaboración, y una alusión a que el anonimato está garantizado.
—— «Inf. Privacidad» anuncia que la información está protegida por la Ley
12/1989, que regula el secreto estadístico, se indica que recoge solo la
información personal necesaria para garantizar la calidad de la investi-
gación, y se le expone el proceso de anonimización que permite identi-
ficar a los encuestados. Alude también a que la investigación cumple los
estándares de calidad específicos en la investigación mediante encues-
tas, señalando sus códigos, al tiempo que se proporciona una dirección
web si el inscrito desea ejercitar sus derechos de acceso, rectificación,
cancelación y oposición.
—— «Contactar» abre una ventana donde se proporcionan una dirección de
correo electrónico, un número de teléfono y un formulario para expre-
sar cualquier duda, sugerencia, etc. El texto exacto se reproduce en la
figura III.5b.

Figura III.5b.
Información tras pulsar el botón «Contactar»

Fuente: Cuestionario web demo PACIS de IESA/CSIC, 2017.


94 CUADERNOS METODOLÓGICOS 59

Todo lo anterior, obtenido de un estudio concreto, proporciona un ejemplo


claro de toda la información que debe tener accesible el encuestado antes de
proceder con el cuestionario. Este mensaje busca incrementar la participa-
ción dando respuesta a todas las dudas y suspicacias del encuestado, que en
las encuestas presenciales y telefónicas suelen resolver los entrevistadores.

Figura III.6.
Primera pregunta de un cuestionario web

Fuente: Cuestionario web demo PACIS de IESA/CSIC, 2017.

Volviendo al ejemplo (figura III.5a), en la parte central de la pantalla se


muestra el título de la investigación y una serie de identificaciones del encues-
tado. Una vez introducida la información, se pulsa el botón del elemento
<submit> para entrar (colocado bajo esta información y encima del logo-nom-
bre de la institución que realiza la investigación). Esta acción da paso a la pri-
mera pregunta del cuestionario (figura III.6). A partir de este momento en
todas las páginas aparecen —en la «posición privilegiada» de la esquina supe-
rior izquierda— el nombre del estudio, un enlace para contactar —con la
misma información que la mostrada en la pantalla inicial— y la posibilidad de
aplazar (Dillman et al., 2014) la respuesta (figura III.7). Este botón abre una
ventana, similar a la inicial, agradeciendo la información proporcionada
hasta el momento e informándole de que la siguiente vez que abra el cuestio-
nario será dirigido al punto en que dejó de responderlo.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 95

Figura III.7.
Información tras pulsar el botón «aplazar»

Fuente: Cuestionario web demo PACIS de IESA/CSIC, 2017.

Siguiendo con los elementos comunes en las pantallas con preguntas,


figura III.6, seguidamente aparece una gráfica —denominada «barra de pro-
greso»— que sitúa al encuestado dentro del proceso del cuestionario, indi-
cando las preguntas que ha realizado y las que le faltan para finalizarlo. Hay
también una información numérica, en la parte superior derecha, que indica
el porcentaje de preguntas respondidas, apenas ninguna en la figura III.6 pero
el 53% en la figura III.8. Otros estudios proporcionan esta información de
forma textual, con una frase del tipo «está en la pregunta 23 de 50». De los tres
formatos existentes, gráfico, numérico y textual, el gráfico y el numérico son
los más utilizados actualmente (Kaczmirek, 2009); y es una herramienta reco-
mendada por las asociaciones profesionales (ESOMAR) y los manuales espe-
cializados en esta técnica (Vehovar, Lozar Manfreda y Koren, 2008).

Figura III.8.
Elementos comunes en las pantallas con preguntas
en formato paginación; barra de progreso al 53%

Fuente: Cuestionario web demo PACIS de IESA/CSIC, 2017.


96 CUADERNOS METODOLÓGICOS 59

En las encuestas administradas el entrevistador cumple el papel de «man-


tenimiento de la interacción», figura que desaparece en las encuestas autoad-
ministradas. Este rol es adscrito a la barra de progreso, que busca «enganchar»
al encuestado, mantener el compromiso de responder al conocer el tiempo
que le queda para finalizar el cuestionario. Se parte de la hipótesis de que
mostrar esta información animará a los encuestados a completar el cuestiona-
rio en su totalidad (Conrad et al., 2010; Heerwegh y Loosveldt, 2006). Aunque
esta barra puede utilizarse tanto en el formato continuo como en el de pagi-
nación, es más común en el formato de paginación con el fin de solventar uno
de los problemas señalados más atrás, referido concretamente a la «desorien-
tación del encuestado» al desconocer en qué lugar del cuestionario se encuen-
tra (Toepoel, 2016), al que ya se hizo referencia.
La efectividad de este recurso para animar a la cooperación muestra resul-
tados contrapuestos en los experimentos internacionales, resultados muy
relacionados con la duración del cuestionario y la velocidad de movimiento
de la barra de progreso. Veremos en detalle algún ejemplo de cada una:

—— Procediendo con la duración, en un experimento realizado por Yan et al.


(2011) en cuestionarios «breves» (101 preguntas, 16 minutos), el uso de
la barra de progreso reduce los abandonos tempranos de 12,2% al 9,8%;
mientras que con cuestionarios largos (155 preguntas, 25 minutos) utili-
zar una barra de progreso aumenta estos abandonos del 15,8% al 17,3%.
—— Respecto a la velocidad de movimiento de los elementos incluidos en la
barra, puede haber la misma velocidad a lo largo de todo el cuestiona-
rio, comenzar despacio y ganar velocidad a medida que se acerca el
final, o proceder de forma inversa (comenzar rápido y reducir velocidad
a medida que se va completando). Conrad et al. (2010) y Yan et al. (2011)
descubren que la «velocidad constante» genera más abandonos que la
no utilización de barra de progreso, mientras que la barra que comienza
rápido presenta los mejores resultados. El metaanálisis realizado por
Villar et al. (2013) constata esta misma situación, que la barra de pro-
greso es más eficaz —esto es, genera menos abandonos tempranos—
cuando comienza con un movimiento rápido y se mueve más despacio
a medida que transcurre el cuestionario. Esta situación se interpreta
aludiendo a que el encuestado tiene la impresión de que ya ha realizado
la mayor parte del cuestionario, y que se encuentra cerca del final.
Como la tarea restante es pequeña, no merece la pena abandonar.

Una visión más completa del tema ofrece la investigación ya aludida de


Villar et al. (2013), donde se da cuenta de la ausencia de investigaciones sobre
el efecto de la barra de progreso en el error de respuesta. El artículo comienza
planteando hasta qué punto hacer que los encuestados no abandonen el pro-
ceso de respuesta —objetivo de la barra de progreso— puede generar que la
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 97

respuesta de los menos motivados tenga una baja calidad. ¿Merece la pena
«seducir» a que los encuestados respondan, aunque proporcionen malas res-
puestas? La baja influencia de esta herramienta para disminuir el abandono
temprano, o incluso el incremento de este, lleva a estos autores a recomendar
no utilizarla (Villar et al., 2013); «desactivando esta opción en las aplicaciones
que lo incluyan por defecto» (Dillman et al., 2014). Otros expertos opinan que
la barra de progreso considera las preguntas respondidas respecto a la totali-
dad de preguntas del cuestionario, no teniendo en cuenta las preguntas filtra-
das, ni tampoco que determinadas preguntas (por ejemplo, las baterías)
precisan de más tiempo de respuesta (Dillman et al., 2014). En el cuestionario
mostrado entre las figuras III.6, III.8 y III.9 se incluye esta barra a modo ilus-
trativo.
La falta de eficacia de la barra de progreso recomienda informar al princi-
pio del cuestionario acerca de la duración estimada de respuesta, siempre que
el cuestionario presente una duración máxima de 20 minutos 9. Diversas inves-
tigaciones han demostrado aumentos en la tasa de respuesta cuando la dura-
ción es inferior a esta cifra. Así, Galesic y Bosnjak (2009) demuestran que
informar en la introducción de una duración de 10, 20 y 30 minutos genera
tasas de respuestas del 75%, 65% y 62%, respectivamente; en línea con los
hallazgos de Crawford, Couper y Lamias (2001), que localizan tasas de res-
puesta del 68% cuando se dice que cumplimentar el cuestionario precisará
entre 8 y 10 minutos, reduciéndose al 63% cuando son necesarios 20 minutos.
Al final de este epígrafe se analizará con más detalle la importancia del tiempo
de respuesta.
Volviendo al ejemplo, y siguiendo con esta visión de la pantalla de arriba
abajo, es el momento de hablar de los elementos específicos del cuestionario, si
bien la primera página (figura III.6) tiene la particularidad de que lleva a cabo
una breve introducción al encuestado señalando de forma genérica el tema de
la encuesta. Se trata de una información más breve que las utilizadas en encues-
tas presenciales y telefónicas, puesto que deja de lado la justificación de la inves-
tigación, las referencias a la privacidad, y cómo contactar con el responsable de
la investigación al haber sido presentado antes (primera pantalla, figura III.5a).
Se procede de esta forma, en primer lugar, porque el encuestado ya ha podido
leer esta información en la primera pantalla y no es necesario repetirla. Ade-
más, debe tenerse en cuenta que se trata de una encuesta realizada a un panel
con el que el encuestado lleva tiempo colaborando, por lo que es muy probable
que ya conozca las características de la investigación y no necesite más infor-
mación que la aquí mostrada. Por último, es importante no «cargar» dema-
siado una página donde ya se solicitan respuestas del encuestado; porque la

9
  Los autores del presente texto han defendido, en diversos foros, limitar la duración del cues-
tionario a este tiempo como máximo, reduciéndolo en un tercio cuando se trata de encuestas tele-
fónicas.
98 CUADERNOS METODOLÓGICOS 59

impresión de la primera pantalla/pregunta puede determinar que el encuestado


siga colaborando o no.
Solventada la introducción, el resto de la pantalla se compone de una pre-
gunta, las opciones de respuesta y un botón para acceder a la siguiente pre-
gunta, elementos que se repiten —con más o menos variación— a lo largo de
todo el cuestionario.
El hecho que la lectura en la pantalla sea arriba/abajo lleva a recomendar
una disposición vertical de las categorías que —además de ser más visibles—
da más amplitud a la pantalla. La lectura de izquierda a derecha justifica tam-
bién el alineado en el margen izquierdo y la colocación ahí de la respuesta, lo
que simplifica la tarea de lectura.
El último aspecto a considerar es cómo llevar a cabo el paso de una pregunta
a otra, pudiendo optar por un avance «automático» o por una indicación por
parte del encuestado. El avance automático precisa de menos esfuerzo y tiempo,
aunque está limitado técnicamente a preguntas cerradas de respuesta única
(elemento <radio>, epígrafe 3.4.2, página 116) y tiene el peligro de que los
encuestados introduzcan respuestas erróneas, que podría minimizarse colo-
cando un botón de retroceso. Para comprobar estas afirmaciones Hays et al.
(2010) realizaron un experimento comparando el tiempo medio de respuesta de
un cuestionario web con 112 escalas de Likert, considerando cuatro situacio-
nes: 1) avance automático a la siguiente pregunta (sin posibilidad de retroceso);
2) avance automático a la siguiente pregunta con un botón para retroceder; 3)
acceso a la siguiente pregunta con un botón, y 4) acceso a la siguiente pregunta
con un botón para avanzar y otro para retroceder. Sus resultados indican que
no hay diferencia significativa entre los grupos 1 y 2, que se diferencian en la
posibilidad de retroceder, ni en 3 y 4; pero sí entre el avance automático y el
manual. El avance automático supone un ahorro de alrededor de 2 segundos en
cada pregunta, no existiendo diferencia significativa en cuanto a las preguntas
no respondidas ni en los valores de las respuestas.
Estos resultados les llevan a recomendar utilizar cuestionarios con avance
automático a la siguiente pregunta, disponiendo de un botón de retroceso por
si el encuestado desea cambiar o repensar la encuesta. Argumentan esta deci-
sión en la reducción de carga de trabajo de los encuestados, que deben reali-
zar menos pulsaciones y —además— terminan el cuestionario antes; siendo
especialmente recomendable para personas con limitaciones físicas (y res-
puesta en pantallas pequeñas) que pueden llegar a tener dificultad en pulsar
con el ratón en el botón «Siguiente pregunta» (Hays et al., 2010).
Varios aspectos oscurecen estos hallazgos. En primer lugar, la posible
generalización de los resultados, en la medida en que sus participantes dispo-
nían de un alto nivel educativo y gran experiencia en responder este tipo de
encuestas. Un segundo argumento precisa tener en cuenta que se trata de un
cuestionario con preguntas de respuesta única, lo que genera ciertas dudas
de cómo funcionará con preguntas de respuesta múltiple categórica y/o
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 99

preguntas abiertas. En estos casos, técnicamente es necesario poner algún


botón de fin de elección de categorías y/o fin de escritura. Si el cuestionario
incluye preguntas tanto de respuesta única como multirrespuestas no podría
facilitarse al entrevistado un diseño de avance homogéneo, y esto podría
generar confusión. Por último, otros investigadores (entre otros, Hammen,
2010; Callegaro, Lozar Manfreda y Vehovar, 2015) dan cuenta de la mayor
presencia del efecto de complacencia en la respuesta (satisficing) en los cues-
tionarios que emplean el avance automático entre preguntas.
De hecho, la situación más habitual es la disposición de un botón con el
texto «Siguiente pregunta», como los mostrados en las figuras III.6 y III.8. El
empleo de un botón aumenta el tiempo necesario para la realización del cues-
tionario, al tiempo que supone una mayor carga de trabajo para el encuestado
por el mayor número de clics a realizar, pero —a su favor— permite una
mayor reflexión y más respuestas en las preguntas de tipo multirrespuesta.
Algunos cuestionarios cuentan también con un botón para retroceder
(con el texto «Pregunta anterior», ver figura III.9), que permite al encues-
tado corregir errores, cambiar la respuesta cuando constata —al responder
las preguntas siguientes— que ha malinterpretado alguna pregunta anterior,
recordar que respondió a preguntas previas, etc. Se trata de una estrategia
de escaso uso en la investigación comercial (Couper et al., 2011). Debe
tenerse en cuenta que el entrevistado, a medida que va respondiendo, puede
recordar aspectos que —unos minutos antes— había obviado, de modo que
disponer de este botón le permitiría completar preguntas previas que dejó
sin responder (Toepoel, 2016).
Incluir un botón de retroceso conlleva también una serie de riesgos:
aumenta la complicación de respuesta, conducción y duración del cuestiona-
rio, desorientación y mayor abandono, pérdida de respuesta espontánea, y
puede complicar la programación de filtros, así como la acción de retomar el
cuestionario donde se dejó. Su inclusión, como se ha visto anteriormente,
puede ser útil si se implementa un avance automático; su uso también es de
interés para cuestionarios que requieran de revisión (p. ej., cuestionarios a
organizaciones o expertos) y para determinadas preguntas que dependan de
alguna respuesta anterior.
Si es necesario permitir el retroceso, hay que tener en cuenta que todos
los navegadores web incluyen de forma nativa un botón de retroceso en la
esquina superior izquierda, y, por tanto, una primera opción es permitir que
ese botón pueda ejercer su función de forma natural, evitando añadirlo
como botón dentro del formulario web, puesto que un usuario de Internet
instintivamente recurre a dicho botón si quiere ir hacia atrás en un navega-
dor web. Las aplicaciones de diseño de cuestionarios web no suelen permitir
el retroceso a través del navegador, por lo que en caso de querer proporcio-
nar esta opción a los participantes en la encuesta habría que incluir un botón
de retroceso.
100 CUADERNOS METODOLÓGICOS 59

Si se opta por incluir los dos botones, tanto de avance como de retroceso,
será conveniente una digresión sobre dónde colocar cada uno. Por ejemplo,
puede usarse la lógica de relacionar «atrás» con el lado «izquierdo», pero si
nos movemos en un formulario web con el tabulador llegaremos antes al
botón de la izquierda que al de la derecha: ¿conviene entonces poner el
botón de avance antes que el de retroceso?, ¿los ponemos superpuestos o en
misma línea?… Una investigación de Couper et al. (2011a) sobre varias
muestras extraídas de un panel no probabilístico analizó los abandonos
tempranos, el tiempo medio de respuesta, y la frecuencia de uso del botón
«Pregunta anterior», en función de cinco posiciones distintas de ambos
botones. Sus resultados recomendaban colocar los botones en el margen
izquierdo, uno junto a otro, y con el botón «Anterior» a la izquierda y el
«Siguiente» a su derecha. Si bien este experimento no incluía un diseño de
ambos botones a la derecha o en el medio, por lo que, si nos basásemos en
el citado estudio, la recomendación sería evitar la superposición (un botón
encima del otro) y el botón de avance antes que el de retroceso. Un ejemplo
del uso de ambos botones puede verse en la figura III.9. donde, además, tie-
nen el apoyo visual con los signos «<<» y «>>».

Figura III.9.
Ejemplo de inclusión de botones de retroceso y avance

Fuente: Página 4 del cuestionario web de IESA/CSIC E1709.

Debe tenerse en cuenta que el texto de los botones puede causar efectos no
deseados para tamaños de pantalla reducidos; por ejemplo, en un teléfono
inteligente, si incluimos los dos botones, con los textos «Pregunta anterior» y
«Pregunta siguiente», puede ocurrir que se superpongan porque no quepan en
la misma línea, de ahí que en la figura anterior aparecen «<< Anterior» y
«Siguiente >>». Sin embargo, cuando se omite el botón de retroceso, será más
informativo un texto de avance como «Siguiente pregunta».
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 101

Ahora bien, debe tenerse en cuenta que en determinadas temáticas (por


ejemplo day after recall 10, identificaciones de logos, recuerdo espontáneo y
sugerido de comercios, etc.) no procede esta posibilidad de volver atrás
(Toepoel, 2016). Asimismo, hay que recordar que el retroceso está circuns-
crito al formato de paginación ya que en el formato continuo no es necesario
porque el avance o retroceso en el cuestionario se hacen a partir de la barra de
desplazamiento.

Aplicación práctica con plataforma de encuestas web

En la herramienta e-encuesta.com, los elementos de la página (barra de progreso,


enlaces de navegación, etc.) se pueden modificar en la opción «configurar». Por
defecto está activo el botón «Página anterior», para desactivarlo se deja vacío el
texto del botón.

3.3.3.  Organización del cuestionario

Explicados los elementos comunes de la página con preguntas, llega el


momento de unir la secuencia de páginas para elaborar un cuestionario. A
falta de encuestadores, el cuestionario adopta aquí un gran protagonismo al
tratarse de un nexo entre el investigador y el encuestado, llegando a ser la
principal herramienta de comunicación con este último. Además de recoger
información, el cuestionario debe transmitir la seriedad e importancia de la
investigación, al tiempo que proporciona instrucciones y trata de mantener en
todo momento la motivación del encuestado.
El cuestionario se organiza por temas, comenzando por los más sencillos y
pasando paulatinamente a los más complejos, volviendo a colocar en su parte
final temas sencillos. Elaborada la secuencia de temáticas, en la presentación
(del cuestionario) debe aludirse al primer tema, o a una tematización amplia
cuando el cuestionario trata varios temas.
Las preguntas de cada tema se organizan de las más generales a más espe-
cíficas, lo que se conoce como «secuencia del embudo» (García Ferrando y
Llopis, 2015, p. 354): «Debe comenzar con una introducción suave, continuar
con una “transición” fácil y razonable de un tema a otro, y finalizar con una

10
 Herramienta de investigación de mercados que busca conocer el recuerdo de anuncios
publicitarios en televisión y radio, realizando un acercamiento paulatino al anuncio. Selecciona-
das las personas que estaban viendo la televisión o escuchando radio en un momento determi-
nado, primero se les pregunta si recuerdan los anuncios emitidos, después, si había alguno de
coches (por ejemplo), a continuación, de qué marca era el coche, posteriormente, el modelo, etc.
El recuerdo espontáneo del vehículo (marca y modelo) obtiene más valoración que el resto.
102 CUADERNOS METODOLÓGICOS 59

adecuada conclusión a la entrevista». Las preguntas se agrupan también por


formato, lógica (p. ej., siguiendo un orden cronológico), y se recomienda colo-
car al principio las más sencillas y atractivas.
Es importante asegurarse de que unas preguntas no influyen en otras, es
decir, que no se produce efecto de contexto (entre otros, Silber et al., 2016;
Engel y Köster, 2015; Dillman et al., 2009; Tourangeau et al., 2000; Schwarz
y Hippler, 1995a), aplicando las estrategias necesarias para corregir este
problema cuando se detecte su presencia. En este sentido, Callegaro, Lozar
Manfreda y Vehovar (2015) recomiendan, en el formato de paginación,
ampliar la separación entre las preguntas que se considere que pueden afec-
tarse mutuamente o bien aleatorizar la secuencia de presentación de pre-
guntas concretas o bloques de varias preguntas (Toepoel, 2016). Debe tenerse
en cuenta que esta estrategia no elimina los efectos de contexto, sino que
—al afectar de la misma forma unas preguntas diferentes— «reparte» el
error entre todas ellas.
Efectivamente, una de las ventajas de la encuesta web, al igual que el resto
de modos de encuesta asistida por ordenador, es la posibilidad de automati-
zar los filtros y de crear distintas «rutas» de preguntas con diferentes niveles
de complejidad. El ejemplo más sencillo de ello son los filtros en los que, tras
seleccionar una respuesta (por ejemplo, no fumo), se salta una serie de pre-
guntas sobre esa temática (marca, número de cigarrillos al día, etc.). Ahora
bien, el cuestionario electrónico permite la programación de rutas mucho
más complejas; como, por ejemplo, si «esto» (trabaja), y esto «otro» (menos
de 20 horas), y, además, es mujer, entonces aplicar la pregunta X (Toepoel,
2016). La programación web permite implementar estas opciones de manera
automática y sin la necesidad del concurso de la persona entrevistada, elimi-
nando, por tanto, una importante fuente de errores (siempre que la programa-
ción esté libre de errores). Cabe señalar aquí que estas opciones son mucho
más eficaces en el formato de paginación, ya que la desaparición o los cam-
bios de orden de las preguntas en el formato continuo puede, confundir a los
entrevistados —a juicio de Toepoel (2016)—.
El uso de saltos, filtros y rutas distintas en el cuestionario hace que sea
recomendable eliminar la numeración del enunciado de las preguntas (Dill-
man, Tortora y Bowker, 1998; Toepoel, 2016; Couper, 2011b) con el fin de no
confundir a los entrevistados. ¿Cómo reaccionará un entrevistado que, por
ejemplo, tras responder la pregunta 9 pasa a continuación a la 15? ¿Tratará de
volver atrás? ¿Creerá que ha hecho algo mal? Para evitar esta situación lo
mejor es eliminar los números de los enunciados de las preguntas.
Otra de las grandes ventajas de las encuestas web es la posibilidad de llevar
a cabo validaciones (epígrafe 4.5) y controles en el momento en el que se
introduce la respuesta, utilizando «mensajes de advertencia». Esta posibili-
dad puede ser utilizada con propósitos muy diversos (Peytchev y Crawford,
2005; Toepoel, 2016):
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 103

—— Avisos sobre preguntas que no han sido respondidas.


—— Constataciones de que se ha respondido proporcionando la informa-
ción precisa.
—— Controles para asegurar que las respuestas proporcionadas son adecua-
das, considerando el tipo de pregunta, formato, longitud y rango.
—— Avisos sobre respuestas inconsistentes, bien respecto a respuestas ante-
riores en este cuestionario, en cuestionarios respondidos con anteriori-
dad (estudios de panel), o con un documento externo.
—— Otros tipos de avisos disponibles son notificaciones si responde muy
rápido, pérdidas de conexión, interrupción del navegador cuando
detecta inactividad, etc.

A la hora de utilizar este recurso debe tenerse presente que los avisos inter-
fieren en el desarrollo de la respuesta, pudiendo ser considerados ofensivos y
molestos, por lo que hay que utilizarlos siguiendo los estándares profesionales
y emplear siempre mensajes educados y respetuosos. Los avisos pueden ser de
dos tipos: avisos «fuertes» (hard prompts) que interrumpen el proceso de nave-
gación hasta que el problema queda solucionado, o avisos «suaves» (soft
prompts) que informan al encuestado de la existencia de algún problema, pero
le permiten seguir. El contenido del aviso debe señalar con precisión el pro-
blema localizado.
En el ámbito de la investigación comercial diversos expertos, entre otros,
Albaum et al. (2010), optan por «forzar» u «obligar» a los encuestados a res-
ponder a TODAS las preguntas del cuestionario, mientras que en el ámbito de
la sociología o la investigación académica se rechaza esa opción. La recomen-
dación de estos es diseñar cuestionarios amigables y «enseñar» al encuestado
cómo responder, reduciendo al máximo el número de avisos (evitando así
generar mala sensación en el encuestado), que pueden dar lugar a abandonos
de la encuesta (entre otros, Christian et al., 2007; Couper, 2008).
En el epígrafe anterior se han explicado detalladamente los elementos
incluidos en una página con preguntas, pero no todas las páginas de un cues-
tionario tienen por qué incorporar preguntas. Así, según Callegaro, Lozar
Manfreda y Vehovar (2015, pp. 89-90), se debe distinguir entre varios tipos de
páginas:

—— Bienvenida/introducción: página inicial del cuestionario, que dispone de


un mensaje breve y sencillo en el que se le dice al seleccionado que ha
llegado al lugar adecuado (el lugar referido en la carta de presentación
o en el mensaje de correo electrónico) y se le anima a responder el cues-
tionario (Toepoel, 2016). En esta página el usuario escribe la clave de
identificación recibida y recibe las instrucciones básicas acerca de cómo
cumplimentar el cuestionario. El objetivo es evitar que interrumpa aquí
la lectura del cuestionario, y el mensaje es similar a la presentación en
104 CUADERNOS METODOLÓGICOS 59

las encuestas con encuestador: se introduce el tema, la organización


que promueve el estudio, se alude a la privacidad y confidencialidad, y
al tiempo necesario para responder. Deben utilizarse también los recur-
sos usados en otros tipos de encuestas, como la alusión a los beneficios
de cooperar, sentido de exclusividad, nombre del organismo que realiza
la investigación, etc. En definitiva, convencer al encuestado de que par-
ticipe.
Para conseguir la máxima efectividad, este mensaje debe ser breve y
conciso (Dillman, Tortora y Bowker, 1998), proporcionando informa-
ción general sobre el estudio. Los textos demasiado largos plantean pro-
blemas por la dificultad de elegir un lenguaje adecuado para comunicarse
con todos los sectores sociales, y normalmente no suelen ser leídos.
Además, pueden proporcionar demasiada información del estudio,
reduciendo así la curiosidad del entrevistado. La literatura existente
apunta a que utilizar un lenguaje informal consigue una mayor coope-
ración (Olson et al., 2011; Kalafatis et al., 2012), si bien Toepoel (2016)
señala que apenas existe investigación sobre la influencia del diseño de
la página inicial sobre las tasas de respuesta.
—— Inicio del cuestionario, primera pregunta. El cuestionario debe comen-
zar con una pregunta que sea completamente visible en la pantalla, fácil
de comprender y responder por toda la muestra seleccionada (Dillman,
Tortora y Bowker, 1998). Se trata de una pregunta que «define» la difi-
cultad del cuestionario, que es evaluada por los usuarios para conside-
rar si el cuestionario será fácil o no; una pregunta fundamental para
garantizar la colaboración de la persona encuestada.
Lo más adecuado es utilizar una pregunta «abanico» de respuesta
única, como la mostrada en la figura III.6, con un breve mensaje sobre
cómo responderla: «Sitúa el ratón sobre un botón de opción y márcalo.
Si te equivocas selecciona otro y el anterior se desseleccionará automá-
ticamente. La pregunta solo admite una respuesta» (Dillman, Tortora y
Bowker, 1998). Nunca debe colocarse en este lugar una pregunta de
menú desplegable o una batería, ni preguntas sobre rasgos sociodemo-
gráficos.
—— Páginas de transición, para introducir nuevos temas, lo que supone un
descanso para el encuestado.
—— Páginas con instrucciones, donde se explica cómo debe responderse a
las preguntas complicadas. Dillman, Tortora y Bowker (1998) conside-
ran que hay una gran cantidad de aspectos que los usuarios pueden no
conocer, como los botones de opción, la barra de desplazamiento,
cuándo usar el ratón o el intro, cómo funcionan las preguntas desplega-
bles (cómo acceder a categorías ocultas), cómo operar con las pregun-
tas abiertas, y qué hacer cuando hay más cosas que las que muestra la
pantalla. Tras indicar que un cuestionario bien diseñado no precisa de
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 105

instrucciones, Couper (2011b) considera que hay cuatro formas de ope-


rar con estas:

a) No colocarlas, dando por hecho que los encuestados tienen familia-
ridad con las encuestas web.
b) Colocarlas al principio de la encuesta, en una página específica. Per-
sonalmente estamos más de acuerdo con Dillman, Tortora y Bowker
(1998) cuando recomiendan no colocar todas las instrucciones en
una página porque hay una gran probabilidad de que no se lean y de
que se olviden cuando sea necesario utilizarlas.
c) Emplear enlaces con instrucciones disponibles cuando sea necesa-
rio, si bien esta opción tiene el problema de que muy pocas perso-
nas abren los enlaces (entre otros, Conrad et al., 2006; Peytchev et
al., 2006).
d) Instrucciones en el primer momento en que sean necesarias, que se
trata de la opción más recomendada por la mayor parte de expertos.
Hay tres formas de colocarlas (Dillman, Tortora y Bowker, 1998):

– Colocar la explicación de cómo proceder inmediatamente después


del enunciado de la pregunta. Puede aparecer la primera vez que se
utilice un tipo de pregunta, y repetirse una o dos veces.
– Preguntar a los usuarios en la primera página si tienen o no expe-
riencia en el uso de ordenadores. Los que responden afirmativa-
mente son dirigidos a una versión sin instrucciones; mientras que
aquellos sin experiencia responden a una versión que ayuda a los
usuarios en cada paso sobre cómo operar con cada tipo de pregunta.
– Utilizar «ventanas flotantes» que aparecen sobre la pregunta expli-
cando cómo proceder.

En definitiva, cuando las instrucciones aluden a partes específicas es


recomendable olvidarse de páginas de instrucciones e incluirlas junto a
la pregunta.
—— Página para incentivos, donde se proporciona información sobre estos
aspectos: tipo de incentivo (loterías, donaciones a organizaciones bené-
ficas, dinero en efectivo, etc.), momento cuando se entrega (antes de
responder, cuando el cuestionario es enviado, etc.) y cómo acceder al
incentivo.
—— Página o sección para descargar ficheros con dibujos, fotografías, docu-
mentos de textos o cualquier otra información para mostrar al encuestado.
—— Página de agradecimiento. Situada al final del cuestionario para agrade-
cer la participación. En ocasiones está página se utiliza también para
conocer si le ha gustado la encuesta, si ha encontrado preguntas moles-
tas o difíciles de responder, si le gustaría disponer de una copia de los
106 CUADERNOS METODOLÓGICOS 59

resultados, etc. Asimismo, es habitual incluir un campo abierto de


comentarios con el fin de recoger las observaciones de los encuestados
que permitan mejorar futuros cuestionarios que se realicen sobre el
tema. En este espacio pueden mostrarse enlaces sobre el organismo que
realiza la investigación, sobre temas relacionados con la temática de la
encuesta, e incluso un enlace con los resultados, indicando la fecha en
la que estarán disponibles.

En la figura III.10 se muestra cómo finaliza el cuestionario del IESA/CSIC


utilizado en esta investigación, agradeciendo la colaboración y ofreciendo al
encuestado la posibilidad de expresarse.

Figura III.10.
Página final del cuestionario:
agradecimiento y sugerencias de los participantes

Fuente: Final del cuestionario demo PACIS de IESA/CSIC, 2017.

En algunos casos, la programación de la encuesta web puede hacer que


tras la finalización de un cuestionario se abra un nuevo cuestionario listo para
recibir a la siguiente persona que participará en la encuesta. Es lo que se
conoce en algunas aplicaciones de programación de encuestas web como
modo quiosco (modo kiosco o kiosk mode), y resulta muy útil cuando estable-
cemos un punto único de recolección de datos, por ejemplo, en encuestas de
satisfacción o evaluación de un museo, bibliotecas, etc.
Este epígrafe sobre la organización del cuestionario concluye aludiendo a
su duración y al fuerte impacto negativo que los cuestionarios de larga dura-
ción tienen sobre la tasa de respuesta de los estudios. La presencia de un
entrevistador aumenta la cooperación con la encuesta y ayuda a mantener
el interés y la implicación de los participantes en esta (Groves, 1989). Por el
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 107

contrario, en las encuestas autoadministradas como la encuesta web, el


encuestado se encuentra solo, pudiendo interrumpir el proceso de respuesta
en el momento que lo desee, o responder de forma «automática» sin prestar
atención a las preguntas y a las respuestas proporcionadas.
Galesic (2006) analizó el impacto de la duración del cuestionario en una
encuesta web sobre la tasa de abandonos tempranos de la encuesta. Los resul-
tados del experimento pusieron de manifiesto que hay una relación directa
entre la duración del cuestionario y la tasa de abandono. Así, para un cuestio-
nario de 10 minutos, la tasa de abandono fue del 32%, para uno de 20 minutos,
del 43%, y para uno de 30 minutos, del 53%. Más concluyente es el metaaná-
lisis realizado por Vehovar y Cerovin (2014) donde señalan que cada pregunta
añadida a un cuestionario aumenta la tasa de abandono un 0,06%, y cada
página, un 0,14%. En cualquier caso, hay un acuerdo generalizado en que la
calidad del cuestionario decrece significativamente cuando su duración
excede los 20 minutos (Couper, 2008, p. 298; Cape y Phillips, 2015; Rathod,
citada en Cape y Phillips, 2015, p. 13), aumentando mucho la probabilidad de
que se abandone antes de finalizar los cuestionarios.
Un cuestionario de 20 minutos en un formato continuo permite recoger
hasta 120 variables (Díaz-de-Rada y Domínguez, 2017), mientras que las 64
pantallas (preguntas) del cuestionario utilizadas como ejemplo en este epí-
grafe se respondieron en 18,2 minutos. En una consulta a la lista de distribu-
ción de la Asociación Americana de la Asociación Pública (AAPOR-NET),
Schoua-Glusberg (2007) —director de Research Support Services— señala que
normalmente se responden entre cuatro y seis preguntas por minuto, por lo
que en 20 minutos pueden responderse alrededor de 100 preguntas. En esta
línea se sitúan las estimaciones de Revilla y Ochoa (2015), que señalan que un
cuestionario de 125 preguntas precisa entre 25 y 30 minutos para ser respon-
dido. Más precisa es la estimación de Zhang y Conrad (2014, p. 129) cuando,
considerando que procesar una palabra precisa un tiempo de 300 milisegun-
dos, estiman que en 15,4 minutos puede responderse un cuestionario de 54
preguntas, lo que implica 3,5 preguntas por minuto.
Esta duración promedio de 20 minutos, detectada en la primera década
del siglo, ha disminuido notablemente en la segunda década, tal y como
señalan Cape y Phillips (2015) en su estudio sobre la duración promedio y
número de abandonos tempranos en 2004, 2009 y 2015. Es previsible que
esta tendencia a la reducción del tiempo para responder siga profundizán-
dose en los próximos años, y ya algunos expertos —como Jorge Martín
(2015) y Revilla y Ochoa (2017)— recomiendan no emplear cuestionarios de
más de 10 minutos.
A la duración se le une la complicación del cuestionario, que genera un
esfuerzo cognitivo que puede llevar al encuestado a interrumpir el proceso de
cumplimentación de la encuesta si considera que la relación coste-beneficio
está desequilibrada en su contra (Dillman et al., 2014; Cape y Phillips, 2015).
108 CUADERNOS METODOLÓGICOS 59

3.4.  La pregunta, elemento esencial del cuestionario

La clasificación más importante de los tipos de preguntas es la que considera la


libertad de respuesta del encuestado (entre otros, Schuman, 2008), que permite
diferenciar entre preguntas abiertas —donde el entrevistado puede responder
lo que se le antoje— y cerradas, que limita la elección del encuestado a una serie
de respuestas previamente formuladas por el investigador. Algunos autores,
como Callegaro, Lozar Manfreda y Vehovar (2015), dan cuenta de otras clasifi-
caciones aludiendo al contenido de las preguntas (sobre hechos y sobre otros
aspectos), su carácter sensible-amenazante (en temáticas que afectan a la priva-
cidad), así como al nivel de medida: nominal, ordinal, intervalo y razón.
Se ha señalado que la división abiertas-cerradas condiciona todas las
demás en la medida en que los tres tipos de preguntas que señalan Callegaro,
Lozar Manfreda y Vehovar (2015) pueden tener un formato abierto o un for-
mato cerrado. De hecho, en los ejemplos utilizados en las próximas páginas se
mostrarán preguntas abiertas sobre hechos con nivel de medida de intervalo,
de la misma forma que podrían haberse formulado de forma cerrada. Res-
pecto a las preguntas de temáticas amenazantes, los expertos recomiendan
que se realicen empleando preguntas abiertas (Bradburn, Sudman y Wansink,
2004), si bien numerosas preguntas, como el voto político o el nivel de ingre-
sos, son habitualmente realizadas en un formato cerrado.
Ahora bien, el cuestionario electrónico precisa de una serie de recursos
específicos que dispone el medio, como son advertencias que se activan
cuando son detectados períodos de inactividad del encuestado, explicaciones
espontáneas cuando el ratón «pasa» por un determinado lugar (Conrad et al.,
2006), etc. El cuestionario no debe plantear dudas a una persona que no
cuenta con la ayuda de un encuestador, ofreciendo siempre información sobre
a quién acudir para aclarar aspectos que no sabe cómo responder.
Este epígrafe está dividido en dos partes, considerando la clasificación más
básica dentro de las preguntas: abiertas y cerradas.

3.4.1.  Preguntas abiertas

Considerando la importancia del uso de claves para acceder a un cuestionario


web, como se ha señalado anteriormente, y aunque se puede acceder de forma
directa a través de un enlace web individualizado que se envía por e-mail, en
muchos casos es necesario introducir manualmente la clave de acceso, facili-
tada por carta o por SMS. El campo donde se introduce la clave de acceso se
convierte en un tipo «especial» de pregunta abierta, una pregunta que —pese
a no proporcionar información sustantiva— precisa de una respuesta muy
concreta. Se trata de la primera pregunta del cuestionario que, además, puede
producir el primer abandono. Los formularios de HTML contemplan el
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 109

elemento específico <password>, que oculta el texto conforme se ingresa, aun-


que para una encuesta web con bajo nivel de datos sensibles y el uso de otras
capas de seguridad se utiliza habitualmente el elemento <text> para que el
entrevistado vea en todo momento las letras que está introduciendo y reducir
así el riesgo de errar. Además, se deben dar por válidas tanto si las introduce
en mayúsculas como en minúsculas. Por otro lado, para un acceso erróneo
deben saltar una alerta bien documentada y un acceso para contactar, así
como una alerta en la supervisión de campo.
Iniciado el cuestionario, se comienza por las preguntas abiertas por su
buen funcionamiento en el modo autoadministrado por Internet (Barrios et
al., 2011; Kierman et al., 2005), notablemente mejor que en los modos con
encuestador (tanto presencial como telefónico). De hecho, las recomendacio-
nes sobre preguntas abiertas prácticamente han desaparecido en los textos
sobre encuestas telefónicas (Smyth et al., 2007; Brick y Lepkowski, 2008, p.
156; Lynn y Kaminska, 2012; Miller y Cannel, 1982), debido a su mal funcio-
namiento, y no se les presta mucha atención en los manuales de encuestas
presenciales, principalmente por su elevado coste, tanto en la recogida de
información como en su procesado (entre otros, Emde, 2014, pp. 65-71).
Una primera clasificación dentro de las preguntas abiertas podría hacerse
considerando las «herramientas» que utilizan las encuestas por Internet para
recoger las respuestas a este tipo de preguntas. Atendiendo a este criterio hay
que diferenciar dos elementos en el formulario de HTML para la entrada de
texto que ya se describieron anteriormente en el epígrafe 3.2, página 75, la
caja de texto (elemento <text>) que limita la edición de texto en una sola línea
y el área de texto (elemento <textarea>) para la entrada de texto en varias
líneas. La primera se utiliza para recoger respuestas numéricas o textos bre-
ves (Toepoel, 2016), mientras que las segundas (<textarea>) pueden recoger
gran cantidad de información al permitir la edición de texto en una caja mul-
tilínea. En ambas puede adaptarse el tamaño en función de las necesidades de
cada pregunta, si bien de forma diferente. En el elemento <text> se puede con-
trolar la anchura, pero no la altura, y en el elemento <textarea> se pueden con-
trolar ambas. Buscando una mayor precisión, Callegaro, Lozar Manfreda y
Vehovar (2015) señalan que las primeras recogen informaciones de alrededor
de 30 caracteres, mientras que la respuesta usando el elemento <textarea> es
mayor que 60 caracteres, pudiendo incluso ocupar varias líneas.
A partir de 2014, con la versión definitiva del estándar HTML5 y coinci-
diendo con el uso normalizado de los teléfonos inteligentes en la cumplimen-
tación de las encuestas web, adquiere relevancia el nuevo elemento <number>,
que activa el teclado numérico en vez del alfabético en teléfonos inteligentes y
tabletas, y puede acotar en un rango concreto los números que se permiten
introducir (p. ej., del 1 al 12 si solicitamos el mes), generando en caso de incum-
plimiento alertas mimetizadas sin necesidad de programarlas. Otro elemento
nuevo y relevante es <placeholder>, que permite en las preguntas abiertas,
110 CUADERNOS METODOLÓGICOS 59

antes de introducir ningún valor, la inclusión de una palabra o frase de ayuda


en una tonalidad gris claro mimetizada en el interior del elemento que recoge
el valor abierto (<text>, <textarea> o <number>), como se puede ver en la figura
III.11; dicho contenido desaparece en el momento en que se sitúa el cursor en
él y se escribe cualquier valor.

Figura III.11.
Tipos de preguntas abiertas. Clasificación propuesta por Dillman et al. (2009)

Con respuestas numéricas


(construida con <number>)

Preguntas para listados/respuesta


breve (construida con <text>)

Respuestas que recogen descripciones


y explicaciones (construida
con el elemento <textarea>)

Fuente: Elaboración propia.

Comenzando por las primeras, Dillman, Smyth y Christian (2009) propo-


nen tres recomendaciones a llevar a cabo cuando son utilizadas en cuestiona-
rios por Internet:

1. La primera es preguntar por las unidades específicas. Esto es, en lugar de
preguntas «con qué frecuencia haces X», plantear cuántas veces se hace X,
siempre considerando un período concreto de tiempo. Siguiendo esta reco-
mendación, la pregunta «¿Sueles comer en casa al mediodía?» se transfor-
maría en «¿Cuántas veces comiste al mediodía en casa la semana pasada?».
2. La segunda recomendación propone visualizar la unidad de medida,
colocándola justo detrás de donde se anota la respuesta. Siguiendo con
el ejemplo anterior, tras <number>, hay que incluir el texto «días la
semana pasada». Una alternativa con los nuevos estándares de HTML es
visualizar la unidad de medida en el interior de <number>.
3. La tercera aboga por disponer de un espacio adecuado en función de la
respuesta esperada; considerando siempre que el espacio debe ade-
cuarse al tipo de respuesta demandada. Se profundizará sobre este
aspecto en los siguientes párrafos.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 111

Figura III.12.
Influencia del espacio de respuesta de las preguntas abiertas

Estudio de Couper y otros (2011) sobre fecha de nacimiento


¿Cuál es tu fecha de nacimiento? (Por favor, utiliza el formato DD/MM/AAAA)

% de encuestados
Recurso gráfico empleado
Tipo de espacio que utilizan el formato
DD/MM/AAAA
DD/MM/AAAA

Caja de texto con 10 dígitos 83%


Caja de texto de mayores
91%
dimensiones (40 dígitos)
Tres cajas de texto para cada
información (sin la instrucción  DD  MM  AAAA
96%
tras la pregunta; el texto entre / /
paréntesis tras la pregunta)

IESA/CSIC. Solicitud de fecha de nacimiento y activación


de herramienta para corregir (una vez respondida)

Fuente: Couper et al. (2011b) e IESA/CSIC, 2017.

Una investigación realizada por Couper et al. (2011) trata de constatar la


adecuación de esta recomendación comparando un elemento <text> con espa-
cio para diez dígitos 11, otro de 40 dígitos cada uno, y otro formado por tres ele-
mentos <text> separados por «/» con las letras MM, DD y AAAA sobre cada uno:
los dos primeros con una capacidad de dos dígitos y el tercero para el año con
cuatro dígitos (figura III.12). En el elemento <text> con 10 dígitos el 83,4% de
los entrevistados responde con el formato deseado, cifra que aumenta hasta el
91% en el elemento <text> de 40 caracteres. Colocar tres elementos <text> sepa-
rados con «/» y con la letra encima consigue un 96,4% de respuestas en el for-
mato deseado, pese a que no se utilizó la instrucción tras la pregunta.
La forma que emplea el IESA/CSIC para recoger esta información es muy
similar a la propuesta por Couper y otros, aunque a su favor tiene que se trata

11
  Los ocho planteados para el día (2), mes (2) y año (4) y los dos espacios de separación entre
cada uno.
112 CUADERNOS METODOLÓGICOS 59

de un formato más claro y preciso ya que aplica el estándar HTML5 del año
2014, que sustituye para los datos numéricos el elemento <text> por el ele-
mento <number>. Claro, por la información que muestra al encuestado cuando
se encuentra con esta pregunta: un elemento <number> para el día, otro para
el mes, y otro para el año, con el apoyo de <placeholder> para «etiquetarlos».
Preciso porque, además de conocer el día concreto, no permite colocar en el
primer elemento <number> una cifra superior al 31, ni en el segundo una cifra
superior al 12 para el mes. Además, cuando el entrevistado responde, por ejem-
plo, que ha nacido el día 31 en el mes de abril (que tiene 30 días) salta una
alerta integrada en la casilla del elemento para una ágil rectificación. Para los
años la casilla se acota al rango de edades de la población objeto de estudio,
evitando la introducción de años improbables.
Una vez introducido un número en la casilla del elemento <number>, si el
cursor se sitúa dentro de la casilla se activa de forma nativa un icono en
el margen derecho del elemento que permite «subir» o «bajar» con facilidad el
número anotado (véase la parte inferior de la figura III.12, el mes erróneo
introducido, 13, que podría corregirse pulsando en la pestaña triangular de su
derecha en vez de introducir de nuevo un número).
Finalizada la exposición para respuestas numéricas se procede con las pre-
guntas abiertas para respuestas cortas o listados (figura III.11). Estas pregun-
tas están «a medio camino» entre las preguntas numéricas y las que recogen
descripciones y explicaciones, y las respuestas se recogen en un formato
<text>. Son utilizadas, por ejemplo, para recoger marcas, tipos de negocio,
adjetivos, etc.; una información que, en principio, puede ser rápidamente
codificada y procesada al no presentar una gran variabilidad.
Al igual que en el caso anterior, Dillman, Smyth y Christian (2009) pre-
sentan tres recomendaciones para el uso de ese tipo de preguntas. La pri-
mera, referida a especificar con precisión en el enunciado de la pregunta el
número y tipo de respuesta deseada. A modo de ejemplo, «Por favor dime los
TRES principales problemas que existen actualmente en España», idea
tomada de un Barómetro del CIS. Citar el número tres produce un significa-
tivo aumento de respuesta, como demuestra Dillman en una investigación
en la que se planteó la siguiente pregunta: «[…] podrías decirme el nombre
de los tres establecimientos que más te gustaría ver en tu ciudad y que
actualmente no existen?». Utilizar el término «tres» (establecimientos)
frente a los «establecimientos» (sin número), aumenta un 32% el número de
encuestados que dicen tres o más (Dillman, Smyth y Christian, 2009). Un
12% dijo más de cinco negocios.
La segunda recomendación alude al espacio para la respuesta, que se ade-
cúe a la cantidad y al tipo de respuestas esperadas, puesto que el encuestado
interpreta esa información como la cantidad y tipo de información esperada
(Stern et al., 2012). La tercera recomendación insiste, al igual que como se
señaló en las preguntas numéricas, en etiquetar el espacio para reforzar el tipo
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 113

de respuesta requerida, en la medida en que las etiquetas utilizadas comuni-


can al entrevistado el tipo de información que debe proporcionar.
El último tipo de preguntas abiertas (figura III.11), que recogen descripcio-
nes y explicaciones (elemento <textarea>), es objeto de numerosas críticas por
la dificultad de recogida de información por parte del encuestador, el escaso
número de respuestas, así como la dificultad de procesado de esta informa-
ción. Todo ello genera un importante aumento del coste de la investigación.
En este texto desaparecen, lógicamente, las referidas a la capacidad del entre-
vistador para recoger la información, puesto que aquí es el propio encuestado
el que transmite la información. Otra de las críticas, la referida al menor
número de respuestas, se acepta con matices, puesto que en las encuestas por
Internet los entrevistados proporcionan más información que la expresada en
otros modos. Pese a esto, los expertos recomiendan tener siempre presente
que en numerosas ocasiones proporcionan respuestas menos ricas de lo espe-
rado (Dillman, Smyth y Christian, 2009).
Investigaciones realizadas por Schaefer y Dillman (1998) detectan que las
respuestas a este tipo de preguntas en encuestas por Internet proporcionan 32
palabras más que las encuestas con papel. Díaz de Rada y Domínguez (2014)
han comprobado que estos hallazgos —localizados en otros países— son
extensibles al caso español, utilizando una investigación sobre andaluces que
residían en el extranjero que fueron encuestados con una encuesta por correo
ordinario (papel) y un cuestionario por Internet. Las cinco preguntas abiertas
que demandaban una frase fueron diseñadas para recoger hasta tres respues-
tas, con el siguiente texto: «Por favor, especifique lo mejor posible hasta un
máximo de tres respuestas». Cada respuesta disponía de dos líneas en el cues-
tionario por correo, mientras que en el cuestionario por Internet se colocó un
<text> de una línea sin ninguna indicación sobre el espacio de respuesta. Se
buscó en todo momento que la extensión visual del espacio para escribir en
ambos cuestionarios estuviera armonizada, es decir, se dejó suficiente espacio
en el cuestionario por correo, mientras que el cuestionario por Internet única-
mente recogía los primeros 255 dígitos. Cuando un entrevistado escribía una
respuesta de 295 caracteres, por ejemplo, se guardaban únicamente los 255
primeros y continuaba con el cuestionario, sin percibir nunca que los últimos
40 no habían sido guardados. Prueba del éxito de esta forma de proceder es
que esto nunca sucedió, ningún entrevistado por Internet proporcionó una
respuesta más larga. En cuanto al cuestionario por correo ordinario, única-
mente ocho entrevistados proporcionaron una respuesta más larga.
La longitud de las respuestas literales anotadas por cada entrevistado se
muestra en la primera parte de la tabla III.4. Como puede apreciarse, las res-
puestas más largas se refieren a los problemas o necesidades principales,
seguidos de la ocupación. Esta tabla desvela la mayor longitud en la respuesta
proporcionada por la encuesta por Internet en cuatro de las cinco preguntas
consideradas, aunque solo tres presentan diferencias significativas.
114 CUADERNOS METODOLÓGICOS 59

No todos los entrevistados han tenido tres ocupaciones, tampoco todos


declaran los tres problemas más importantes, ni expresan tres motivos que les
retienen en el país de residencia, por lo que considerar la longitud de tres res-
puestas podría llevar a conclusiones erróneas. Por ello se han vuelto a realizar
los análisis con la longitud de la primera respuesta, que se muestra en la parte
central de la tabla. Son resultados que coinciden con los explicados en el
párrafo anterior, proporcionando la encuesta por Internet respuestas más
detalladas que las localizadas en la encuesta por correo.

Tabla III.4.
Número de respuestas en una pregunta «narrativa-explicativa»

Número de caracteres (tres respuestas)


Correo Web t-valor
Ocupación 47,37 61,32 4,28**
Principal problema/necesidad 48,51 68,53 5,39**
Motivos que le retienen en país 43,09 49,54 2,14*
Motivos principales emigró 31,30 21,14 4,47**
Motivos de elección ese país 83,06 98,58 1,51
Caracteres de la primera respuesta
Ocupación 25,50 30,81 3,51**
Principal problema/necesidad 26,25 31,93 3,17**
Primer motivo retiene en el país 19,05 22,83 2,67*
Primer motivo emigró 18,67 13,21 3,43**
Primer motivo elección país 18,38 15,43 2,10
Número medio de caracteres por palabra
Ocupación 6,98 7,69 4,90**
Principal problema/necesidad 4,93 6,18 7,45**
Primer motivo retiene en el país 5,63 5,93 3,09*
Primer motivo emigró 3,64 2,97 3,37**
Primer motivo elección país 3,43 2,64 4,34

*  < 0,05. **  < 0,01.


Fuente: Díaz de Rada y Domínguez, 2014, p. 263.

La longitud de las respuestas, extraídas considerando el número de caracte-


res de las palabras elegidas para responder, puede también utilizarse para con-
siderar el tipo de palabras utilizadas por cada entrevistado. La información de
la parte inferior de la tabla desvela que los entrevistados mediante Internet
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 115

proporcionan unas palabras más largas, lo que es atribuido al empleo de un len-


guaje más eficiente, esto es, un menor empleo de artículos y preposiciones 12.
Esto se cumple en cuatro de las cinco preguntas abiertas empleadas. En defini-
tiva, unos resultados muy similares a los localizados por investigaciones reali-
zadas en otros contextos.
Debemos finalizar este epígrafe con las recomendaciones básicas que el
equipo de Dillman propone para la presentación visual de este tipo de pregun-
tas abiertas (Dillman, Smyth y Christian, 2009):

—— Dejar un espacio adecuado para la tarea propuesta, para todas las res-
puestas que se esperan de la pregunta planteada, teniendo siempre pre-
sente que un mayor espacio proporciona más respuestas.
—— Como segunda recomendación, advertir específicamente que no hay limi-
tación de espacio, insistiendo en que se puede escribir cuanto se quiera.
—— La tercera propone utilizar «motivación extra» para responder.
—— Programar indagaciones que aparezcan automáticamente en función
de la longitud de la respuesta. Preguntas del tipo «¿alguna otra razón
más?» o «¿desea precisar más?» producen significativos aumentos en el
número y la longitud de las respuestas.

Una situación muy adecuada para el empleo de este tipo de preguntas abier-
tas es utilizar el cajón del elemento <textarea> para recibir opiniones de cual-
quier índole de los encuestados al final, estar siempre abierto a sus observaciones
para programar nuevos cuestionarios. En la figura III.10 se mostró un cuestio-
nario del IESA/CSIC que termina ofreciendo al encuestado la posibilidad de
expresarse. Dado su carácter voluntario y normalmente ajeno a las preguntas
de investigación, hay que verificar que no sea obligatoria para poder cerrar el
cuestionario, cerrando el cuestionario con un mensaje que clarifique al entre-
vistado la finalización del mismo, como se muestra en la figura III.13.

Figura III.13.
Mensaje de despedida, fin de la encuesta

Fuente: IESA/CSIC.

 En castellano todos los artículos tienen dos caracteres, y las preposiciones son —en su
12

mayoría— palabras cortas, con pocos caracteres.


116 CUADERNOS METODOLÓGICOS 59

Aplicación práctica con plataformas de encuestas web

En el menú de la herramienta e-encuesta.com seleccionamos «Construir» >> «Añadir


pregunta», seleccionaríamos «Respuesta abierta», y aparecen varios subtipos a ele-
gir: «Una línea», «Una o más líneas» o «Texto explicativo». Con estas opciones ya se
tiene la capacidad de diseñar cualquier tipo de las preguntas abiertas expuestas en la
figura III.11.

3.4.2.  Preguntas cerradas

Las preguntas cerradas disponen de una serie de respuestas para que el encues-
tado seleccione la más apropiada, y serán clasificadas en función del número de
respuestas a recoger. Este número de respuestas es el que habitualmente dic-
tará la utilización de una u otra herramienta gráfica. Así, las preguntas de res-
puesta única recogen la respuesta a partir del elemento <radio>, que tiene una
apariencia de botón redondo (parte izquierda de la figura III.14), aunque en
ocasiones emplean también el elemento <select>, que tiene una apariencia de
lista desplegable (drop-down box, drop boxes o select list), donde las opciones de
respuesta se muestran cuando se pulsa en un determinado lugar de la pregunta,
desplegando y visibilizando en ese momento las categorías disponibles (parte
derecha de la figura III.14). Cuando una pregunta permite más de una respuesta
se emplea el elemento <checkbox>, que tiene una apariencia de botón cuadrado
(casilla de verificación) que permite una selección múltiple. En ocasiones se
emplean también listas desplegables en preguntas con varias respuestas, aun-
que son más usuales en preguntas de respuesta única.

Figura III.14.
Ejemplo del uso de botones de opción
y casillas de verificación en un programa informático

Fuente: Extracto del cuadro de diálogo «Imprimir», programa Acrobat Reader.


INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 117

Preguntas cerradas de respuesta única: elemento <radio>

Las preguntas con respuesta única precisan de categorías de respuesta exhaus-


tivas y mutuamente excluyentes que no hagan dudar al encuestado de qué res-
puesta elegir; tal y como se procede en los ejemplos de la figura III.15. Dentro
de estas puede diferenciarse cuando la pregunta se presenta verticalmente,
con los botones de opción situados a la izquierda de las categorías, por las
razones esgrimidas más atrás, o cuando se coloca de forma horizontal. Cuando
las opciones se coloquen horizontalmente no deben ocupar más de una línea
y debe existir una distancia similar entre las opciones (Dillman et al., 2014).

Figura III.15.
Ejemplos de preguntas con respuesta única

Fuente: Elaboración propia.

El primero de los ejemplos de la figura III.15 es una pregunta que presenta


cuatro opciones que no implican ninguna relación de orden, solicitando del
entrevistado que elija una de estas. Con el fin de evitar que sean seleccionadas
las opciones colocadas en los extremos de la pregunta, primer y último lugar,
se recomienda que las opciones «roten», esto es, que cada entrevistado reciba
los estímulos en un orden diferente (Callegaro, Lozar Manfreda y Vehovar,
2015). Este proceso, conocido como aleatorización, reduce la influencia de la
disposición de las respuestas en las elecciones de los encuestados, influencia
que varía según la dificultad de la pregunta, la capacidad de procesar la infor-
mación, y la motivación en la respuesta (Toepoel et al., 2009).
118 CUADERNOS METODOLÓGICOS 59

Cuando el investigador tiene dudas sobre la exhaustividad de sus respues-


tas puede utilizar una pregunta semiabierta como la mostrada en la parte
inferior de la figura III.16. En estos casos la rotación debería excluir la última
categoría, manteniéndola en último lugar. Otra forma de proceder, en línea
con el principio de que unas categorías de respuesta no destaquen sobre otras,
en un formato de paginación, es llevar esa categoría semiabierta a la siguiente
pregunta actuando como filtro la selección o no de la categoría «Otros» para
que se presente o no la pregunta «Especificar cuál».

Figura III.16.
Ejemplos de pregunta con respuesta semiabierta

Fuente: Elaboración propia.

Cuando las opciones de respuesta presentan una relación de orden, como


la mostrada en la parte central de la figura III.15, debe tenerse sumo cuidado
en el «espacio» ocupado por cada una de las categorías, buscando siempre la
coincidencia del punto medio «visual» con el punto medio «conceptual».
En la parte inferior de la figura III.15 se muestra una escala de medición
ordinal que, a diferencia de la anterior, se ha etiquetado solo en los extremos
y solicita al entrevistado que se sitúe a la derecha o a la izquierda según su
ideología. Es importante destacar el mayor esfuerzo cognitivo que debe hacer
el encuestado para procesar una información de este tipo (Dillman, Smyth y
Christian, 2009), aumentado así el tiempo de respuesta. Además, debe tenerse
en cuenta la influencia que supone el tipo de numeración empleada: Schwarz
y Hippler (1995b), por ejemplo, han demostrado las diferencias que existen en
escalas que emplean números positivos y las que utilizan positivos y negati-
vos; al tiempo que Toepoley, Das y Van Soest (2008) localizan diferencias
importantes en escalas positivas-negativas y negativas-positivas 13.
En numerosas ocasiones estas escalas valorativas se ofrecen como respues-
tas dentro de una pregunta de batería, caracterizadas por utilizar la misma for-
mulación para preguntar sobre aspectos diferentes utilizando las mismas

13
  Las primeras se refieren a escalas que comienzan con números positivos y terminan en negati-
vos; mientras que las negativas-positivas comienzan en números negativos y terminan en positivos.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 119

categorías de respuesta (Azofra, 1999; Couper et al., 2013), como la mostrada en


la figura III.17. Esto implica un acercamiento a las preguntas con varias opcio-
nes de respuesta 14. Las preguntas de batería son muy utilizadas por su sencillez
de preparación, la posibilidad de medir un gran número de conductas, y admi-
nistración del cuestionario fácil y rápida, ya que evita redundancias al tener que
explicarlas una única vez (Lozar Manfreda y Vehovar, 2008). Además, presen-
tan un ahorro económico cuando se comparan con otras preguntas: menos
coste de papel, menos trabajo de los entrevistadores, economía en la prepara-
ción, etc. (Revilla, Saris y Krosnick, 2014; Couper, 2011b). Otros expertos des-
tacan que el entrevistado responde dos-tres veces más rápido que en otras
preguntas (entre otros, Bethlehem y Biffignandi, 2011; Krosnick, 2012).

Figura III.17.
Ejemplo de preguntas en batería

Fuente: Elaboración propia.

Frente a estas ventajas, la mayor parte de los manuales recomiendan utilizar-


las con mesura por la gran pesadez y el cansancio que supone responderlas. A
estas críticas se añade que hay propiedades de la pregunta de batería que no son
extensibles al modo autoadministrado porque algunos encuestados encuentran
«problemas de navegación» en el momento de enfrentarse a estas preguntas:
¿deben elegir una de las respuestas mostradas en sentido «vertical», como en las
preguntas anteriores?, ¿o más bien deben realizar una selección de las respuestas
horizontales? Además, el encuestado debe considerar la pregunta formulada al
principio («¿Me podría decir el grado de confianza…», en la figura III.17), en
cada uno de los ítems (Administraciones en el ejemplo), situación sencilla en los
modos con encuestador, pero relativamente compleja en el modo web.

14
  Digamos que se trata de un «particular» tipo de respuesta múltiple —diferente al que será
señalado más adelante— en la medida en que se expresan —en principio— tantas respuestas
como preguntas son formuladas. Es decir, no es que la pregunta permita varias respuestas, sino
que se formulan varias preguntas (p. ej., valoración de la satisfacción con su estado de salud, su
trabajo, su pareja…) y cada una genera una respuesta.
120 CUADERNOS METODOLÓGICOS 59

Este esfuerzo cognitivo que supone tener que unir la información de filas y
columnas termina produciendo una alta tasa de no respuesta parcial (Dillman y
Christian, 2005) y escasa diferenciación, esto es, que el entrevistado proporciona
la misma respuesta a todos los ítems (entre otros, Couper et al., 2013; Touran-
geau, Couper y Conrad, 2004; Vehovar, Lozar Manfreda y Batagelj, 2000; Lozar
Manfreda y Vehovar, 2008). Aunque puede reducirse el esfuerzo sombreando/
coloreando de modo diferente los ítems alternos con el fin de evitar que el encues-
tado se confunda en el momento de responder, como se ha procedido en la figura
III.17, debe tenerse en cuenta que colocar los ítems en una misma pantalla incre-
menta la correlación entre ellos (entre otros, Dillman, Smyth y Christian, 2014;
Tarnai y Dillman, 1992; Tourangeau, Couper y Conrad, 2004).
Estos factores llevan a recomendar la «descomposición» del formato de
batería en «varias preguntas» individuales, tal y como se muestra en la figura
III.18, mejorando la calidad de respuesta aun a costa de aumentar el tiempo
empleado en responder la pregunta. Además de las razones anteriores, diver-
sos expertos (entre otros, Hanson, 2017; Revilla, Toninelli y Ochoa, 2017;
2015; Smyth y Olson, 2016), tras detectar que en este tipo de preguntas el
soporte empleado (ordenador/tableta/teléfono) afecta a los resultados, reco-
miendan que para mejorar la comparabilidad entre los soportes hay que evi-
tar el formato «batería» cuando la encuesta pueda responderse con ordenador
o teléfono, utilizando en su lugar un formato «pregunta a pregunta».

Figura III.18.
Descomposición de preguntas de batería en preguntas individuales

Fuente: Elaboración propia.

Una última consideración en el diseño de una pregunta con respuesta cerrada


usando el elemento <radio> es que cuando se muestra solo esa pregunta en la
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 121

página se podría prescindir del botón del elemento <submit> para enviar la res-
puesta, dado que al seleccionar la respuesta se puede activar (con una instruc-
ción en JavaScript) el envío del formulario directamente a la siguiente página.
Se trata de un avance automático que, para una batería de preguntas cerradas
descompuestas en una por página, genera una ganancia de tiempo que Hays et
al. (2010) cuantifican en dos segundos por pregunta, aunque su uso tiene las
limitaciones que mencionamos en el epígrafe 3.3.2.

Preguntas cerradas con varias respuestas: elemento <checkbox>

Las casillas de verificación se utilizan para las preguntas cerradas que permi-
ten más de una respuesta; definidas normalmente como preguntas multirres-
puesta o de respuesta múltiple. Se trata de una derivación de las preguntas
anteriores, con categorías exhaustivas, aunque no excluyentes. Otra diferen-
cia es que suelen presentar un mayor número de categorías, y —en la admi-
nistración presencial— utilizan con frecuencia ilustraciones y tarjetas para
que el encuestado pueda visualizar todas las opciones.

Figura III.19.
Tipos de preguntas multirrespuesta

Fuente: Elaboración propia.

A grandes rasgos pueden diferenciarse dos tipos de preguntas de este tipo,


la multirrespuesta categórica —que corresponde a la instrucción «marque las
que desee»— y la categórica, que pregunta a los encuestados cada una de las
122 CUADERNOS METODOLÓGICOS 59

opciones de respuesta, como si fuera una batería de preguntas dicotómicas, y


son respondidas con botones de opción. En la figura III.19 se muestra un
ejemplo de cada una. Hasta hace unos años el uso de una u otra dependía de
las preferencias del investigador, e incluso hay cuestionarios —como el estu-
dio 3024 del CIS (Barómetro de mayo de 2014)— que utilizan ambos tipos; si
bien las últimas han sido más utilizadas en encuestas telefónicas 15.

Preguntas cerradas con categorías de respuesta a «solicitar»: elemento


<select>

Se trata de un tipo de preguntas que no presenta las opciones de respuesta


hasta que el entrevistado pulsa sobre un determinado punto de la pregunta, lo
que despliega las alterativas de respuesta para que el encuestado marque su
respuesta entre las opciones disponibles. Si desea cambiar la respuesta debe
pulsar de nuevo y elegir otra respuesta, desseleccionándose automáticamente
la primera elección. En la utilización de estas preguntas es sumamente impor-
tante indicar que las opciones se «despliegan» al pulsar (Callegaro, Lozar
Manfreda y Vehovar, 2015), tal y como se ha procedido en la figura III.20a.

Figura III.20a.
Pregunta cerrada con listas desplegables

Fuente: Elaboración propia.

A diferencia de las anteriores, que han sido frecuentemente utilizadas en


cuestionarios presenciales y telefónicos, estas son exclusivas de los modos
asistidos por ordenador. Entre sus ventajas hay que destacar el escaso espacio
ocupado en el cuestionario, por lo que son empleadas principalmente cuando

15
  En este cuestionario hay una multirrespuesta categórica, la pregunta 16, y tres dicotómi-
cas: preguntas 15a, 15b y 17a.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 123

la pregunta tiene un elevado número de opciones de respuesta (p. ej., listado


de provincias, de marcas comerciales, etc.). Aunque pueden recoger una o
varias respuestas, se han colocado separadas de las anteriores porque se trata
de un tipo de preguntas que no está exento de problemas por la mayor com-
plejidad que implica responder a una pregunta con este formato.
Se trata, además, de un tipo de pregunta con un claro efecto primacía (entre
otros, Galesic et al., 2008; Couper et al., 2004), puesto que el encuestado debe des-
plazarse por la pantalla para visualizar todas las posibles respuestas, y puede
detener esta acción en el momento en que localiza una respuesta «satisfactoria»,
interrumpiendo el visionado del resto de opciones (elige una opción «satisfacto-
ria» sin ver todas las posibles respuestas). Este efecto es detectado también en
uno de los escasos experimentos realizados en España comparando esta pre-
gunta con una caja de texto y un formato de botón de opción (Domínguez y Tru-
jillo, 2014). El cuestionario versa sobre la satisfacción con una actividad, con 5
ítems valorativos de 0 a 10. Pese al bajo tamaño muestral, y la advertencia de la
escasa potencia de los resultados, Domínguez y Trujillo (2014) dan cuenta de una
menor visualización de las opciones de respuesta situadas al final, que son preci-
samente las que presentaban una mayor satisfacción con el aspecto analizado. El
empleo de un cajón de texto, desde su punto de vista, es lo que mejor funciona,
superando incluso los botones de opción, porque plantean problemas de visuali-
zación para las pantallas inferiores a 4 pulgadas (es necesario girar el teléfono
inteligente y tener activada la rotación automática).
A partir de 2014, con el estándar de HTML5 se implementó el elemento
<datalist>, que opera de forma similar que el elemento <select> pero admite
introducir texto para localizar de forma más ágil la categoría que el entrevis-
tado busca. Esto resulta muy útil para el uso al que suele destinarse, como se
ha indicado anteriormente, sobre todo para provincias, países y otros listados
extensos que tengan un cierto orden alfabético o numérico (figura III.20b).
Una diferencia importante frente a <select> y que lo hace un elemento singu-
lar es que permite la introducción de una respuesta abierta distinta a las
expuestas en el listado, por lo que no puede considerarse como respuesta
cerrada pura, sino que se trata de un elemento híbrido entre <text> y <select>.

Figura III.20b.
Pregunta cerrada con listas desplegables usando <datalist>

Fuente: Elaboración propia.


124 CUADERNOS METODOLÓGICOS 59

Debe quedar claro que la respuesta a una pregunta con listas desplegables
no es equivalente a la de las preguntas con botones de opción (Dillman, 2000),
y que no son preguntas fáciles de responder, algo esencial en la elaboración de
cuestionarios autoadministrados (Dillman, Tortora y Bowker, 1998). Las
investigaciones citadas han dado cuenta de una mayor carga de trabajo, la
presencia de un efecto primacía, que puede explicar la similitud en el tiempo
necesario para responder el cuestionario, ausencia de pistas sobre las opcio-
nes de respuesta, imposibilidad de introducir nuevas respuestas no proporcio-
nadas y mayor posibilidad de elegir una respuesta incorrecta en función de la
«precisión» del puntero del ratón.
Este epígrafe sobre preguntas cerradas finaliza con el polémico tema de la
conveniencia de dejar una categoría específica para el «no sabe» o «no con-
testa». Aunque hay encuestados que pueden encontrarse en esa situación, son
numerosos los expertos que recomiendan no colocarlas al tratarse de dos
categorías «de refugio» para personas que no desean pensar o que buscan ter-
minar rápido el proceso de respuesta (entre otros, Krosnick et al.; 2002; Kros-
nick y Presser, 2010; Toepoel, 2016).
Ante esta situación el investigador tiene tres formas de reaccionar (Peyt-
chev y Crawford, 2006): permitir que el entrevistado deje preguntas sin res-
ponder, empleando un código determinado para estas preguntas; advertir al
encuestado que ha dejado una pregunta sin responder, en caso de que se
trate de un olvido y desee corregirlo, o impedir que el cuestionario avance
hasta que no se haya respondido a la pregunta. Esta última situación, muy
utilizada por la investigación de opinión y mercados (Albaum et al., 2010;
Callegaro, Lozar Manfreda y Vehovar, 2015), es fuertemente criticada por
los expertos que realizan investigaciones académicas o gubernamentales,
aludiendo a que, si responder a una encuesta es algo voluntario, igualmente
debe ser voluntaria la respuesta a las distintas preguntas que conforman el
cuestionario (Dillman, Tortora y Bowker, 1998; Dillman et al., 2009; Couper,
2011b). Además, forzar la respuesta produce numerosos abandonos tempra-
nos (Derouvray y Couper, 2002), por lo que consideramos que se trata de
una práctica que debe ser evitada. De hecho, una investigación de Peytchev
et al. (2006) compara si es mejor disponer de una opción «rechazo respon-
der» o permitir dejar preguntas sin responder, señalando que esta última
presenta mejores resultados.
Una solución intermedia consiste en ocultar en un primer momento las
posibles respuestas que pudieran ser «refugio» (no sabe, no contesta, punto
medio de las escalas) y en el caso de que se pase a la siguiente pregunta sin
responder, en vez de volver a la pregunta con una alerta de obligatoriedad,
como refleja la figura III.4a, se vuelva a la pregunta, pero exponiendo las
opciones omitidas, como aparece en la figura III.21, donde se muestran con
una tonalidad más clara las categorías anteriormente ocultas en la figura
III.15 (preguntas #1 y #2) apoyadas con algún mensaje de alerta. La ventaja
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 125

Figura III.21.
Declaración de no respuesta parcial

Fuente: Elaboración propia.

principal de este diseño es que es equivalente a la estrategia empleada en los


modos con entrevistador, en los que las opciones NS/NC existen, si bien no se
leen a las personas entrevistadas.
Obsérvese que este modo de proceder sigue las recomendaciones señala-
das por la literatura de diferenciar estas dos respuestas del resto de categorías
«sustantivas» (Tourangeau, Couper y Conrad, 2004), siguiendo la norma de
«colocar las opciones no sustantivas después y diferenciadas de las sustanti-
vas» (Dillman, Smyth y Christian, 2014). Asimismo, facilita la comparabilidad
de los datos obtenidos a través de la web con los obtenidos en la parte de la
muestra que responde a través de encuesta telefónica, al tratarse este ejemplo
concreto de una encuesta basada en modos mixtos de administración.
En cualquier caso, debe tenerse en cuenta que —tras un repaso de las inves-
tigaciones más importantes sobre el tema— Krosnick y Preser (2010) señalan
que la mayor parte de los entrevistados que expresan no sabe o que no respon-
den no están faltos de opinión, sino que es elegida por ambivalencia, ambigüe-
dad de la pregunta, complacencia con el entrevistado, por sentirse intimidados
y como una medida de autoprotección (Gilljam y Granberg, 1993). Más ade-
lante señalan que la calidad de la respuesta no es mayor cuando se cuenta con
esta opción. En síntesis, en la mayoría de los casos la opción óptima consiste
en no colocar las categorías no sabe y no responde y permitir avanzar sin res-
ponder a la pregunta, especialmente cuando se trata de preguntas de opinio-
nes, actitudes, etc. (Callegaro, Lozar Manfreda y Vehovar, 2015).
126 CUADERNOS METODOLÓGICOS 59

Aplicación práctica con plataforma de encuestas web

En la herramienta e-encuesta.com para replicar una pregunta cerrada de respuesta


única, en el menú «Construir» >> «Añadir pregunta» seleccionaríamos «Una respuesta»
y se abren subtipos a elegir: «Vertical», «Horizontal» o «Desplegable». En el caso de
respuesta múltiple se selecciona «Varias respuestas», que tiene como subtipos «Verti-
cal» y «Horizontal».
Esta aplicación también cuenta con diseños más complejos a partir de las opciones
«Matriz de respuestas» y «Preguntas avanzadas» que permiten diseñar baterías o
preguntas para ordenar las respuestas a partir de la función «arrastrar y soltar» (drag
and drop).

3.5.  Diseños multipantalla y multidispositivo

En el comienzo de este capítulo se señalaba la importancia de establecer un


diseño web adaptativo (responsive), y a lo largo del mismo se ha visto cómo el
campo de visión que nos ofrece la pantalla debe ser el eje vertebrador de cual-
quier diseño.
Hace unos años el acceso a Internet estaba intrínsecamente unido al orde-
nador personal, si bien en el momento actual cada vez es más frecuente lle-
varlo a cabo con teléfonos inteligentes, lo que implica un cambio de perspectiva
fundamental en la investigación a través de la web. Ante esta situación, Peter-
son et al. (2013) plantean tres escenarios: 1) rechazar la colaboración de los
que acceden a través del teléfono, 2) disuadirles de que colaboren, pero permi-
tir su respuesta, y 3) permitir responder a través del teléfono: veamos las
implicaciones de cada una. El rechazo a participar a través del móvil tiene
como ventanas que asegura la estandarización del instrumento, al tiempo que
reduce abandonos tempranos, principalmente cuando se cuenta con cuestio-
narios largos o complejos que no son del todo apropiados para responderlos
con un teléfono inteligente. Ahora bien, con los datos aportados en epígrafe
2.4, donde para 2017 en España el 42,6% 16 de los accesos a Internet fueron
desde teléfonos inteligentes, y donde el teléfono inteligente es el dispositivo
preferido 17 entre las personas que usan Internet al menos semanalmente, esta
forma de proceder plantea problemas de cobertura, principalmente en seg-
mentos de personas que ya de por sí son difíciles de localizar y de lograr que
participen en las encuestas: jóvenes, inmigrantes, personas con nivel socioe-
conómico alto, etc.
La segunda alternativa es desanimar al que accede al cuestionario a través
del teléfono, con mensajes que advierten de que emplear un ordenador o

16
  Fuente: gs.statcounter.com.
17
  85% según el Panel de Hogares CNMC para 2T2017.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 127

tableta facilita la respuesta: «Aunque este cuestionario puede responderse en


diversos dispositivos, será más fácil para ti hacerlo en un ordenador o una
tableta», o «Parece que has comenzado con un teléfono móvil y, aunque este
cuestionario puede responderse en diversos dispositivos, será más fácil para ti
hacerlo en un ordenador o una tableta (por su mayor pantalla) que desde un
teléfono». Aunque existe muy poca literatura al respecto, investigaciones rea-
lizadas por Peterson (2012) detectan que estas advertencias tienen escaso
éxito, en línea con lo señalado por investigaciones anteriores (Millar y Dill-
man, 2012).
La tercera alternativa, permitir responder con el teléfono, plantea —a su
vez— dos estrategias: no hacer nada con el cuestionario, lo que duplica la tasa
de abandonos tempranos, o adaptarlo al formato telefónico, planificando el
cuestionario a partir del dispositivo más limitado, como se indica al final de
este epígrafe.
Una cuarta alternativa, para preguntas donde la diferencia en la conducta
para responder esté causada por el tamaño de pantalla además de otros ele-
mentos del dispositivo (p. ej., táctil o ratón), es exponer varias versiones y que
sean los paradatos los que guíen a una versión u otra en función del disposi-
tivo finalmente empleado para responder a la encuesta.
Debe tenerse en cuenta que hace una década en España podía accederse a
Internet desde ordenadores con al menos 24 resoluciones distintas de panta-
lla. En la actualidad, con el acceso desde teléfonos inteligentes y tabletas se
entra desde al menos 55 resoluciones 18 distintas, lo que implica que controlar
esta variable sea fundamental (Lugtig y Toepoel, 2016). Los rangos más usua-
les de resolución en los dispositivos están reflejados en la figura III.22, agru-
pados por resoluciones de ancho, de alto y de dispositivo.
A pesar de existir un amplio espectro de resoluciones, el diseño se ve afec-
tado si existe mucha diferencia, por ejemplo, en monitores de ordenador un
diseño para resolución de 800 x 600 píxeles puede funcionar para una reso-
lución de 1.024 x 768 píxeles. No al revés, de modo que sobre todo hay que
centrarse en el ancho del dispositivo, en el ejemplo anterior un diseño adap-
tado para 800 píxeles de ancho funcionará relativamente bien para un diseño
adaptado a 1.024 píxeles de ancho, y con los estándares actuales, como vere-
mos a continuación, se adaptará automáticamente. Y en caso de que no se
adapte, se activa la barra de desplazamiento vertical, lo cual no pone en
riesgo el diseño.
Al contrario, un diseño de 1.024 píxeles de ancho produce que en el dispo-
sitivo de 800 píxeles de ancho se active la barra de desplazamiento horizontal,
lo cual pone en riesgo el diseño porque en un navegador web el comporta-
miento de la visión está adaptado al desplazamiento vertical, no así al hori-
zontal, como se indicaba más atrás en este mismo capítulo.

18
  Fuente: StatCounter.
128 CUADERNOS METODOLÓGICOS 59

Figura III.22.
Resoluciones de pantalla en píxeles más usuales.
Accesos a Internet desde España en enero de 2018

100%
92%
90% 88%
85%
80%
70% 72%
70%
59%
60%
50%
40% 33%
30% 23%
21%
20%
10% 8%
0% 1%
0%
De 1000 De 400 De 1000 De 400 De 400 De 300
a 1999, a 999, a 1999, a 999, a 999, a 399,
ordenador ordenador tableta tableta teléfono teléfono

Rango de ancho Rango de alto

Fuente: Elaboración propia a partir de StatCounter, gs.statcounter.com.

Por otro lado, los estándares de HTML, así como las versiones de los nave-
gadores, han evolucionado y minimizan los efectos de visualización causados
por la resolución de pantalla, y en caso de que no adapten el diseño de forma
automática, los dispositivos actuales permiten manualmente ampliar o redu-
cir lo que se muestra en pantalla (esto se hace muy evidente en los dispositivos
táctiles, pero también en las opciones del menú de los navegadores y atajos
como pulsar las teclas «Control» y «+»). En la figura III.23 se presenta el
mismo diseño programado de dos formas, sin controlar y controlando que se
adapte de forma automática al dispositivo.
La visión «No responsive» de la figura III.23 implicaría que la persona
encuestada tendría que ampliar manualmente la pregunta para poder verla.
No le impide responderla, pero se incrementa el riesgo de incurrir en sesgos
de no respuesta o el de medida.
Las últimas versiones de software comercial tienen implementado el diseño
adaptable a la diversidad de resoluciones de pantalla, y en caso de diseñar el
cuestionario con programación propia, a partir de los paradatos podemos
obtener el tipo de dispositivo (ordenador, tableta o teléfono inteligente), la
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 129

Figura III.23.
Diferencias en la adaptación del diseño al dispositivo

Diseño web Diseño web


no adaptativo adaptativo
(no responsive) (responsive)

Fuente: Simulación de móvil inteligente con pantalla de 5 pulgadas a partir de browserstack.com.

resolución de la pantalla y, en algunos casos, el tamaño de pantalla, y con el


control de estas tres variables, afrontar con éxito un diseño adaptativo. Pero
un buen diseño adaptativo no garantiza el éxito en un diseño de cuestionario
web multidispositivo (Sommer, Diedenhofen y Musch, 2016) por varios moti-
vos, entre los que cabe destacar:

a) El tamaño de pantalla es una variable distinta a la resolución y en el


caso de los teléfonos inteligentes limita el comportamiento que quere-
mos obtener de un diseño determinado. La principal solución es plan-
tear un diseño de pregunta por pantalla, definido anteriormente como
paginación.
b) El entorno táctil, que influye en la forma de seleccionar, realizar zum
y/o cambiar de teclado alfabético a numérico, tanto en tabletas y teléfo-
nos inteligentes, ha generado nuevos hábitos de navegación e interac-
ción con formularios de Internet. Por ejemplo, una pregunta de escala
de 0 a 10 funcionará mejor introduciendo el número que seleccionando
en un continuo.
130 CUADERNOS METODOLÓGICOS 59

c) La versión definitiva del estándar HTML5 a final de 2014, que, aunque
sin duda aporta grandes mejoras, también genera nuevos hábitos de
navegación e interacción con formularios de Internet. Por ejemplo, con
la incorporación del elemento <number>, que, como se indicó más
atrás, sustituye al elemento <text> para introducir números, y en un dis-
positivo móvil activa el teclado numérico.

Por todo lo anterior y por la importancia que tiene en la actualidad la


navegación web desde los dispositivos móviles y su previsión de crecimiento
a futuro (entre otros, Antoun, Couper y Conrad, 2017; Keusch y Yan, 2017;
Sommer, Diedenhofen y Musch, 2017), la recomendación actual es que se
adopte la perspectiva de diseño mobile-first, según la cual el cuestionario
debe optimizarse para su visualización y funcionamiento en dispositivos
móviles, aunque esto suponga renunciar a características de la programa-
ción que funcionarían bien en pantallas más grandes, pero dan fallos en
móviles (Peterson, 2012; Couper y Peterson, 2017). Para probar el funciona-
miento del cuestionario con esta lógica multidispositivo existen herramien-
tas online que simulan distintos tipos de dispositivos y navegadores (tabla
IV.2, epígrafe 4.5).
El diseño web adaptativo o responsive se originó como una respuesta efi-
ciente frente a la tarea de programar distintas versiones web según qué dispo-
sitivo accedía a la web. Pero en los cuestionarios web no siempre se puede
evitar tener más de una versión. Un caso concreto son las mediciones ordina-
les en disposición horizontal, que para adaptarlas a un teléfono inteligente se
suelen programar en disposición vertical o con el elemento <number> cuando
la escala es amplia, p. ej., de 0 a 10. Utilizar ese mismo elemento <number>
para baterías ordinales en ordenadores de escritorio y dispositivos no táctiles
provocaría mucha pérdida de eficiencia, ya que estos dispositivos usan el
ratón como elemento de avance. En estos casos, más que aplicar la lógica de
mobile-first, recomendamos diseñar varias versiones del cuestionario que,
partiendo de la información aportada por los paradatos del dispositivo
empleado, muestren en cada caso la versión óptima para ese dispositivo.

Aplicación práctica con plataformas de encuestas web

La mayoría de las plataformas de programación de encuestas web tienen incorporado


el diseño responsive entre sus funcionalidades básicas, de manera que cualquier
diseño de la aplicación se adapta automáticamente al dispositivo en donde se muestra
el cuestionario. No obstante, hay decisiones relacionadas con la estrategia de diseño
que dependen del investigador (una pregunta por página, disposición de categorías
en vertical, etc.) y que terminarán influyendo en la medida en que el cuestionario se
adapte a los teléfonos inteligentes y otros dispositivos móviles.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 131

Resumen

El objetivo principal de este capítulo es que quien se enfrenta al diseño y ejecución de


una encuesta web aproveche al máximo las ventajas que ofrece el nuevo modo de
comunicación que ofrece Internet. Las características de la encuesta web (autoadmi-
nistrada, informatizada, interactiva, distribuida y de gran riqueza audiovisual) abren un
importante abanico de posibilidades en cuanto al tipo de preguntas y los materiales
que se pueden incorporar al cuestionario, pero al mismo tiempo implican pautas de
comportamiento y de relación de la persona con la interfaz que son muy distintas a las
habituales de la lectura en papel (pp. 67-75). Tras presentar los distintos elementos de
un formulario web (pp. 76-77) y las dos alternativas posibles para su diseño (pp. 77-88),
el capítulo aborda los distintos elementos necesarios para diseñar el cuestionario: su
organización (pp. 101-107) y la adaptación de los distintos tipos de pregunta al entorno
web (pp. 108-126) y a la multitud de dispositivos, de tamaños y características muy
distintas que los participantes en una encuesta emplean hoy en día para responder al
cuestionario (pp. 126-130).

Conceptos principales del capítulo

— Usabilidad.
— Diseño web adaptativo.
— Reglas de diseño para la visualización online del cuestionario.
— Formularios web, HTML5.
— Formatos continuo y de paginación.
— Botones de avance y retroceso.
— Barra de progreso.
— Duración máxima y óptima del cuestionario web.
— Diseños multipantalla y multidispositivo. Regla de diseño mobile-first.
4
Trabajo de campo
y tratamiento de los datos
en encuestas web

4.1. Estrategias de maximización de la respuesta


(personalización, recuerdos e incentivos)

En un escenario ideal, todas las personas invitadas a participar en una


encuesta deberían colaborar, pues en ese caso no existiría el error de no res-
puesta. En los epígrafes de elección del software, de la planificación y del
diseño de una encuesta web se ha visto que el error de la no respuesta estaba
latente tras cada paso. En la puesta en marcha y período de recogida de datos
la no respuesta adquiere un papel protagonista, pero, en vez de utilizar ele-
mentos pasivos para evitarla, pasamos a utilizar elementos activos y acciones
específicamente diseñadas con el objetivo de incrementar la tasa de respuesta.
En la fase del trabajo de campo o recogida de cuestionarios, se ejecuta el
protocolo de contacto (epígrafe 2.4), y, durante los primeros días, con la ayuda
del análisis de los paradatos que estemos controlando, hay que tener especial
cuidado en observar posibles errores de programación, de diseño o de comu-
nicación. Algunos errores son muy difíciles de detectar con carácter previo a
la recogida real de datos. Precisamente por este motivo, es muy importante
revisar los datos de los primeros cuestionarios recogidos y verificar que la tasa
de colaboración inicial es la esperada o coherente con las características del
estudio.
El primer elemento importante para tener en cuenta, que influye de manera
significativa en la participación en la encuesta, es la personalización del men-
saje, como se ha mencionado en el epígrafe 2.4, referido al protocolo de con-
tacto. «La personalización de los envíos produce en los integrantes del marco
muestral un incremento de la recompensa percibida como consecuencia de su
participación en la encuesta, ya que les induce a considerar que su opinión y
134 CUADERNOS METODOLÓGICOS 59

ellos mismos son importantes y valiosos para el investigador» (Sánchez Fer-


nández et al., 2009, p. 49).
Por otro lado, el elemento más potente para aumentar la tasa de colabora-
ción es el envío de recuerdos, donde de nuevo juega un papel importante el
análisis de los paradatos, pues no se debe enviar un recuerdo hasta que no se
tiene constancia de que una parte representativa de la muestra ha rellenado
correctamente la encuesta a partir de un mensaje anterior. En el caso de
enviar los recuerdos por e-mail, se minimizan así los casos en los que el men-
saje anterior no se haya abierto todavía cuando se envía el recuerdo, puesto
que solicitar un acuse de recibo no es útil por varios motivos: depende del
receptor, puede generar rechazo y no se puede automatizar. Aunque, como se
indicó en el epígrafe 2.5, con el diseño adecuado del e-mail en formato HTML,
podemos saber a partir del análisis de fichero log qué parte de la muestra ha
leído el correo electrónico, pero no ha abierto el cuestionario, y en estos casos
podemos adelantar el envío del recuerdo.
Durante los últimos quince años los recuerdos estaban centrados en el
canal de e-mail, pero con la emergencia de los teléfonos inteligentes, el uso del
SMS como elemento recordatorio se hace indispensable. Si nuestro protocolo
de contacto (descrito en el epígrafe 2.4) establece la conjugación de correos
electrónicos y SMS, contamos con cuatro variables para establecer la política
y secuencia de los recuerdos:

1. El coste. El correo electrónico tiene un coste fijo y el SMS tiene un coste
variable (0,04 € aprox./unidad).
2. Los días y franjas horarias de uso. El correo electrónico suele ser más
efectivo por las mañanas y en días laborales debido a que está normali-
zado su uso tanto en el ámbito formativo como en el laboral, el SMS
suele funcionar mejor al final de la mañana y por las tardes porque su
uso está más restringido en los ámbitos formativos y laborales.
3. Inmediatez de acceso al mensaje. El correo electrónico puede leerse
al cabo de varios días, el SMS se percibe de forma inmediata usual-
mente con alerta sonora.
4. Registro de entrega. Del correo electrónico obtenemos una informa-
ción parcial de lectura, para el SMS tenemos un reporte de la herra-
mienta que hayamos empleado que nos identifica los entregados y los
no entregados.

Considerando una estrategia centrada en recuerdos por correo electrónico,


existe cierto consenso en establecer entre cuatro y cinco recuerdos y una perio-
dicidad semanal (Sánchez Fernández et al., 2009) como estrategia razonable
para optimizar la colaboración con la encuesta.
En el año 2016 el IESA/CSIC llevó a cabo en Andalucía la evaluación de
«La Noche Europea de los Investigadores» a partir de dos cuestionarios web,
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 135

uno dirigido a una muestra de investigadores participantes con tamaño inicial


de 764 personas y otro dirigido a la muestra de los asistentes, formada por
2.069 personas. Se decidió una estrategia de recuerdos de cuatro envíos para
investigadores (invitación y tres recuerdos) y de cinco envíos para los asisten-
tes (invitación y cuatro recuerdos). La evolución de la colaboración a partir de
los recuerdos, y la importancia de estos, se puede ver en las figuras IV.1 y IV.2,
respectivamente.
En el caso de los investigadores se alcanzó un 68% de colaboración y los
recuerdos fueron determinantes, pues hasta el 15% de la muestra participó
tras recibir el tercer contacto (2º recuerdo), representando casi 1/4 de los
investigadores que colaboraron (figuras IV.1). Los datos también muestran
cómo cada recuerdo produce una reactivación de la respuesta.

Figura IV.1.
Evolución de colaboración en la muestra de investigadores
entre el 26-10-2016 y el 25-11-2016

70% 66,9% 68,1%


60,2% 61,8%
60%
53,3%
50% 47,4%

40% 36,5%

30% 28,9%

20% 17% 16% 15%


7,6% 9,3%
10%
3,5% 3,4%
0%
Día Siguientes 1.er Siguientes 2.º Siguientes 3.er Cierre
de 4 días recuerdo 9 días recuerdo 4 días recuerdo tras
invitación (n=485) (n=339) (n=265) 4 días
(muestra=764)

% sobre envíos (n) % acumulado de muestra

Fuente: Elaboración propia a partir de la encuesta del IESA/CSIC E1605.

En el caso de los asistentes se alcanzó un 35% de colaboración, y realizar más


de un recuerdo también fue determinante, ya que el 12% de la muestra colaboró
136 CUADERNOS METODOLÓGICOS 59

tras el tercer contacto, representando un tercio de los asistentes que colaboraron


(figura IV.2). Igual que en la muestra de investigadores, cada recuerdo resulta en
una reactivación de la colaboración en el día del envío.
El hecho de que la colaboración se reactive los días de recuerdo, como se ha
visto anteriormente, supone un patrón de conducta relacionado con la inme-
diatez digital, de ahí la importancia de concretar día y hora de envío para
lograr entrar en la bandeja de entrada del gestor de correo electrónico en el
momento más apropiado, quizá un momento distinto para cada perfil sociode-
mográfico, y en cualquier caso es recomendable analizar el resultado de un
envío para determinar el día y la hora del siguiente.
La estrategia de recuerdos es eficiente cuando la muestra está identificada
por clave, pues el recuerdo solo lo debe recibir quien no haya participado en
la encuesta hasta ese momento.

Figura IV.2.
Evolución de colaboración en la muestra de
asistentes entre el 17/10/2016 y el 28/11/2016

34,1% 34,8%
34%
31,9%
32% 30,7%
30% 28,6%
28% 26,9%
26%
24% 23,2%
21,8%
22%
20%
17,8%
18%
16%
14% 13%
12%
10%
8%
6% 4,8% 5% 5%
4% 2,3% 3% 3%
1,7% 1,7% 1,0%
2%
0%
Día Siguientes 1.er Siguientes 2.º Siguientes 3.er Siguientes 4.er Cierre
de 8 días recuerdo 4 días recuerdo 9 días recuerdo 6 días recuerdo tras
invitación (n=1.705) (n=1.597) (n=1.483) (n=1.413) 4 días
(muestra=2069)

% sobre envíos (n) % acumulado de muestra

Fuente: Elaboración propia a partir de la encuesta del IESA/CSIC E1605.


INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 137

En relación con el recuerdo por correo electrónico, cada uno de los mensa-
jes debe adaptar su contenido a las circunstancias concretas del envío, tanto
en lo que se refiere al asunto (podría figurar, por ejemplo, «1.er recuerdo», «2.º
Recuerdo», …, «Último recuerdo» [el empleo de «Último aviso» mantiene o
reactiva a un incremento final como se observa en las figuras anteriores VI.2
y VI.3, y en la figura II.1 del epígrafe 2.4]) como en el cuerpo del mensaje, con
un inicio similar a «[…] como le indicábamos en un e-mail anterior […]» y con
menor carga de texto que el e-mail de invitación, que sí explica con más deta-
lle todos los aspectos relevantes de la encuesta.
El incentivo es otro factor que puede contribuir de manera significativa a
activar la colaboración, si bien se corre el riesgo de motivar a unos perfiles
socioeconómicos más que a otros, y, por tanto, introducir un error de mues-
treo que pueda ser más grave que un error de no respuesta. En las muestras
de panel esto se conoce como el problema del opinador profesional. Por lo
anterior, es un error pensar en incentivos en términos exclusivamente econó-
micos. Una buena estrategia de incentivos debe iniciarse respondiendo a la
pregunta: ¿Qué grado de interés tiene el objetivo de la encuesta para quien
responde, y por qué? Y a partir de la respuesta, hay que desarrollar el texto de
invitación con el que se solicita la colaboración. El interés en la investigación,
en el tema tratado y en sus futuros resultados se convierte así en el primer
incentivo a tener en cuenta, particularmente cuando el objeto de estudio son
determinados colectivos que pueden tener un interés especial en el objeto de
la encuesta (p. ej., colectivos profesionales).
Habitualmente no se repara en que el objetivo de una investigación
afecta siempre en algún grado a la población objetivo, incluso para estudios
a población general. Por ejemplo en el estudio citado anteriormente del
IESA/CSIC sobre la evaluación del desarrollo de «La Noche Europea de los
Investigadores» en Andalucía en su edición de 2016, había dos poblaciones,
una con mayor grado de interés en sus resultados: los investigadores parti-
cipantes, con un mayor incentivo de partida para colaborar, de los cuales
colaboraron algo más de las dos terceras partes, y la otra, de público asis-
tente, que de partida tenía un menor interés en el tema pero aun así cola-
boró en algo más de un tercio. El texto de invitación dirigido a los asistentes
a las actividades de «La Noche» subrayaba la importancia que tenía su valo-
ración de las actividades para mejorar la siguiente edición de la actividad,
en 2017.
Asimismo, «compartir los resultados» de la investigación aumenta mucho
la colaboración si la población objetivo se siente muy identificada con el
objeto de estudio. Como ejemplo, en el año 2012, en un estudio sobre la Carac-
terización de la arqueología comercial en España elaborado por el Incipit-CSIC
en colaboración con el IESA-CSIC, se invitó a colaborar al conjunto de empre-
sas de arqueología domiciliadas en España. La promesa de compartir los
resultados del estudio públicamente y con todas las empresas participantes
138 CUADERNOS METODOLÓGICOS 59

tuvo un papel crucial en la obtención de una tasa de respuesta que alcanzó el


67% 1 del total del marco.
Finalmente, están los incentivos económicos en sus distintas formas: desde
el sorteo de algo de valor o una cantidad significativa de dinero hasta el pago
directo de una remuneración por encuesta respondida, pasando por la donación
de dicha cantidad a una ONG o la acumulación de puntos canjeables. Para
muestras de panel, particularmente en el caso de los paneles comerciales, se
ha generalizado el sistema de puntos canjeables. En el panel PACIS del IESA/
CSIC se conjuga el pago en metálico de 5 € por encuesta con la donación de
dicho importe a una ONG que elige el panelista de entre un abanico plural
de organizaciones. Para muestras que no son de panel, debido a la dificultad de
gestionar incentivos individualizados, se suele optar por el sorteo de algo
de valor (acorde con los perfiles de consumo la población) o su importe. La
tabla, tomada de Toepoel (2016), refleja los distintos tipos de incentivos mate-
riales que se emplean habitualmente para agradecer la participación en
encuestas, así como su eficacia en el incremento de las tasas de respuesta
según la evidencia empírica acumulada hasta el momento.

Tabla IV.1.
Tipos de incentivos y efecto sobre las tasas de respuesta

¿Incrementan la tasa
Tipo Ejemplos
de respuesta?

No monetarios, sin
Bolígrafos, sellos, tiques
condicionar a la Algo
para un sorteo
participación en la encuesta
No monetarios, Vales regalo, puntos
condicionados a la de lealtad (canjeables Probablemente no
participación en la encuesta por regalos)
Monetarios, sin condicionar Dinero Sí
Monetarios, condicionados Dinero, crédito en Paypal… Algo
Sorteo de tabletas,
Sorteos condicionados No
portátiles, viajes, etc.
Probablemente no,
Donación a ONG
pudiendo incluso reducir
condicionada
las tasas de respuesta

Fuente: Toepoel, 2016, p. 111.

 Fuente: http://digital.csic.es/bitstream/10261/103597/1/DISCO_arqueologia_comercial_España.
1

pdf.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 139

Como se aprecia en la tabla, el tipo incentivo material que mejor funciona


es el pago de una cantidad determinada de dinero junto con la invitación a
participar en la encuesta, independientemente de que la persona decida parti-
cipar o no en ella. Por el contrario, diversos estudios realizados han demos-
trado que la capacidad de motivación de los sorteos y la donación a ONG es
muy limitada. Sin embargo, se trata de estudios muy puntuales y a veces con-
tradictorios entre sí. Nuestra experiencia indica que la posibilidad de donar el
incentivo a una ONG en lugar de recibirlo, que proporciona el PACIS, fun-
ciona muy bien entre los panelistas de mayor edad (la probabilidad estimada
de donar el incentivo para los panelistas mayores de 60 años, controlando por
el efecto de otras variables como el sexo, el nivel de estudios o la relación con
la actividad económica, es del 95,5%) (Pasadas-del-Amo et al., 2016).
Dado que es muy difícil predecir cuál es el efecto de los incentivos, depen-
diendo de variables tan diversas como el tema y la población objeto de estudio
y las normas culturales de los distintos países, nuestra recomendación, en
línea con Toepoel, es que los investigadores incluyan una prueba del funcio-
namiento de los incentivos antes de poner en marcha el trabajo de campo en
la fase piloto o de pretest del estudio (Toepoel, 2016).

4.2. Ayuda a las personas entrevistadas


(soporte web y telefónico)

Como se ha señalado en el capítulo anterior, las preguntas complejas no deben


formularse en un cuestionario autoadministrado, y, por tanto, un cuestionario
web no necesita tener excesiva información para ayudar a la cumplimenta-
ción. De hecho, una información excesiva en este sentido puede aumentar el
tiempo de respuesta, distrayendo de lo esencial, con el riesgo de generar erro-
res de medida en vez de reducirlos. Por ello, la información de ayuda que sea
necesario proporcionar debe estar en una página independiente y accesible a
través de enlace. Esta página de preguntas frecuentes (FAQ o frequently asked
questions) resolverá las dudas generales respecto al propósito de la investiga-
ción, la institución que la lleva a cabo y las instrucciones generales de cumpli-
mentación del cuestionario. Asimismo, en esta página se indicarán cuáles son
las vías disponibles para que las personas entrevistadas puedan ponerse en
contacto con los responsables de la investigación, ya sea de forma digital (a
través de formulario de contacto, para personas que no tienen o no quieren
usar el correo electrónico, o a través de un correo electrónico de contacto, para
quienes prefieren hacerlo desde su correo), telefónica o postal. Además de la
ayuda que puede suponer para los entrevistados, proporcionar estos datos
genera confianza acerca de la investigación y quien la lleva a cabo.
El uso de un teléfono de atención y ayuda es importante, y especialmente
relevante si se emplea algún canal fuera de línea para contactar. Por ejemplo,
140 CUADERNOS METODOLÓGICOS 59

en un estudio del CIS (Pasadas et al., 2017) para una muestra de tamaño 4.500
cuyo único canal de contacto fue postal, facilitando en la carta dirección web
del cuestionario, clave de acceso y un número de teléfono 900 de atención gra-
tuita, se recibieron 276 llamadas (6%) con un coste total de 99,56 €. En la ges-
tión de llamadas se identificó a 214 informantes, de los cuales 68 finalizaron
la encuesta web. Por tanto, aportar la línea telefónica tuvo un coste de 1,46 €
por encuesta obtenida tras la gestión de la llamada, y, además, redujo el coste
indirecto de enviar un recuerdo postal a los que no iban a colaborar por algún
motivo (tabla IV.2).

Tabla IV.2.
Resultados de la gestión de línea telefónica de ayuda

Realizó encuesta web tras llamada 32%


Rechazó colaborar 14%
Incapacidad o no acceso a Internet 47%
El destinatario de la carta había fallecido 7%

Fuente: CIS e IESA/CSIC, E17 (n=214).

Con el avance de la tecnología y el abaratamiento de costes que esta con-


lleva, incorporar una línea 900 de atención telefónica gratuita es viable incluso
para investigaciones pequeñas que tienen los recursos limitados. Recomen-
damos para ello el uso de centralitas virtuales (p. ej., linea900prepago.es o
infocaller.com) que permiten gestionar de forma eficiente y con pocos recur-
sos una línea de atención telefónica de estas características.

4.3.  Gestión de campo mixto CAWI-CATI

Este epígrafe es complementario al epígrafe 2.2, donde se analiza la conve-


niencia o no de realizar una investigación en modo mixto, y al epígrafe 2.4,
donde se han apuntado algunas singularidades en la planificación del proto-
colo de contacto en encuestas que combinan el uso de la encuesta web con
otros modos de administración.
El modo mixto más frecuente es CAWI-CATI, por los siguientes motivos:

— A nivel teórico, la intersección entre la población que podemos con-


tactar por CAWI (p. ej., personas que no tienen teléfono fijo) y la
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 141

población que podemos contactar por CATI (p. ej., mayores que no


usan Internet) es de menor tamaño que en otros modos mixtos. Dicho
de otra forma, la población intermodal presente en nuestro marco
será menor y, además, con perfiles sociodemográficos mejor defini-
dos. Podemos, por ejemplo, establecer cuotas por modos para redu-
cir el sesgo de probabilidad de contacto desigual al contar con un
marco dual.
— Si el marco de muestreo es solo de números móviles (p. ej., una investi-
gación a población general de ámbito estatal), la alta penetración de
teléfonos inteligentes hace ideal un modo mixto CATI-CAWI.
— También por la alta penetración de teléfonos inteligentes el binomio
correo electrónico-SMS permite un protocolo de contacto muy eficiente
para este modo mixto.
— A nivel práctico, la convergencia técnica es total en caso de que los
datos que se recogen en CAWI y en CATI recaigan en la misma base de
datos. Una persona que realice la encuesta CAWI puede quedar blo-
queda para no ser llamada, o a una persona que por teléfono mani-
fieste su preferencia de hacer la entrevista por Internet se le puede
enviar directamente un enlace web por e-mail o SMS. Esta opción de
combinar simultáneamente ambos modos está disponible en los casos
en los que se ha optado por el diseño web de la encuesta o si se tiene
acceso a alguno de los softwares de diseño y gestión de encuestas web
que integran los distintos módulos de administración de encuestas (p.
ej., Gandía Integra o Voxco).

Para gestionar simultáneamente los distintos modos, partimos de tres tipo-


logías en la muestra y las gestionamos de la siguiente manera:

— Las personas que se pueden contactar solo por teléfono, para las que
habrá que aplicar solo las acciones propias de un trabajo CATI 2 (contac-
tación, rellamadas, supervisión y revisión de audios, etc.).
— Las personas que se pueden contactar solo por Internet, para las que se
aplica la gestión de contactos planificada (epígrafe 2.4), así como lo que
se expondrá en el siguiente epígrafe de supervisión.
— Las que se pueden contactar por teléfono o por Internet, en este caso
depende de la decisión de permitir la administración simultánea o
secuencial (epígrafes 1.3 y 2.4). La administración simultánea está con-
dicionada a que nuestro diseño contenga los dos módulos integrados de
CAWI y CATI en un mismo servidor web, pues de otro modo genera un
elevado número de duplicados y un coste elevado.

  Un desarrollo amplio de la gestión de un campo telefónico puede leerse en el Cuaderno


2

Metodológico n.º 36, Manual de trabajo de campo de la encuesta (presencial y telefónica).


142 CUADERNOS METODOLÓGICOS 59

— 
Tanto si la administración es simultanea como si es secuencial, es
imprescindible establecer una clave única para ambos modos que per-
mita el control de flujo de la muestra entre un modo y otro.

4.4.  Supervisión del trabajo de campo

La supervisión del trabajo de campo de una encuesta web consiste en una


serie de tareas enfocadas a reducir los errores que no se pueden controlar en
el diseño. Los más destacados son los siguientes:

— 
Comprobar que se están cumpliendo todas las especificaciones que
hemos definido en la planificación de contactos.
— Controlar la tasa de colaboración y otros paradatos. Con base en ellos,
gestionar adecuadamente la planificación de recuerdos e investigar
posibles errores.
— Controlar los canales de ayuda (correo electrónico y/o teléfono) para,
con base en ellos, investigar posibles errores.
— Gestión de incidencias, intentando subsanarlas y/o evitar que se repitan.

A diferencia de otros modos, la planificación de la supervisión del trabajo


de campo de una encuesta web comienza en paralelo con el diseño del cues-
tionario, puesto que la forma eficiente de supervisar una encuesta web es ana-
lizar en línea la base de datos donde se guardan las respuestas del cuestionario
web, así como el registro log y los paradatos que hayamos determinado con-
trolar. Por lo anterior, la supervisión de una encuesta web es eficiente cuando
se opta por realizar el diseño con programación propia o con software comer-
cial específico de encuestas web.
En una programación propia del diseño del cuestionario, es conveniente
desarrollar un panel de control en el mismo entorno del cuestionario web; por
ejemplo, un acceso restringido al servidor web donde esté alojado el cuestio-
nario, donde se faciliten las consultas a los parámetros (de la base de datos, de
los paradatos y/o del registro log) que queremos controlar. Si tenemos la capa-
cidad de la programación propia, lo anterior no supone ningún sobreesfuerzo
ni ampliación de conocimientos técnicos.
Si el diseño del cuestionario se desarrolla a partir de un software comer-
cial, un programa específico de encuestas web contendrá opciones básicas de
control de campo, aunque es conveniente revisar las prestaciones concretas
(tabla I.5) parar usar un software adecuado a nuestras necesidades de control
del trabajo de campo.
El uso de programas solo para la creación de formularios tendrá muy mer-
madas las opciones de supervisión; por ejemplo, la tasa de colaboración estará
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 143

sesgada por los cuestionarios duplicados y cuestionarios inválidos y tampoco


se pueden realizar recuerdos solo a los no informantes.

4.5.  Validación y depuración de los datos

Validar un instrumento de medición significa comprobar que realiza correc-


tamente las funciones para las que se ha diseñado. Por tanto, validar un cues-
tionario comienza por realizar una encuesta piloto y verificar sus resultados.
En las encuestas tanto CAPI como CATI, al intervenir un entrevistador sobre
el cuestionario, la validación durante todo el trabajo de campo es necesaria
por los errores imputados al factor humano. Sin embargo, la validación de un
cuestionario CAWI es más sintética.
El primer paso en un cuestionario CAWI es la validación externa del
cuestionario, es decir, hay que probarlo para comprobar que se cumplen los
estándares web, la usabilidad, el diseño web adaptativo, el diseño multipanta-
lla y el diseño multidispositivo. Como se ha mencionado anteriormente, exis-
ten múltiples herramientas online donde aportando la dirección web de
nuestro cuestionario se aplican una serie de test y simulaciones del diseño sin
ninguna dificultad. Sin embargo, hay que distinguir entre dos tipos de herra-
mientas, las que validan que el diseño funciona en cualquier navegador y las
que validan que el diseño es operativo en cualquier pantalla o dispositivo
(tabla IV.3). En el caso de usar un software comercial, en sus últimas versio-
nes los test de este tipo deberían dar resultados óptimos.

Tabla IV.3.
Herramientas online para validación externa del diseño de cuestionario web

Validación del diseño Validación del diseño


multinavegador web adaptativo (responsive)
Herramienta online
Estándares Accesibilidad Diseño Diseño
web / usabilidad multipantalla multidispositivo

tawdis.net Sí Sí No No
validator.w3.org Sí No No No
quirktools.com/screenfly/ No No Sí No
responsinator.com No No Sí No
browsera.com No No Sí No
browserstack.com No No Sí Sí
crossbrowsertesting.com No No Sí Sí

Fuente: Elaboración propia, revisada en febrero de 2018.


144 CUADERNOS METODOLÓGICOS 59

En la validación interna del cuestionario, la acción fundamental de un


cuestionario CAWI es verificar que cada valor introducido en el formulario se
recoge en el campo de la base de datos que tenía destinado y con las especifi-
caciones indicadas, esto incluye verificar que los filtros y saltos se realizan
como se han programado y que las alertas y controles establecidos (epígrafe
3.3.3) funcionan correctamente.
Finalmente, hay que validar los datos, validar la información recogida
verificando su coherencia, sobre todo para las variables en las que no se han
establecido controles y rangos definidos a priori. Verificar la coherencia de los
datos consiste en identificar valores atípicos (outliers) a partir del rango
intercuartil que se obtenga de los datos, podemos considerar que es un outlier
si está fuera de los límites externos. A nivel práctico el diagrama de caja y
bigotes (boxplots o box and whiskers) es muy útil para detectarlos.
Un último aspecto de la validación de los datos es la revisión de los efectos
singulares del modo, destacando en el modo web fundamentalmente dos: el
efecto primacía, ya comentado en el capítulo del diseño, que se puede detectar
revisando el porcentaje de preguntas en las que un informante responde las
primeras opciones de respuesta (bajo el principio de que, si incurre en prima-
cía en una de las preguntas, incurrirá en un porcentaje elevado de ellas), y el
efecto de aleatoriedad, que consiste en responder cualquier cosa con el fin de
finalizar pronto el cuestionario. Este último efecto está muy relacionado con
el uso de baterías de preguntas y con la duración del cuestionario, aumen-
tando considerablemente el riesgo de obtener respuestas aleatorias en los
cuestionarios que superan el óptimo de diez minutos de duración (Revilla y
Ochoa, 2017).
La depuración de los datos es una consecuencia inmediata al haber detec-
tado en la validación algún dato erróneo. Si el dato erróneo no se puede corre-
gir con el dato real que logremos detectar, hay que tomar la decisión de
borrarlo o sustituirlo a partir de imputación (por ejemplo, con el valor medio).

4.6.  Fuentes de error, ponderación y ajustes

Como se mencionó en el epígrafe 1.5, en el proceso de diseño y realización de


una encuesta, con independencia de cuál sea su modo de administración,
existen cuatro fuentes de error principales (figura I.3) que hay que tener muy
presentes a la hora de trabajar con esta técnica. La calidad de los resultados
de la encuesta será mayor cuanto más controlada esté la investigación, de
manera que se reduzcan al mínimo posible los distintos errores.
El error de muestreo es un indicador de la precisión de las estimaciones
realizadas. El nivel de precisión, el cual se mide por la varianza del estimador
o su raíz cuadrada, que es la desviación típica, está muy relacionado con el
tamaño de la muestra. Muy grosso modo, en ausencia de otro tipo de errores,
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 145

podemos afirmar, por ejemplo, que el error con un nivel de confianza del 95%,
para variables dicotómicas con un tamaño de muestra de 1.200 casos, será del
±2,83%, y para 1.600 sería ±2,45%. El error de muestreo es el que se difunde
habitualmente en las fichas técnicas de las encuestas, y nos informa del cuál
es el error esperado en el caso de que se haya aplicado un muestreo probabi-
lístico, que recordemos que son aquellos procedimientos de muestreo en los
que se cumple que la probabilidad de pertenecer a la muestra de todas las uni-
dades de la población sea conocida y que esta sea mayor que cero. En el caso
de que estas premisas no se cumplan, aparecen sesgos que contribuyen a que
el error total de la encuesta sea habitualmente mayor que el que dicta el error
de muestreo. Por este motivo, en muchas fichas técnicas suele añadirse la
coletilla «error de muestreo teórico», pues para que se den las condiciones de
una muestra insesgada donde el error teórico coincida con el real debe cum-
plirse lo siguiente:

— Que todas las personas de la población objeto de estudio tengan una


probabilidad conocida de ser elegidas y esta sea mayor que cero; la
situación contraria produce sesgos de cobertura.
— Que las personas seleccionadas colaboren en la encuesta; la falta de con-
tacto con las unidades muestrales y el rechazo a participar en la encuesta
producen sesgos a causa de la no respuesta.
— Que no existan errores de diseño del cuestionario, de grabación de la
información o en el proceso de respuesta al cuestionario por parte de la
persona entrevistada; esto produce sesgos a causa de errores de medida.

El error de cobertura, al que ya hemos aludido en diferentes ocasiones a


lo largo de este manual, es el que se produce cuando no hay posibilidad de
seleccionar o acceder a algunas personas de la población objeto de estudio. Lo
habitual es que las personas no accesibles tengan un perfil distinto a los que
participan en la encuesta, por lo que se producen sesgos de cobertura en la
encuesta. Ante este problema, existen dos soluciones metodológicas posibles:
a priori, establecer estratos o cuotas con base en las características que quere-
mos controlar (p. ej., sexo, edad, tamaño de hábitat, etc.), y, a posteriori, como
remedio tanto para los sesgos de cobertura como para los provocados por la
no respuesta, ponderar la muestra equilibrándola con la población en rela-
ción con esas mismas características que queremos controlar (postestratifica-
ción o calibración).
El error de no respuesta se produce cuando la persona seleccionada en la
muestra no es localizada o bien rechaza participar. En estos casos se suele
seleccionar a otra persona que sustituya a la primera. Dado que no todos los
perfiles de personas tienen la misma probabilidad de ser localizados y de recha-
zar participar en una encuesta, la consecuencia de este proceso de sustitución
es que se producen sesgos que aumentan el error total de la encuesta. Con
146 CUADERNOS METODOLÓGICOS 59

carácter general, mientras menos contactos usemos para alcanzar el tamaño


muestral diseñado, menor riesgo tendremos de incurrir en sesgos de no res-
puesta. Como se ha señalado a lo largo del manual, la no respuesta es un pro-
blema que debe abordarse desde el inicio en el diseño de la investigación y a lo
largo de todo el proceso de la encuesta, empleando un buen diseño (estructura,
duración y redacción) del cuestionario, una cuidada estrategia de contacto con
los potenciales entrevistados, suficientes recuerdos, una buena gestión de los
aplazamientos, el empleo de modos mixtos de administración de la encuesta y
el uso de incentivos. No obstante, a pesar de los esfuerzos por minimizar esta
fuente de error, en todas las encuestas existe no respuesta 3, por lo que se reco-
mienda siempre hacer una evaluación de la existencia de sesgos en los resulta-
dos y, en caso necesario, aplicar estrategias correctoras a posteriori, como es la
postestratificación y/o la calibración de los datos de la encuesta.
El error de medida es aquel que se produce cuando la respuesta obtenida
no se corresponde con el valor real de aquello que pretendemos medir como
consecuencia de distintos procesos (errores de diseño del cuestionario, fallos
del entrevistador, errores en el proceso de respuesta por parte de la persona
entrevistada, etc.). Como hemos visto en el capítulo 3 del manual, esta fuente
de errores se afronta con un buen diseño de las preguntas, el empleo de cues-
tionarios breves, con una buena gestión de los aplazamientos para evitar el
cansancio de la persona entrevistada, etc.
En la siguiente página, exponemos, a modo de resumen, un decálogo de
principios básicos a partir de las cuestiones expuestas a lo largo del manual
que permiten reducir o evitar el impacto de las distintas fuentes de error en la
calidad de los datos de una encuesta web.
Cuando, a pesar de haber tomado todas las precauciones y medidas posibles
de minimización de los errores, se comprueba que la muestra no representa
bien a la población, existiendo diferencias en su composición en determinadas
variables, tendremos que proceder a la ponderación de la muestra.
Las variables auxiliares cobran especial relevancia si la muestra real que
obtenemos difiere de la muestra teórica por la falta de respuesta, o bien en el
muestreo partimos de un marco imperfecto que produce un error de cober-
tura, ya que es con estas variables con las que podremos ajustar la muestra
obtenida a las proporciones de la población por medio de la ponderación, y,
así, reducir los distintos tipos de error. Para crear una variable de pondera-
ción, se eligen las variables auxiliares cuya composición en la muestra quera-
mos que quede bien ajustada a la composición en la población (generalmente
aquellas que por estudios previos sabemos que pueden influir de manera

3
  Los ejemplos empleados a lo largo de este manual son una prueba de ello. Así, por ejemplo,
en la figura II.1 vemos que el 17,7% del colectivo profesional estudiado no respondió a la encuesta.
En las encuestas descritas en las figuras IV.1 y IV.2 la no respuesta alcanzó al 31,9% y al 65,2%
de las respectivas muestras.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 147

10 principios básicos para reducir los errores de un cuestionario web

No
Muestreo Cobertura Medida
respuesta

Cumplir con los estándares W3C, los de


usabilidad y los de adaptación X X X X
(responsive) a los dispositivos.
Como incentivo principal, hacer hincapié
en la relevancia de colaborar, limitando
X X
el incentivo económico a casos muy
concretos.
Página de aterrizaje (landing page)
similar al texto de invitación a participar,
con información precisa y divulgativa X
sobre objetivos, privacidad, duración del
cuestionario y forma de contacto.
Usar clave para control de acceso a la
encuesta, que además permita retomar X X
el cuestionario donde se dejó.
Cuestionario no superior a 20 minutos (el
óptimo son 10 minutos) e informar del
grado de progreso a partir de una barra X
superior o porcentaje de
cumplimentación de la encuesta.
Primera pregunta sencilla, sin filtro y
visible en su totalidad para cualquier X
pantalla.
Diseño vertical. En formato continuo de
más de una pregunta por pantalla
(scrolling), numerar las preguntas y X X
espaciarlas claramente, evitando la barra
de desplazamiento (scrollbar) horizontal.
Permitir avanzar sin responder. Mensajes
de error, alertas amigables e
X X
instrucciones precisas que faciliten el
avance.
En preguntas cerradas, poner las casillas
de selección a la derecha de las
X X
categorías, y en preguntas numéricas,
etiquetar unidad de medida.
Evitar en lo posible el uso de menús
desplegables, categorías de X X
multirrespuestas y matrices de baterías.
148 CUADERNOS METODOLÓGICOS 59

significativa en nuestro objeto principal de estudio). El objetivo de la ponde-


ración consiste en ajustar la muestra para que sea proporcional a la población
en cada una de las variables auxiliares seleccionadas.
Usualmente se llama postestratificación cuando ajustamos todas las com-
binaciones de las variables auxiliares, y calibración 4 cuando el ajuste se realiza
solo para los marginales de cada una de estas variables (las estimaciones ajus-
tarán los marginales de una y otra variable en forma independiente, no en la
distribución conjunta). Las ventajas de la calibración respecto a la postestratifi-
cación son que no es necesario conocer los datos poblacionales del cruce de
variables auxiliares y que se evita para grupos con pocos casos que una postes-
tratificación modifique demasiado los factores de expansión originales.
Las variables que se emplean de manera habitual en la ponderación de los
datos de encuesta son las de tipo sociodemográfico, como el sexo y la edad, el
nivel de estudios, la situación profesional o la provincia de residencia, entre
otras. Por este motivo, hay que tener especial cuidado en recogerlas en el
cuestionario de nuestra encuesta de la misma forma en la que se recoge en la
fuente de datos secundarios con las que pretendamos compararlas. Por ejem-
plo, supongamos que nuestro marco es la población general residente en
España, y decidimos utilizar como fuente fiable de datos poblacionales la
Encuesta de Población Activa (EPA) que produce el INE. En esta encuesta se
recoge la edad agrupada en grupos quinquenales del tipo: de 16 a 19 años, de
20 a 24 años… Teniendo esto en cuenta, el cuestionario de nuestra encuesta
debería recoger la edad exacta (este sería el óptimo, ya que nos permitiría
categorizar la edad para ajustarla a la EPA y también a otras fuentes) o, en el
caso de preguntar la edad por intervalos, hacerlo con los mismos intervalos
empleados en la EPA (p. ej., emplear la categoría de respuesta de 18 a 25 años
sería un error ya que impediría la comparación de nuestros datos con la fuente
original). Otro ejemplo es que si los datos poblacionales recogen el literal
«nivel de estudios finalizado» sería inadecuado preguntar por «nivel de for-
mación alcanzado», ya que, si queremos compararlos, debemos mantener la
literalidad tanto de las preguntas como de las opciones de respuesta.
Las variables auxiliares que se pueden usar para crear la variable de pon-
deración tienen que cumplir tres criterios:

1. Que haya una fuente fiable con la que se puedan comparar los resulta-
dos de nuestra encuesta, y que sus datos sean comparables con los nues-
tros por la forma en que han sido recogidos (pregunta y opciones de
respuesta similares).
2. Que se trate de una variable relevante, con influencia sobre el tema tra-
tado en nuestra encuesta.

  Fundamentos teóricos: Mohl, C. A. y Singh, A. C. (1996). «Understanding calibration esti-


4

mators in survey sampling». Survey Methodology, 22(2), pp. 107-115.


INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 149

3. Que sea plausible asumir que quienes no han respondido a la encuesta


son similares a quienes la han respondido en las variables de interés.
Por ejemplo, en el caso que nos ocupa, quienes han respondido a una
encuesta web nunca podrán ser representativos del conjunto de la pobla-
ción española ya que, por mucho que ponderemos, los internautas
nunca podrán representar a quienes no tienen acceso a esta tecnología.

Resumiendo, si los estimadores de las variables auxiliares en la muestra no


se ajustan a los valores poblacionales, y esto sucede cuando existen errores de
cobertura y/o de no respuesta, podemos valorar ajustar la muestra usando
como peso la variable de ponderación obtenida con algún procedimiento
como la técnica de raking, que es la que se emplea de manera más habitual 5.

Resumen

Este último capítulo del manual se centra en las fases de trabajo de campo y trata-
miento posterior de los datos, fases que deben estar siempre guiadas por el objetivo
de minimización de las distintas fuentes de error. Dentro de este esfuerzo general,
destacan por su importancia las estrategias empleadas para maximizar la tasa de res-
puesta de la encuesta (pp. 133-139) y las dirigidas a resolver las dudas de las perso-
nas entrevistadas (pp. 139-141), disminuyendo así los errores de medida. El capítulo
subraya también la importancia de la supervisión del trabajo de campo (pp. 142-143)
y de la validación, depuración (pp. 143-145) y ajuste de los datos (pp. 145-150) para
la obtención de datos de encuesta de buena calidad.

Conceptos principales del capítulo

— Maximización de la respuesta.
— Incentivos condicionados y no condicionados.
— Soporte web y telefónico (línea 900).
— Error de cobertura, error de muestreo, error de no respuesta, error de medida.
— Validación y depuración de datos.
— Ponderación y ajuste (calibración, postestratificación).

5
 El raking consiste en un ajuste proporcional iterativo. La implementación del raking se
puede llevar a cabo con el software R, función rake del paquete survey; en la documentación de la
función rake se puede ampliar información: https://cran.r-project.org/web/packages/survey/sur-
vey.pdf, y también es de interés la dirección: http://sdaza.com/survey/2012/08/25/raking/. Asi-
mismo, los programas de análisis estadístico Gandía Barbwin y el SPSS, este último activando el
módulo RAKE a partir de su versión 19, proporcionan esta función.
Bibliografía

Alvira, Francisco (2011 [2005]). La encuesta. Una perspectiva general metodológica.


Madrid: Centro de Investigaciones Sociológicas.
Albaum, Gerald; Roster, Catherine A.; Wiley, James; Rossiter, John y Smith, Scott M. (2010).
«Designing Web Surveys in Marketing Research: Does Use of Forced Answering Affect
Completion Rates?». Journal of Marketing. Theory and Practice, 18(3), pp. 285-294.
Aneimo (2017). «Datos del sector 2016» (Nota de prensa). Disponible en: http://www.
aneimo.com/wp-content/uploads/2017/12/2016_B.-Volumen-de-Negocio-y-Estruc-
tura-del-Mercado-Nota-de-Prensa.pdf, acceso el 22 de agosto de 2018.
Antoun, Christopher; Couper, Mick P. y Conrad, Frederick G. (2017). «Effects of Mobile
versus PC Web on Survey Response Quality: A Crossover Experiment in a Probability
Web Panel». Public Opinion Quarterly, 81, pp. 280-306.
Azofra, María José (2002 [1999]). Cuestionarios. Madrid: Centro de Investigaciones
Sociológicas.
Baker, Reg y Couper, Mick P. (2007). «The impact of screen size and background color
on response in web surveys». Ponencia presentada en General Online Research Con-
ference, Leipzig, marzo de 2007.
Banco Mundial (2018). Indicador: Personas que usan internet (% de la población).
Banco de Datos del Banco Mundial. Disponible en: https://datos.bancomundial.
org/indicador/IT.NET.USER.ZS, acceso agosto de 2018.
Barrios, Maite; Villarroya, Anna; Borrego, Ángel y Ollé, Candela (2011). «Response
rates and data quality in web and mail surveys administered to PhD holders».
Social Science Computer Review, 29(2), pp. 208-220.
Benway, Jan Panero y Lane, David M. (1998). «Bannet blindness: web searches often
miss ‘obvious’ links». ITG Newsletter, 1(3). Disponible en: http://Internettg.org/
newsletter/dec98/banner_blindness.html
Bethlehem, Jelke G. y Biffignandi, Silvia (2012). Handbook of web surveys. Hoboken,
New Jersey: Wiley.
Bethlehem, Jelke y Biffignandi, Silvia (2012). Wiley handbook of web surveys. Hoboken:
Willey.
Blom, Annelies G.; Bosnjak, Michael; Cornilleau, Anne; Cousteaux, Anne-Sophie; Das,
Marcel; Douhou, Salima y Krieger, Ulrich (2016). «A Comparison of Four Probabi-
lity-Based Online and Mixed-Mode Panels in Europe». Social Science Computer
Review, 34(1), pp. 8-25.
Bosch, José Luis C. y Torrente, Diego (1993). Encuestas telefónicas y por correo. Madrid:
Centro de Investigaciones Sociológicas.
152 CUADERNOS METODOLÓGICOS 59

Bosnjak, Michael; Neubarth, Wolfgang; Couper, Mick P.; Bandilla, Wolfgang y Kacz-
mirek, Lars (2008). «Prenotification in Web-Based Access Panel Surveys: The
Influence of Mobile Text Messaging Versus E-Mail on Response Rates and Sample
Composition». Social Science Computer Review, 26(2), pp. 213-223.
Boulianne, Shelley; Klofstad, Casey A. y Basson, Danna (2011). «Sponsor Prominence
and Responses Patterns to an Online Survey». International Journal of Public Opi-
nion Research, 23, pp. 79-87.
Bradburn, Norman; Sudman, Seymour y Wansink, Brian (2004). Asking questions. The
definitive guide to questionnaire design-Form market research, political polls and
social and health questionnaires. San Francisco: Jossey-Bass.
Brick, J. Michael y Lepkowski, James M. (2008). «Multiple mode and frame Telephone
surveys». En: Lepkowski, J. M.; Tucker, C.; Brick, J. M.; Leeuw, E. D. de; Japec, L.;
Lavrakas, P. J.; Link, M. W. y Sangster, R. L. (eds.). Advances in telephone survey
methodology. New York: Wiley.
Callegaro, Mario; Yang, Yongwie; Bhols, Denisson S.; Dillman, Don A. y Chin, Tzu Y.
(2009). «Response latency as an indicator of optimizing in online questionnaires».
Bulletin of Sociological Methodology, 103(1), pp. 5-25.
Callegaro, Mario; Lozar Manfreda, Katja y Vehovar, Vasja (2015). Web Survey Methodo-
logy. London: SAGE.
Callegaro, Mario; Baker, Reginald P.; Bethlehem, Jelke; Göritz, Anja S.; Krosnick, Jon
A. y Lavrakas, Paul J. (eds.) (2014). Online Panel Research: A Data Quality Perspec-
tive. West Sussex: John Wiley y Sons.
Callegaro, Mario; Murakami, Michael H.; Tepman, Ziv y Henderson, Vani (2015).
«Yes–no answers versus check-all in self‑administered modes. A systematic review
and analyses». International Journal of Market Research, 57(2), pp. 203-223.
Cape, Pete y Phillips, Keith (2015). Questionnaire length and fatigue effects: the latest
thinking and practical solutions. Disponible en: https://www.surveysampling.com/
site/assets/files/1586/questionnaire-length-and-fatiigue-effects-the-latest-thinking-
and-practical-solutions.pdf, acceso el 15 de diciembre de 2017.
Cea D’Ancona, María Ángeles (2004). Métodos de encuesta: Teoría y práctica, errores y
mejora. Madrid: Síntesis.
Cea D’Ancona, María Ángeles (2012). Fundamentos y aplicaciones en metodología cuan-
titativa. Madrid: Síntesis.
Christian, Leah Melani y Dillman, Don A. (2004). «The Influence of Graphical and
Symbolic Language Manipulations on Responses to Self-Administered Questions».
Public Opinion Quarterly, 68, pp. 57-80.
Christian, Leah Melani; Dillman, Don A. y Smyth, Jolene D. (2007). «Helping Respondents
Get It Right the First Time: The Relative Influence of Words, Symbols, and Graphics in
Web and Telephone Surveys». Public Opinion Quarterly, 71(1), pp. 113-125.
Colorlite (2013). «Corrección del daltonismo». Disponible en: http://www.daltonismo-
eu.com/es/index.php, acceso el 12 de diciembre de 2017.
Conrad, Frederic G.; Couper, Mick P.; Tourangeau, Roger y Peytchev, Andy (2006).
«Use and non-use of clarification features in web surveys». Journal of Official Sta-
tistics, 22(2), pp. 245-269.
Conrad, Frederick G.; Couper, Mick P.; Tourangeau, Roger y Peytchev, Andy (2010).
«The impact of progress indicators on task completion». Interacting with Compu-
ters, 22, pp. 417-427.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 153

Conrad, Frederic G.; Couper, Mick P.; Tourangeau, Roger y Zhang, Chan (2017).
«Reducing speeding in web surveys by providing immediate feedback». Survey
Research Methods, 11, pp. 45-61.
Couper, Mick P. (2005). «Technology Trends in Survey Data Collection». Social
Science Computer Review, 23(4), pp. 486-501. Disponible en: https://doi.org/
10.1177/0894439305278972.
Couper, Mick P. (2008). Designing effective web surveys. New York: Cambridge.
Couper, Mick P. (2011a). Web survey methodology: interface design, sampling and statis-
tical methodology. Vitoria: Euskal Estatistika Erakundea.
Couper, Mick P. (2011b). «Interface design for web surveys». XXIV Seminario Interna-
cional de Estadística, Euskal Estatistika Erakundea.
Couper, Mick P. (2017). «New developments in survey data collection». Annual Review
of Sociology, 43, pp. 121-145.
Couper, Mick P. y Miller, Peter V. (2008). «Web Survey Methods Introduction». Public Opi-
nion Quarterly, 72(5), pp. 831-835. Disponible en: https://doi.org/10.1093/poq/nfn066.
Couper, Mick P. y Bosnjak, Michael (2010). «Internet Surveys». En: Marsden, P. V. y
Wright, J. D. (eds.). Handbook of Survey Research. Bingley: Emerald Group
Publishing Limited.
Couper, Mick. P. y Peterson, Gregg J. (2017). «Why Do Web Surveys Take Longer on
Smartphones?». Social Survey Computer Review, 35, pp. 357-377.
Couper, Mick P.; Traugott, Michael W. y Lamias, Mark J. (2001). «Web survey design
y administration». Public Opinion Quarterly, 65, pp. 230-253.
Couper, Mick P.; Tourangeau, Roger; Conrad, Frederic G. y Crawford, S. D. (2004).
«What they see is what we get: response options for web surveys». Social Science
Computer Review, 22(1), pp. 111-127.
Couper, Mick P.; Baker, Reg y Mechling, Joane (2011a). «Placement of navigations
buttons in web surveys». Survey Practice, 4(1). Disponible en: http://www.survey-
practice.org/article/3054.pdf, acceso el 24 de julio de 2018.
Couper, Mick P.; Kennedy, Courtney; Conrad, Frederic G. y Tourangeau, Roger
(2011b). «Designing inputs fields for non-narrative open-ended responses in web
surveys». Journal of Official Statistics, 27, pp. 65-85.
Couper, Mick P.; Tourangeau, Roger; Conrad, Frederick G. y Zang, Chan (2013). «The
Design of Grids in Web Surveys». Social Science Computer Review, 31(3), pp. 322-345.
Crawford, Scott D.; Couper, Mick P. y Lamias, Mark J. (2001). «Web surveys: Percep-
tion of burden». Social Science Computer Review, 19, pp. 146-162.
Cristian, Leah Melani (2007). How mixed-mode surveys are transforming social research:
the influence of survey mode on measurement in web and telephone surveys.
Washington: Washington State University. [Tesis doctoral].
Christian, Leah Melani y Smyth, Jolene D. (2008). «Visual Communication». En:
Lavrakas, P. (ed.). Encyclopedia of Survey Research Methods. California: SAGE
Publications, Inc.
Davidov, Eldad y Depner, Felix (2011). «Testing for measurement equivalence of
human values across online and paper and pencil surveys». Quality and Quantity,
45, pp. 375-390.
Denscombe, Martyn (2009). «Item non-response rates: a comparison of online and
paper questionnaires». International Journal of Social Research Methodology,
12(44), pp. 281-291.
154 CUADERNOS METODOLÓGICOS 59

Derouvray, Debra y Couper, Mick P. (2002). «Designing a Strategy for Reducing “No
Opinion” Responses in Web-Based Surveys». SSCR, 20(1), pp. 3-9.
Díaz de Rada, Vidal (2001). Diseño y elaboración de cuestionarios para la investigación
comercial. Madrid: ESIC.
Díaz de Rada, Vidal (2015 [2005]). Manual del trabajo de campo en la encuesta (presen-
cial y telefónica). Madrid: Centro de Investigaciones Sociológicas.
Díaz de Rada, Vidal y Domínguez Álvarez, Juan Antonio (2014). «Response Quality of
Self-Administered Questionnaires: A Comparison between Paper and Web Ques-
tionnaires». Social Science Computer Review, 32(2), pp. 256-269.
Díaz de Rada, Vidal y Domínguez Álvarez, Juan Antonio (2017). «Comparación de
métodos de campo en la encuesta». Revista Española de Investigaciones Sociológi-
cas, 158, pp. 137-148.
Dillman, Don A. (1978). Mail and telephone surveys. The Total Design Method. New
York: Wiley.
Dillman, Don A. (1991). «The Design and Administration of Mail Surveys». Annual
Review of Sociology, 17, pp. 225-249.
Dillman, Don A. (2000). Mail and Internet surveys. The Tailored Design Method. New
York: Wiley.
Dillman, Don. A. (2007). Mail and Internet Surveys. The Tailored Design Method.
Hoboken, New Jersey: Wiley.
Dillman, Don A. y Christian, Leah Melani (2005). «Survey mode as a source of instabi-
lity across surveys». Field Methods, 17(1), pp. 30-52.
Dillman, Don A.; Tortora, Robert D. y Bowker, Dennis (1998). Principles for Construc-
ting Web Surveys. Technical Report 98-50 of the Social and Economic Sciences
Research Center. Pullman: Washington State University.
Dillman, Don A.; Gertseva, Arina y Mahon-Haft, Taj (2005). «Achieving usability in
establishment surveys through the application of visual design principles». Journal
of Official Statistics, 21(2), pp. 183-214.
Dillman, Don A.; Smyth, Jolene D. y Christian, Leah Melani (2009). Internet, Mail and
Mixed-Mode Surveys: The Tailored Design Method. New York: Wiley. (3.ª ed.).
Dillman, Don A.; Smyth, Jolene D. y Christian, Leah Melani (2014). Internet, Phone, Mail
and Mixed-Mode Surveys: The Tailored Design Method. New York: Wiley. (4.ª ed.).
Domínguez, Juan Antonio y Trujillo, Manuel (2014). Encuesta web a alumnos univer-
sitarios. Experimento metodológico. Córdoba: IESA/CSIC. Disponible en: www.iesa.
csic.es/documentos/expmovil.pdf
Emde, Matthias (2012). «Using adaptive questionnaire design in open-ended ques-
tions». Proceedings of the Survey Research Methods Questions, American Statistical
Association, San Diego, California. Disponible en: http://www.aapor.org/AAPOR_
Main/media/AnnualMeetingProceedings/2012/01_Fuchs_Emde_B4_adaptive-
design_May17_Medi6.pdf, acceso el 25 de octubre 2017.
Emde, Matthias (2014). Open-ended questions in Web surveys. Using visual and adap-
tive questionnaire design to improve narrative responses. Deutschland: Technische
Universität Darmstadt. [Tesis doctoral].
Engel, Uwe y Köster, Britta (2015). «Response effects and cognitive involvement in
answering survey questions». En: Engel, U.; Jann, B.; Lynn, P.; Scherpenzeel, A. y
Sturgis, P. (eds.). Improving survey methods. Lessons from recent research. New
York/London: Routledge and European Association of Methodology.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 155

Eurostat (2018). Indicadores: Digital Economy and Society. Banco de Datos de Euros-
tat. Disponible en: http://ec.europa.eu/eurostat/web/digital-economy-and-society/
data/database, acceso agosto de 2018.
Font, Joan y Pasadas del Amo, Sara (2016). Las encuestas de opinión. Madrid: CSIC/
Catarata.
Fowler, Floyd J. (2017). Recensión de Web survey methodology de M. Callegaro, K. Lozar
Manfreda y V. Vehovar (SAGE, 2015). Public Opinion Quarterly, 81(1), pp. 199-201.
Fricker, Ronald y Schonlau, Matthias (2002). «Advantages and disadvantages of Inter-
net research surveys: evidence tom the literature». Field Methods, 14, pp. 347-367.
Galesic, Mirta (2006). «Dropouts on the web. Effects of interest and burden experience
during an online survey». Journal of Official Statistics, 22(2), pp. 313-328.
Galesic, Mirta y Bosnjak, Michael (2009). «Effects of Questionnaire Length on Partici-
pation and Indicators of Response Quality in a Web Survey». Public Opinion Quar-
terly, 73, pp. 349-360.
Galesic, Mirta; Tourangeau, Rogert; Couper, Mick P. y Conrad, Frederick (2008). «Eye-
tracking data: New Insights on Response Order Effects and Other Cognitive Short-
cuts in Survey Responding». Public Opinion Quarterly, 72(5), pp. 892-913.
García Ferrando, Manuel y Llopis, Ramón (2015). «La encuesta». En: García Ferrando,
M.; Alvira, F.; Alonso, L. E. y Escobar, M. (eds.). El análisis de la realidad social.
Madrid: Alianza. (4.ª ed.).
Gendall, Philip y Healey, Benjamin (2008). «Asking the age question in mail and online
surveys». International Journal of Market Research, 50(3), pp. 309-317.
Gilljam, Mikael y Granberg, Donald (1993). «Should we take don’t know for an
answer?». Public Opinion Quarterly, 57, pp. 348-357.
Greszki, Robert; Meyer, Marco y Schoen, Harald (2015). «Exploring the effects of
removing “too fast” responses and respondents from web surveys». Public Opinion
Quarterly, 79(2), pp. 471-503.
Groves, Robert M. (1989). Survey Error and Survey Cost. New York: Wiley.
Groves, Robert M. (2011). «Three Eras of Survey Research». Public Opinion Quarterly,
75(5), pp. 861-871. Disponible en: https://doi.org/10.1093/poq/nfr057
Groves, Robert M.; Fowler, Floyd; Couper, Mick; Lepkowski, James; Singer, Eleanor y
Tourangeau, Roger (2009). Survey methodology. Hoboken, New Jersey: Wiley. (2.a ed.).
Groves, Robert M.; Presser, Stanley; Tourangeau, Roger; West, Brady T.; Couper, Mick
P.; Singer, Eleanor y Toppe, Christopher (2012). «Support for the Survey Sponsor
and Nonresponse Bias». Public Opinion Quarterly, 76, pp. 512-524.
Hammen, Kerstin (2010). «The impact of visual and functional design elements in
online survey research». Ponencia presentada en General Online Research confe-
rence, Pforzheim, Germany, mayo de 2010.
Hansen, Kasper M. y Tue Pedersen, Rasmus (2012). «Efficiency of Different
Recruitment Strategies for Web Panels». International Journal of Public Opinion
Research, 24, pp. 238-249.
Hanson, Tim (2017b). Adapting questionnaires for Smartphones: An experiment on grid for-
mat questions. European Survey Research Association (ESRA), 20 julio. Disponible en:
https://www.europeansurveyresearch.org/conference/programme2017?sess=36#175,
acceso el 15 de diciembre 2017.
Hays, Ron D.; Bode, Rita; Rothrock, Nan; Riley, William; Cella, David y Gershon;
Richard (2010). «The impact of next and back buttons on time to complete and
156 CUADERNOS METODOLÓGICOS 59

measurement reliability in computer based surveys». Quality of Life Research, 19,


pp. 1181-1184.
Heberlein, Thomas y Baumgartner, Robert (1978). «Factors affecting response rates to
mailed questionnaires: A quantitative analysis of the published literature». Ameri-
can Sociological Review, 43, pp. 447-462.
Heberlein, Thomas y Baumgartner, Robert (1981). «The Effectiveness of the Heber-
lein-Baumbartner Models for Predicting Response Rates to Mailed Questionnaires:
European and US Examples». American Sociological Review, 46, pp. 363-367.
Heer, Wim de; Leeuw, Edith de y Zouwen, Johannes van der (1999). «Methodological
Issues in Survey Research: a Historical Review». Bulletin de Méthodologie Sociolo-
gique, 64(1), pp. 25-48. Disponible en: https://doi.org/10.1177/075910639906400104
Heerwegh, Dirk y Loosveldt, Geert (2002). «An evaluation of the effects of response
formats on data quality in web surveys». Social Science Computer Review, 20,
pp. 471-484.
Heerwegh, Dirk y Loosveldt, Geert (2006). «An experimental study on the effects of
personalization, survey length statements, progress indicators, and survey sponsor
logos in web surveys». Journal of Official Statistics, 22, pp. 191-210.
Horwitz, Rachel; Kreuter, Frauke y Conrad, Frederic (2017). «Using mouse move-
ments to predict web survey response difficulty». Social Survey Computer Review,
35(3), pp. 308-405.
IESA/CSIC (2017). Cuestionario Personas y animales silvestres. Disponible en: https://
www.pacis.es/fauna/, acceso el 26 de septiembre de 2017.
Ilieva, Janet; Baron, Steve y Healey, Nigel M. (2002). «Online surveys in marketing
research». International Journal of Market Research, 44, pp. 361-376.
INE (2018). Encuesta sobre equipamiento y uso de tecnologías de información y comu-
nicación en los hogares 2017 (TIC-H’17). Disponible en: http://www.ine.es/dyngs/
INEbase/es/operacion.htm?c=Estadistica_C&cid=1254736176741&menu=ultiDato
s&idp=1254735976608, acceso agosto de 2018.
Instituto de Estudios Sociales Avanzados (2010). Condiciones de vida y expectativas de
retorno de los andaluces en el extranjero. Disponible en: http://www.juntadeandalu-
cia.es/export/drupaljda/informe_iesa.pdf
Jenkings, Cleo R. y Dillman, Don A. (1997). «Towards a theory of seld administered
questionnaire design». En: Lyberg, L. E.; Biemer, P.; Collins, M.; Leeuw, E. D. de;
Dippo, C.; Schwarz, N. y Trewin, D. (eds.) (1997). Survey Measurement and Process
Quality. New York: Wiley, pp. 165-198.
Kaczmirek, Lars (2009). Human-survey interaction. Usability and nonresponse in online
surveys. Cologne: Halem Verlag.
Kaczmirek, Lars (2016). «Online Survey Software». En: Fielding, N. G.; Lee, R. M. y
Blank, G. The Sage Handbook of Online Research Methods. Thousand Oaks, Califor-
nia: SAGE Publications. (2.ª ed.).
Kalafatis, Stavros P.; Riley, Debra; Tsogas, Markos H. y Clodine-Florent, Jimmy (2012).
«The effects of source credibility and message variation on mail survey response
behaviour». International Journal of Market Research, 54(3), pp. 391-406.
Keusch, Florian y Yan, Ting (2017). «Web Versus Mobile Web: An Experimental Study
of Device Effects and Self-Selection Effects». Social Sciences Computer Review, 35,
pp. 751-769.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 157

Kierman, Nancy F.; Kierman, Michaela; Oyler, Mary A. y Gilles, Carles (2005). «Is a
web survey as effective as a mail survey? A field experiment among computer
users». Social American Journal of Evaluation, 26(2), pp. 245-252.
Kreuter, Frauke (2018a). «Getting the Most Out of Paradata». En: Vannette, D. y Kros-
nick J. (eds.). The Palgrave Handbook of Survey Research. London: Palgrave Macmi-
llan, Cham.
Kreuter, Frauke (2018b). «Paradata». En: Vannette D. y Krosnick J. (eds.). The Palgrave
Handbook of Survey Research. London: Palgrave Macmillan, Cham.
Krosnick, Jon A. y Presser, Stanley (2010). «Question and questionnaire design». En:
Marsden, P. V. y Wright, J. D. (eds.). Handbook of Survey Research. Bingley: Eme-
rald Group Publishing Limited.
Krosnick, Jon A.; Holbrook, Allyson L.; Berent, Matthew K.; Carson, Richard T.; Hane-
mann, W. Michael; Kopp, Raymond J.; Mitchell, Robert Cameron; Presser, Stanley;
Ruud, Paul A.; Smith, V.; Kerry, V.; Moody, Wendy R.; Green, Melanie C. y Conaway,
Michael (2002). «The Impact of “No Opinion” Response Options on Data Quality:
Non-Attitude Reduction or an Invitation to Satisfice?». Public Opinion Quarterly,
66(3), pp. 371-403. DOI: 10.1086/341394.
Kwak, Nojin y Radler, Barry (2002). «A Comparison between mail and web surveys:
response pattern, respondent profile and data quality». Journal of Official Statistics,
18 (2), pp. 257-273.
Leeuw, Edith D. de (2005). «To mix or not to mix data collection modes in surveys».
Journal of official statistics, 21(2), p. 233.
Leeuw, Edith D. de y Hox, Joop J. (2011). «Internet surveys as part of a mixed-mode
design». Social and behavioral research and the Internet, pp. 45-76.
Leeuw, Edith de (2008). «Choosing the method of data collection». En: Leeuw, E. D.
de; Hox, J. J. y Dillman, D. A. (eds.). International Handbook of Survey Methodology.
New York: Lawrence Erlbaum Associates y Asociación Europea de Metodología.
Liu, Mingnan y Cho, Sarah (2016). «Web survey experiments on fully balanced, minima-
lly balanced and unbalanced rating scales». Survey Methods: Insights from the Field.
Disponible en: http://surveyinsights.org/?p=7650, acceso el 15 de marzo de 2017.
Liu, Mingnan y Keusch, Florian (2017). «Effects of Scale Direction on Response Style
of Ordinal Rating Scales». Journal of Official Statistics, 33(1), p. 137.
Loosveldt, Geert (2008). «Face to face interviews». En: Leeuw, E. D. de; Hox, J. J. y
Dillman, D. A. (eds.). International Handbook of Survey Methodology. New York:
Lawrence Erlbaum Associates y Asociación Europea de Metodología.
Loranger, Hoa (2014). Break Grammar Rules on Websites for Clarity. Disponible en:
https://www.nngroup.com/articles/break-grammar-rules, acceso el 10 de octubre
2017.
Lozar Manfreda, Katja y Vehovar, Vasja (2008). «Internet surveys». En: Leeuw, E. D.
de; Hox, J. J. y Dillman, D. A. (eds.). International Handbook of Survey Methodology.
New York: Lawrence Erlbaum Associates y Asociación Europea de Metodología.
Lozar Manfreda, Katja; Bosnjak, Michael; Berzelak, Jerney; Haas, Iris y Vehovar, Vasja
(2008). «Web surveys versus other survey modes: a meta-analysis comparing res-
ponse rates». International Journal of Market Research, 50(1), pp. 79-104.
Lugtig, Peter y Toepoel, Vera (2016). «The Use of PCs, Smartphones, and Tablets in a
Probability-Based Panel Survey: Effects on Survey Measurement Error». Social
Sciences Computer Review, 34, pp. 78-94.
158 CUADERNOS METODOLÓGICOS 59

Lynn, Peter y Kaminska, Olena (2012). «Factors afecting measurement error in mobile
phone interviews». En: Sabine, H.; Häder, M. y Kuhne, M. (eds.). Telephone Surveys
in Europe: Research and Practice. Manheim: Springer Verlag.
Martín, Jorge (2015). «Diseño eficaz de cuestionarios online». Curso organizado por la
Asociación Española de Estudios de Mercado, Marketing y Opinión, 12-13 de mayo
de 2015.
Mavletova, Aigul y Couper, Mick P. (2013). «Sensitive Topics in PC Web and Mobile
Web Surveys: Is There a Difference?». Survey Research Methods, 7(3), pp. 191-205.
Mavletova, Aigul y Couper, Mick P. (2014). «Mobile Web Survey Design: Scrolling ver-
sus Paging, SMS versus E-mail Invitations». Journal of Survey Statistics and
Methodology, 2(4), pp. 498-518.
McGeeney, Kyley y Marlar, Jenny (2013). «Mobile browser web surveys. Testing res-
ponse rates, data quality and best practices». Ponencia presentada en la Conferen-
cia anual de la AAPOR, 16-19 de mayo, Boston, EE. UU..
Messer, Benjamin L. y Dillman, Don A. (2011). «Surveying the general public over the
internet using address-based sampling and mail contact procedures». Public Opi-
nion Quarterly, 75, pp. 429-457.
Messer, Benjamin L.; Edwards, Michelle L. y Dillman, Don A. (2012). «Determinants
of Item Nonresponse to Web and Mail Respondents in Three Address-Bases Mixed-
Mode Surveys of the General Public». Survey Practice, 5(2). Disponible en: http://
surveypractice.wordpress.com/2012/4, acceso el 15 de noviembre de 2012.
Millar, Morgan y Dillman, Don A. (2011). «Improving Response to Web and Mixed-
Mode Surveys». Public Opinion Quarterly, 75, pp. 249-269.
Millar, Morgan y Dillman, Don A. (2012). «Encouraging survey response via
smartphone». Survey Practice, 5, p. 3.
Miller, Peter V. y Cannel, Charles F. (1982). «A Study of Experimental Techniques for
Telephone Interviewing». Public Opinion Quarterly, 46, pp. 250-269.
Moscoso, David y Moyano, Eduardo (2010). Condiciones de vida y expectativas de
retorno de los andaluces en el extranjero. Sevilla: Consejería de Gobernación y Justi-
cia, Junta de Andalucía. Disponible en: http://www.juntadeandalucia.es/export/
drupaljda/informe_iesa.pdf, acceso el 27 de septiembre de 2017.
Nielsen, Jakob (1996). «F-Shaped pattern for reading web pages». Disponible en:
https://www.nngroup.com/articles/f-shaped-pattern-reading-web-content/, acceso
el 3 de octubre de 2017.
Nielsen, Jakob (1997). «How users read on the web». Disponible en: https://www.
nngroup.com/articles/how-users-read-on-the-web/, acceso el 3 de octubre de 2017.
Nielsen, Jakob (2000). «Eyetracking Study of Web Readers». Disponible en: https://
www.nngroup.com/articles/eyetracking-study-of-web-readers, acceso el 10 de octu-
bre de 2017.
Nielsen, Jakob (2004). «Guidelines for visualizing links». Disponible en: https://www.
nngroup.com/articles/guidelines-for-visualizing-links/, acceso el 10 de septiembre
de 2017.
Nielsen, Jakob (2005). «Guidelines for visualizing links». Disponible en: https://www.
nngroup.com/articles/guidelines-for-visualizing-links/, acceso el 10 de septiembre
de 2017.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 159

Nielsen, Jakob (2006). «F-Shaped pattern for reading web content». Disponible en:
https://www.nngroup.com/articles/f-shaped-pattern-reading-web-content, acceso
el 3 de octubre de 2017.
Nielsen, Jakob (2007). «Show Numbers as Numerals When Writing for Online Rea-
ders». Disponible en: https://www.nngroup.com/articles/web-writing-show-num-
bers-as-numerals, acceso el 25 de octubre de 2017.
Nielsen, Jakob (2008). «How Little Do Users Read?». Disponible en: https://www.
nngroup.com/articles/how-little-do-users-read, acceso el 10 de octubre de 2017.
Nielsen, Jakob (2009). «First 2 Words: A Signal for the Scanning Eye». Disponible en:
https://www.nngroup.com/articles/first-2-words-a-signal-for-scanning/, acceso el
25 de octubre de 2017.
Nielsen, Jakob (2013). «Website reading: it (something) does happen». Disponible en:
https://www.nngroup.com/articles/website-reading, acceso el 10 de octubre de 2017.
Norman, Kent L.; Friedman, Zachary; Norman, Kirk y Stevenson, Rod (2001). «Navi-
gation issues in the design of online self-administered questionnaires». Behaviour
and Information Technology, 2(1), pp. 37-45.
Olson, Kristen; Lepkowski, James M. y Garabrant, David H. (2011). «An Experimental
Examination of the Content of Persuasion Letters on Nonresponse Rates and Sur-
vey Estimates in a Nonresponse Follow-Up Study». Survey Research Methods, 5(1),
pp. 21-26.
Padilla García, José Luis; González, Andrés y Pérez, Cristino (2014). «Elaboración del
cuestionario». En: Rojas, A. J.; Fernández Prados, J. S. y Pérez, C. (eds.). Investigar
mediante encuestas. Madrid: Síntesis.
Pasadas del Amo, Sara; Domínguez, Juan Antonio; Trujillo, Manuel; Ropero, Ana B. y
Moreno, Jesús (2016). «¿Donar o no donar? Efectos de la deseabilidad social en la
elección del incentivo en una encuesta online y telefónica». 12.º Congreso de la
Federación Española de Sociología, Gijón, 30 de junio a 2 de julio de 2016.
Pasadas del Amo, Sara; Domínguez, Juan Antonio; Méndez, Mónica y Trujillo, Manuel
(2017). «Device use and effects of screen size on data quality in a cross-sectional
probability-based online survey in Spain». 7.º Congreso de la Asociación Europea de
Metodología de Encuestas, Lisboa, 17-21 de julio de 2017.
Peterson, Gregg (2012). «Unintended mobile respondents». Ponencia presentada en
CASRO Technology Conference, New York, 31 de mayo de 2012.
Peterson, Gregg; Mechling, Joanne; LaFrance, John; Swinehart, Janice y Ham, Gina
(2013). «Solving the unintentional mobile challenge». Ponencia presentada en
CASRO Technology Conference, New York, 31 de mayo de 2013.
Peterson, Gregg; Griffin, Jamie; LaFrance, John y Li, JiaoJiao (2017). «Smartphone
Participation in Web Surveys». En: Biemer, P. P.; De Leeuw, E.; Eckman, S.;
Edwards, B.; Kreuter, F.; Lyberg, L. E.; ... y West, B. T. (Eds.). (2017). Total Survey
Error in Practice. West Sussex: John Wiley & Sons, pp. 203-233.
Peytchev, Andy y Crawford, Scott D. (2006). «A typology of real time validations in
web-based surveys». Social Science Computer Review, 23(2), pp. 235-249.
Peytchev, Andy; Couper, Mick P.; McCabe, Sean E. y Crawford, Scott D. (2006). Web
survey design: Paging versus scrolling. International Journal of Public Opinion
Quarterly, 70(4), 596-607.
Presser, Stanley (1992). «Survey Sponsorship, Response Rates and Response Effects».
Social Science Quarterly, 73, pp. 699-702.
160 CUADERNOS METODOLÓGICOS 59

Redline, Cleo y Dillman, Don A. (1999). The influence of auxiliary, symbolic, nume-
ric and verbal languages on navigation compliance in self-administered question-
naires. Washington: Social and Economic Sciences Research Center (SESRC),
Washington State University.
Redline, Cleo y Dillman, Don A. (2002). «The Influence of Alternative Visual Designs
on Respondents’ Performance with Branching Instructions in Self-Administered
Questionnaires». En: Groves, R. M.; Dillman D. A. Dillman; Eltinge, J. L. (eds.).
Survey Nonresponse. New York: Wiley.
Redline, Cleo; Dillman, Don A.; Dajani, Aref N. y Scaggs, Mary Ann (2003). «Impro-
ving navigation performance in U.S. Census 2000 by altering the visually admi-
nistered languages of branching instructions». Journal of Official Statistics, 19(4),
pp. 403-419.
Reja, Ursa; Lozar Manfreda, Katja; Hlebec, Valentina y Vehovar, Vasja (2003). «Open-
ended vs. close-ended questions in web questionnaires». Metodoloski zvezki, 19,
pp. 159-177.
Revilla, Melanie (2014). Evaluación y mejora de las preguntas de encuestas utilizando el
programa Survey Quality Predictor (SQP) 2.0. Curso impartido en la Universitat
Pompeu Fabra.
Revilla, Melanie (2015). «Effect of using different labels for the scales in a web survey».
International Journal of Market Research, 57(2), pp. 225-238. DOI: 10.2501/IJMR-
2014-028.
Revilla, Melanie y Ochoa, Carlos (2015). «What are the links in a web survey among
response time, quality and auto-evaluation of the efforts done?» Social Science
Computer Review, 33(1), pp. 97-114.
Revilla, Melanie y Ochoa, Carlos (2017). «Forum: Ideal and maximum length for a web
survey». International Journal of Market Research, 59(5), pp. 557-566.
Revilla, Melanie A.; Saris, Willem E. y Krosnick, Jon A. (2014). «Choosing the Number
of Categories in Agree–Disagree Scales». Sociological Methods y Research, 43(1),
pp. 73-97.
Revilla, Melanie; Toninelli, Daniele y Ochoa, Carlos (2015). An experiment comparing
grids and item-by-item formats in web surveys completed through PCs and smartpho-
nes. Barcelona: RECSM. Working Paper n.º 46. Disponible en: https://www.upf.edu/
documents/3966940/3986764/RECSM_wp046.pdf, acceso el 15 de diciembre 2017.
Revilla, Melanie; Toninelli, Daniele y Ochoa, Carlos (2017). «An experiment compa-
ring grids and item-by-item formats in web surveys completed through PCs and
smartphones». Telematics and Informatics, 34, pp. 30-42.
Rodríguez Osuna, Jacinto (1993). Métodos de muestreo: casos prácticos. Madrid: Cen-
tro de Investigaciones Sociológicas.
Rodríguez Osuna, Jacinto (2005 [1991]). Métodos de muestreo. Madrid: Centro de
Investigaciones Sociológicas.
Sánchez Fernández, Juan; Muñoz Leiva, Francisco y Montoro Ríos, Francisco J.
(2009). «¿Cómo mejorar la tasa de respuesta en encuestas online?». Revista de Estu-
dios Empresariales. Segunda época, 1, pp. 45-62. Disponible en: http://revistaselec-
tronicas.ujaen.es/index.php/REE/article/view/358
Sarabia Sánchez, Francisco J. (2013). «La construcción del cuestionario». En: Sarabia
Sánchez, F. J. (ed.). Métodos de investigación social y de la empresa. Madrid: Pirámide.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 161

Saris, Willem E. (1998). «Ten years of interviewing without interviewers: The telepa-
nel». En: Couper, Mick P.; Baker, Reginald P.; Bethlehem, Jelke; Clark, Cynthia Z.
F.; Martin, Jean, Nichols, William L. y O’Reilly, James M. (eds.). Computer assisted
survey information collection. New York: John Wiley & Sons, S., pp. 409-429.
Schonlau, Matthias y Couper, Mick P. (2016). «Semi-automated categorization of
open-ended questions». Survey Research Methods, 10(2), pp. 143-152. DOI: http://
dx.doi.org/10.18148/srm/2016.v10i2.6213
Schonlau, Mattias; Fricker, Ronald D. y Elliott, Marc C. (2002). Conducting research
surveys via e-mail and the Web. Santa Monica, California: RAND.
Schoua-Glusberg, Alisu, Vidal (2017). «How many questions fit in a 30-minute web
Survey?». AAPOR-net, l4 de febrero de 2017.
Schwarz, Norbert y Hippler, Hans J. (1995b). «The numeric values of rating scales: a
comparison of their impact in mail surveys and telephone interviews». Internatio-
nal Journal of Public Opinion Research, 7, pp. 72-74.
Schwarz, Norbert y Hippler, Hans J. (1995a). «Subsequent Questions May Influence
Answer to Preceding Questions in Mail Surveys». Public Opinion Quarterly, 59, pp. 93-97.
Schwarz, Norbert; Hippler, Hans J.; Deutsch, Brigitte y Strack, Fritz (1985). «Res-
ponse scales: effect of category range on reporter behavior and comparative judg-
ments». Public Opinion Quarterly, 49, pp. 388-395.
Schwarz, Norbert; Knäuper, Bärbel; Hippler, Hans J.; Noelle-Newman, Elisabeth y
Clark, Leslie (1991). «Numeric Values May Change the Meaning of Scale Labels».
Public Opinion Quarterly, 55, pp. 570-582.
Shaefer, David D. y Dillman, Don A. (1998). «Development of a standard e-mail
methodology. Results of an experiment». Public Opinion Quarterly, 62, pp. 378-397.
Shih, Tse Hua y Fan, Xitao (2008). «Comparing Response Rates from Web and Mail
Surveys: A Meta-Analysis». Field Methods, 20, pp. 249-271.
Silber, Henning; Höhne, Jan Karem y Schlosser, Stephan (2016). «Question Order Expe-
riments in the German-European Context». Survey Methods: Insights from the Field.
Disponible en: http://surveyinsights.org/?p=7645, acceso el 15 de noviembre de 2016.
Smyth, Jolene D. (2018). «Visual design in surveys using numbers, symbols and gra-
phics effectively». Conferencia Web de AAPOR, 18 de septiembre de 2018.
Smyth, Jolene D.; Dillman, Don A. y Christian, Leah Melanie (2008). «Does ‘yes or no’
on the telephone mean the same as ‘check-all-apply’ on the web». Public Opinion
Quarterly, 72, pp. 103-113.
Smyth, Jolene D. y Olson, Kristen (2016). «A Comparison of Fully Labeled and Top-
Labeled Grid Question Formats». Ponencia presentada en la Conferencia Interna-
cional de diseño de cuestionarios, Miami, Florida, 9-13 de noviembre de 2016.
Smyth, Jolene D.; Dillman, Don A.; Christian, Leah Melani y Stern, Michael J. (2006).
«Effects of Using Visual Design Principles to Group Response Options in Web Sur-
veys». International Journal of Internet Science, 1(1), pp. 6-16.
Smyth, Jolene D.; Dillman, Don A.; Christian, Leah Melanie y Mcbride, Mallory (2009).
«Open-Ended Questions in Web Surveys: Can Increasing the Size of Answer Boxes
and Providing Extra Verbal Instructions Improve Response Quality?». Public Opi-
nion Quarterly, 73, pp. 325-337.
Sommer, Jana; Diedenhofen, Birk y Musch, Jochen (2017). «Not to Be Considered
Harmful. Mobile-Device Users Do Not Spoil Data Quality in Web Surveys». Social
Survey Computer Review, 35(3), pp. 378-377.
162 CUADERNOS METODOLÓGICOS 59

Stange, Mathew; Barry, Amanda; Smyth, Jolene D. y Olson, Kristen (2106). «Effects of
Smiley Face Scales on Visual Processing of Satisfaction Questions in Web Sur-
veys». Social Science Computer Review. DOI: 10.1177/0894439316674166.
Stern, Michael J.; Dillman, Don A. y Smyth, Jolene D. (2007). «Visual Design, Order
Effects, and Respondent Characteristics in a Self-Administered Survey». Survey
Research Methods, 1(3), pp. 121-138.
Stern, Michael J.; Smyth, Jolene D. y Mendez, Jeanette (2012). «The Effects of Item
Saliency and Question Design on Measurement Error in a Self-Administered Sur-
vey». Field Methods, 24(1), pp. 3-27.
Sudman, Seymour y Bradburn, Norman M. (2002). Asking questions. New York: Wiley.
Toepoel, Vera (2015). Doing Surveys Online. London: SAGE.
Toepoel, Vera (2016). Doing survey Online. London: SAGE.
Toepoel, Vera y Couper, Mick. P. (2011). «Can verbal instructions counteract visual
context effects in web survey?». Public Opinion Quarterly, 75, pp. 1-18.
Toepoel, Vera y Dillman, Don A. (2011). «How visual design affects the interpretability
of survey question». En: Das, Marcel; Ester, P. y Kaczmirek, L. (eds.). Social and
behavioral research and the Internet. New York: Taylor.
Toepoel, Vera; Das, Marcel y Soest, Arthur van (2008). «Effects of design in web sur-
veys. Comparing trained and fresh respondents». Public Opinion Quarterly, 72(5),
pp. 985-1007.
Toepoel, Vera; Das, Marcel y Soest, Arthur van (2009). «Design web questionnaire: The
effects of the number of items per screen». Field Methods, 21(1), pp. 200-213.
Toepoel, Vera; Vis, Corrie; Das, Marcel y Soest, Arthur van (2009). «Design of Web
Questionnaires. An Information-Processing Perspective for the Effect of Response
Categories». Sociological Methods & Research, 37(3), pp. 371-392.
Tourangeau, Roger; Couper, Mick P. y Conrad, Frederick (2004). «Spacing, Position,
and Order: Interpretive heuristics for visual features of survey questions». Public
Opinion Quarterly, 68(3), pp. 368-393.
Tourangeau, Roger; Couper, Mick P. y Conrad, Frederick (2007). «Color, labels, and
interpretative heuristic for response scales». Public Opinion Quarterly, 71,
pp. 91-112.
Tourangeau, Roger; Conrad, Frederick G. y Couper, Mick P. (2013). The Science of Web
Surveys. New York: Oxford University Press.
Tourangeau, Roger; Couper, Mick P.; Galesic, Mirta y Givens, Jean (2004). «A Compari-
son of Two Web Based Surveys: Static versus Dynamic Versions of the NAMCS Ques-
tionnaire». Ponencia presentada en la 6.ª Conferencia de la Sociedad Científica de
Metodología Social (RC33), Ámsterdam, Países Bajos, 17-20 de agosto de 2004.
Vehovar, Vasja y Čehovin, Gregor (2014). «Questionnaire length and breakoffs in web
surveys. A meta-study». Presentado en el 7.º Encuentro de Metodología de Encuestas
en Internet, Internet Survey Methodology Worksop, Bozano.
Vehovar, Vasja y Manfreda, Katja (2017). «Overview: Online Surveys». En: The SAGE
Handbook of Online Research Methods). London: SAGE Publications Ltd., pp. 143-
161. Disponible en: https://doi.org/10.4135/9781473957992.
Vehovar, Vasja; Lozar Manfreda, Katja y Batagelj, Zenei (2000). «Design Issues in Web
Surveys». Ponencia presentada en la Conferencia anual de la AAPOR, Portland, Ore-
gón, EE. UU., 17-21 de mayo de 2000.
INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS 163

Vehovar, Vasja; Lozar Manfdeda, Katja y Koren, Gasper (2008). «Internet surveys».
En: Donsbach, W. y Traugott, M. W. (eds.). The SAGE Handbook of Public Opinion
Research. Thousand-Oaks, California: SAGE.
Vehovar, Vasja; Čehovin, Gregor; Kavčič, Luka y Lenar, Jurij (2012). A WebSM Study:
Survey Software Features Overview. Faculty of Social Sciences.
Villar, Ana; Callegaro, Mario y Yang, Yongwei (2013). «Where am I? A meta-analysis
of experiments on the effects of progress indicators for web surveys». Social Survey
Computer Review, 31(6), pp. 744-762.
Weinreich, Harald; Obendorf, Hartmut; Herder, Eelco y Mayer, Matthias (2008). «Not
Quite the Average: An Empirical Study of Web Use». ACM Transactions on the Web,
2(1). Disponible en: https://dl.acm.org/citation.cfm?doid=1326561.1326566, acceso
el 22 de noviembre de 2017.
Wrolewski, Luke (2009). Web form design. Filling in the blanks. Brooklyn, New York:
Rosenfeld Media.
Yan, Ting; Conrad, Frederick G.; Couper, Mick P. y Tourangeau, Roger (2011). «Should
I stay or should I go: The effects of progress feedback, promised task duration, and
length of questionnaire on completing web surveys». International Journal of Public
Opinion Research, 23, pp. 131-147.
Zeglovits, Eva y Schwarzer, Steve (2016). «Presentation matters: how mode effects in
item non-response depend on the presentation of response options». International
Journal of Social Research Methodology, 19, pp. 191-203.
Zhang, Chan y Conrad, Frederick (2014). «Speeding in Web Surveys: The tendency to
answer very fast and its association with straightlining». Survey Research Methods,
8(2), pp. 109-125.
Cuadernos Metodológicos ha sido galardonada con
el Premio a la Mejor Colección en los XIII Premios
Nacionales de Edición Universitaria otorgados
por la UNE.

Números publicados
58. Investigación cualitativa en salud
 Juan Zarco Colón, Milagros Ramasco Gutiérrez,
Azucena Pedraz Marcos, Ana María Palmar Santos
57. Análisis sociológico con documentos personales
M.ª José Rodríguez Jaume y José Ignacio Garrigós
56. Análisis Cualitativo Comparado (QCA)
Iván Medina, Pablo José Castillo Ortiz, Priscilla Álamos-
Concha y Benoît Rihoux
55. Análisis on line del Banco de Datos del CIS
Jesús Bouso Freijo
54. Análisis discriminante
M.ª Ángeles Cea D'Ancona
53. Simulación basada en agentes. Introducción a NetLogo
José Ignacio García-Valdecasas
52. Investigación Cualitativa Longitudinal
Jordi Caïs, Laia Folguera y Climent Formoso
51. Indicadores de partidos y sistemas de partidos
Leticia M. Ruiz Rodríguez y Patricia Otero Felipe
50. Representación espacial y mapas
Rodrigo Rodrigues-Silveira
49. Introducción al análisis multinivel
Héctor Cebolla Boado
48. El paquete estadístico R
Jesús Bouso Freijo
47. Análisis de contenido de textos políticos.
Un enfoque cuantitativo
Sonia Alonso, Andrea Volkens y Braulio Gómez
46. Análisis de datos incompletos en ciencias sociales
Gonzalo Rivero Rodríguez
45. Análisis de datos con Stata
Modesto Escobar Mercado, Enrique Fernández Macías
y Fabrizio Bernardi
44. La investigación sobre el uso del tiempo
M.ª Ángeles Durán y Jesús Rogero
43. Análisis sociológico del sistema de discursos
Fernando Conde Gutiérrez del Álamo
42. Encuesta deliberativa
María Cuesta, Joan Font, Ernesto Ganuza, Braulio Gómez
y Sara Pasadas
41. Dinámica del grupo de discusión
Jesús Gutiérrez Brito
40. Evolución de la Teoría Fundamentada como técnica
de análisis cualitativo
Jaime Andréu Abela, Antonio García-Nieto
y Ana M.ª Pérez Corbacho
39. El análisis de segmentación: técnicas y aplicaciones de
los árboles de clasificación
Modesto Escobar Mercado
38. Análisis de la Historia de Acontecimientos
Fabrizio Bernardi
37. Teoría Fundamentada Grounded Theory: El desarrollo
de teoría desde la generalización conceptual
Virginia Carrero Planes, Rosa M.ª Soriano Miras y Antonio
Trinidad Requena
36. Manual de trabajo de campo en la encuesta
Vidal Díaz de Rada
35. La encuesta: una perspectiva general metodológica
Francisco Alvira Martín
34. Teoría de juegos
Ignacio Sánchez-Cuenca
Vidal Díaz de Rada Igúzquiza es doctor en Sociología y Ciencias políticas por la
Universidad de Deusto y licenciado en Investigación y Técnicas de Mercado. Es profesor
en el Departamento de Sociología de la Universidad Pública de Navarra y miembro de
I-COMMUNITAS. Sus áreas de investigación son la sociología del consumo y el diseño y
análisis de encuestas para el conocimiento de la realidad social.

Juan Antonio Domínguez Álvarez es licenciado en Investigación y Técnicas de Mercado


y diplomado en Estadística por la Universidad de Sevilla. Desde 2003 trabaja como técnico
estadístico en el Instituto de Estudios Sociales Avanzados (IESA-CSIC). Es experto en la
programación y el desarrollo de aplicaciones para la investigación social, entre las que
destaca la plataforma para la gestión del Panel Ciudadano para la Investigación Social en
Andalucía (PACIS). Ha publicado varios trabajos sobre encuestas web y modos mixtos de
administración de encuestas.

Sara Pasadas del Amo es doctora en Sociología por la Universidad Pública de Navarra.
Investiga sobre metodología de encuestas y participación política en el IESA-CSIC, donde
ha sido coordinadora de la Unidad Técnica de Estudios Aplicados entre 2009 y 2017. Sus
intereses de investigación se centran en la mejora de las técnicas y procedimientos de
encuesta y su adaptación al nuevo contexto social y tecnológico, temas sobre los que ha
publicado diversos trabajos.

ISBN 978-84-7476-807-7

GOBIERNO MINISTERIO
CIS
Centro de
DE ESPAÑA DE LA PRESIDENCIA Investigaciones
Sociológicas

También podría gustarte