Las Encuestas Agotan

Machine Translated by Google
SERIE DE DOCUMENTOS DE TRABAJO DEL NBER
¿EXHAUSTIVO O AGOTADOR?
EVIDENCIA SOBRE LA FATIGA DEL ENCUESTADO EN
ENCUESTAS LARGAS
Dahyeon Jeong
Shilpa Aggarwal
jonathan robinson
Naresh Kumar
Alan Spearot
Parque David Sungho
Documento de Trabajo 30439

http://www.nber.org/papers/w30439
OFICINA NACIONAL DE INVESTIGACIÓN ECONÓMICA

1050 Avenida Massachusetts
Cambridge, MA 02138
Septiembre 2022
Agradecemos a USAID por el financiamiento. Agradecemos a Jenny Aker su colaboración y a Sanjana

Gupta por su excelente asistencia en la investigación. Por organizar la recopilación de datos, agradecemos a Joseph
Davis, Arja Dayal, Wilson Dorleleay, Walker Higgins, Andreas Holzinger, Erik Jorgensen, Teresa Martens, Laura McCargo
y Camelia Vasilov de IPA Liberia, y a Patrick Baxter, Emanuele Clemente, Calvin Mhango y Monica Shandal. , Patrick
Simbewe y Asman Suleiman de IPA Malawi. Estamos sumamente agradecidos a todos los encuestadores que recopilaron
estos datos en ambos países, aunque son demasiados para enumerarlos individualmente. Agradecemos a los
participantes del seminario en UCSC y la Conferencia de Métodos IPAGPRL por sus útiles comentarios. Los hallazgos,
interpretaciones y conclusiones expresados en este documento son enteramente de los autores y no necesariamente
representan los puntos de vista de USAID, el Banco Mundial y sus organizaciones afiliadas, o los de los Directores
Ejecutivos del Banco Mundial o los gobiernos que representan. . Las opiniones expresadas aquí son las de los autores y
no reflejan necesariamente las opiniones de la Oficina Nacional de Investigación Económica.
Los documentos de trabajo de la NBER se distribuyen con fines de discusión y comentarios. No han sido revisados por
pares ni han estado sujetos a la revisión de la Junta Directiva del NBER que acompaña a las publicaciones oficiales del
NBER.
© 2022 por Dahyeon Jeong, Shilpa Aggarwal, Jonathan Robinson, Naresh Kumar, Alan Spearot y David Sungho Park.
Reservados todos los derechos. Se pueden citar secciones cortas de texto, que no excedan dos párrafos, sin permiso
explícito, siempre que se dé el crédito completo, incluido el aviso ©, a la fuente.
¿Exhaustivo o agotador? Evidencia sobre la fatiga de los encuestados en encuestas largas

Dahyeon Jeong, Shilpa Aggarwal, Jonathan Robinson, Naresh Kumar, Alan Spearot y David Sungho Park
Documento de
trabajo NBER No. 30439 Septiembre de
2022 JEL No.
C83,C93,O12
ABSTRACTO
Las encuestas de medición del nivel de vida requieren una atención sostenida durante varias horas. Cuantificamos la
fatiga de las encuestas aleatorizando el orden de las preguntas en encuestas personales de 2 a 3 horas de duración.
Una hora adicional de encuesta aumenta la probabilidad de que un encuestado se salte una pregunta entre un 10% y
un 64%. Debido a que las omisiones son más comunes, el valor monetario total de categorías agregadas como activos
o gastos disminuye a medida que avanza la encuesta, y este efecto es considerable para algunas categorías: por
ejemplo, una hora extra de tiempo de encuesta reduce el gasto en alimentos en un 25%. Encontramos tamaños de
efecto similares en las encuestas telefónicas en las que los encuestados ya estaban familiarizados con las preguntas,
lo que sugiere que la carga cognitiva puede ser un factor clave de la fatiga de la encuesta.
Dahyeon Jeong Naresh Kumar

Banco Mundial Universidad de California, Santa Cruz
dahyeonjeong@worldbank.org nkumar5@ucsc.edu
Shilpa Aggarwal Alan Spearot

Escuela India de Negocios Universidad de California, Santa Cruz Santa
Gachibowli, Hyderabad 500032 India Cruz, CA 95064
acspearot@gmail.com
shilpa_aggarwal@isb.edu
David Sungho Park KDI
Jonathan Robinson Escuela de Políticas y Gestión Pública 263 Namsejong
Departamento de Economía ro Sejong 30149 Corea del Sur
Universidad de California, Santa Cruz 457 park@kdis.ac.kr
Ingeniería 2 Santa
Cruz, CA 95064 y NBER
jmrtwo@ucsc.edu
1. Introducción
Muchas de las encuestas que se administran en economía del desarrollo o por organismos multilaterales
agencias como el Banco Mundial para medir la pobreza o como parte de evaluaciones son largas y
complicados y requieren la atención sostenida del encuestado durante varias horas. Para cualquier
investigador que ha observado una encuesta de este tipo, está claro que algunos encuestados se desconectan
La encuesta se prolonga porque están exhaustos, aburridos o porque su atención se distrae. Como
Como resultado, la calidad de la respuesta durante la última parte de una encuesta larga puede verse afectada, un fenómeno
conocido como fatiga de encuesta.
Si bien la fatiga en las encuestas está bien documentada en la literatura,1 hasta hace poco ha habido
comparativamente poca investigación para cuantificar rigurosamente sus efectos. En este documento, proporcionamos
dicha cuantificación aleatorizando el orden en que aparecen los módulos en una encuesta larga,
generando una variación exógena en el tiempo transcurrido desde la encuesta cuando se formuló una pregunta en particular.
Este orden aleatorio de preguntas nos permite comparar respuestas a la misma pregunta cuando
se pregunta antes en la encuesta versus cuando se pregunta más tarde, y cuantificar la divergencia
en respuestas. Llevamos a cabo este experimento dentro de encuestas administradas al inicio y
Línea final para una evaluación aleatoria de las transferencias de efectivo en las zonas rurales de Liberia y Malawi (Aggarwal
et al. 2022). Estas encuestas fueron largas, con un promedio de aproximadamente 2,5 horas, y el experimento
la aleatorización indujo una variación significativa en el tiempo que llevó llegar a una pregunta específica:
el tiempo promedio para responder a una pregunta específica cambió hasta en unos 30 minutos
como resultado de la aleatorización.
Tenemos dos hallazgos principales. En primer lugar, y en coherencia con otros trabajos, encontramos evidencia clara
de fatiga de la encuesta. Estimamos la fatiga de la encuesta por separado para dos formas de hacer preguntas.
El primero es un método "abierto" que utilizamos para las preguntas en las que no hay
código superior o conjunto de opciones preenumerado. Por ejemplo, para las transferencias otorgadas, los encuestados fueron
Se le pidió que proporcionara el número de transferencias que dieron, y podría enumerar tantas o tan pocas.
como querían. Para tales preguntas, encontramos que cada hora adicional de encuesta causa un
1Por ejemplo, la fatiga de la encuesta tiene su propia entrada en la Enciclopedia de métodos de investigación de encuestas.
1
Disminución del 26 al 64 % en el número de artículos enumerados. El segundo método, o método de “lista fija”, es
uno en el que la lista de elementos estaba precodificada. Por ejemplo, en la sección de gastos en alimentos,
Generamos una lista de alrededor de 35 alimentos y preguntamos sobre cada uno de ellos por separado.
La fatiga de la encuesta podría reducirse con este método, si el listado sirve como ayuda para la memoria para
aquellos que necesitan ayuda recuerdan más adelante en la encuesta cuando comienzan a cansarse. Sin embargo, nos
Todavía observamos fatiga en la encuesta en este método, aunque mucho menos que en el método anterior: por
cada hora adicional, los encuestados tienen entre un 10% y un 19% más de probabilidades de no informar ningún valor para un
artículo dado. Si bien la fatiga de las encuestas parece menos frecuente cuando se utiliza el método de lista fija,
no podemos atribuir esto definitivamente al tipo de pregunta, ya que el método no es aleatorio
– también es posible que estas categorías estén menos sujetas a la fatiga de las encuestas.
En segundo lugar, cuantificamos en qué medida esta omisión reduce el valor del agregado
categorías como el valor total de las transferencias o los gastos. Para cualquier pregunta omitida,
el valor de esa categoría se establecería en cero de forma predeterminada, por lo que esperaríamos que la encuesta
fatiga a valores agregados más bajos. Este efecto podría ser modesto si las categorías que se
Los omitidos tienden a ser más marginales. Sin embargo, los efectos que encontramos son considerables: por ejemplo,
Una hora adicional de tiempo de encuesta reduce el valor del gasto en alimentos en un 25% y tiene
efectos aún mayores (en términos porcentuales) en categorías más pequeñas (como las transferencias).
Este artículo contribuye a una literatura reciente que evalúa experimentalmente el efecto de
tiempo de encuesta sobre la fatiga de la encuesta. Laajaj y Macours (2021) aleatorizan el orden de las variables cognitivas,
preguntas técnicas y no cognitivas en una muestra de agricultores en el oeste de Kenia pero, a diferencia
nosotros, no encontramos ningún efecto del tiempo de la encuesta en los informes. Se realizaron otros dos experimentos.
simultáneamente a este estudio, y encontramos resultados similares a los nuestros. Ambler y cols. (2021)
aleatorizar el orden de un módulo de oferta de mano de obra doméstica, donde se hacen preguntas sobre
la oferta de trabajo de cada miembro del hogar, sino el orden en que los miembros del hogar
se enumeran fue aleatorizado. Los autores encuentran una reducción del 2% en el número de actividades
Se informa cuando un miembro del hogar retrocede una posición en la lista del hogar.
Abay et al. (2021) emplean una metodología similar a la nuestra, en la que los autores aleatorizan
2
la colocación de un módulo de diversidad dietética dentro de una encuesta telefónica en Etiopía. Como nosotros, ellos
encontrar grandes efectos: un aumento de 15 minutos en el tiempo de la encuesta antes del módulo conduce a un 817%
disminución en la diversidad dietética reportada.2 Finalmente, en un diseño similar pero diferente y diferentes
contexto, Backor et al. (2007) realizan una encuesta sobre el uso del tiempo basada en la web en los EE. UU. en la que un
Se incluye una pregunta adicional en orden aleatorio, lo que crea una variación en la cantidad de horas que tuvo.
Ya se nos ha preguntado cuándo apareció una pregunta en particular en la encuesta. Similar a
En estos otros artículos, los autores encuentran que una hora adicional reduce el número de actividades.
reportado en cada hora subsiguiente en 5 puntos porcentuales.
Si bien nuestro experimento no fue diseñado para explorar por qué ocurre la fatiga en las encuestas, nuestros datos
ofrece algunas pruebas sugerentes. Investigaciones anteriores sugieren que la fatiga de las encuestas puede deberse
por personas que eligen deliberadamente no responder preguntas para acelerar el final de la
encuesta, o si las personas se vuelven más propensas a cometer errores sin darse cuenta a medida que se cansan.
Algunos investigadores también han conjeturado que, con el tiempo, los encuestados aprenden que responder
“no” a una pregunta a menudo invoca un “código de omisión” que les permitirá omitir una serie de preguntas.
preguntas de seguimiento. Este comportamiento, conocido como "satisfactorio", ha sido documentado en una encuesta.
entornos (Krosnick 1991). Disponemos de dos pruebas sobre este punto. Primero, además de nuestro
encuestas iniciales y finales en persona, también asignamos al azar el orden de los módulos dentro
Encuestas telefónicas que realizamos con un subconjunto de encuestados repetidamente cada 2 meses.
Estas encuestas tardaron entre 30 y 40 minutos en completarse. Solo introdujimos el orden de las preguntas.
aleatorización en las encuestas telefónicas más de un año después de haber comenzado las encuestas telefónicas,
cuando cada encuestado ya había respondido varias rondas de la encuesta telefónica. Por lo tanto,
En el momento del experimento de la encuesta telefónica, esperaríamos que los encuestados ya estuvieran
familiarizado con la estructura de las encuestas, incluida la mecánica de los patrones de salto, a lo largo del tiempo
a medida que pasan por múltiples rondas de la encuesta. Si los encuestados estuvieran satisfechos,
responder menos preguntas desde el principio durante las rondas posteriores de las encuestas telefónicas, y
2Otro artículo relacionado es el de Kilic y Sohnesen (2019), quienes encuentran que la incidencia de la pobreza difiere
cuando se mide en una encuesta corta o larga en Malawi. Sin embargo, en su caso, dado que todos respondieron la misma
encuesta larga o la misma encuesta corta, no es posible separar los efectos de la duración de la encuesta de los del orden
de las preguntas, es decir, cuando sus respuestas se ven afectadas por una pregunta precedida por otra. pregunta (ver aquí).
3
no habría evidencia de fatiga en la encuesta experimental dentro de una ronda de encuesta. Sin embargo,
encontramos evidencia de fatiga de encuesta similar a nuestras encuestas de referencia y final, lo que sugiere
que este comportamiento probablemente esté impulsado por una carga cognitiva a medida que avanza la encuesta. Sobre el
Por otro lado, encontramos cierta evidencia de que la satisfacción también puede estar en juego. cuando examinamos
fatiga de encuestas por tema, encontramos efectos tanto para elementos más como para menos memorables; mientras
Si los problemas de recuperación fueran el único canal, esperaríamos efectos de fatiga más fuertes para más
categorías fácilmente olvidables (como detalles de gastos, a diferencia de bienes duraderos o
propiedad de ganado). Por lo tanto, nuestra evidencia sugiere que ambos canales pueden estar en juego, aunque
Dejamos un análisis más definitivo para trabajos futuros.
Finalmente, dado que nuestro experimento de encuesta se superpone a otro estudio experimental
(de las transferencias de efectivo), intentamos examinar si la fatiga de las encuestas reduce sistemáticamente
los efectos medidos del tratamiento de la intervención primaria. Nuestra hipótesis es que la
Los efectos medidos del tratamiento probablemente se atenuarán en presencia de fatiga si uno de los
los brazos de tratamiento tienen sistemáticamente más que informar, por ejemplo, en Aggarwal et al. (2022),
el brazo de tratamiento de transferencias de efectivo informa tener más activos. Encontramos evidencia mixta de la
atenuación hipotética, que en última instancia no es del todo concluyente ya que no estamos lo suficientemente
impulsado para este análisis. Dejamos esta cuestión para futuras investigaciones.
El resto de este artículo procede de la siguiente manera. La sección 2 explica los datos y experimentos.
diseño, la Sección 3 presenta los resultados y la Sección 4 concluye.
2 Datos y diseño experimental
2.1 Configuración
Utilizamos datos de encuestas iniciales y finales realizadas como parte de un ECA sobre transferencias de efectivo.
con la ONG GiveDirectly en Liberia y Malawi. En el experimento, el grupo de tratamiento
recibieron transferencias de efectivo a través de dinero móvil. El monto promedio de la transferencia fue de $500;
sin embargo, la cantidad y otros detalles de implementación se variaron experimentalmente; consulte nuestra
4
registro de ensayos en el sitio web de la AEA (Aggarwal et al. 2020) y el artículo que describe los principales
resultados experimentales (Aggarwal et al. 2022) para obtener más detalles sobre el diseño del subyacente
experimento.3
En cada país, el proyecto se llevó a cabo en zonas rurales, con una focalización universal en el tratamiento.
aldeas de tratamiento (es decir, todos los hogares en las aldeas de tratamiento recibieron transferencias). Por esta razón,
la asignación total a una aldea depende de su tamaño; Para garantizar la liquidez, la ONG decidió
Sólo se incluyen las aldeas que eran pequeñas. Operativamente, establecemos un umbral de población basado
según el censo de población más reciente.4 En Liberia, el estudio se lleva a cabo en Bong y Nimba
Condados; en Malawi, se lleva a cabo en los distritos de Chiradzulu y Machinga. En cada país,
En el proyecto participaron 300 aldeas y la mitad de ellas fueron seleccionadas para recibir tratamiento.
En cada aldea, intentamos inscribir a 10 hogares en la muestra de la encuesta.5 Elegimos
El estudio se centró en las mujeres, aunque se formularon muchas preguntas a nivel del hogar. Masculino
Los jefes fueron entrevistados sólo cuando la mujer no estaba presente y no sería posible localizarlos.
dentro de unos días; En última instancia, nuestra muestra estaba compuesta por un 76% de mujeres en Liberia y un 94% en Malawi.
Dos de los 10 hogares muestreados en cada aldea fueron muestreados al azar para
participar en una encuesta de panel mensual que se realizó por teléfono y fue diseñada
para medir un conjunto predefinido de resultados con alta frecuencia. Si bien el foco principal de
estas encuestas tenían como objetivo medir la seguridad alimentaria, también incluían preguntas sobre ingresos,
oferta, transferencias, ahorro y crédito. Diseñamos estas encuestas de manera que cada hogar
se llamaba cada dos meses, pero los 2 hogares de cada aldea alternaban meses, como
que cada pueblo proporcionara un punto de datos cada mes. Las encuestas telefónicas tardaron entre 30 y 40
minutos para completar.
3
En ambos países, el tamaño de la transferencia varió entre $250, $500 y $750. Además, en Liberia, el efectivo se
desembolsó en forma de “suma global” o mediante pagos trimestrales. Sin embargo, incluso la suma global se
desembolsó en incrementos de $250 por mes, de modo que el efectivo se pagó durante 3 meses para la transferencia más grande.
4
En Malawi, el umbral superior era de 100 hogares por aldea según el censo nacional de 2008. En Liberia llevamos a
cabo el experimento en dos cohortes; la primera cohorte incluyó aldeas que tenían hasta 25 hogares en el censo
nacional de 2008, y el umbral para la segunda cohorte fue 125, lo que refleja el mayor tamaño de las aldeas en la
región de estudio.
5
No siempre fue posible inscribir a 10 hogares por aldea. El tamaño total de la muestra es de 2.715 en Liberia y 2.944
en Malawi.
5
La Figura A1 muestra el cronograma de las actividades del proyecto.
2.2 Aleatorización del orden de las preguntas
Este experimento se lleva a cabo dentro de encuestas de referencia y finales que son similares a las
Las encuestas LSMS del Banco Mundial tardan unas 2,5 horas en completarse en promedio. las encuestas
Contiene 19 secciones independientes, que incluyen datos demográficos del hogar, agricultura, ingresos,
gastos, ahorros, activos, oferta laboral, shocks y otros temas. Mostramos la lista completa
de secciones en la Figura 1.
Figura 1: Secciones en encuestas presenciales
Configuración, Consentimiento, Identificación (~13')
HH Demografía (~14')
Agricultura (~50')
Módulos ordenados aleatoriamente
Módulo 1 (~23') Módulo 2 (~22') Módulo 3 (~22')
Activos (~5') Ayuda (~2')
Seguridad alimentaria (~8')

Ingreso y oferta laboral (~2')
Choques y resiliencia (~7')
Dinero móvil (~1')

Transporte (~5')
Ahorros (~1') Alimentos y no alimentos
Gastos (~9') Bienes públicos
Crédito (~1')
Contribuciones (~1')
Transferencias (~2')
psicosocial
Salud (~5')
Preferencias de tiempo (~11') Bienestar (~7')
IPV (~7')
Seguimiento de encuestados (~3')
Nota: La duración aproximada de cada sección (en minutos) se indica entre paréntesis. En rojo están las
secciones cuyas preguntas de la encuesta son relevantes para el análisis en este documento.
El comienzo de la encuesta (que incluía información de identificación del hogar, datos demo
gráficos y agricultura) y el final de la encuesta (que tenía una sección sobre pareja íntima
violencia, seguida de la recopilación de información de seguimiento del hogar) fueron los mismos en todos
6
Todas las versiones. Las secciones restantes se agruparon en 3 módulos, y el orden de estos 3
Los módulos fueron aleatorios, dándonos 6 versiones de la encuesta (a las que nos referimos como versiones
AF – ver Figura 2). El software de encuesta registra la cantidad de tiempo transcurrido (desde el inicio)
ning) en cada pregunta, permitiéndonos calcular el momento exacto en el que apareció una pregunta
en la encuesta.
Figura 2: Orden aleatorio de módulos en encuestas presenciales
Configuración, consentimiento, identificación
HH Demografía
Agricultura
Versión A Versión B Versión C Versión D Versión E Versión F

Módulo 1 Módulo 1 Módulo 2 Módulo 2 Módulo 3 Módulo 3
IPV
Seguimiento de encuestados
Nota: Al encuestado se le proporciona aleatoriamente una de las Versiones AF. Para cada versión, la configuración de la
encuesta, la demografía y la agricultura se encuentran al principio, mientras que la IPV y el seguimiento de los encuestados se
encuentran al final.
La cantidad de tiempo que lleva avanzar en la encuesta varía dependiendo de un número
número de factores, incluidas las características del encuestado y del encuestador, y los detalles de una
circunstancias del hogar. Por ejemplo, debido a que nuestra encuesta se centró en la agricultura, una
A un hogar que cultivaba múltiples cultivos se le harían una serie de preguntas sobre cada uno de ellos.
de ellos. La Tabla A1 muestra información sobre la duración promedio de la encuesta. La línea base y final
las encuestas lineales tardaron en promedio 2,3 y 2,7 horas respectivamente en Liberia; y 3 y 2,8 horas
7
respectivamente en Malawi. La desviación estándar en el tiempo de la encuesta es considerable, oscilando entre 0,7
a 1,1 horas. La Figura A2 muestra un CDF del tiempo hasta la finalización de diferentes puntos del
encuesta (utilizando la versión A de la encuesta únicamente) para ambos países y tanto para la línea de base como para la línea final
agrupados (es decir, para 4 combinaciones de encuestas de países). La figura muestra los CDF para diversas
cuantiles en la distribución del tiempo de la encuesta (es decir, en relación con completar la pregunta que
constituye el pésimo percentil de la distribución general del tiempo transcurrido hasta la finalización de la encuesta). El
Los CDF muestran que incluso después del 10% de la encuesta, la desviación estándar del tiempo ya ha superado
30 minutos y que para todos los percentiles hay encuestas que toman una gran cantidad de tiempo.
Por ejemplo, alrededor del 10% de las personas tardan más de 3 horas en llegar incluso a la mitad de la encuesta.
(Panel C).
Finalmente, aunque no es el enfoque principal de este artículo, también aleatorizamos el orden de la encuesta para
las últimas 2 o 3 rondas de la encuesta telefónica. Para hacer esto, aleatorizaron la ubicación de
que las secciones Gastos y Transferencias aparezcan al principio o al principio.
final de la encuesta, y el orden entre las dos secciones, generando 4 posibles permutaciones
(Figura A3). Volvemos a esta aleatorización en la sección de discusión, cuando discutimos
posibles explicaciones para la fatiga de la encuesta.
La Tabla 1 muestra el efecto de las versiones aleatorias de la encuesta sobre el tiempo hasta el cual
Se administró la primera pregunta de cada sección. Las medias y desviaciones estándar informadas.
al final de la tabla se encuentran los correspondientes a esa sección para la Versión A de la encuesta.
Como puede verse en esta tabla, la aleatorización del módulo introdujo una variación significativa
en el momento de la encuesta cuando comienza una sección. Por ejemplo, mirando la columna 1, podemos
Vea que la sección de Activos comenzó justo después del minuto 80 en promedio para aquellos que obtuvieron
Versión A de la encuesta. Sin embargo, el rango completo para cuando comenzó esta sección varía desde
Minuto 77 (versión B) al minuto 106 (versión F): una diferencia de alrededor de 30 minutos.
Se observa consistentemente un rango similar de diferencia en todas las secciones.
Utilizamos la versión de la encuesta que se utilizó para cada encuestado como instrumento para la
momento de la encuesta cuando se comenzó a formular un conjunto particular de preguntas a ese encuestado.
8
Si bien la validez de la aleatorización de módulos como instrumento es en gran medida intuitiva, también
Muestre esto formalmente: los estadísticos F de la primera etapa se encuentran al final de la Tabla 1 y varían desde 35
a casi 200.
Tabla 1: Variación experimental en el tiempo antes del cual se administraron las secciones
(1) (2) (3) (4) (5) (6) (7)

Tiempo de encuesta (minutos) al comienzo de la siguiente sección:
Módulo 1 Módulo 2 Módulo 3
Activos Ahorros Transferencias de crédito Gasto Impactos Contribuciones
Versión B 3,30*** 2,84** (1,36) 2,79** 2,63* 6,39*** 12,20*** 8,83***
(1.28) (1,36) (1,37) (1,37) (1,47) (1.50)

Versión C 19,21*** 17,71*** 17,54*** 17,67*** 16,83*** 4,74*** 3,24**
(1.27) (1.36) (1.36) (1.37) (1.36) (1,46) (1.50)

Versión D 23,96*** 22,52*** 22,24*** 22,35*** 18.00*** 16,52*** 5,45***
(1,27) (1,36) (1,36) 6,61*** 6,01*** (1,37) (1,36) (1,46) (1.50)

Versión E 5,67*** (1,35) 6,04*** 5,79*** 25,74*** 15,79***
(1.27) (1.36) (1,37) (1,36) (1,46) (1.50)

Versión F 26,06*** 24,56*** 24,01*** 24,07*** 8,38*** 27,57*** 14,49***
(1.28) (1.36) (1.36) (1.38) (1,37) (1,47) (1.50)
Versión A: media 80.01 93,47 93,89 95,61 109.39 125,53 134,72

Versión A: SD 38,78 40.34 40.26 40,87 44.23 47,39 49,78
Estadístico F: significancia conjunta 197,30 151,42 146,55 143,33 127,92 114.25 35.05
Número de encuestados 5.591 5.597 5.597 5.597 5.597 5.597 5.592

Observaciones 10.153 10.226 9.952 10.228 10.227 10.224 10.154
Nota: El grupo omitido es la Versión A. Las observaciones incluyen datos de encuestas iniciales y finales en persona. Regresiones
Incluir un efecto fijo de la encuesta (es decir, línea de base y línea final, para cada país por separado, además de diferenciar las Oleadas 1 y 2).
en Liberia). ***, ** y * representan significancia al 1%, 5% y 10%, respectivamente.
2.3 Características de los encuestados y verificación de aleatorización
El Cuadro 2 presenta estadísticas resumidas para varios indicadores demográficos básicos, así como
comparaciones entre grupos de tratamiento. Presentamos estas estadísticas sólo para aquellos indicadores.
que se preguntaron antes de que se iniciara la aleatorización del módulo, ya que las variables de la fase posterior
Las secciones estarían, por definición, desequilibradas según nuestra hipótesis central para este artículo. Nosotros
mostrar el equilibrio entre las versiones por separado para las encuestas de referencia y finales, pero agrupar
en los 2 países. Para cada encuesta (línea de base o final), mostramos la media y
9
desviación estándar (para variables no binarias) correspondiente a la versión A de la encuesta (elegida
arbitrariamente), seguido del valor p para la prueba conjunta de igualdad en las 6 versiones del
encuesta. El panel A muestra las características de los encuestados. Casi el 90% de la muestra es femenina,
tres cuartas partes están casadas y la edad promedio es de 41 años. El promedio de años de educación (para el
encuestado) es sólo 4,2, y el 57% está alfabetizado (estas 2 últimas variables se midieron al inicio del estudio).
solo).
Tabla 2: Estadísticas resumidas y verificación de aleatorización
Estudio de referencia Encuesta final
valor p: prueba valor p: prueba

Versión A Versión A
de igualdad de igualdad
(Media/DE) (Media/DE)
más de 6 versiones más de 6 versiones
Panel A. Características del encuestado

=1 si es mujer 0,87 0,188 0,89 0.308
=1 si actualmente está casada o tiene pareja Edad 0,76 0,970 0,74 0,188
40,50 0,661 40,95 0.388
(15,20) (14,31)
Años de educación 4,18 0.553
(3,75)
=1 si sabe leer/escribir en inglés 0,57 0,667
(0,50)
Panel B. Características del hogar

Número de miembros del hogar 4,77 0.436 4,98 0.744
(2,11) (2,16)
=1 si el hogar se dedicó a la agricultura el año pasado =1 si 0,96 0,786 0,90 0.803
tiene techo de paja =1 0,40 0,206 0,24 0.780
si tiene piso de barro/tierra 0,80 0,848 0,77 0,392
=1 si es propietario de la 0,77 0,844 0,77 0.840
vivienda =1 si tiene electricidad en la vivienda 0,02 0,280 0,02 0.523
Panel C. Grupos aleatorios cruzados

Grupo de tratamiento de efectivo 0,53 0,216 0,51 0.914
Grupo de encuesta telefónica 0,21 0,640 0,22 0.655
Observaciones 4.879 5.349
Nota: Las columnas 1 y 3 (Versión A) representan la media de control con la desviación estándar entre paréntesis. Columnas 2
y 4 presentan valores p de la prueba conjunta de igualdad de medias para las 6 versiones de la encuesta, AF.
El panel B muestra las características del hogar. En la línea de base, el hogar promedio tiene 4,8
miembros, y el 96% se dedicaban a la agricultura. Alrededor del 40% de la muestra vive en una casa con
un techo de paja y el 80% vive en una casa con piso de barro. Alrededor del 77% son propietarios de su vivienda y
10
sólo el 2% tiene electricidad. No podemos rechazar la igualdad entre tratamientos para todas estas variables.
Finalmente, el Panel C muestra los demás tratamientos experimentales. Se entregó dinero en efectivo al azar a
50% de las aldeas (y dado que tomamos una muestra de aproximadamente 10 hogares por aldea, se obtuvo, por
diseño, a aproximadamente el 50% de los encuestados). Las encuestas telefónicas se administraron a aproximadamente
20% de los encuestados. Como era de esperar, el experimento de la encuesta es ortogonal a ambos
tratamientos aleatorios cruzados.
3 resultados
3.1 Cuantificación de la fatiga de las encuestas
Comenzamos examinando los impactos del tiempo transcurrido desde la encuesta en el recuento de elementos o instancias.
informado en respuesta a las preguntas abiertas (preguntas descritas en la Figura A4). Hacer
Para ello ejecutamos la siguiente regresión:
Yics = βHoras + s + εics, (1)
Estas regresiones se ejecutan por separado para cada categoría de preguntas (específicamente, ROSCA,
VSLA, transferencias recibidas, transferencias enviadas y compras a crédito). Dentro de cada categoría, el
La unidad de observación está a nivel de encuesta de encuestado (es decir, hay 2 encuestas para la mayoría).
encuestados, línea de base y línea final, para cada país). En la regresión, Yics se refiere a la
recuento de elementos informados por el encuestado i dentro de la categoría c en la muestra de la encuesta de países
s, Hoursics denota el tiempo transcurrido en la encuesta (en horas) en el que se administra la categoría c
al encuestado i, instrumentado con el orden de módulo aleatorio (Versiones AF) que fue
enviado al encuestado, s representa efectos fijos de la encuesta (es decir, país, línea de base/línea final,
Ondas 1 y 2 en Liberia), y εics es el término de error.
En este análisis, no hay razón para esperar heterogeneidad en las respuestas basadas en los resultados.
– ex ante, esperamos resultados similares para cualquier categoría de preguntas. Por lo tanto, para disciplinar nuestra
11
análisis, presentamos resultados exhaustivamente para cada resultado relevante y ajustamos el estándar
errores para dar cuenta de una tasa de descubrimiento falso (FDR) utilizando el procedimiento de Anderson (2008).
Para cada resultado, presentamos solo los valores q de este procedimiento y la significación estadística.
se determina únicamente en función de los valores q obtenidos después de la corrección FDR.
Finalmente, tenga en cuenta que para facilitar la exposición, realizamos nuestros análisis e interpretamos los resultados.
en términos de retrasos de 1 hora en la encuesta. Sin embargo, puede resultar útil reducir ligeramente la escala
estos efectos ya que los retrasos reales en las encuestas que observamos son ligeramente más modestos, como se muestra
en la Tabla 1.
Presentamos estos resultados en la Tabla 3. Mostramos 5 resultados: el número de Ahorros Rotativos
y Asociaciones de Crédito (ROSCA) y Asociaciones de Ahorro y Préstamo Village (VSLA) que
el encuestado informó ser parte de la sección de ahorro; el número reportado de transferencias
recibido y entregado durante el último mes; y el número de compras a crédito durante el
el mes pasado.6 Cuatro de cada 5 de estos resultados son estadísticamente significativos al 10% (y 2
son significativos al 5%), incluso con el ajuste de FDR. Los tamaños del efecto son grandes: un extra
La hora reduce el número de artículos entre un 26% y un 64%. Debido a que estas encuestas duran en promedio 2,5 horas, esto
implica que la decisión de colocar una pregunta al principio y no al final de la
La encuesta puede tener un gran efecto.
6Tanto para transferencias como para compras de crédito, algunas versiones anteriores de la encuesta incluían preguntas que
recordaban los últimos 3 meses. Posteriormente, para el análisis de valores agregados, los valores monetarios recopilados de
estas versiones se dividen por 3, comparables a los valores del mes anterior.
12
Tabla 3: Tiempo de la encuesta y número de ítems reportados (preguntas “abiertas”)
(1) (4) (5) (2) (3)

Número de artículos distintos reportados para lo siguiente:
Transferencias Transferencias Crédito

ROSCA VSLA
recibió dado compras
Horas de encuesta 0.002 0,058** 0,074* 0,209*** 0,095*
[0,613] [0,042] [0,081] [0,001] [0,081]
Variable dependiente: Media 0,056 Horas de 0.205 0.275 0.328 0.366
encuesta: Media de horas de 1.9 1.9 1.9 1.9 1.9
encuesta: DE Número de 1.0 1.0 1.0 1.0 1.0
encuestados 5.596 5.597 5.596 5.594 5.597

Observaciones 10.225 10.224 10.223 10.215 10,228
Nota: Hay 1 observación por encuestado por encuesta. Se agrupan las encuestas iniciales y finales
en cada país, por lo que para la mayoría de los individuos hay 2 observaciones. Informamos estimaciones TOT,
donde el tiempo transcurrido en la encuesta (en horas) se instrumenta con el orden del módulo aleatorio
(Versiones AF). Las regresiones incluyen un efecto fijo de la encuesta (es decir, línea de base y línea final, para cada
país por separado, así como diferenciar la Oleada 1 y 2 en Liberia). Consulte la Tabla B1 para obtener resultados.
por país y en el Cuadro C1 los resultados por tipo de encuesta (línea de base/línea final). ***, ** y * representan
significancia del 1%, 5% y 10%, respectivamente, según la tasa de descubrimiento falso (FDR) mejorada
Valores q entre paréntesis.
A continuación, investigamos los impactos del tiempo transcurrido de la encuesta en la elección de un elemento en las preguntas.
preguntas a través del método de lista fija (preguntas descritas en la Figura A5). Recordemos que nuestra hipótesis
es que revisar una lista preestablecida de elementos puede servir como ayuda para la memoria (por ejemplo,
Puede ser más fácil de recordar si el encuestador pregunta al encuestado si su hogar
consumió, digamos, plátanos en la última semana de lo que sería recordar si el encuestador le pregunta
para enumerar todos los artículos que el hogar consumió la semana pasada). ejecutamos lo siguiente
regresión:
Yicsj = βHoras + s + εicsj , (2)
La principal diferencia de este enfoque es que, para cada categoría, hay varios elementos
donde Yiscj es un indicador binario de si el encuestado i en las muestras de la encuesta respondió “sí”
a haber consumido/comprado/experimentado el artículo j en la categoría c de la encuesta, Horas transcurridas
tiempo en la encuesta (en horas) al comienzo de la categoría c, instrumentada con el método aleatorio
13
orden del módulo (Versiones AF), efectos fijos de la encuesta s (es decir, país, línea de base/línea final, ondas
1 y 2 en Liberia), y εiscj el término de error. Como antes, ajustamos los errores estándar para
pruebas múltiples e informar solo los valores q corregidos por FDR en nuestras tablas.
El Cuadro 4 presenta este análisis para un conjunto de 9 categorías: ganado, herramientas agrícolas, bienes duraderos,
ahorros, préstamos, gastos en alimentos, gastos en bienes no duraderos, crisis en los hogares y gastos públicos.
aportes de bienes. Tenga en cuenta que estas regresiones son a nivel de categoríaítem, al igual que
mucho mejor potenciado que el conjunto anterior de resultados de regresión: encontramos que 4 de 9 resultados
son significativos al 5% (e incluso de los que no son significativos, casi todos tienen signo negativo).7 Como
Como planteamos la hipótesis, los tamaños del efecto se miden de manera más moderada que para las preguntas "abiertas".
ciones, que oscilan entre el 10% y el 19% para los resultados estadísticamente significativos. Sin embargo, la encuesta
La fatiga también es claramente evidente aquí.8
7Ver Apéndice B y Apéndice C para conocer la heterogeneidad de estos resultados por país y por tipo de encuesta (línea de base o final).
8 Sin embargo, tenga en cuenta que tanto en el Cuadro 3 como en el Cuadro 4, los tamaños del efecto en términos porcentuales están
ligeramente sobreestimados debido al hecho de que las medias de la variable dependiente se calculan en todas las versiones y, por lo tanto,
están deprimidas debido a los efectos de la duración de la encuesta. Sin embargo, los efectos son lo suficientemente grandes en un sentido
absoluto como para ser económicamente significativos.
14
Tabla 4: Tiempo de la encuesta y probabilidad de reportar un ítem (preguntas de “lista fija”)
(1) (2) (3) (4) (5) (6) (7) =1 si se selecciona el elemento (no (8) (9)
se omite):
Granja Alimento No Público

Ganado Préstamos de ahorro duraderos Choques
herramientas
gastar bienes de consumo duradero
bienes
Horas de encuesta 0,007* 0,004 0,001 0,002 0,000 0,025*** 0,038*** 0,025*** 0,002
[0,081] [0,236] [0,613] [0,555] [0,613] [0.001] [0.001] [0,001] [0,613]
Variable dependiente: Media 0,072 Horas 0,154 0,176 0,060 0,020 0.203 0.249 0.130 0.050
de inicio de la encuesta: Media 1.7 1.7 1.8 1.9 1.9 1.9 1.9 2.0 2.0
de horas de inicio de la 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.2
encuesta: SD Número de ítems: Liberia 11 21 20 12 14 37 11 dieciséis 9
Número de artículos: Malaui 15 20 22 11 14 35 11 17 9
Número de encuestados 5.594 5.594 5.594 5.597 5.597 5.597 5.597 5.349 5.597
Observaciones 134.831 208.281 212.373 114.045 138.711 366.947 112.497 166.524 48.141
Nota: Cada columna representa una categoría diferente de preguntas de la encuesta. Cada categoría incluye múltiples
artículos (por ejemplo, el ganado incluye 11 tipos de animales). Reportamos estimaciones de TOT, donde transcurrió el tiempo en la encuesta.
(en horas) está instrumentado con el orden aleatorio de los módulos (Versiones AF). Las regresiones incluyen una encuesta.
efecto fijo (es decir, línea de base y línea final, para cada país por separado, además de diferenciar las ondas 1 y 2 en
Liberia). Consulte la Tabla B2 para ver los resultados por país y la Tabla C2 para ver los resultados por tipo de encuesta (línea de base/línea final). ***,
** y * representan una significancia del 1%, 5% y 10%, respectivamente, según la tasa de descubrimiento falso (FDR)
valores q afilados entre paréntesis
Una ventaja que nuestros datos proporcionan sobre el resto de la literatura sobre este tema.
es que tenemos observaciones repetidas de la misma persona ya que nuestras encuestas telefónicas son un panel,
e incluso nuestras mediciones en persona se tomaron dos veces, al inicio y al final (excepto
para Liberia Wave 1, para el cual el experimento de orden de encuesta se introdujo solo para la línea final
encuestas). Podemos utilizar estas mediciones repetidas en una configuración de efectos fijos para controlar todos
rasgos específicos individuales que pueden afectar las respuestas de la encuesta. Los mostramos en el Apéndice D.
para nuestras encuestas telefónicas así como para las encuestas en persona. No encontramos diferencias significativas en
estas tablas en relación con las regresiones sin efectos fijos.
Finalmente, planteamos la hipótesis de que la fatiga de las encuestas puede no evolucionar linealmente, sino que,
puede haber un punto de inflexión más allá del cual hay un cambio en la pendiente. investigamos
esto en el Apéndice E, donde, para los resultados que muestran efectos significativos de la fatiga en
En las Tablas 3 y 4 , mostramos un diagrama de dispersión y un ajuste no lineal a través de estos puntos de dispersión.
15
La evidencia varía dependiendo del resultado en cuestión, aunque la dispersión subyacente
Los puntos sugieren que un ajuste lineal proporciona una buena aproximación del comportamiento de los encuestados.
Sin embargo, observamos que nuestro rango de horas de encuesta comienza solo a las 1,5 horas (o más)
ya que las secciones iniciales fueron fijadas para todos los encuestados. Es posible, por tanto, que no
Es posible que las linealidades se hayan establecido antes de esa fecha. Como resultado, dejamos una investigación más completa de no lineal.
efectos de la fatiga para futuras investigaciones.
3.2 Efecto de la fatiga de la encuesta sobre los valores agregados
La sección anterior implica que los valores agregados de categorías como gastos o transferencias
Las transferencias se verán atenuadas por la fatiga de la encuesta; En esta sección cuantificamos esta atenuación. Nosotros
Ejecute regresiones idénticas a la ecuación (1), excepto que la variable dependiente ahora está en dólares.
cantidades, en lugar de recuentos; Además, se muestran resultados tanto para el modelo abierto como para el modelo fijo.
enumerar preguntas.
Los resultados se muestran en la Tabla 5. Encontramos que la gran mayoría (9 de 11) de las estimaciones puntuales
son negativos, más de la mitad de los cuales (5) son significativos en términos estadísticos convencionales.
niveles de eficacia a pesar de haber sido corregidos para múltiples pruebas de hipótesis. Además, 2 de los
Los coeficientes (los de herramientas agrícolas y bienes públicos) son marginalmente significativos (17%) y
13% respectivamente. Además, los tamaños del efecto son económicamente significativos. Centrándose en sólo
los efectos estadísticamente significativos, las magnitudes de los coeficientes oscilan entre el 25% de la media
(para gastos en alimentos) al 86% (para transferencias otorgadas).
En algunos casos, los tamaños del efecto de los valores monetarios informados (como se muestra en la Tabla 5) son mucho más
mayores en términos porcentuales que los de los recuentos que se recopilaron a través del cuestionario abierto
y las preguntas de lista fija en la Tabla 3 y Tabla 4, respectivamente. Esto es especialmente cierto para
algunas de las categorías pequeñas, como los traslados dados, donde una hora extra reduce el valor
en $0,59, sobre una base de sólo $0,69, o 86%, mientras que el efecto de una hora en el conteo en la Tabla 3
es una reducción de 0,21 transferencias sobre una base de 0,33 (o 64%). Pero incluso para una categoría más grande
Al igual que los alimentos, la disminución porcentual en el valor es del 25%, en comparación con el 12% que se omite en el Cuadro 4. Uno
dieciséis
Una posible explicación es que la fatiga hace que los encuestados informen valores más bajos (porque el
las preguntas de valor vienen después de los conteos). Esto es consistente con estudios como el de Brzozowski .
et al. (2017), quienes muestran que los errores de recuerdo en las encuestas tienden a no ser de media cero, pero están en
hecho, se correlaciona negativamente con el comportamiento verdadero; es decir, cuando los encuestados cometen errores,
tienden a exagerar los valores bajos y subestimar los valores altos.
Cuadro 5: Tiempo de la encuesta y valor monetario total informado de las categorías agregadas
(1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11)
Valor total de los artículos reportados para lo siguiente:
Granja Alimento No Público Transferencias Transferencias Crédito

Ganado Préstamos de ahorro para bienes duraderos
Herramientas Gastar bienes de consumo duradero
bienes recibió dado compras
Horas de encuesta 13.47 1,32 4.68 1,47 0,73 4,12*** 2,52*** 0,10 0,51** 0,59*** 0,65***
[0,344] [0,172] [0,344] [0,367] [0,344] [0,001] [0.001] [0,130] [0.011] [0.001] [0.002]
Variable dependiente: Media 95,78 10.48 58.11 15,52 6.40 16.22 7,93 0,14 0,95 0,69 0,81
Horas de encuesta: media 1.7 1.6 1.8 1.9 1.9 1.9 2.0 2.1 1.9 1.9 1.9
Horas de encuesta: SD 1.0 1.3 1.0 1.0 1.0 1.3 1.3 1.6 1.0 1.0 1.0
Número de encuestados 5.594 5.349 5.594 5.597 5.597 5.597 5.597 5.349 5.597 5.597 5.597
Observaciones 10.189 5.349 10.189 10.226 9.952 10.227 10,227 5.349 10,228 10,228 10,228
Nota: Todos los valores en USD. Hay 1 observación por encuestado por encuesta. Las encuestas de referencia y finales se agrupan en cada país, por lo que, por ejemplo,
en la mayoría de los individuos hay 2 observaciones. Se informan estimaciones de TOT, donde el tiempo transcurrido en la encuesta (en horas) se instrumenta con el
Orden de módulo aleatorio (Versiones AF). Las regresiones incluyen un efecto fijo de la encuesta (es decir, línea de base y línea final, para cada país por separado, como
así como diferenciar la Ola 1 y 2 en Liberia). Para transferencias y compras de crédito, algunas versiones anteriores de la encuesta incluían preguntas que recordaban
durante los últimos 3 meses en lugar del mes pasado. Consulte la Tabla B3 para ver los resultados por país y la Tabla C3 para ver los resultados por tipo de encuesta (línea de base/línea final).
***, ** y * representan significancia al 1%, 5% y 10%, respectivamente, según los valores q afilados de la tasa de descubrimiento falso (FDR) entre paréntesis.
3.3 Efecto del tiempo de la encuesta sobre los efectos estimados del tratamiento del efectivo
Una implicación importante de estos resultados es que los efectos de cualquier programa podrían ser
atenuados si los efectos se miden más adelante en la encuesta. Esto puede suceder a través de dos distintos
canales: (1) la fatiga de la encuesta puede reducir proporcionalmente el número de elementos mencionados por
encuestados, en cuyo caso las diferencias entre tratamiento y control serán menores (en términos absolutos).
valor, aunque no en porcentajes) si se mide más adelante en la encuesta; o (2) si existen no
linealidades, por ejemplo, si existe algún nivel umbral de carga cognitiva que el tratamiento
es más probable que el grupo encuentre porque tiene más que informar, los efectos del tratamiento pueden
atenuarse tanto en términos absolutos como porcentuales.
17
Para comprender la interacción de la fatiga con el tratamiento primario, examinamos si
El efecto de la transferencia de efectivo difiere cuando los resultados se miden más adelante en la encuesta, por
resultados regresivos sobre el efectivo, el tiempo transcurrido en la encuesta y su interacción. Específicamente, nosotros
ejecute las siguientes regresiones análogas a la Ecuación (1) y la Ecuación (2), pero con efectivo
interacciones.
Yisc = βHoursisc + γCashv(i) + κCashv(i) × Hoursisc + s + ψm + εisc, (3)
Yiscj = βHoursisc + γCashv(i) + κCashv(i) × Hoursisc + s + ψm + εiscj , (4)
donde Cashv(i) denota si una aldea v recibió transferencias de efectivo, s representa la onda del país
efectos fijos de muestra,9 ψm representan efectos fijos para los estratos de aleatorización de efectivo. Todos los demás
la notación es la misma que antes. En estas regresiones, degradamos la variable horas.
Tenga en cuenta que también existe una forma alternativa de interpretar estas regresiones, que
es si el tratamiento de transferencias monetarias tiene un efecto sobre la fatiga. Esto podría suceder si, por ejemplo,
Por ejemplo, una mejor nutrición proporcionada por el dinero en efectivo mejora la capacidad cognitiva de los encuestados. El
El coeficiente κ capturará cualquiera de los efectos: del efectivo sobre la fatiga o de la fatiga sobre el tratamiento del efectivo.
coeficientes.
Mostramos los resultados de estas regresiones en tablas. Tabla 6 para preguntas abiertas.
y en el Cuadro 7 para preguntas de lista fija; La Tabla A3 muestra los resultados para las categorías agregadas.
9No hay efectos fijos tipo encuesta por separado para la línea de base y la línea final porque los efectos de efectivo
solo se pueden medir al final.
18
Tabla 6: Efecto del tiempo de la encuesta sobre los efectos medidos del tratamiento del efectivo (“Preguntas
abiertas”)
(1) (2) (3) (4) (5)

Número de artículos distintos reportados para lo siguiente

ROSCA VSLA
Tiempo hasta la encuesta (h) 0,02 0,13 [0,594] 0,03 0,15 0,22
[0,228] [0,705] [0,228] [0,228]

Efectivo × Tiempo en la encuesta (h) 0,02 0,21 0,29 [1,000] [0,276] 0,05 0,16
[0,135] 0,01* 0,04* [1,000] [1.000]

Dinero 0,02 0,05** 0,02
[0,087] [0,098] [0,152] [0.021] [0,178]
Media de control 0,03 0,24 0,16 0,15 0,34
Horas de encuesta: media 0.0 0.0 0.0 0.0 0.0
Horas de encuesta: SD 0,9 0,9 0,9 0,9 0,9

Observaciones 3.961 3.962 3.962 3.958 3.962
Nota: Las regresiones incluyen mediciones iniciales del resultado y efectos fijos para el efectivo.
estratos de aleatorización del tratamiento y efectos fijos de onda de país. reportados son
Estimaciones TOT, donde el tiempo transcurrido hasta la encuesta (en horas) se instrumenta con el
Orden de módulo aleatorio (Versiones AF). ***, ** y * representan significado en
1%, 5% y 10%, respectivamente, según la tasa de descubrimiento falso (FDR) mejorada
Valores q (calculados a partir de valores p basados en errores estándar agrupados en las aldeas).
nivel) entre paréntesis.
No encontramos evidencia convincente de un efecto moderador de la fatiga sobre los efectos del efectivo (o
de efectivo sobre los efectos de la fatiga). Conjeturamos que esto quizás se deba a que el poder estadístico
es limitado ya que este análisis sólo se puede realizar en la línea final, reduciendo efectivamente a la mitad nuestra
tamaño de la muestra, y porque el tratamiento del efectivo requiere un error estándar de agrupamiento en la aldea
nivel. Además, el efecto de interacción se define sólo para el grupo de tratamiento en efectivo. Salimos
una evaluación adicional de esto para trabajos futuros.
19
Tabla 7: Efecto del tiempo de la encuesta sobre los efectos medidos del tratamiento del efectivo (“Preguntas de lista fija”)
(1) (2) (3) (4) (5) (6) (7) =1 si se selecciona el (8) (9)
elemento (no se omite)

Ganado Préstamos de ahorro duraderos Los
herramientas bienes duraderos
shocks gastan
Tiempo hasta la encuesta (h) 0,01 0,00 0,01 0,01 0,01 0,02 0,08 0,00 0,01
[0,591] [0,766] [0,591] [0,256] [0,256] [0,591] [0,222] [1,000] [0,594]
Efectivo × Tiempo en la encuesta (h) 0,02 0,01 0,02 0,00 0,01 0,01 0,08 0,02 0,00
[0,304] [1,000] [1,000] [1,000] [1,000] [1,000] [0,276] [1,000] [1,000]
Dinero 0,01*** 0,01* 0,02*** 0,01*** 0,00 0,01* 0,02*** 0,01* 0,00
[0,001] [0,072] [0,001] [0,001] [0,266] [0,087] [0,003] [0,072] [0,376]
Media de control 0,06 0,13 0,15 0,05 0,02 0,18 0,20 0,08 0,04
Horas de encuesta: media 1.7 1.7 1.8 1.9 1.9 1.9 2.0 2.2 2.2
Horas de encuesta: SD 0,9 0,9 0,9 1.0 0,9 0,9 0,9 1.0 1.0
Observaciones 54.714 80.419 82.023 44.761 51.489 141.028 43.582 63.392 35.658
Nota: Las regresiones incluyen la medición inicial del resultado, los efectos fijos para los estratos de aleatorización del
tratamiento en efectivo y los efectos fijos de las ondas de los países. Se reportan estimaciones TOT, donde el tiempo transcurrido en
La encuesta (en horas) está instrumentada con el orden de los módulos aleatorios (Versiones AF). ***, **, y *
representan significancia al 1%, 5% y 10%, respectivamente, según los valores q mejorados de la tasa de descubrimiento falso
(FDR) (calculados a partir de valores p basados en errores estándar agrupados a nivel de aldea) entre paréntesis.
3.4 Evidencia descriptiva sobre las vías
En esta subsección, investigamos si la práctica conocida como "satisfactoria" es probablemente una
explicación detrás del patrón observado de resultados. Satisfacer es un término utilizado para describir
el fenómeno en el que los encuestados pueden estar respondiendo preguntas de tal manera que ayuden
Evitan o acortan los seguimientos y, por lo tanto, reducen la duración de la encuesta (ver Roberts et al.
2019 para una revisión de la evidencia sobre este comportamiento). En este caso, satisfacer implicaría
responder “no” a las preguntas, o enumerar menos elementos, como transferencias, para poder
Evite preguntas de seguimiento sobre esos temas. Satisfacer requiere que los encuestados aprendan que
Responder "no" a una pregunta reduce el número de preguntas de seguimiento y, por lo tanto, solo puede
presente si los encuestados aprenden este patrón en el transcurso de la encuesta, o si la fatiga les hace
personas más propensas a estar satisfechas. Empíricamente, si los encuestados ya sospechan que responder no
a preguntas particulares reducirá el número de preguntas de seguimiento y se comportará estratégicamente
desde el principio, entonces la satisfacción no será detectable aunque esté presente.
20
Si bien nuestro estudio no se creó para responder a esta pregunta, producimos dos piezas de descripción.
evidencia positiva. Primero, como se mencionó en la Sección 2.1, seleccionamos aleatoriamente el 20% de nuestra muestra.
participar en encuestas telefónicas, que contenían un subconjunto de preguntas de la encuesta en persona
encuestas y comenzó poco después de la encuesta de referencia. Los encuestados fueron llamados una vez cada 2
meses durante aproximadamente 16 a 26 meses (u 8 a 13 rondas). Después de decidir implementar la encuesta
Para ordenar la aleatorización en las encuestas presenciales más largas, más tarde decidimos aleatorizar también las encuestas.
orden en las encuestas telefónicas. Es importante destacar que la aleatorización comenzó alrededor de la octava ronda de
la encuesta en Liberia y la undécima en Malawi, por lo que los encuestados ya tenían mucha experiencia
con el cuestionario.10 Si la satisfacción es una explicación, esperaríamos que la fatiga de la encuesta
ser mínimo en este experimento (ya que, según la experiencia previa, las personas serían igualmente
capaz de omitir preguntas dondequiera que aparecieran en la encuesta). 11 La aleatorización fue muy
similar a las encuestas más largas, aunque menos involucradas: específicamente, como se muestra en la Figura A3,
Varió la ubicación de las secciones de gastos y transferencias dentro de la encuesta.
Los resultados se muestran en la Tabla 8. 12 Las columnas 1 a 5 analizan las respuestas a preguntas abiertas,
y las columnas 6 a 9 muestran los resultados de las preguntas que siguen el patrón de lista fija. Para estudiar
Para estos, ejecutamos las mismas regresiones que en (1) y (2) respectivamente, excepto que los resultados
ahora se extraen de la encuesta telefónica.
10Consulte la Figura A1 para conocer las rondas de encuestas específicas en las que se implementó la aleatorización por orden.
11Otra implicación de la fatiga de las encuestas es que el tiempo total de la encuesta, y por lo tanto el valor de las categorías, debería
disminuir con el tiempo a medida que los encuestados aprenden los códigos de omisión. Sin embargo, no tenemos forma de probar esto
ya que el número de rondas es colineal con las tendencias temporales.
12En la Tabla A4, mostramos los impactos en el valor de las categorías agregadas, una réplica del análisis que
mostramos en la Tabla 5.
21
Tabla 8: Fatiga de las encuestas telefónicas
(1) (2) (3) (4) (5) (6) (7) (9) (8)
Número de artículos distintos reportados para lo siguiente: =1 si se selecciona el elemento (no se omite):
Transferencias Transferencias Crédito Alimento No

ROSCA VSLA Préstamos de Ahorro
recibió dado compras gastar bienes de consumo duradero
Horas de encuesta 0.050 0.308 0.091 0,246 0,346* 0,048 0,014 0,103*** 0,069*
[0,315] [0.108] [0.308] [0,105] [0.091] [0.108] [0,185] [0.001] [0.091]
Variable dependiente: Media 0,088 0,372 0.205 0.190 0.283 0.140 0.031 0.216 0.351
Horas de encuesta: media 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2
Horas de encuesta: SD 0.1 0.1 0.1 0,2 0,2 0.1 0.1 0.1 0.1
Número de encuestados 780 780 780 780 780 780 780 780 780
Observaciones 1.762 1.762 1.762 1.762 1.762 18.678 24.654 63.059 20.083
Nota: Para las columnas 1 a 5, hay 1 observación por encuestado por encuesta. Para la mayoría de las personas, 2 o 3 rondas de llamadas telefónicas
Las encuestas se incluyen en esta tabla. Para las columnas 6 a 9, cada columna representa un conjunto separado de preguntas y cada conjunto
incluye múltiples artículos (por ejemplo, el gasto en alimentos incluye 35 tipos de alimentos). Todas las regresiones incluyen un efecto fijo de encuesta.
(es decir, país y Oleadas 1 y 2 en Liberia). Se informan estimaciones de TOT, donde el tiempo transcurrido hasta la encuesta (en horas) es
instrumentado con el orden de módulo aleatorio (Versiones AF). ***, ** y * representan significancia al 1%, 5% y
10%, respectivamente, según la tasa de descubrimiento falso (FDR), valores q agudizados entre paréntesis.
Contrariamente a las predicciones de una hipótesis satisfactoria, encontramos evidencia de efectos negativos.
efectos de la duración de la encuesta tanto en los recuentos como en el valor de los objetos/resultados informados por
los encuestados. Esto es similar cualitativamente a los resultados de la encuesta principal, para la cual
Los encuestados tenían mucha menos experiencia. De hecho, encontramos que nuestros efectos de fatiga observados durante
el teléfono son similares en magnitud a los documentados en Abay et al. (2021), quienes encuentran
que un retraso de 15 minutos en el tiempo del módulo de consumo de alimentos conduce a un 817%
disminución en el puntaje de diversidad dietética del hogar (similar a los tamaños del efecto que documentamos).
Además, para los elementos que medimos tanto en persona como por teléfono, encontramos que
De hecho, los efectos de la fatiga son mucho más fuertes por teléfono que en persona. Para
Por ejemplo, siguiendo con el ejemplo del gasto en alimentos, en la Tabla 4 documentamos una fatiga
efecto de alrededor del 10% por un retraso de una hora durante una encuesta en persona, pero este efecto es del
orden del 50% por teléfono. Esto está en línea con la evidencia presentada en Abate et al. (2021),
que muestran que la fatiga de las encuestas se produce mucho antes por teléfono que en persona
encuestas.
22
En segundo lugar, como lo sugirió un árbitro anónimo, observamos que la Tabla 5 y el Apéndice F
muestran los efectos de la fatiga de la encuesta en diferentes categorías de ítems. En trabajos anteriores como Ambler
et al. (2021) y Abay et al. (2021), los investigadores han encontrado efectos mayores en los menos memorables.
elementos y efectos más pequeños en los más memorables. Sin embargo, encontramos evidencia consistente
con un efecto negativo casi generalizado de la fatiga, en lugar de un efecto diferencial basado
sobre la prominencia. Si bien no es definitivo, este resultado enturbia el panorama, ya que es más consistente
con satisfacción que con carga cognitiva.
Entonces, en última instancia, no tenemos una evidencia definitiva sobre las vías. en cambio nosotros
Concluimos que ambos efectos pueden estar en juego y dejamos una investigación más completa para trabajos futuros.
4. Conclusión
En este artículo, aleatorizamos el orden de las preguntas formuladas como parte de la línea de base y la línea final.
encuestas de un experimento de transferencia de efectivo para proporcionar evidencia sobre el impacto de la duración de la encuesta
sobre la calidad de las respuestas obtenidas durante la encuesta. Nuestros resultados apuntan a una fuerte fatiga.
efectos, del orden de una reducción del 1064% en el recuento de artículos reportados, lo que conduce a
efectos aún mayores sobre los valores monetarios reportados de las categorías que se agregan a lo largo de estos
elementos.
¿Existe alguna manera de que estos hallazgos sirvan de base para el diseño de la encuesta? La fatiga de las encuestas no es algo reciente
descubrimiento, y los profesionales sugieren una variedad de remedios para abordar esta preocupación, la mayoría
de los cuales se reducen a realizar encuestas más cortas o dividir encuestas en múltiples encuestas más cortas.
versiones. Por ejemplo, Aggarwal et al. (2021) es un ejemplo de una encuesta de referencia de varios días.
Otras estrategias implican sacrificar el alcance de la recopilación de datos, por ejemplo dividiendo el
encuesta en versiones más cortas, administrando sólo una de las versiones a cada encuestado, y
imputar respuestas a las preguntas no formuladas (Herzog y Bachman 1981; Raghunathan y
Grizzle 1995). Otra estrategia es sustituir las preguntas ordinales por binarias (Dolnicar
et al. 2011). Sin embargo, cada uno de estos remedios conlleva su propio conjunto de problemas, ya sea en
23
términos de detalle y error de medición, o en términos de costo.
Si bien no tenemos soluciones fáciles que recomendar, un paso correctivo obvio sería colocar el
preguntas más importantes (por ejemplo, aquellas sobre los resultados primarios en un ECA), como
lo antes posible en la encuesta. En relación con esto, también puede ser una buena práctica de encuestas para los encuestadores.
sugerir que se tomen un breve descanso antes de comenzar a hacer preguntas importantes que se plantean
más adelante en la encuesta. Esta puede ser una consideración importante, especialmente para las intervenciones en
cuyo resultado primario es sensible (por ejemplo, violencia de pareja, que fue
colocado al final de estas encuestas exactamente por esta razón).13 Los investigadores a menudo optan por colocar
preguntas tan delicadas más adelante en la encuesta para que los encuestados tengan tiempo para familiarizarse
con el encuestador y con la encuesta, pero este artículo sugiere que esta consideración
debe sopesarse con el riesgo de fatiga de la encuesta.
En general, puede tener sentido capacitar a los encuestadores para que presten más atención a las señales.
de fatiga y desconexión, y que los protocolos de encuesta tengan un conjunto de acciones correctivas para
Considere tal escenario, como tomar un descanso o jugar un juego corto. Las investigaciones futuras deberían
identificar tales acciones correctivas.
Otra implicación de este artículo es que, para quienes trabajan con datos secundarios
recopilados a través de encuestas largas, como las encuestas LSMS o DHS, puede ser útil
reconocer que las comparaciones entre países o incluso las comparaciones dentro de un país a través de encuestas
Las ondas pueden ser complicadas debido a la duración variable de la encuesta. Puede ser importante
Diseñar encuestas de panel de modo que los resultados se midan en puntos similares de la encuesta a lo largo de
ondas.
Finalmente, observamos que, además del deterioro cognitivo que enfrentan los encuestados,
Los actores también son participantes humanos en una encuesta y pueden estar limitados por el ancho de banda mental.
en la administración de encuestas largas. En este artículo no tenemos manera de desenredar la
efectos de la fatiga en los encuestadores y en los encuestados al inicio y al final de la encuesta
juntos. Sin embargo, medir estos efectos por separado e identificar soluciones debería
13Ver Park et al. (2022) y Park y Kumar (2022) por trabajos relacionados sobre los peligros de medir la violencia de género en
ésta y una muestra relacionada en Liberia.
24
ser un foco de futuras investigaciones.
25
Referencias
Abate, Gashaw Tadesse, Alan de Brauw, Kalle Hirvonen y Abdulazize Wolle (2021).
"Medición del consumo por teléfono: evidencia de un experimento de encuesta en las zonas urbanas de Etiopía".
Documento de debate del IFPRI 2087.
Abay, Kibrom A., Guush Berhane, John Hoddinott y Kibrom Tafere Hirfrfot (2021).
"Evaluación de la fatiga de respuesta en encuestas telefónicas: evidencia experimental sobre la diversidad dietética
en Etiopía". Documento de trabajo de investigación de políticas del Banco Mundial No. 9636.
Aggarwal, Shilpa, Jenny Aker, Dahyeon Jeong, Naresh Kumar, David S. Park, Jonathan Robinson y Alan Spearot (2020).
“El efecto de las transferencias de efectivo y el acceso a los mercados en los hogares de las zonas rurales de Liberia
y Malawi”. Registro de ECA de la AEA.
Aggarwal, Shilpa, Jenny Aker, Dahyeon Jeong, Naresh Kumar, David Sungho Park, Jonathan Robinson y Alan Spearot
(2022). "Los efectos dinámicos de las transferencias de efectivo: evidencia de las zonas rurales de Liberia y Malawi".
Inédito.
Aggarwal, Shilpa, Rebecca DizonRoss y Ariel Zucker (2021). "Incentivar el cambio de comportamiento: el papel de las
preferencias temporales". Documento de trabajo de la Oficina Nacional de Investigación Económica No. 27079.
Ambler, Kate, Sylvan Herskowitz y Mywish K. Maredia (2021). "¿Ya terminamos? Fatiga de respuesta y medios de vida
rurales”. Revista de Economía del Desarrollo 153: 102736.
Anderson, Michael L. (2008). “Múltiples inferencias y diferencias de género en los efectos de la intervención temprana:
una reevaluación de los proyectos Abecedarian, Perry Preschool y Early Training”. Revista de la Asociación
Estadounidense de Estadística 103 (484): 1481–1495.
Backor, Kristen, Saar Golde y Norman Nie (2007). “Estimación de la fatiga de la encuesta en el tiempo
Estudio de uso”. Documento de trabajo del SIQSS.
Brzozowski, Matthew, Thomas F. Crossley y Joachim K. Winter (2017). "Una comparación de los datos del gasto en
alimentos retirados y del diario". Política alimentaria 72: 53–61.
Dolnicar, Sara, Bettina Grün y Friedrich Leisch (2011). "Rápido, simple y confiable: preguntas de encuesta binaria forzada".
Revista Internacional de Investigación de Mercado 53 (2): 231–

252.
Herzog, A. Regula y Jerald G. Bachman (1981). “Efectos de la longitud del cuestionario sobre
Calidad de respuesta”. La Opinión Pública Trimestral 45 (4): 549–559.
26
Kilic, Talip y Thomas Pave Sohnesen (2019). "Misma pregunta pero respuesta diferente: evidencia
experimental sobre el impacto del diseño del cuestionario en la pobreza medido por sustitutos".
Revisión de ingresos y riqueza 65 (1): 144–165.
Krosnick, Jon A. (1991). “Estrategias de respuesta para afrontar las demandas cognitivas de
medidas de actitud en las encuestas”. Psicología cognitiva aplicada 5 (3): 213–236.
Laajaj, Rachid y Karen Macours (2021). “Medición de habilidades en los países en desarrollo”. Revista
de Recursos Humanos 56 (4): 1254–1295.
Park, David Sungho, Shilpa Aggarwal, Dahyeon Jeong, Naresh Kumar, Jonathan Robinson,
y Alan Spearot (2022). “¿Privado pero incomprendido? Evidencia sobre la medición de la intimidad
Violencia de pareja a través de autoentrevistas en zonas rurales de Liberia y Malawi”. Inédito.
Park, David Sungho y Naresh Kumar (2022). “Reducción de la violencia de pareja: evidencia de un
programa multifacético de empoderamiento femenino en las zonas urbanas de Liberia”. no publicado
terminado.
Raghunathan, Trivellore E. y James E. Grizzle (1995). “Una encuesta con cuestionario dividido
Diseño". Revista de la Asociación Estadounidense de Estadística 90 (429): 54–63.
Roberts, Caroline, Emily Gilbert, Nick Allum y L´e¨ıla Eisner (2019). “Síntesis de la investigación:
Satisfacción en encuestas: una revisión sistemática de la literatura”. Opinión Pública Trimestral
83 (3): 598–626.
27
Apéndice A: Figuras y tablas del Apéndice principal
Figura A1: Cronograma de las actividades de la encuesta
2018 2019 2020 2021
11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12
Malaui
Base
Encuestas telefónicas
Transferencias de efectivo
Línea final
Liberia
Ola 1
Base
Línea final
Ola 2
Base
Línea final
Nota: Los bloques de color gris más oscuro indican las rondas de encuesta en las que se realizó la aleatorización del orden de los
módulos y, por lo tanto, los datos se incluyen para el análisis en este documento.
28
Figura A2: Distribución del tiempo de la encuesta
Distribución del tiempo para llegar a la pregunta donde en promedio la encuesta está: (a)
10% completada (b) 25% completada
1 1
.8 .8
.6 .6
addaalduim
addaalduim
snuecD
snuecD
a
a
.4 .4
.2 .2
Media: 33,65 Media: 92,23
DE: 36,79 DE: 46,18
0 0
0 100 200 300 0 100 200 300
Minutos de encuesta Minutos de encuesta
(c) Mediana (d) percentil 75
1 1
.8 .8
.6 .6
addaalduim
addaalduim
snuecD
snuecD
a
.4 .4
.2 .2
Media: 114,62 Media: 127,78
DE: 48,45 DE: 49,19
0 0
0 100 200 300 0 100 200 300
(e) percentil 90 (f) Duración total de la encuesta
1 1
.8 .8
.6 .6
addaalduim
addaalduim
snuecD
snuecD
a
.4 .4
.2 .2
Media: 141,20 Media: 169,23
DE: 53,61 DE: 56,98
0 0
0 100 200 300 0 100 200 300
Nota: Basado únicamente en la versión A.
29
Figura A3: Orden aleatorio de los módulos en las encuestas telefónicas
Ruta 1 Ruta 2 Ruta 3 Ruta 4
Transferencias Gastos Oferta de ingresos y mano de obra Oferta de ingresos y mano de obra
Gastos Transferencias Ahorros Ahorros
Oferta de ingresos y mano de obra Oferta de ingresos y mano de obra Crédito Crédito
Ahorros Ahorros Seguridad alimentaria Seguridad alimentaria
Crédito Crédito Salud Salud
Seguridad alimentaria Seguridad alimentaria Transferencias Gastos

Salud Salud
Gastos Transferencias
Nota: Al encuestado se le proporciona aleatoriamente una de las Rutas 1 a 4.
Figura A4: Ejemplo de orden de preguntas “abiertas”
Si "3" Repetido 3 veces para la Transferencia n.° 1, la Transferencia n.° 2 y la

En los últimos 3 meses, ¿cuántas transferencias Transferencia n.° 3.
has recibido?
Para la transferencia recibida #1, ¿quién le dio el

regalo/préstamo/remesa?
¿En qué distrito/país vive el remitente?
¿El remitente le envió este dinero porque su sustento se

vio afectado por el coronavirus?
¿Cuánto valor fue?
¿Esta transferencia fue a través de dinero móvil?
30
Figura A5: Ejemplo de pregunta de “lista fija”
En los últimos 30 días, ¿en cuál de los

siguientes alimentos gastó dinero su hogar?
Si no es "Ninguno" Repetido 4 veces para arroz local, arroz importado,
Huevos y pescado seco
Ninguno
Arroz local ¿Cuánto dinero ha gastado personalmente en
Arroz importado [alimento] en los últimos 30 días?
Maíz/Maíz
Harina de yuca / Gari / Dipper / Fufu ¿Cuánto dinero han gastado todos los demás
Batatas miembros del hogar en [alimento] en los últimos 30
Huevos días?
Pescado Seco
Otro
Tabla A1: Duración promedio por versiones de la encuesta (en horas)
(1) (2) (3) (4) (5) (6) (7)

Versión de la encuesta
En general
A B C D mi F
Panel A: Liberia
Base 2.28 2.27 2.24 2.31 2.29 2.24 2.27
(0,69) (0,65) (0,69) (0,75) (0,67) (0,70) (0,69)

Línea final 2,73 2,64 2,74 2,68 2,72 2,77 2.71
(1.04) (1.05) (1.12) (1.02) (1.09) (1.16) (1.08)
Panel B: Malaui
Base 3.15 3.03 3.06 3.03 3.01 3.04 3.05
(1,02) (0,89) (0,93) (0,92) (0,91) (0,90) (0,93)

Línea final 2,75 2.81 2,80 2,76 2,75 2,78 2.77
(0,80) (0,82) (0,81) (0,79) (0,82) (0,82) (0,81)
Nota: Desviaciones estándar entre paréntesis.
31
Tabla A2: Variación experimental en el tiempo antes de que se administraran las secciones (encuestas telefónicas)
(1) (2) (4) (3)

Tiempo de encuesta (minutos) al comienzo de la siguiente sección:
Ahorros Transferencias de crédito Gasto
Versión B 0,17 0,08 8,66*** 1,45***
(0,32) (0,34) (0,34) 9,14*** 9,03*** (0,29)

Versión C 10,48*** 9,95***
(0,31) (0,33) (0,34) 9,66*** 9,59*** (0,28)

Versión D 17,52*** (0,32) 8,53***
(0,31) (0,33) (0,28)
Versión A: media 15.47 16.53 3.21 4.81

Versión A: SD 6,89 6,98 3.10 3.70
Estadístico F: significación conjunta 585,88 523.70 941,79 837.01
Número de encuestados 780 780 779 780

Observaciones 1.762 1.762 1.759 1.760
Nota: Las observaciones incluyen únicamente datos de encuestas telefónicas. Las regresiones incluyen efectos fijos de la
muestra de países. ***, ** y * representan significancia al 1%, 5% y 10%, respectivamente.
Cuadro A3: Efecto del tiempo de la encuesta sobre los efectos medidos del tratamiento sobre el valor monetario de las
categorías agregadas
(1) (2) (3) (4) (5) (6) (7) (8) (9)

Gasto Activos Transferencias
Alimentos Bienes no duraderos Ganadería Herramientas agrícolas Bienes duraderos Ahorros Préstamos otorgados Recibidos
Tiempo hasta la encuesta (h) 0,55 0,39 6,94 2,47 7,09 7,71 3,98 0,14 1,94
[1,000] [1,000] [1,000] [0,999] [1.000] [1.000] [0.999] [1.000] [1.000]
Efectivo × Tiempo en la encuesta (h) 0,21 1,12 45,35 0,30 36,20 5,41 7,99 2,70 2,15
[1,000] [1.000] [1,000] [1,000] [0,962] [1,000] [0,286] [0,286] [1,000]
Dinero 0,19 0.27 26,00** 1,47*** 21,02*** 4,56*** 0,19 0,26 1,33**
[0,197] [0.227] [0,034] [0.004] [0,001] [0,007] [0,545] [0,197] [0,019]
Media de control 3.08 6.30 90.00 9,75 56,32 8.68 6,94 1,66 6,85
Controlar SD 4.90 9.37 367,73 10.66 138,21 55,59 19,14 6,58 14.53
Horas de encuesta: media 1.9 2.0 1.7 1.7 1.8 1.9 1.9 1.9 1.9
Horas de encuesta: SD 0,9 0,9 0,8 0,8 0,8 0,9 0,8 0,9 0,9
Observaciones 3.962 3.962 3.962 3.962 3.962 3.962 3.687 3.962 3.962
Nota: Las regresiones incluyen la medición inicial del resultado, efectos fijos para los estratos de aleatorización del tratamiento en efectivo,
y efectos fijos por país. Se informan estimaciones de TOT, donde se instrumenta el tiempo transcurrido hasta la encuesta (en horas).
con el orden aleatorio del módulo (Versiones AF). ***, ** y * representan significancia al 1%, 5% y 10%, respectivamente, según los valores q
mejorados de la tasa de descubrimiento falso (FDR) (calculados a partir de valores p basados en errores estándar).
agrupados a nivel de aldea) entre paréntesis.
32
Tabla A4: Efecto del tiempo de la encuesta sobre el valor total de categorías agregadas, encuestas telefónicas
(1) (2) (3) (4) (5) (6) (7)

Alimento No Transferencias Transferencias Crédito

Préstamos de Ahorro
Gastar bienes de consumo duradero recibió dado compras
Horas de encuesta 8.56 2,45 9,63** 2,62 2,68* 0,73 2,38*
[0,200] [0,399] [0,036] [0,200] [0,067] [0,173] [0,061]
Variable dependiente: Media 10,19 Horas de 8.63 13.37 7.49 1,55 0,59 1.28
encuesta: Media de horas de 0,2 0,2 0,2 0,2 0,2 0,2 0,2
encuesta: DE Número de 0.1 0.1 0.1 0.1 0.1 0,2 0,2
encuestados 780 780 780 780 780 780 780

Observaciones 1.762 1.762 1.762 1.762 1.762 1.762 1.762
Nota: Las observaciones a nivel de encuestado y las regresiones incluyen efectos fijos muestrales (es decir, país y Oleadas 1 y 2 en
Liberia). Se informan estimaciones de TOT, donde el tiempo transcurrido en la encuesta (en horas) se instrumenta con el método aleatorio.
Orden de los módulos (Versiones AF). ***, ** y * representan significancia al 1%, 5% y 10%, respectivamente, según la falsa
La tasa de descubrimiento (FDR) agudizó los valores q entre paréntesis.
33
Apéndice B: Heterogeneidad por país
Tabla B1: Heterogeneidad por país en preguntas abiertas
(1) (4) (5) (2) (3)


ROSCA VSLA
Grupo A. Liberia
Horas de encuesta 0.001 0.036 0.037 0,157** 0,180
[0,786] [0,127] [0,331] [0.019] [0,389]
Variable dependiente: Media 0,106 Horas de 0.063 0,297 0.381 0,349
encuestados Observaciones 2.652 2.653 2.652 2.650 2.653

4.500 4.500 4.498 4.494 4.501
Panel B. Malawi
Horas de encuesta 0.004 0,077 0,122 0,240** 0.016
[0,786] [0,127] [0,331] [0.019] [0,389]
Variable dependiente: Media 0,017 Horas de 0.316 0.258 0,285 0.380
encuesta: DE Número de 0,8 0,8 0,8 0,8 0,8
encuestados 2.944 2.944 2.944 2.944 2,944

Observaciones 5.725 5.724 5.725 5.721 5.727
Nota: Observaciones a nivel de encuestado. Se reportan estimaciones TOT, donde el tiempo transcurrido en
La encuesta (en horas) está instrumentada con el orden de los módulos aleatorios (Versiones AF). Las regresiones
incluyen efectos fijos de muestra de países. ***, ** y * representan significancia al 1%, 5% y
34
Tabla B2: Heterogeneidad por país en preguntas de lista fija
(1) (2) (3) (4) (5) (6) (7) =1 si se selecciona el elemento (8) (9)
(no se omite):

herramientas
bienes
Grupo A. Liberia
Horas de encuesta 0,012 0,002 0,001 0,002 0,001 0,033*** 0,053** 0,011 0,006
[0,405] [0,411] [0,741] [0,731] [0,661] [0,005] [0,019] [0,136] [0,385]
Variable dependiente: Media 0,097 Horas 0,196 0,171 0,048 0,009 0,189 0,234 0,065 0,075
de inicio de la encuesta: Media 1,5 horas 1.6 1.6 1.7 1.7 1.7 1.7 1.8 1.8
de inicio de la encuesta: DE 1.2 1.2 1.2 1.2 1.2 1.2 1.2 1.2 1.5
Número de encuestados 2.653 2.653 2.653 2.653 2.653 2.653 2.653 2.653 2.566
Observaciones 49.511 94.521 90.020 54.012 62.397 166.537 49.511 72.016 23.094
Panel B. Malawi
Horas de encuesta 0,002 0,011 0,001 0,002 0,001 0,016*** 0,025** 0,028 0,014
[0,405] [0,411] [0,741] [0,731] [0,661] [0,005] [0,019] [0,136] [0,385]
Variable dependiente: Media 0,057 Horas de 0,119 0,179 0,071 0,028 0,214 0.261 0,180 0,028
encuesta: Media 1,9 Horas de encuesta: DE 1.9 1.9 2.0 2.0 2.1 2.1 2.2 2.2
0,8 Número de encuestados 0,8 0,8 0,8 0,8 0,8 0,8 0,8 0,9
2,941 2.941 2.941 2.944 2.944 2.944 85.320 113.760 2.944 2.944 2.783
Observaciones 122.353 60.033 76.314 200.410 62.986 94.508 25.047
Nota: Observaciones a nivel de ítem de pregunta del encuestado. Se informan estimaciones TOT, donde el tiempo transcurrido
en la encuesta (en horas) se instrumenta con el orden aleatorio del módulo (Versiones AF). Las regresiones incluyen efectos fijos de
muestra de país y efectos fijos a nivel de ítem de pregunta. ***, ** y * representan significado
al 1%, 5% y 10%, respectivamente, según la tasa de descubrimiento falso (FDR), valores q agudizados entre paréntesis.
35
Cuadro B3: Heterogeneidad por país sobre los valores monetarios totales de categorías agregadas
(1) (2) (3) (4) (5) (9) (6) (7) (8) (10) (11)
Granja Alimento Bienes Bienes Transferencias Transferencias Compras

Herramientas Gastar no duraderos públicos recibidas dadas a crédito
Grupo A. Liberia
Horas de encuesta [0,359] [0,396] 3.04 0,47 1,06 6,05** 4,10* 0,15 22,28 0,14 [0,520] 0,59* 0,87** 1,25
[0,426] [0,517] [0,028] [0,079] [0,386] [0,088] [0,014] [0.311]
Variable dependiente: Media 155,11 11,12 53,59 Horas de encuesta: 27,39 4,62 21,42 10.59 0,28 1,50 1.23 1.39
Media 1,5 horas de encuesta: DE 1,3 Número 1.5 1.6 1.7 1.8 1.7 1.8 1.9 1.8 1.8 1.8
de encuestados Observaciones 1,6 1.3 1.2 1,2 1.8 1,8 2,2 1,2 1,2 1.2
2.653 2.566 2.653 4.501 2.566 2.653 2.653 2.653 4.501 2.653 2.566 2.653 2.653 2.653
4.501 4.501 4.501 4.501 2.566 4.501 4.501 4.501
Panel B. Malawi
Horas de encuesta 4,48 3,86 1,51 0,22 2,41**
15,58 1,08* 0,01 [0,520] [0,359] [0,396] [0,426] [0,517] [0,028] 0,39* 0,26** 0,02
[0,079] [0,386] [0,088] [0,014] [0.311]
Variable dependiente: Media 48,83 Horas de 9,89 61,68 6,18 7,87 2,0 12,13 5,83 0,02 0,52 0,26 0,36
encuesta: Media 1,9 Horas de encuesta: DE 1,8 1,9 2,0 0,8 0,8 2,1 2,1 2,3 2,1 2,1 2.1
0,8 Número de encuestados Observaciones 0,8 0,8 2.944 2.944 0,8 0,8 0,9 0,8 0,8 0,8
2.941 2.783 2.941 5.688 2.783 2.944 5.725 5.451 5.726 2.944 2.783 2.944 2.944 2,944
5.688 5.726 2.783 5.727 5.727 5.727
Nota: Observaciones a nivel de encuestado. Se informan estimaciones de TOT, donde se instrumenta el tiempo transcurrido hasta la encuesta (en horas).
con el orden aleatorio del módulo (Versiones AF). Las regresiones incluyen efectos fijos de muestra de países. ***, ** y * representan una significancia del 1%, 5% y 10%,
respectivamente, según los valores q afilados de la tasa de descubrimiento falso (FDR) entre paréntesis.
36
Apéndice C: Heterogeneidad por tipo de encuesta
Tabla C1: Heterogeneidad por encuesta (línea de base o línea final) en preguntas abiertas
(1) (4) (5) (2) (3)


ROSCA VSLA
Panel A. Encuestas de referencia

Horas de encuesta 0.020 0,076 0,085 0,267*** 0.043
[0,348] [0.201] [0.212] [0.010] [0.207]
Variable dependiente: Media 0,067 Horas de 0.204 0.382 0,494 0.414
encuesta: DE Número de 0,8 0,8 0,8 0,8 0,8

4.877 4.875 4.874 4.870 4.879
Panel B. Encuestas finales

Horas de encuesta 0.010 0,029 0.061 0,139*** 0,159
[0,348] [0.201] [0.212] [0.010] [0.207]
Variable dependiente: Media 0,046 Horas de 0.205 0,178 0,176 0.323
encuestados 5.348 5.349 5.349 5.345 5.349

Observaciones 5.348 5.349 5.349 5.345 5.349
La encuesta (en horas) está instrumentada con el orden de los módulos aleatorios (Versiones AF). Las regresiones
incluyen efectos fijos de muestra de países. ***, ** y * representan significancia al 1%, 5% y
37
Tabla C2: Heterogeneidad por encuesta (línea de base o línea final) en preguntas de lista fija
(1) (2) (3) (4) (5) (6) (7) =1 si se selecciona el elemento (8) (9)
(no se omite):

herramientas
bienes

Horas de encuesta 0,008 0,003 0,008 0,005 0,002 0,032** 0,044** 0,026
[0,243] [0,355] [0,172] [0,257] [0,355] [0,011] [0,018] [0,106]
Variable dependiente: Media 0,076 Horas de 0,166 0,191 0,069 0,022 0,227 0,289 0,194
encuesta: Media de horas de 1.9 1.8 1.9 2.0 2.0 1.9 2.0 2.0
encuesta: DE Número de 0,7 0,7 0,7 0,7 0,8 0,8 0,7 0,8
encuestados Observaciones 4.840 4.878 4.840

4.875 4.840 4.877 4.877 4.878
64.860 98.735 102.610 52.640 67.977 174.600 53.658 80.940

Horas de encuesta 0,005 0,005 0,012 0,009 0,002 0,017** 0,032** 0,017 0,002
[0,243] [0,355] [0,172] [0,257] [0,355] [0,011] [0,018] [0,106] [0,404]
Variable dependiente: Media 0,068 Horas de 0,144 0,162 0,053 0,018 0,180 0,212 0,070 0,050
encuesta: Media de horas de 1.6 1.6 1.7 1.8 1.8 1.8 1.9 2.0 2.0
encuesta: DE Número de 1.1 1.2 1.1 1.2 1.2 1.2 1.2 1.2 1.2
encuestados 5.349 5.349 5.349

5.349 5.349
5.349 5.349 5.073 5.349
Observaciones 69.971 109.546 109.763 61.405 70.734 192.347 58.839 85.584 48.141
en la encuesta (en horas) se instrumenta con el orden aleatorio del módulo (Versiones AF). Las regresiones incluyen efectos fijos de
muestra de país y efectos fijos a nivel de ítem de pregunta. ***, ** y * representan significado
al 1%, 5% y 10%, respectivamente, según la tasa de descubrimiento falso (FDR), valores q agudizados entre paréntesis.
38
Cuadro C3: Heterogeneidad por tipo de encuesta (línea de base o línea final) sobre los valores monetarios totales de categorías agregadas
(1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11)
Granja Alimento Bienes Bienes Transferencias Transferencias Compras

Herramientas Gastar no duraderos públicos recibidas dadas a crédito

Horas de encuesta 15,61 [0,212] 6,40 4,45 1,78 4,65** 2,50** 0,36 0,44** 0,27*
[0,287] [0,295] [0,229] [0,046] [0,050] [0,107] [0,041] [0,063]
Variable dependiente: Media 51,24 Horas de 46.06 18.16 6.60 16,93 8.31 0,83 0,71 0,54
Encuesta: Media de Horas de 1.8 1.8 2.0 2.0 1.9 2.0 2.0 2.0 2.0
Encuesta: DE Número de 0,7 0,7 0,8 0,8 0,8 0,7 0,8 0,8 0,8
encuestados Observaciones 4.840 4.840 4.877 4.878 4.878 4.878 4.879 4.879 4.879
4.840 4.840 4.877 4.878 4.878 4.878 4.879 4.879 4.879

Horas de encuesta 11,42 1,32 3,29 0,33 0,53 [0,295] 3,06** 2,06** 0,10 0,59 0,69** 1,06*
[0,212] [0,140] [0,287] [0,229] [0,046] [0,050] [0,127] [0,107] [0,041] [0,063]
Variable dependiente: Media 136,08 Horas de 10,48 69,01 13,11 6,21 15,57 7,57 0,14 1,05 0,67 1.06
encuesta: Media de horas de 1,6 1,6 1,7 1,8 1,8 1,9 1,9 2,1 1,8 1,9 1.9
encuesta: DE Número de 1,3 1,3 1,3 1,2 1,2 1,7 1,7 1,6 1,2 1,2 1.2
encuestados Observaciones 5.349 5.349 5.349 5.349 5.074 5.349 5.349 5.349 5.349 5.349 5.349
5.349 5.349 5.349 5.349 5.074 5.349 5.349 5.349 5.349 5.349 5.349
Nota: Observaciones a nivel de encuestado. Se informan estimaciones de TOT, donde el tiempo transcurrido en la encuesta (en horas) se instrumenta con el módulo aleatorio.
orden (Versiones AF). Las regresiones incluyen efectos fijos de muestra de países. ***, ** y * representan significancia al 1%, 5% y 10%, respectivamente, según la
La tasa de descubrimiento falso (FDR) agudizó los valores q entre paréntesis.
39
Apéndice D: Solidez de los efectos fijos del hogar
Tabla D1: Tiempo de la encuesta y probabilidad de informar un artículo en encuestas telefónicas (con
hogar EF)
(1) (2) (3) (5) (7) (4) (6) (8) (9)

Número de elementos distintos reportados para lo siguiente: =1 si se selecciona el elemento (no se omite):
Transferencias Transferencias Crédito Alimento No

ROSCA VSLA Préstamos de Ahorro
recibió dado compras gastar bienes de consumo duradero
Horas de encuesta 0,081 0,047 0,145 0.062 0,199 0,012 0,009 0,090*** 0,124
[1.000] [1.000] [1.000] [1.000] [0.888] [1.000] [1.000] [0.010] [0,160]
Variable dependiente: Media 0,074 Horas 0,394 0.200 0,175 0.255 0,140 0,031 0.216 0.351
de encuesta: Media de horas 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2
de encuesta: DE Número de 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1
encuestados Observaciones 610 610 610 610 610 780 780 780 780
1.592 1.592 1.592 1.592 1.592 18.678 24.654 63.059 20.083
Nota: Para las columnas 1 a 4, las observaciones a nivel de ítem de pregunta del encuestado y las regresiones incluyen efectos fijos a nivel de muestra
de país, efectos fijos a nivel de ítem de pregunta y efectos fijos a nivel de hogar. Las regresiones eliminan las observaciones únicas (hay
son 170 de estos). Para las columnas 5 a 9, las observaciones a nivel de encuestado y las regresiones incluyen efectos fijos de muestra de país.
Se informan estimaciones de TOT, donde el tiempo transcurrido en la encuesta (en horas) se instrumenta con el módulo aleatorio.
orden (Versiones AF). ***, ** y * representan una significancia del 1%, 5% y 10%, respectivamente, según el descubrimiento falso.
La tasa (FDR) agudizó los valores q entre paréntesis.
40
Tabla D2: Tiempo de la encuesta y número de ítems reportados en encuestas en persona (con FE
del hogar)
(1) (4) (5) (2) (3)


ROSCA VSLA
Horas de encuesta 0.013 0,087** 0,149** 0,327*** 0.060
[0,757] [0,032] [0,032] [0.001] [0,757]
Variable dependiente: Media 0,055 Horas de 0.220 0.273 0.330 0,372

9.258 9.254 9.254 9.242 9.262
La encuesta (en horas) está instrumentada con el orden de los módulos aleatorios (Versiones AF). Regresiones
incluyen efectos fijos de muestra de países y efectos fijos a nivel de hogares. Las regresiones caen singleton
observaciones (hay 966 de ellas). ***, ** y * representan significancia al 1%, 5% y 10%,
respectivamente, según la tasa de descubrimiento falso (FDR), los valores q se agudizaron entre paréntesis.
Tabla D3: Tiempo de encuesta y probabilidad de reportar un ítem en encuestas en persona (con
hogar EF)
(1) (2) (3) (4) (5) (6) (7) (8)

=1 si se selecciona el elemento (no se omite):
Granja Alimento No

herramientas
Horas de encuesta 0,005 0,003 0,001 0,002 0,002 0,020*** 0,028** 0,021***
[0,710] [0,822] [1,000] [0,847] [0,757] [0.001] [0,023] [0.001]
Variable dependiente: Media 0,072 Horas 0,154 0,176 0,060 0,020 0.203 0.249 0.130
de encuesta: Media 1,7 Horas de encuesta: 1.7 1.8 1.9 1.9 1.9 1.9 2.0
DE Número de encuestados 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0
Observaciones 5.594 5.594 5.594 5.597 5.597 5.597 5.597 5.597

134.831 208.281 212.373 114.045 138.711 366.947 112.497 166.524
Nota: Observaciones a nivel de ítem de pregunta del encuestado. Cada regresión es una regresión IV, donde
El tiempo transcurrido en la encuesta (en horas) se instrumenta con el orden del módulo aleatorio (Versiones AF).
Las regresiones incluyen efectos fijos de muestra de país, efectos fijos a nivel de ítem de pregunta y a nivel de hogar.
efectos fijos. ***, ** y * representan significancia al 1%, 5% y 10%, respectivamente, según la falsa
La tasa de descubrimiento (FDR) agudizó los valores q entre paréntesis.
41
Apéndice E: No linealidades en la relación entre
Tiempo de encuesta y probabilidad de omitir
Figura E1: Probabilidad de selección frente al tiempo previsto para responder a la pregunta
Encuestas presenciales:
Ganado Gasto en alimentos

80.
12.
dadniólib
dadniólib
icacbe
icacbe
5ol0eer2S
5ol7eer0S
P
d.
P
d.
591.
91.
560.
1.5 1.6 1.7 1,8 1.9 2 1.7 1,8 1.9 2 2.1

horas de encuesta (valores ajustados) horas de encuesta (valores ajustados)
No duraderos Choques
62.
51.
dadniólib
icacbeol3
dadniólib
4eer1S
P
icacbeol4
d.
5eer2S
P
d.
21.
32.
11.
1.7 1.8 1.9 2 2.1 1.8 1.9 2 2,1 horas de 2.2 2.3
Horas de encuesta (valores ajustados) encuesta (valores ajustados)
42
Figura E2: Número de elementos informados en comparación con el tiempo previsto para responder a la pregunta
Encuestas presenciales:
VSLA Transferencias recibidas

62.
3.
sosdooarle
turm
sosdooarle
ocp
í2
4útee
r2N
dr.
a
turm
ocp
í6
8útee
r2N
dr.
a
2.
42.
81.
22.
1.6 1.7 1,8 1,9 Horas de 2 2.1 1.6 1.8 2 2.2
encuesta (valores ajustados) Horas de encuesta (valores ajustados)
Transferencias dadas Compras a crédito

54.
54.
sosdooarleturm
sosdooarleturm
ocp
í5útee
r3
4N
dr.
a
3. ocp
í5útee
r3
4N
dr.
a
52.
52.
2.
1.6 1.8 2 2.2 1.6 1.8 2 2.2

Horas de encuesta (valores ajustados) Horas de encuesta (valores ajustados)
43
Apéndice F: Análisis de fatiga en categorías desagregadas
egorías
Cuadro F1: Ganadería
(1) (2) (3) (4) (5)

Cabra
Cabra Cerdo Pollo Perro
(local)
Horas de encuesta 0,025 0,002 0,040 0,007 0,001
(0,263) (0,900) (0,114) (0,752) (0,974)

[0,541] [0,895] [0,396] [0,787] [0,895]
Variable dependiente: Media 0,121 0,060 0,534 0,126 0,214

Horas de encuesta: Media 1,5 horas de 1.5 1.7 1.5 1.9
encuesta: DE Número de 1.2 1.2 1.0 1.2 0,8

4.501 4.501 10.189 4.501 5.688
Nota: Observaciones a nivel de ítem de pregunta del encuestado. reportados son

Estimaciones TOT, donde el tiempo transcurrido hasta la encuesta (en horas) se
instrumenta con el orden aleatorio de los módulos (Versiones AF). ***, **,
y * representan significancia al 1%, 5% y 10%, respectivamente, según
sobre la tasa de descubrimiento falso (FDR) se agudizaron los valores q entre paréntesis.
44
Tabla F2: Herramientas agrícolas
(1) (2) (3) (7) (8) (4)

=1 si se selecciona
(5) el
(6)elemento (no se omite): (9) (10)
Llenar
Mano Cortar Sho Excavar Latas/ Ping
ejes En g Ganchos para cuchillos
azadas muchacha velos gers cubos alays
Herramientas
Horas de encuesta 0,046 0,006 0,014 0,015 0,040 0,011 0,042 0,033 0,031 0,034
(0,011) (0,777) (0,452) (0,201) (0,086) (0,504) (0,072) (0,118) (0,185) (0,190)
[0,124] [0,787] [0,697] [0,508] [0,367] [0,697] [0,367] [0,396] [0,504] [0,504]
Variable dependiente: Media 0,855 0,575 0,165 0,055 0,283 0,118 0,355 0,107 0,450 0,174
Horas de encuesta: Media 1,7 Horas de 1.7 1.7 1.7 1.7 1.7 1.7 1.6 1.7 1.6
encuesta: DE Número de 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.2 1.0 1.2
encuestados Observaciones 5.594 5.594 5.594 5.594 5.594 5.594 5.594 2.653 5.594 2.653
10.189 10.189 10.189 10.189 10.189 10.189 10.189 4.501 10.189 4.501
Nota: Observaciones a nivel de ítem de pregunta del encuestado. Se informan estimaciones TOT, cuando transcurrieron
El tiempo transcurrido en la encuesta (en horas) se instrumenta con el orden de los módulos aleatorios (Versiones AF). ***, **,
y * representan significancia al 1%, 5% y 10%, respectivamente, según la tasa de descubrimiento falso (FDR)
Valores q afilados entre paréntesis.
Tabla F3: Lugares para guardar
(1) (2) (3) (4)

Ahorro Dinero Vivir

VSLA
grupo hogar existencias
Horas de encuesta 0,025 0,002 0,046 0,015
(0,366) (0,918) (0,021) (0,490)

[0,559] [0,895] [0,148] [0,697]
Variable dependiente: Media 0,193 0,193 0,175 Horas de 0,078
encuesta: Media 1,7 Horas de encuesta: 1.9 1.9 2.0
DE Número de encuestados 1.2 1.0 1.0 0,8
Observaciones 2.653 5.597 5.597 4.501 2,944

10.226 10.226 5.725
Nota: Observaciones a nivel de ítem de pregunta del encuestado. Reportado

son estimaciones de TOT, donde el tiempo transcurrido hasta la encuesta (en horas)
está instrumentado con el orden aleatorio de los módulos (Versiones
AF). ***, ** y * representan significancia al 1%, 5% y 10%,
respectivamente, basado en la tasa de descubrimiento falso (FDR) agudizada
45
Cuadro F4: Fuentes de préstamos
(1) (2)
Vecinos
VSLA
o amigos
Horas de encuesta 0.002 0.009
(0,901) (0,571)
[0,895] [0,743]
Variable dependiente: Media 0,079 Horas de 0,098
encuesta: Media de horas de 1.9 1.9
encuesta: DE Número de 1.0 1.0
encuestados Observaciones 5.597 5.470

9.950 9.361
Nota: Observaciones a nivel de ítem de pregunta del encuestado. Reportado

son estimaciones de TOT, donde el tiempo transcurrido hasta la encuesta (en horas)
está instrumentado con el orden aleatorio de los módulos (Versiones
AF). ***, ** y * representan significancia al 1%, 5% y 10%,
respectivamente, basado en la tasa de descubrimiento falso (FDR) agudizada
46
Cuadro F5: Gastos en alimentos (Parte I)
(1) (2) (3) (4) (5) (6) (7) (8) =1 si se selecciona el (9) (10) (11) (12) (13)
elemento (no se omite):
Local Importado Maíz/ Mandioca Mandioca Dulce irlandesa Seco Palmera Palmera
Maní tomates cebollas
arroz arroz Maíz raíces Harina papas papas Frijoles nueces aceite
Horas de encuesta 0.001 0,074 0.012 0.007 0.016 0,027 0,020 0,017 0,031 0,042 0,043 0,020 0,057
(0,946) (0,011) (0,604) (0,696) (0,313) (0,270) [0,895] [0,124] [0,553] (0,135) (0,459) (0,171) (0,107) (0,352) (0,339) (0,054)
[0,543] [0,754] [0,787] [0,396] [0,697] [0,559] [0,278]
[0,487] [0,390] [0,559]
Variable dependiente: Media 0,069 Horas 0.451 0,192 0.096 0.091 0,294 0.060 0,192 0,187 0,086 0,520 0.525 0.524
de encuesta: Media 1,9 Horas de 1.9 1.9 1.9 1.9 1.9 1.9 1.9 1.9 1.7 1.7 1.9 1.9
encuesta: DE Número de 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.2 1.2 1.0 1.0
encuestados Observaciones 5.597 5.597 5.597 5.597 5.597 5.597 5.597 5.597 5.597 2.653 2.653 5.597
10.227 10.227 10.227 10.227 10.227 10.227 10.227 10.227 10.227 4.501 4.501 10.227 10.227
Nota: Observaciones a nivel de ítem de pregunta del encuestado. Se informan estimaciones de TOT, donde el tiempo transcurrido en la encuesta (en horas) se instrumenta con
el orden aleatorio del módulo (Versiones AF). ***, ** y * representan una significancia del 1%, 5% y 10%, respectivamente, según la tasa de descubrimiento falso
(FDR) agudizó los valores q entre paréntesis.
47
Cuadro F6: Gastos en alimentos (Parte II)
(1) (2) (3) (4) (5) (6) (7) (8) (9) =1 si se selecciona (10) (11) (12) (13)
el elemento (no se omite):
Cabra Seco Fresco Otro Vitae/

Okra Plátanos Naranjas Huevos Pollo Panes De Azúcar Y Sal
carne Pez Pez Vegetal. Maggi
Horas de encuesta 0,040 0,022 0,007 0,031 0,019 0,021 0,029 0,029 0,026 0,061 0,062 0,034 0,002
(0,076) (0,245) (0,657) (0,170) (0,219) (0,360) (0,309) (0,223) (0,130) (0,029) (0,007) (0,162) (0,949)
[0,367] [0,508] [0,787] [0,487] [0,508] [0,559] [0,553] [0,508] [0,396] [0,167] [0,124] [0,487] [0,895]
Variable dependiente: Media 0,179 0,121 Horas de 0,082 0,198 0,076 0,261 0,635 0,335 0,904 0,362 0,186 0,261 0,868
encuesta: Media 1,9 Horas de encuesta: 1.9 1.9 1.9 1.9 1.9 1.9 1.9 1.9 1.9 1.9 1.9 1.7
DE Número de encuestados 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.2
Observaciones 5.597 5.597 5.597 5.597 5.597 5.597 5.597 5.597 5.597 5.597 5.597 5.597 2.653
10.227 10.227 10.227 10.227 10.227 10.227 10.227 10.227 10.227 10.227 10.227 10.227 4.501
Nota: Observaciones a nivel de ítem de pregunta del encuestado. Se informan estimaciones de TOT, donde el tiempo transcurrido en la encuesta (en horas) se
instrumenta con el orden aleatorio del módulo (Versiones AF). ***, ** y * representan significancia al 1%, 5% y 10%, respectivamente,
basado en la tasa de descubrimiento falso (FDR), los valores q se agudizaron entre paréntesis.
48
Tabla F7: No duraderos
(1) (2) (3) (4) (5) (6) (7) (8)

Limpieza
Transporte Aire Hogar Personal Cocina
suministros Peluquería Cosmética
ación tiempo suministros higiene suministros
para casa
Horas de encuesta 0,123*** 0,020 0,044 0.003 0.011 0.061 0,066 0,040
(0,000) (0,490) (0,082) (0,931) [0,003] [0,697] (0,695) (0,011) (0,014) (0,098)
[0,367] [0,895] [0,787] [0,128]
[0.124]
[0,367]
Variable dependiente: Media 0,473 Horas de 0,407 0,234 0.620 0.300 0,187 0.270 0.214
encuesta: Media de horas de 1.9 1.9 1.9 1.9 1.9 1.9 1.9 1.9
encuesta: DE Número de 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0
encuestados Observaciones 5.597 5.597 5.597 5.597 10.227 10.227 5.597 5.597 10.227 5.597 5.597
10.227 10.227 10.227 10.227 10.227
en la encuesta (en horas) se instrumenta con el orden aleatorio del módulo (Versiones AF). ***, **, y *
representan significancia al 1%, 5% y 10%, respectivamente, según la tasa de descubrimiento falso (FDR) mejorada
49
Tabla F8: Choques
(1) (2) (3) (4) (5) (6) (7) (8) =1 si se selecciona (9) (10) (11) (12) (1
el elemento (no se omite):
Falta de Falta de
Tierra Alimento Pérdida de Cultivo Ganado Cultivo bajo/ Enfermedad severa muerte
Inundación Sequía entradas Pesticida entradas para
erosión inflación pertenencias enfermedad enfermedad precios del ganado En familia casa
para cultivos ganado
Horas de encuesta 0,006 0,049 0,018 0,064 0.024 0,058 0,026 0,059 0.011 0.021 0.000 0,063* 0.0
(0,812) (0,024) (0,348) (0,023) [0,826] [0,148] (0,094) (0,008) (0,214) (0,017) [0,124] (0,439) (0,128) (0,979) (0,001) (0.0
[0,559] [0,148] [0,367] [0,508] [0,134] [0,697] [0,396] [0,895] [0,052] [0.1
Variable dependiente: Media 0,308 0,164 Horas de 0,125 0.387 0.063 0,181 0.163 0.252 0,071 0.061 0.061 0,125 0.0
encuesta: Media 2,0 Horas de encuesta: 2.0 2.0 2.0 2.0 2.0 2.0 2.0 2.0 2.0 2.0 2.0 2.
DE Número de encuestados 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.
Observaciones 5.597 5.597 5.597 10.224 5.597 5.597 5.597 5.597 10.224 5.597 5.597 5.597 5.597 5.597 5,5
10.224 10.224 10.224 10.224 10.224 10.224 10.224 10.224 10.224 10.224 10,2
Nota: Observaciones a nivel de ítem de pregunta del encuestado. Se informan estimaciones de TOT, donde el tiempo transcurrido en la encuesta (en horas) se instrumenta con el método rando.
Orden de los módulos (Versiones AF). ***, ** y * representan significancia al 1%, 5% y 10%, respectivamente, según los valores q mejorados de la tasa de descubrimiento falso (FDR) en bra.
50

Las Encuestas Agotan

Cargado por

Información del documento

Descripción original:

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Las Encuestas Agotan

Cargado por

Copyright:

Formatos disponibles

Machine Translated by Google

SERIE DE DOCUMENTOS DE TRABAJO DEL NBER

Documento de Trabajo 30439

OFICINA NACIONAL DE INVESTIGACIÓN ECONÓMICA

Agradecemos a USAID por el financiamiento. Agradecemos a Jenny Aker su colaboración y a Sanjana

¿Exhaustivo o agotador? Evidencia sobre la fatiga de los encuestados en encuestas largas

Dahyeon Jeong Naresh Kumar

Shilpa Aggarwal Alan Spearot

conocido como fatiga de encuesta.

en respuestas. Llevamos a cabo este experimento dentro de encuestas administradas al inicio y

como resultado de la aleatorización.

no podemos atribuir esto definitivamente al tipo de pregunta, ya que el método no es aleatorio

Ya se nos ha preguntado cuándo apareció una pregunta en particular en la encuesta. Similar a

reportado en cada hora subsiguiente en 5 puntos porcentuales.

categorías fácilmente olvidables (como detalles de gastos, a diferencia de bienes duraderos o

Dejamos un análisis más definitivo para trabajos futuros.

diseño, la Sección 3 presenta los resultados y la Sección 4 concluye.

2 Datos y diseño experimental

con la ONG GiveDirectly en Liberia y Malawi. En el experimento, el grupo de tratamiento

En cada aldea, intentamos inscribir a 10 hogares en la muestra de la encuesta.5 Elegimos

minutos para completar.

La Figura A1 muestra el cronograma de las actividades del proyecto.

2.2 Aleatorización del orden de las preguntas

Figura 1: Secciones en encuestas presenciales

Configuración, Consentimiento, Identificación (~13')

Módulos ordenados aleatoriamente

Módulo 1 (~23') Módulo 2 (~22') Módulo 3 (~22')

Activos (~5') Ayuda (~2')

Seguridad alimentaria (~8')

Dinero móvil (~1')

Seguimiento de encuestados (~3')

Figura 2: Orden aleatorio de módulos en encuestas presenciales

Configuración, consentimiento, identificación

Versión A Versión B Versión C Versión D Versión E Versión F

Módulo 2 Módulo 3 Módulo 1 Módulo 3 Módulo 1 Módulo 2

Módulo 3 Módulo 2 Módulo 3 Módulo 1 Módulo 2 Módulo 1

La cantidad de tiempo que lleva avanzar en la encuesta varía dependiendo de un número

que las secciones Gastos y Transferencias aparezcan al principio o al principio.

(Figura A3). Volvemos a esta aleatorización en la sección de discusión, cuando discutimos

posibles explicaciones para la fatiga de la encuesta.

Se observa consistentemente un rango similar de diferencia en todas las secciones.

(1) (2) (3) (4) (5) (6) (7)

Módulo 1 Módulo 2 Módulo 3

Activos Ahorros Transferencias de crédito Gasto Impactos Contribuciones

Versión B ­3,30*** ­2,84** (1,36) ­2,79** ­2,63* 6,39*** ­12,20*** ­8,83***

(1.28) (1,36) (1,37) (1,37) (1,47) (1.50)

(1.27) (1.36) (1.36) (1.37) (1.36) (1,46) (1.50)

(1,27) (1,36) (1,36) 6,61*** 6,01*** (1,37) (1,36) (1,46) (1.50)

(1.27) (1.36) (1,37) (1,36) (1,46) (1.50)

(1.28) (1.36) (1.36) (1.38) (1,37) (1,47) (1.50)

Versión A: media 80.01 93,47 93,89 95,61 109.39 125,53 134,72

Número de encuestados 5.591 5.597 5.597 5.597 5.597 5.597 5.592

2.3 Características de los encuestados y verificación de aleatorización

desviación estándar (para variables no binarias) correspondiente a la versión A de la encuesta (elegida

Tabla 2: Estadísticas resumidas y verificación de aleatorización

Estudio de referencia Encuesta final

valor p: prueba valor p: prueba

Panel A. Características del encuestado

Panel B. Características del hogar

Panel C. Grupos aleatorios cruzados

Observaciones 4.879 5.349

tratamientos aleatorios cruzados.

3.1 Cuantificación de la fatiga de las encuestas

Versión B 3,30* 2,84 (1,36) 2,79** 2,63* 6,39* 12,20* 8,83***

(1,27) (1,36) (1,36) 6,61* 6,01* (1,37) (1,36) (1,46) (1.50)

Horas de encuesta 0.002 0,058** 0,074* 0,209*** 0,095*

Granja Alimento No Público

Granja Alimento No Público Transferencias Transferencias Crédito

Horas de encuesta: media 0.0 0.0 0.0 0.0 0.0

Granja Alimento No Público

meses durante aproximadamente 16 a 26 meses (u 8 a 13 rondas). Después de decidir implementar la encuesta

Transferencias Transferencias Crédito Alimento No