La influencia de los ensayos controlados aleatorios en la investigación económica del desarrollo

Machine Translated by Google
10 La influencia de los ensayos controlados aleatorios en
Investigación en Economía del Desarrollo y en
Política de desarrollo
Abhijit Vinayak Banerjee, Esther Duflo y Michael Kremer
Muchas (aunque no todas) de las preguntas que se hacen los economistas del
desarrollo y los formuladores de políticas son de naturaleza causal: ¿Cuál sería el
impacto de agregar computadoras en las aulas? ¿Cuál es la elasticidad precio de
la demanda de productos de salud preventiva? ¿El aumento de las tasas de interés
conduciría a un aumento en las tasas de incumplimiento? Hace décadas, el
estadístico Fisher propuso un método para responder a estas preguntas causales:
ensayos controlados aleatorios (ECA; Fisher 1925). En un ECA, la asignación de
diferentes unidades a diferentes grupos de tratamiento se elige aleatoriamente.
Esto asegura que ninguna característica no observable de las unidades se refleje
en la asignación y, por lo tanto, que cualquier diferencia entre las unidades de
tratamiento y de control refleje el impacto del tratamiento. Aunque la idea es simple,
la implementación en el campo puede ser más complicada, y pasó algún tiempo
antes de que la aleatorización se considerara una herramienta práctica para
responder preguntas en la investigación de las ciencias sociales en general y en la
economía del desarrollo más específicamente.
Hace unos 20 años, la idea de los ensayos controlados aleatorios apenas
comenzaba a abrirse camino en la economía del desarrollo. A partir de 1994,
Glewwe, Kremer y Moulin (2009) impulsaron el uso de evaluaciones aleatorias entre
economistas y profesionales del desarrollo (Kremer
Las opiniones expresadas en este documento expresan las opiniones personales del autor y son
enteramente propias de los autores. No necesariamente reflejan las opiniones de la Agencia de
los Estados Unidos para el Desarrollo Internacional (USAID) o del Gobierno de los Estados
Unidos. USAID no es responsable de la exactitud de la información proporcionada en este documento.
Agradecemos a Alison Fahey, Noor Iqbal, Sasha Gallant, Joaquin Carbonell, Adam Trow Bridge
y Anne Healy por su apoyo. Agradecemos a Rachel Glennerster por sus útiles comentarios y a
Francine Loza y Laura Stilwell por su excelente asistencia en la investigación.
Descargado de http://direct.mit.edu/books/book/chapterpdf/676291/9780262353472_c001000.pdf por invitado el 8 de marzo de 2023
440 Abhijit Vinayak Banerjee, Esther Duflo y Michael Kremer
2003). En 1997, comenzó el ensayo controlado aleatorizado de PROGRESA, que
marcó la primera evaluación de un esfuerzo político a gran escala en un país en
desarrollo. Con el lanzamiento de estas evaluaciones aleatorias, expresamos, quizás
ingenuamente, la esperanza de que los ECA revolucionarían la política social en el siglo
XXI, al igual que habían revolucionado la medicina en el siglo XX (Duflo y Kremer 2005;
Duflo 2004; Banerjee et al. Alabama.
2007). Con un siglo de menos de 20 años, parece un poco prematuro evaluar esta
afirmación. Las evaluaciones aleatorias claramente ocupan un lugar más importante en
la conversación sobre políticas ahora que a principios de siglo, y reciben una financiación
sustancialmente mayor de las organizaciones donantes y los gobiernos locales. Las
innovaciones de políticas que se han probado con ECA han llegado a millones de
personas. Sin embargo, la cantidad de dinero involucrada es aún pequeña. La política
de desarrollo, además, es conocida por sus giros y vueltas; muchos han predicho que
los RCT son solo la moda actual y, muy pronto, tendrán su merecido.
Sin embargo, sin duda ha sucedido algo que no anticipamos: los ensayos controlados
aleatorios, si no revolucionaron, al menos alteraron profundamente la práctica de la
economía del desarrollo como disciplina académica. Algunos académicos aplauden este
cambio (obviamente estamos en ese campo), mientras que otros lo lamentan (Deaton
2010; Ravallion 2012), pero el hecho no está realmente en disputa. En este ensayo,
comenzamos documentando cuantitativamente esta notable evolución. Aquí discutimos
las formas en que el campo se ha visto afectado por la práctica de los RCT y lo que
vemos como sus principales contribuciones a la práctica de la economía del desarrollo.
En ocasiones, se ha considerado que la popularidad de los ECA como herramienta
de investigación entra en conflicto con su potencial (o ambición) de cambiar el mundo.
La opinión es que el deseo "académico" de idear el diseño de investigación más
inteligente puede no coincidir con la necesidad de los profesionales de identificar
innovaciones escalables (el próximo teléfono celular), o cambiar "sistemas" (atención
médica) o reformar instituciones (democracia). ). Usando la cartera de USAID
Development Innovation Ventures (DIV) como estudio de caso, identificamos las
innovaciones de políticas probadas con fondos DIV que eventualmente han llevado a un
alcance a gran escala (más de 100,000 personas). El análisis sugiere que la oposición
propuesta entre interesante e importante no es particularmente pertinente. En la práctica,
muchas de las intervenciones respaldadas por DIV que han alcanzado esta escala
comenzaron como pequeños proyectos de investigación impulsados por académicos. Estos proyectos tam
La influencia de los ensayos controlados aleatorios 441
300
250
200
150
100
50
0
1975 1980 1985 1990 1995 2000 2005 2010 2015
Año de publicación
Figura 10.1
Número de ECA publicados Fuente:
Cameron, Drew B., Anjini Mishra y Annette N. Brown. 2016. “El crecimiento de la evaluación de impacto para el
desarrollo internacional: ¿Cuánto hemos aprendido?”
Revista de Efectividad en el Desarrollo 8 (1): 1–21.
“ganar por el dinero” evaluado en términos de vidas finalmente alcanzadas por dólares de
financiamiento inicial de USAID.1 Concluimos este ensayo discutiendo lo que esto nos dice sobre el
proceso de políticas y el papel que pueden tener los ECA en él.
Crecimiento rápido
Durante los últimos 15 años, el uso de experimentos se ha expandido en la academia y en las
organizaciones internacionales: el grupo DIME del Banco Mundial enumera más de 200 estudios, casi
todos aleatorizados, y Arianna Lego vini, directora de DIME, estima que si tomamos el Banco Mundial
en su conjunto, hay al menos 475 ECA en marcha (Legovini, comunicación personal).
Las tablas 10.1 y 10.2 y las figuras del capítulo resumen algunas tendencias en el uso de experimentos
a lo largo del tiempo.
Comenzamos con una revisión de las evaluaciones de impacto realizadas por Cameron, Mishra
y Brown (2016; figuras 10.1 y 10.2). Recopilaron un repositorio de 2259 estudios de evaluación de
impacto en economía del desarrollo que se publicaron entre 1981 y 2012 mediante búsquedas en las
principales bases de datos académicas en salud, economía, políticas públicas y ciencias sociales.
Ellos
1. Esto no implica necesariamente que tengan el mayor retorno social.
Diferencias en diferencias
2,40% 16,10% 16,70%

Variables instrumentales
8,30%
ECA
Descontinuidad de regresión
66,40%
Coincidencia de puntuación de propensión, o
Otro método de coincidencia
Figura 10.2
Evaluaciones por tipo
Fuente: Cameron, Drew B., Anjini Mishra y Annette N. Brown. 2016. “El crecimiento de la
evaluación de impacto para el desarrollo internacional: ¿Cuánto hemos aprendido?”
complementó esto con un esfuerzo de crowdsourcing en línea, que ofreció un
certificado de regalo de $ 10 por artículo calificado que aún no estaba en la base de
datos. Luego clasificaron los periódicos por sector y por tipo. En general, el 66 por
ciento (1491) de esas evaluaciones son RCT. La figura 10.1 muestra que el número
de ECA ha crecido rápidamente con el tiempo.
A continuación, analizamos los datos compilados por Aidgrade (Vivalt 2015). Aidgrade
recopila los resultados de las evaluaciones de impacto de las intervenciones de desarrollo.
Según Vivalt:
Las evaluaciones incluidas en la base de datos de AidGrade se seleccionaron
cuidadosamente de varias bases de datos y fuentes en línea diferentes, cuyo proceso
detallado se describe en Vivalt (2015). Los empleados de AidGrade.org eligieron primero
30 temas que consideraron importantes para el desarrollo. Esas listas se combinaron y
se convirtieron en una gran lista de temas. Luego, la lista se redujo en función de si era
probable o no que hubiera suficientes evaluaciones para un metanálisis. El universo de
búsqueda incluye agregadores de búsqueda, como Google Scholar y EBSCO, pero
también incluye las bases de datos en línea JPAL, IPA, CEGA y 3ie.
La figura 10.3a muestra el número de evaluaciones por año y la figura 10.3b
muestra cómo se distribuyen las evaluaciones a lo largo del tiempo entre ECA en
economía, ECA en otros campos (p. ej., ensayos médicos) y no ECA. Ambas cifras
muestran una clara tendencia tanto en el número como en la fracción de ECA entre
las evaluaciones de impacto encuestadas.
A
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
novecientos
ochenta
mil
dos
y 1989 1990 1991 1992 1993 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014
Porcentaje de ECA en Econ Porcentaje RCTS en otros campos No ECA
B
25
20
15
10
0
1980 1985 1990 1995 2000 2005 2010 2015 2020
Número total de evaluaciones Número total de evaluaciones económicas
# total de otras evaluaciones
Figura 10.3
Evaluaciones de Aidgrade.org
Fuente: Aidgrade.org.
Los ECA son particularmente populares entre los investigadores más
jóvenes. Las figuras 10.4 y 10.5 muestran el número y la fracción de
investigadores que realizan ECA entre los becarios y asociados de la Oficina
de Investigación y Análisis Económico del Desarrollo (BREAD), la asociación
de economistas del desarrollo, por el año en que obtuvieron su título.
doctorados. El número aumenta claramente entre los doctores recientes, y aunque esto se deb
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
1980 o anterior 19811990 19912000 20012005 2006hoy
Doctorado Año
Figura 10.4
Fracción de afiliados y becarios de BREAD con uno o más ECA
Fuente: Aidgrade.org.
70%
62%
60%
50%
40%
29%
30%
20%
10%
0%
2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016
Año
Figura 10.5
Porcentaje de documentos de conferencias BREAD que utilizan un
ECA Fuente: Aidgrade.org.
por un mayor número de becarios y asociados recientes, la fracción de ellos que
realizan RCT también aumenta.
El número de ECA presentados en conferencias de economía del desarrollo
creció rápidamente hasta 2010 y luego se estabilizó (o disminuyó) después de
eso. En la conferencia anual de BREAD (la conferencia insignia en economía del
desarrollo), la fracción de artículos que presentaban RCT aumentó del 8 por ciento en
Tabla 10.1
Documentos de la conferencia del North East Universities Development Consortium
Año Número total de ECA Proporción de ECA (porcentaje)
2015 40 18.20
2014 36 17.90
2013 49 24.30
2012 27 16.00
Fuente: Datos de neudc.org.
2005 al 63 por ciento en 2010, y osciló entre el 40 y el 50 por ciento después de eso
(excepto en la última conferencia, en Georgetown, donde fue del 28 por ciento). En la
Conferencia del Consorcio de Desarrollo de las Universidades del Noreste, una conferencia
más grande a la que asistieron muchos investigadores jóvenes, la fracción de ECA se ha
mantenido bastante estable, oscilando entre el 16 y el 24 por ciento para los años 2012 a
2015 (los años para los que pudimos obtener los documentos) y sin mostrar ninguna
tendencia en particular (tabla 10.1).
Los ECA han hecho una entrada clara en las principales revistas académicas. Mirando
a American Economic Review (AER), Quarterly Journal of Economics (QJE), Econometrica,
Review of Economic Studies y Journal of Political Economy (JPE), el número de estudios
RCT fue 0 en 1990, 0 en 2000, y 10 en 2015 (tabla 10.2). Al mismo tiempo, el número de
artículos sobre desarrollo publicados en estas revistas casi se duplicó (de 17 en 1990 a
32 en 2015).
La Tabla 10.2 también proporciona los detalles por revista. Esto no está impulsado por
ninguna revista en particular (excepto que Econometrica no parece contribuir mucho).
Tenga en cuenta que esto no significa que los estudios RCT hayan suplantado otros tipos
de trabajo: casi todos los trabajos publicados sobre el desarrollo todavía no son RCT (si
observamos las revistas de menor rango), e incluso en las revistas más importantes, los
experimentos han sido además de los (número limitado de) artículos que se publicaron
sobre el desarrollo.
Más allá del crecimiento en el número de experimentos y en el número de
investigadores que los llevan a cabo, lo que también se destaca es el alcance y la
ambición de los proyectos que se intentan: pocos temas parecen fuera de los límites, y la
escala no parece ser un problema. barrera.
Los investigadores trabajan directamente con los gobiernos para aleatorizar aspectos
de su trabajo. Finan, Olken y Pande (2015) describen varios de estos ambiciosos
experimentos. Por ejemplo, Dal Bó, Finan y Rossi (2013) aleatorizan los salarios a los que
se contratan los nuevos empleados del gobierno; Khan, Khwaja y Olken (2016) asignan
incentivos aleatorios a los recaudadores de impuestos en Pakistán; y
Tabla 10.2
Artículos en las principales revistas
Número de Número de
Número total de documentos de los cuales son
Diario Año artículos desarrollo ECA
económico americano 2015 101 15 4

Revisar 2000 48 6 0
1990 57 2 0
Revista trimestral de 2015 40 1 1
Ciencias económicas
2000 43 5 0
1990 52 3 0
Revista de Política 2015 36 4 3
Economía 2000 51 7 0
1990 sesenta y cinco 9 0
Restud 2015 48 7 2
2000 36 3 0
1990 40 1 0
Econométrica 2015 46 5 0
2000 37 0 0
1990 64 2 0
Total 2015 271 32 10

2000 215 21 0
1990 278 17 0
Fuente: Datos de neudc.org.
Ashraf, Bandiera y Lee (2015) investigan cómo se contrata a los trabajadores sanitarios del gobierno
para sus puestos de trabajo. En experimentos que abarcan varios distritos y millones de trabajadores,
Muralidharan, Niehaus y Sukhtankar (2016) y Banerjee et al. (2016) evalúan dos cambios de proceso
separados en el pago de salarios del principal programa de trabajo de la India, la Ley Nacional de
Garantía de Empleo Rural Mahatma Gandhi (MGNREGS), mientras que Banerjee et al. (2014)
aleatorizan las reformas en el departamento de policía de la India, y Duflo et al. (2013a, 2013b)
aleatorizar la aplicación de la regulación de la contaminación en
empresas industriales en la India.
Los investigadores trabajan a una escala que es suficiente para captar los efectos del equilibrio
del mercado: Muralidharan y Sundararaman (2015) asignan al azar un cupón de escuela privada al
nivel del mercado escolar, mientras que Muralidharan, Niehaus y Sukhtankar (2016), en su experimento
antes mencionado, pueden analizar el impacto de MGNREG en los salarios y la productividad.
La gama de temas sigue ampliándose. Los economistas del desarrollo estudian la
adicción al alcohol (Schilbach 2015), el fraude electoral en Afganistán (Callen y Long 2015),
la terapia conductual cognitiva para excombatientes (Blattman, Jamison y Sheridan 2015) y
la estimulación y el desarrollo en la primera infancia (Attanasio et al. 2014).
En resumen, los experimentos aleatorios se han convertido no tanto en
“estándar de oro” como una herramienta estándar en la caja de herramientas. Ejecutar un
experimento ahora es lo suficientemente común como para que, por sí solo, no garantice
que el artículo se publicará en una revista importante o incluso en la conferencia BREAD.
Sin embargo, investigadores de todo tipo de perspectivas han llegado a considerar los ECA
como una opción factible para responder las preguntas que les interesan. Este nivel de
comodidad se debe en parte al crecimiento de varias entidades que ayudan a los
investigadores con su trabajo de campo, incluida la codificación y estandarización de
prácticas experimentales y capacitación de enumeradores. El líder en esto es Innovation for
Poverty Action, con su vasta red de oficinas de país y personal experimentado, pero también
JPAL, CEGA y el Banco Mundial.
También hay más fondos disponibles, de USAID (DIV en particular), el Banco Mundial (SIEF
y DIME), DFID, The Bill and Melinda Gates Foundation, The William and Flora Hewlett
Foundation, The International Ini tiative for Impact Evaluation, en en particular y, más
recientemente, el Global Innovation Fund. Pero parte de esto también tiene que ver con el
atractivo de la técnica. En la siguiente sección, reflexionamos sobre la influencia que los
ECA han tenido en la investigación de la economía del desarrollo y por qué.
La influencia de los ECA en la investigación sobre economía del desarrollo
El notable crecimiento en el número de RCT, y más generalmente en la importancia de la
economía empírica del desarrollo como campo, son en sí mismos cambios dramáticos. El
tipo de investigación para el desarrollo que se lleva a cabo hoy en día es significativamente
diferente de la investigación que se realizaba hace 15 años. Un reflejo de este hecho es que
muchos investigadores que eran abiertamente escépticos de los RCT, o que simplemente
pertenecían a una tradición completamente diferente en la economía del desarrollo (p. ej.,
Daron Acemoglu, Derek Neal, Martin Ravallion y Mark Rosenzweig) se han involucrado en
uno o más. más ECA en un país en desarrollo.
Las primeras discusiones sobre los méritos (o la falta de ellos) de la aleatorización
pusieron mucho énfasis en su papel en la identificación confiable de efectos causales válidos
internamente y la validez externa de dichas estimaciones. Nosotros y
otros, han tenido estas discusiones en otros lugares (Heckman 1992; Banerjee 2008; Duflo,
Glennester y Kremer 2007; Banerjee y Duflo 2009; Deaton 2010), y no las reproduciremos aquí.
Como comenzamos a argumentar en Banerjee y Duflo (2009), en realidad pensamos que estas
discusiones de alguna manera no entienden por qué los RCT son realmente valiosos y por qué
se han vuelto tan populares entre los investigadores.
Un mayor enfoque en la identificación en todos los ámbitos
La motivación original de los experimentos aleatorios, comenzando con Neyman ([1923] 1990;
como dispositivo teórico) y Fisher (1925; quien fue el primero en proponer unidades aleatorias
físicas), fue un enfoque en la identificación creíble de los efectos causales. Como Athey e Imbens
(2017, 78) escriben en su capítulo de The Handbook on Field Experiments:
Existe una larga tradición que considera los experimentos aleatorios como el diseño más creíble
para obtener inferencias causales. Freedman (2006) escribe sucintamente que “los experimentos
ofrecen evidencia más confiable sobre la causalidad que los estudios observacionales”. En
Por otro lado, algunos investigadores continúan siendo escépticos acerca de los méritos
relativos de los experimentos aleatorios. Por ejemplo, Deaton (2010) argumenta que "la
evidencia de los ensayos controlados aleatorios no puede tener una prioridad especial... Los
ensayos controlados aleatorios no pueden triunfar automáticamente sobre otra evidencia, no
ocupan ningún lugar especial en alguna jerarquía de evidencia..." Nuestras opiniones se alinean
con eso. de Freedman y otros, quienes consideran que los experimentos aleatorios desempeñan
un papel especial en la inferencia causal. Siempre que sea posible, un experimento aleatorio
es único en el control que tiene el investigador sobre el mecanismo de asignación y, en virtud
de este control, se puede eliminar el sesgo de selección en las comparaciones entre las
unidades tratadas y las de control. Eso no significa que los experimentos aleatorios puedan
responder a todas las preguntas causales. Hay una serie de razones por las que los
experimentos aleatorios pueden no ser adecuados para responder preguntas particulares.
Durante mucho tiempo, los estudios observacionales y los estudios aleatorizados progresaron
en caminos en gran medida paralelos: en la ciencia agrícola y luego en los estudios biomédicos,
los experimentos aleatorios fueron rápidamente aceptados y se desarrolló un vocabulario y un
aparato estadístico para pensar en ellos. A pesar de la adopción de estudios aleatorios en otros
campos, en las ciencias sociales, la mayoría de los investigadores continuaron razonando
exclusivamente en términos de datos observacionales.
El enfoque principal fue estimar las asociaciones y luego tratar de evaluar hasta qué punto estas
asociaciones reflejan la causalidad (o renunciar explícitamente a la causalidad). A partir de la
contribución fundamental de Rubin (1974), los investigadores comenzaron a utilizar el análogo
experimental para razonar sobre
datos de observación, que preparan el escenario para pensar en cómo analizar
los datos de observación a través de la lente del "experimento ideal".
Durante las décadas de 1980 y 1990, motivados por este pensamiento claro
sobre los efectos causales, la economía laboral y las finanzas públicas se
transformaron con la introducción de nuevos métodos empíricos para estimar los
efectos causales (emparejamiento, variables instrumentales, diferencias en
diferencias y diseños de discontinuidad de regresión). ). La economía del desarrollo
también adoptó esos métodos a partir de la década de 1990, pero a diferencia de
la economía laboral y las finanzas públicas, algunos investigadores también
decidieron que es posible ir directamente al experimento “ideal” o alternar entre
estudios experimentales y no experimentales. Como resultado, las dos literaturas
se desarrollaron en estrecha relación, fertilizándose constantemente entre sí.
La literatura no experimental fue completamente transformada por la existencia
de este gran movimiento RCT. Cuando el estándar de oro no es solo un brillo en
los ojos de alguien, sino la alternativa clara a una estrategia empírica particular y
un punto de referencia para ella, los investigadores se sienten obligados a pensar
más sobre las estrategias de identificación y a ser más inventivos y rigurosos al
respecto. Como resultado, los investigadores se han vuelto cada vez más hábiles
para identificar y usar experimentos naturales y, al mismo tiempo, mucho más
cautelosos al interpretar los resultados de ellos. No es sorprendente que los
estándares de la literatura no experimental hayan mejorado enormemente en las
últimas décadas sin sacrificar necesariamente su capacidad para hacer preguntas
amplias e importantes. Por ejemplo, Alesina, Giuliano y Nunn (2013) utilizan la
idoneidad para el arado para estudiar los determinantes a largo plazo de las
actitudes sociales hacia el rol de la mujer; Padró i Miquel, Qian y Yao (2014)
utilizan una estrategia de diferencias en diferencias para estudiar la democracia
de las aldeas; y Banerjee e Iyer (2005) y Dell (2010) utilizan una discontinuidad
espacial para observar el impacto a largo plazo de las instituciones extractivas. En
cada uno de estos casos, las preguntas se abordan con el mismo ojo para la
identificación cuidadosa que otras preguntas de evaluación de programas más estándar.
Mientras tanto, la literatura RCT también estuvo influenciada por el trabajo
realizado en la literatura no experimental. La comprensión del poder (y los límites)
de las variables instrumentales permitió a los investigadores alejarse del paradigma
experimental básico del experimento completamente aleatorio con un seguimiento
perfecto y utilizar estrategias más complicadas, incluidos los diseños de estímulo.
Las técnicas desarrolladas en la literatura no experimental ofrecieron formas de
manejar situaciones en el campo que están alejadas del
entorno ideal de los experimentos (p. ej., aleatorización imperfecta, incumplimiento,
deserción, efectos indirectos y contaminación). Los métodos estructurales se combinaron
con experimentos para estimar políticas contrafácticas (Todd y Wolpin 2006; Attanasio,
Meghir y Santiago 2012).
Más recientemente, las técnicas de aprendizaje automático también se combinaron
con experimentos para modelar la heterogeneidad del efecto del tratamiento (ver Athey
e Imbens 2017 para una revisión reciente de la econometría de los experimentos).
Por supuesto, la ampliación que ofrecen estas nuevas técnicas tiene el costo de
hacer suposiciones adicionales además de la asignación experimental original, y esas
suposiciones pueden o no ser válidas. Por lo tanto, la diferencia en la calidad de la
identificación entre un estudio no experimental muy bien identificado y una evaluación
aleatoria que termina enfrentando muchas limitaciones en el campo o trata de estimar
parámetros más allá de los efectos puros del tratamiento es una cuestión de grado. En
este sentido, ha habido una convergencia a lo largo del espectro empírico en términos
de la calidad de la identificación, principalmente porque los experimentos han arrastrado
consigo los diseños de estudio restantes.
Evaluación de la validez
externa En palabras de Athey e Imbens (2017, 79): “La validez externa se relaciona
con la generalización de las inferencias causales, elaboradas para una población y un
entorno en particular, a otros, donde estos entornos alternativos podrían involucrar a
diferentes poblaciones, diferentes resultados. , o diferentes contextos.”
La cuestión de la validez externa de los ECA es aún más debatida que la de su
validez interna. Esto quizás se deba a que, a diferencia de la validez interna, no existe
un punto final claro para el debate: siempre podría ocurrir heterogeneidad en los efectos
del tratamiento entre diferentes tipos de individuos, o la heterogeneidad en el efecto
puede resultar de tratamientos muy ligeramente diferentes. Como reconocen Banerjee,
Chassang y Snowberg (2016, 25): “El asesoramiento sobre políticas externas es
inevitablemente subjetivo. Esto no significa que deba estar desinformado por evidencia
experimental, sino que el juicio inevitablemente lo coloreará”.
Vale la pena señalar que muy poco aquí es específico de los ECA (Banerjee 2008).
El mismo problema afecta a todos los análisis empíricos con la única excepción de lo
que Heckman (1992) llama el “sesgo de aleatorización”. El “sesgo de aleatorización” se
refiere al hecho de que los experimentos requieren el consentimiento tanto de los
sujetos como de la organización que lleva a cabo el programa, y estos
las personas pueden ser bastante diferentes. Glennerster (2017), en su capítulo del Handbook
of Field Experiments, proporciona la lista de características del socio ideal, y claramente no son
representativas de la típica organización no gubernamental (ONG). Pero vale la pena señalar
que también se selecciona cualquier política que ocurra naturalmente y que se evalúe (es decir,
que no sea un ECA): la evaluación requiere que la política se haya llevado a cabo, y eso se
debió presumiblemente a que alguien pensó que era una buena idea evaluarla. Pruébalo.
En general, cualquier estudio se lleva a cabo en un momento y lugar determinados, y eso
afecta los resultados. Esto no implica que las recomendaciones subjetivas de los expertos,
basadas tanto en sus antecedentes como en los resultados de sus experimentos, no deban ser
de alguna utilidad para los formuladores de políticas. La mayoría de los formuladores de
políticas saben cómo combinar los datos que se les presentan con su propio conocimiento
previo de sus entornos. A partir de nuestra experiencia, a menudo hemos observado que
cuando se presentan pruebas de un ECA sobre un programa de interés, la reacción inmediata
de un elaborador de políticas es preguntar si un ECA podría ser
hecho en su propio contexto.
Hay una ventaja clara que los ECA ofrecen para la validez externa, aunque no se discute
a menudo y no se ha explotado sistemáticamente hasta el momento. Para evaluar cualquier
problema de validez externa, es útil contar con estudios causales bien identificados en múltiples
entornos. Estos entornos deben variar en cuanto a la distribución de las características de las
unidades, y posiblemente en cuanto a la naturaleza específica de los tratamientos o la tasa de
tratamiento, para evaluar la credibilidad de la generalización a otros entornos. Con los RCT,
debido a que podemos, en principio, controlar dónde y sobre qué experimentos de muestra se
llevan a cabo (y no solo cómo asignar el tratamiento en una muestra), podemos controlar cómo
los efectos del tratamiento pueden variar según el contexto. Por sí mismo, esto no es suficiente
para decir mucho, si tomamos en cuenta la infinita variación no estructurada en el mundo. Pero
hay varias formas de progresar.
Un primer enfoque es combinar las evaluaciones existentes y hacer suposiciones sobre la
posible distribución de los efectos del tratamiento. Rubin (1981) propone modelar la
heterogeneidad del efecto del tratamiento como resultado de una distribución normal: en cada
sitio, el efecto causal del tratamiento es un efecto específico del sitio extraído de una distribución
normal. El objetivo es estimar la media y la varianza del efecto del tratamiento, y el efecto del
sitio específico implícito, teniendo en cuenta el hecho de que también tenemos otros efectos.
Un estudio de caso interesante es el efecto de los programas de microfinanzas. Análisis de
Meager (2016)
datos de siete experimentos aleatorios, incluidos seis publicados en una edición especial de
American Economic Journal: Applied Economics en 2015. Ella encuentra una consistencia
notable en los efectos medios en estos estudios, pero mucha más heterogeneidad en su varianza.
Por supuesto, para llevar a cabo este ejercicio correctamente, necesitamos acceder a una
muestra no seleccionada de estudios, y debido a que existe un sesgo de publicación en
economía, la muestra de estudios publicados puede no ser representativa de todos los estudios
que existen. Aquí es donde entra en juego otra ventaja de RCT: debido a que tienen un principio
y un final definidos, en principio se pueden registrar. Con este fin, la Asociación Económica
Estadounidense creó recientemente un registro de ensayos aleatorios
(www.socialscienceregistry.org ), que, al 1 de junio, enumeraba 699 estudios. La esperanza es
que todos los proyectos se registren, preferiblemente antes de su lanzamiento, y que los
resultados estén claramente vinculados al estudio, para que en el futuro, los metaanalistas
puedan trabajar desde el universo completo de estudios.
Un segundo enfoque es concebir los proyectos como proyectos multisitio desde el principio.
Un ejemplo reciente de una empresa de este tipo es el enfoque de “graduación”, un programa
integrado y multifacético con la promoción de medios de vida en su núcleo que tiene como
objetivo “graduar” a las personas de la pobreza extrema y hacia un camino de mayor consumo
sostenible a largo plazo. BRAC, la organización no gubernamental más grande del mundo, ha
ampliado este programa en Ban gladesh (Bandiera et al. 2013), y las ONG de todo el mundo se
han comprometido
en esfuerzos similares basados en medios de subsistencia. Se realizaron seis ensayos aleatorios
durante el mismo período en todo el mundo (en Etiopía, Ghana, Honduras, India, Pakistán y
Perú). Los equipos se comunicaban regularmente entre sí y con BRAC para garantizar que sus
adaptaciones locales se mantuvieran fieles al programa original. Los resultados sugieren que el
programa multifacético integrado fue “suficiente” para aumentar los ingresos a largo plazo, donde
“largo plazo” se define como 3 años después de la transferencia de activos productivos (Baner
jee et al. 2015a). Usando un enfoque de índice para dar cuenta de múltiples pruebas de hipótesis,
se encontraron impactos positivos para el consumo, los ingresos y los ingresos, la riqueza de
activos, la seguridad alimentaria, la inclusión financiera, la salud física, la salud mental, la oferta
laboral, la participación política y la toma de decisiones de las mujeres después de 2 años. años.
Después de un tercer año, los resultados se mantuvieron iguales en ocho de las diez categorías
de resultados. Existe una variación de un país a otro (p. ej., el programa fue ineficaz en Honduras),
y el equipo está trabajando actualmente en un metanálisis para cuantificar el nivel de
heterogeneidad.
Un problema es que es poco lo que el investigador puede hacer ex post para
identificar de manera confiable la fuente de las diferencias en los hallazgos entre países.
Un tercer enfoque posible sería tomar la guía de los primeros sitios para hacer una
predicción sobre lo que encontrarían los próximos sitios. Para disciplinar este proceso,
se alentaría a los investigadores a usar los resultados de los ensayos existentes para
hacer algunas predicciones explícitas sobre lo que esperan observar en otras muestras
(o con tratamientos ligeramente diferentes). Estos pueden servir como guía para
ensayos posteriores. Esta idea se discute en Banerjee, Chassang y Snowberg (2016),
quienes la llaman “especulación estructurada”. Proponen las siguientes pautas generales
para la especulación estructurada:
1. Los experimentadores deberían especular sistemáticamente sobre la validez externa
dad de sus hallazgos.
2. Dicha especulación debe estar clara y limpiamente separada del resto de
el periódico, tal vez en una sección llamada "especulación".
3. La especulación debe ser precisa y falsificable.
La especulación estructurada tiene tres ventajas, según Banerjee, Chas sang y
Snowberg (2016, 27). En primer lugar, asegura que se capture el conocimiento
específico del investigador. En segundo lugar, crea una idea clara de dónde más se
deben realizar los experimentos. En tercer lugar, crea incentivos para diseñar
investigaciones que tengan una mayor externalidad. Escriben:
Para abordar la escalabilidad, los experimentadores pueden estructurar estudios piloto locales para una
fácil comparación con sus experimentos principales. Para identificar las subpoblaciones correctas para
generalizar a otros entornos, los experimentadores pueden identificar con anticipación las características
de los grupos que se pueden generalizar y estratificar sobre ellos. Para extender los resultados a
poblaciones con una distribución diferente de características no observadas, los experimentadores pueden
obtener las primeras usando las técnicas de prueba selectiva discutidas en Chassang, PadróiMiquel y
Snowberg (2012), y ejecutar los experimentos por separado para cada una de ellas. los grupos así
identificados.
Como este enfoque se propuso recientemente, hay pocos ejemplos hasta el
momento. Un ejemplo notable es Dupas (2014). Dupas (2014) estudia el efecto de los
subsidios a corto plazo en la adopción a largo plazo de nuevos productos de salud e
informa que los subsidios a corto plazo tuvieron un impacto significativo en la adopción
de una clase de mosquiteros más efectivos y cómodos. Luego, el documento proporciona
una discusión clara sobre la validez externa. Primero detalla un argumento simple y
transparente que relaciona la eficacia de los subsidios a corto plazo con: (1) la velocidad
a la que se resuelven diversas formas de incertidumbre y
(2) la sincronización de los costos y beneficios del usuario. Si la incertidumbre sobre los beneficios
se resuelve rápidamente, los subsidios a corto plazo pueden tener un efecto a largo plazo. Si la
incertidumbre sobre los beneficios se resuelve lentamente y se incurre en costos de adopción desde
el principio, es poco probable que los subsidios a corto plazo tengan un efecto a largo plazo.
Dupas (2014) luego responde a la pregunta: ¿Para qué tipos de productos de salud y contextos
esperaríamos los mismos resultados? El documento lo hace clasificando las tecnologías potenciales
en tres categorías basadas en cómo los subsidios a corto plazo (o únicos) cambiarían los patrones
de adopción. Claramente, podría haber discusiones de este tipo al final de todos los artículos, no solo
en los que presentan ECA. Pero debido a que los ECA pueden diseñarse y colocarse a propósito,
existe una mayor probabilidad de seguimiento en este caso.
Observar lo no observable Si el
principal beneficio de la aleatorización no es la identificación del efecto causal, ¿cuál es? ¿Y qué
explica su notable éxito entre los investigadores?
Estamos de acuerdo con Athey e Imbens (2017, 78) en que “un experimento aleatorio es único
en el control que tiene el investigador sobre el mecanismo de asignación”, y llevaríamos el argumento
un paso más allá: la aleatorización también es única en el control que el investigador (a menudo)
tiene sobre el tratamiento mismo. En los estudios de observación, por muy bien diseñados que estén,
el investigador se limita a evaluar lo que se ha implementado en el mundo. En un experimento
aleatorio, puede manipular el tratamiento de formas que no observamos en la realidad. Esto tiene una
serie de ventajas.
En primer lugar, puede innovar (es decir, diseñar nuevas políticas o intervenciones que crea que
serán eficaces en base a conocimientos o teorías anteriores) y probar estas innovaciones, incluso si
ningún responsable de la formulación de políticas está pensando en ponerlas en práctica todavía. Los
economistas del desarrollo tienen muchas ideas, a menudo inspiradas en lo que han leído o
investigado, y muchos de los proyectos de experimentos aleatorios surgen de esas ideas: prueban en
el campo una intervención que simplemente no existía antes (por ejemplo, un kilogramo de lenteja
para los padres que vacunan a sus hijos; pegatinas para animar a los motociclistas a hablar en contra
de un mal conductor; dispensadores de cloro gratis).
En segundo lugar, el investigador puede introducir variaciones que le ayudarán a establecer
hechos que de otro modo no podrían establecerse. El conocido experimento del Impuesto sobre la
Renta Negativo (NIT, por sus siglas en inglés) fue diseñado precisamente con esa idea en mente: en
general, un aumento en los salarios crea efectos tanto de ingreso como de sustitución que no se
pueden separar fácilmente (Heckman 1992), pero la manipulación aleatoria
de la pendiente y la intersección de un programa de salarios hace posible estimar
ambos juntos. Curiosamente, después de la NIT inicial y el experimento Rand Health
Insurance, la tradición de los experimentos sociales en los Estados Unidos, como
describe Judy Gueron (2017) en su capítulo del Handbook of Field Experiments, ha
consistido principalmente en obtener efectos causales de políticas sociales que a
menudo eran paquetes bastante completos. En contraste, los economistas del
desarrollo han trabajado tanto en evaluaciones de políticas reales (por ejemplo, la
evaluación de PROGRESA, o, más recientemente, la evaluación del programa de
graduación) como en lo que Congdon et al. (2017, 394) describen como “experimentos de mecanismos
En términos generales, un experimento de mecanismo es un experimento que prueba un mecanismo, es
decir, no prueba directamente los efectos de la variación en los parámetros de política en sí mismos, sino
los efectos de la variación en un eslabón intermedio en la cadena causal que controla.
conecta (o se supone que conecta) una política con un resultado. Es decir, cuando hay una política
específica que tiene mecanismos candidatos que afectan un resultado de interés de política, el experimento
de mecanismo prueba uno o más de esos mecanismos.
Puede haber uno o más mecanismos que vinculen la política con el resultado, que podrían operar en
paralelo (por ejemplo, cuando existen múltiples canales de mediación potenciales a través de los cuales
una política podría cambiar los resultados) o secuencialmente (si, por ejemplo, algunos mecanismos afectan
la adopción). up o fidelidad de implementación). La idea central es que el experimento del mecanismo
pretende ser informativo sobre alguna política, pero no implica una prueba de esa política directamente.
En otras palabras, los experimentos de mecanismos no se limitan a probar políticas
factibles (o deseables). Por ejemplo, los autos con las ventanas rotas podrían ponerse
en la calle para probar la teoría de las ventanas rotas. Una vez que nos damos cuenta
de que no estamos limitados a un conjunto de opciones políticas realistas (aunque
estamos limitados por lo que es éticamente aceptable), se abre una amplia gama de
posibilidades.
Banerjee y Duflo (2009) discuten algunos ejemplos de experimentos de
mecanismos. Un ejemplo destacado en desarrollo es un proyecto realizado por Karlan
y Zinman (2008) en colaboración con un prestamista sudafricano que otorga pequeños
préstamos a prestatarios de alto riesgo a altas tasas de interés. El experimento se
diseñó para probar los pesos relativos de la carga de reembolso ex post (incluido el
riesgo moral) y la selección adversa ex ante en caso de incumplimiento de pago.
A los prestatarios potenciales con el mismo riesgo observable se les ofrece
aleatoriamente una tasa de interés alta o baja en una carta inicial. Luego, los individuos
deciden si pedir prestado a la tasa de oferta de la solicitud. De aquellos que solicitan
la tasa más alta, a la mitad se les ofrece aleatoriamente una nueva tasa de interés de
contrato más baja cuando realmente reciben el préstamo, mientras que la mitad restante continúa
al tipo de oferta. Los particulares no sabían ex ante que la tarifa del contrato
podría diferir de la tasa de oferta. Luego, los investigadores compararon el desempeño de pago
de los préstamos en los tres grupos. La comparación de quienes respondieron a la tasa de
interés de oferta alta con quienes respondieron a la tasa de interés de oferta baja en la población
que recibió la misma tasa de contrato baja permite identificar el efecto de selección adversa;
comparar a aquellos que enfrentaron la misma tasa de oferta pero diferentes tasas de contrato
identifica el efecto de la carga de reembolso. Desde entonces, la idea básica de variar los precios
ex post y ex ante para identificar diferentes parámetros se ha replicado en varios estudios
diferentes (por ejemplo, Ashraf, Berry y Shapiro 2010; Cohen y Dupas 2010). La variación
experimental fue clave aquí, y no solo para evitar sesgos: en el mundo, es poco probable que
observemos una gran cantidad de personas que enfrentan diferentes precios de oferta pero
reciben el mismo precio real.
También se pueden idear experimentos para entender cómo funcionan las instituciones. Un
ejemplo es Bertrand et al. (2007), quienes montaron un experimento para comprender la
estructura de la corrupción en el proceso de obtención del permiso de conducir en Delhi.
Reclutaron a personas que tenían como objetivo obtener una licencia de conducir y crearon tres
grupos, uno que recibe una bonificación por obtener una licencia de conducir rápidamente, otro
que recibe lecciones de manejo gratuitas y un grupo de control. Descubrieron que los que
estaban en el grupo de "bonificación" obtuvieron sus licencias más rápido, pero los que recibieron
lecciones de manejo gratuitas no. También encontraron que aquellos en el grupo de bonificación
tenían más probabilidades de pagar a un agente para obtener la licencia (quien, conjeturaron,
sobornó a alguien). También encontraron que los solicitantes que contrataron a un agente tenían
menos probabilidades de haber tomado un examen de manejo antes de obtener una licencia.
Aunque no parecieron encontrar que aquellos en el grupo de bonificación que obtienen licencias
son sistemáticamente menos propensos a saber conducir que aquellos en el grupo de control
(que sería la prueba de fuego de que la corrupción resulta en una asignación ineficiente de
licencias de conducir) , este experimento proporciona evidencia sugestiva de que la corrupción
en este caso hace más que “engrasar las ruedas” del sistema.
Dichos diseños no siempre conducen directamente a una política procesable, pero
nos han permitido describir o comprender cómo funciona el mundo. Para examen
Por ejemplo, en el estudio seminal de Bertrand y Mullainathan (2004), los investigadores
enviaron currículos a posibles empleadores. Los currículos están emparejados, de modo que
hay currículos idénticos, excepto por el nombre de los solicitantes de empleo, que pueden
parecer blancos o afroamericanos. Encuentran que los "solicitantes" con nombres que suenan
negros tienen la mitad de probabilidades de que les devuelvan la llamada
como aquellos con nombres que suenan blancos. Además, tener un alto nivel educativo
no ayuda, lo que sugiere que está en juego algo más que discriminación estadística. Este
diseño se ha replicado cientos de veces en diferentes escenarios, proporcionando amplia
evidencia de discriminación contra diferentes personas y en diferentes mercados. Esta
gran cantidad de evidencia no apunta necesariamente a una solución específica para
este problema, ni siquiera ayuda a determinar la raíz de este comportamiento, pero, a
diferencia de la literatura anterior, proporciona una evidencia clara de que el fenómeno
existe.
Recopilación de datos
Los experimentos también han estimulado la creatividad en la medición. En principio, no
existe un vínculo automático entre una recogida cuidadosa e innovadora de
datos microeconómicos y el método experimental. Y, de hecho, es una larga tradición en
la economía del desarrollo recopilar datos diseñados específicamente para probar teorías:
tanto la amplitud como la cantidad de datos microeconómicos recopilados en la economía
del desarrollo se ha disparado en las últimas décadas, y no solo en el contexto de
experimentos (ver Udry 1995 para un destacado ejemplo temprano).
Sin embargo, una característica específica de los experimentos que sirve para
fomentar el desarrollo de nuevos métodos de medición son las altas tasas de aceptación
y un problema de medición específico. En muchos estudios experimentales, una gran
fracción de los que se supone que serán afectados por el programa se ven realmente
afectados. Por lo tanto, la cantidad de unidades sobre las que se deben recopilar datos
para evaluar el impacto del programa no tiene que ser muy grande, y los datos
generalmente se recopilan especialmente para el propósito del experimento.
Por lo tanto, es más fácil obtener una medición elaborada y costosa de los resultados
que en el contexto de una gran encuesta multipropósito de hogares o empresas. Por el
contrario, los estudios de observación a menudo deben basarse en la variación para la
identificación (p. ej., cambios de política, variación inducida por el mercado, variación
natural y perturbaciones de la oferta) que cubren grandes poblaciones, lo que requiere el
uso de un gran conjunto de datos que a menudo no se recopilan para un período
específico. objetivo. Esto hace que sea más difícil ajustar la medición a la pregunta específica en cuestión.
Además, incluso si es posible realizar ex post un ejercicio sofisticado de recopilación de
datos específicamente dirigido a la pregunta, generalmente es imposible hacerlo en la
situación previa al programa. Esto impide el uso de una estrategia de diferencia en
diferencias para este tipo de resultados, lo que nuevamente limita los incentivos para
recopilarlos ex post.
Algunos de los desarrollos recientes más emocionantes en el desarrollo empírico
La economía del movimiento tiene que ver con la medición. Los investigadores han recurrido a
otros subcampos de la economía, así como campos completamente diferentes, para tomar
prestadas herramientas para medir los resultados. Los ejemplos incluyen pruebas de suelo y
sensores remotos en la agricultura (ver de Janvry, Sadoulet y Suri 2017 para una revisión de la
agricultura); técnicas desarrolladas por psicólogos sociales para resultados difíciles de medir,
como estudios de auditoría y correspondencia, pruebas de asociación implícita, experimentos de
Goldberg y experimentos de List (ver Bertrand y Duflo 2016 para una revisión de su uso para
medir la discriminación); herramientas desarrolladas por psicólogos cognitivos para el desarrollo
infantil (Attanasio et al. 2014); herramientas inspiradas en la teoría económica, como los juegos
de BeckerDeGrootMarshak para inferir la disposición a pagar (ver una discusión en Dupas y
Miguel (2017)); biomarcadores en salud, más allá de los tradicionales talla, peso y hemoglobina
(cortisol para medir el estrés, por ejemplo); y dispositivos portátiles para medir la movilidad o el
esfuerzo (Kreindler 2018; Rao, Schilbach y Scho field nd).
También se han desarrollado para experimentos métodos y dispositivos específicos que se
adaptan exactamente al propósito en cuestión. Olken (2007) es un ejemplo del tipo de datos que
se pueden recopilar en un entorno experimental. El objetivo fue determinar si las auditorías o el
monitoreo comunitario eran formas efectivas de frenar la corrupción en los proyectos de
construcción descentralizados. Por lo tanto, era necesario obtener una medida confiable de los
niveles reales de corrupción. Olken se centró en las carreteras e hizo que los ingenieros cavaran
hoyos en la carretera para medir el material utilizado. Luego comparó eso con el nivel de material
informado
para ser utilizado. La diferencia es una medida de la cantidad de material que se
robado o nunca comprado pero facturado, y por lo tanto es una medida objetiva de corrupción.
Olken luego demostró que esta medida de “insumos faltantes” se ve afectada por la amenaza de
auditorías, pero no, excepto en algunas circunstancias, por alentar una mayor asistencia a las
reuniones comunitarias. Rigol, Hus sam y Regianni (nd) brindan otro ejemplo de métodos
inteligentes de recopilación de datos. Para su experimento, diseñaron dispensadores de jabón
que podían rastrear cuándo se empujaba la bomba para medir con precisión si las personas se
lavaban las manos y cuándo, y contrataron a una empresa china para fabricar los dispensadores.
Se utilizan metodologías de “auditoría” similares para medir el impacto de las intervenciones en
salud, como pacientes que posan con enfermedades específicas para medir el impacto del
entrenamiento (Banerjee et al. 2016) o
personas no elegibles que intentan comprar mosquiteros gratis (DizonRoss et al. 2017).
Incluso una lista parcial de tales ejemplos sería muy larga.
Paralelamente, se está haciendo un mayor uso de los datos administrativos, que a menudo
se combinan con experimentos a gran escala. Por ejemplo, Banerjee et al. (2016) hacen uso
tanto de datos administrativos disponibles públicamente sobre un programa de trabajo en India
como de datos de gastos restringidos puestos a su disposición como parte del experimento;
Khan, Khwaja y Olken (2016) utilizan datos de impuestos administrativos; y Attanasio et al.
(2017) utilizan datos del seguro de desempleo para medir el efecto a largo plazo de la
capacitación laboral en Colombia.
La conclusión es que se ha logrado un gran progreso en nuestra comprensión de cómo
recopilar o utilizar de manera creativa y precisa los datos existentes que van más allá de la
encuesta tradicional, y estos conocimientos han llevado tanto a mejores proyectos como a
innovaciones en la recopilación de datos que han sido adoptada en
trabajo no aleatorio también.
Iterar y construir sobre investigaciones previas en los mismos entornos La
siguiente ventaja metodológica de los ECA también se relaciona con el control que los
investigadores tienen sobre la asignación y, con bastante frecuencia, sobre los tratamientos
mismos. Las evaluaciones de políticas bien identificadas a menudo nos dejan con muchas
preguntas sobre por qué las cosas resultaron como lo hicieron. Por ejemplo, algunos artículos
que utilizan diseños de discontinuidad de regresión encuentran que el impacto de las escuelas
de “élite” en el niño marginal que ingresa tiende a ser muy bajo. Estos resultados parecen
mantenerse tanto en los países ricos como en los pobres (Clark 2009; Abdulkadiroglu, Angrist y
Pathak 2014; Dobbie y Fryer 2014; Lucas y Mbiti 2014; Dustan, de Janvry y Sadoulet 2015).
Pero estos resultados dejan algunas preguntas pendientes: ¿Significa esto que el impacto es
nulo para todos los estudiantes o solo para el estudiante marginal? ¿Es porque los compañeros
no importan y el plan de estudios no importa, o porque ambos
importa pero cancelar?
Aunque se pueden lograr algunos avances (p. ej., Abdulkadiroglu, Angrist y Pathak (2014)
explotan el hecho de que los estudiantes toman dos pruebas diferentes para controlar el impacto
del programa para diferentes tipos de estudiantes), uno está necesariamente limitado por la tipo
de variación de póliza que está realmente disponible. El resultado de un solo ECA a menudo
plantea más preguntas de las que realmente puede responder. Por ejemplo, cuando Duflo,
Kremer y Robinson (2008) descubrieron que el rendimiento de los fertilizantes parece ser muy
grande, incluso
cuando los agricultores mismos los usaban en sus propios campos (y no solo en parcelas
experimentales), una posible respuesta política podría haber sido seguir la idea de Jeff Sachs de
distribuir fertilizantes gratis. Pero este no era su siguiente paso. En cambio, comenzaron a
preguntarse por qué los agricultores no utilizan más fertilizantes. Esto los colocó en un camino
que los llevó a establecer experimentos en el mismo escenario: algunos enfocados en el
aprendizaje y las redes sociales, y otros en la dificultad de ahorrar incluso en períodos cortos de
tiempo. Esta última indagación los llevó por el camino de diseñar e implementar un producto
específico, para lo cual se ofreció al hogar la opción de comprar fertilizante por adelantado (Duflo,
Kremer y Robinson 2008). Las intervenciones de las redes sociales encontraron sorprendentemente
poca difusión de la innovación agrícola a amigos inmediatos, y esta observación puso a los
experimentadores en otro camino: ¿Cómo podría ser el caso, dado todo lo que sabemos sobre
cuánto habla la gente sobre agricultura? Para desglosar esto aún más, introdujeron un dispositivo
simple diseñado para abordar un problema que notaron en su primer conjunto de experimentos:
los hogares tienden a usar fertilizante en exceso (con la condición de usarlo), en relación con lo
que parece ser la tasa de aplicación que maximiza las ganancias. Luego organizaron experimentos
para estudiar en qué condiciones se propaga este dispositivo y qué nos dice esto sobre cómo los
agricultores deciden hablar y confiar entre ellos (Duflo et al. 2017).
Sin duda, el análisis de estos resultados generará nuevas preguntas y experimentos. Toda
la ciencia empírica es, por supuesto, iterativa, con estudios que se basan unos en otros. Pero la
capacidad de trabajar en el mismo entorno, con el mismo resultado y medida, es extremadamente
valiosa y no está disponible fuera de un entorno controlado.
Desempaquetar las intervenciones
Finalmente, los ECA permiten la posibilidad de "desempaquetar" un programa hasta sus
elementos constituyentes. Aquí nuevamente, el trabajo puede ser iterativo. Por ejemplo, todas las
evaluaciones iniciales del programa para ultrapobres de BRAC se realizaron utilizando su “paquete
completo”, al igual que una gran cantidad de evaluaciones del programa mexicano de
transferencias monetarias condicionadas (CCT, por sus siglas en inglés) PROGRESA. Pero tanto
para la investigación como para la política, una vez que sabemos que el programa completo
funciona, es claramente de interés saber por qué funciona. En los últimos años, algunos periódicos han mirado “aden
CCT, relajando la condicionalidad, por ejemplo. Se han realizado algunos trabajos sobre el rol y
el tipo de condicionalidad (ver Baird, McIntosh y
Ozler 2011; Bursztyn y Coffman 2012; y Benhassine et al. 2015 para ejemplos), seguido
de muchos artículos que variaban experimentalmente otras características (más
adelante volvemos sobre el impacto de este trabajo).
De manera similar, los primeros resultados de la evaluación del programa para
ultrapobres han sentado las bases tanto para una comprensión más fundamentada
teóricamente de exactamente qué fallas del mercado llevaron a una trampa de pobreza,
como para una comprensión más fundamentada en la práctica de si todas las
intervenciones fueron realmente necesario o si ciertos componentes pudieran ser
removidos. En caso de que algunos componentes sean innecesarios, los costos podrían
reducirse considerablemente, permitiendo que el programa llegue a más personas con el mismo presupu
Hanna y Karlan (2017, 539–540) analizan cómo se podría pasar de la evaluación inicial
del “paquete completo” a esta mayor comprensión:
El método ideal, si no está limitado por restricciones presupuestarias y organizacionales, es un diseño
experimental complejo que aleatoriza todas las permutaciones de cada componente.
La transferencia de activos productivos, si el único problema fuera una falla del mercado crediticio,
puede haber sido suficiente para generar estos resultados, y si ningún otro componente permitió a un
individuo acumular capital suficiente para adquirir el activo, la transferencia por sí sola puede haber sido un
componente necesario. . El componente de ahorro, por otro lado, puede haber sido un sustituto de la
transferencia de activos productivos, al reducir los costos de transacción para ahorrar y servir como una
intervención conductual que facilitó permanecer en la tarea para acumular ahorros. Claramente, no es
realista en un entorno probar la necesidad o suficiencia de cada componente y la interacción entre los
componentes: incluso si se tratara de manera simplista con cada componente presente o no, esto implicaría
2x2x2x2 = 16 grupos experimentales.
Varios estudios han abordado las piezas del rompecabezas y hay más en marcha (ver
la revisión en Hanna y Karlan 2017). El camino a seguir será claramente el desarrollo
de un mosaico, en lugar de un estudio definitivo que pruebe cada componente y también
incluya suficientes variaciones contextuales y de mercado que puedan ayudar a
establecer políticas para una miríada de países y poblaciones. Se necesita más trabajo
para separar los diferentes componentes: transferencia de activos (aborda las fallas del
mercado de capitales), cuenta de ahorros (reduce la tarifa de transacción de ahorros),
información (aborda las fallas de información), coaching de vida (aborda las limitaciones
de comportamiento y tal vez cambia las expectativas). y creencias sobre el posible
retorno de la inversión), servicios de salud e información (aborda las fallas del mercado
de la salud), apoyo al consumo (aborda las trampas de pobreza basadas en la nutrición),
entre otras posibilidades. Además, para varias de estas preguntas, hay claves,
cuestiones abiertas sobre cómo abordarlas; por ejemplo, el coaching de vida
puede asumir un número infinito de manifestaciones. Algunas organizaciones
realizan coaching de vida a través de la religión, otras a través de la resolución
interactiva de problemas y otras a través de enfoques psicoterapéuticos (Bolton
et al. 2003, 2007; Patel et al. 2010). Queda mucho por aprender no solo sobre la
promesa de tales componentes de entrenamiento de vida, sino también sobre
cómo hacer que funcionen (si es que funcionan).
En algunos entornos, especialmente cuando se trabaja a gran escala con un
gobierno, es posible experimentar desde el principio con varias versiones de un
programa. Esto tiene dos propósitos: nos da una idea de la teoría detrás del
programa; y tiene valor operativo para el gobierno, que puede elegir la combinación
más rentable. Banerjee et al. (2015b) es un ejemplo de este enfoque. El gobierno
de Indonesia estaba interesado en reducir la corrupción en su programa de
distribución de arroz (Raskin), que es tristemente célebre por llegar a pocos de
sus beneficiarios previstos y por no siempre venderse al precio correcto. Pensaron
que entregar una tarjeta a los beneficiarios con la información de elegibilidad
podría mejorar este problema y conducir a mayores beneficios. En colaboración
con el Gobierno de Indonesia, los autores diseñaron una serie de experimentos
de campo para brindar información directamente a los hogares elegibles. En 378
aldeas (seleccionadas al azar de entre 572 aldeas repartidas en tres provincias),
el gobierno central envió por correo “tarjetas de identificación de Raskin” a los
hogares elegibles para informarles sobre su elegibilidad y la cantidad de arroz a
la que tenían derecho. Para desagregar los mecanismos a través de los cuales
las diferentes formas de información pueden afectar los resultados del programa,
el gobierno también varió experimentalmente la forma en que se ejecutaba el
programa de tarjetas en tres dimensiones clave: si también se incluía una regla
adicional (el precio del copago) en la tarjeta, si la información sobre También se
hizo muy público quiénes eran los beneficiarios y si las tarjetas se enviaron a
todos los hogares elegibles o solo a un subconjunto de ellos. Luego, los
investigadores recopilaron datos sobre las compras de arroz elegibles y no
elegibles y los precios pagados por todas las aldeas. En general, encontraron que
la tarjeta condujo a grandes aumentos en la cantidad de subsidios recibidos por
los hogares. Además, descubrieron que la información de la tarjeta era importante:
el precio pagado era más bajo cuando el precio estaba indicado en la tarjeta.
También encontraron que la tarjeta era más efectiva cuando la información se
hacía pública. Finalmente, la información pública no era suficiente por sí sola: la
tarjeta física también importaba.
Saber todo esto es importante para comprender los mecanismos en juego. También fue de acción
inmediata para el gobierno, que procedió a ampliar el programa y a proporcionar tarjetas con información
de precios a todos los hogares elegibles acompañadas de carteles. Se distribuyeron tarjetas a
más de 65 millones de personas. Esta es una ocasión en la que la investigación
Los intereses de los ciudadanos y del gobierno estaban exactamente alineados. ¿Es más generalmente
cierto?
¿Los ECA se han vuelto demasiado académicos para conducir a cambios en el mundo real?
Los ECA han cambiado la economía del desarrollo, pero ¿han tenido también una influencia significativa
en el mundo? Si los ECA están ampliando las fronteras de la investigación académica al tratar de
comprender los mecanismos y probar las ideas generadas por los propios académicos, ¿esto los hace
demasiado académicos y menos útiles para las políticas?
En esta sección, argumentamos que los ECA pueden contribuir a la política no solo al proporcionar
evidencia sobre programas específicos que se pueden escalar, sino también al cambiar el clima general de
pensamiento sobre un tema. Luego examinamos un estudio de caso de un financiador, Development
Innovations Ventures en USAID.
Algunas de las innovaciones que ha financiado fueron impulsadas por emprendedores sociales sin la
participación de investigadores y algunas se probaron mediante RCT o tuvieron una estrecha participación
con investigadores de economía del desarrollo. Una revisión de esta cartera sugiere que varios programas
relacionados con el desarrollo eco
Los investigadores de economía y los RCT tuvieron una influencia sustancial en el mundo real.
¿Los ECA que son más "académicos" son menos útiles para las políticas?
Muchos estudios buscan no solo probar un programa en particular, sino también contribuir a un cuerpo de
literatura que busca probar diferentes teorías del comportamiento humano. Si los ciudadanos votan por
candidatos en función de su etnia o casta, ¿se debe a preferencias muy fuertes, redes clientelistas o una
combinación de preferencias débiles y falta de información alternativa sobre la calidad de los candidatos?
¿La gente solo valora lo que paga? ¿Qué importancia tienen las restricciones de liquidez, en oposición a la
falta de información o el bajo capital humano, para explicar la mala salud infantil y la baja rentabilidad
empresarial en
familias de ingresos?
Los estudios que buscan responder a estas preguntas no siempre prueban programas de desarrollo
estándar, aunque algunos pueden convertirse en programas de desarrollo.
ideas De Mel, McKenzie y Woodruff (2012) entregaron efectivo a empresas en Sri Lanka sin
condiciones, requisitos de pago o tutoría, algo inaudito en los programas financieros en ese
momento (por supuesto, finalmente, la idea de las transferencias de efectivo incondicionales se
popularizó). como una opción política realista, como lo indica el éxito de GiveDirectly). Como
hemos discutido anteriormente, una serie de estudios que se centraron en la fijación de precios
de los bienes de salud primero preguntaron a los hogares si estaban dispuestos a comprar un
bien a un precio y luego les dieron el bien a un precio más bajo o gratis, no algo habitual.
programa haría. Los investigadores presionaron para probar las transferencias de efectivo no
condicionadas (Baird, McIntosh y Özler 2011; Haushofer y Shapiro 2013; Benhassine et al.
2015; Blattman, Fiala y Martinez 2014), aunque en ese momento el consenso político favorecía
las transferencias condicionadas.
La razón por la que esto es potencialmente importante para la política, y no solo para la
curiosidad académica, es que incluso cuando ciertos detalles específicos del programa no se
generalizan, los patrones subyacentes en el comportamiento humano pueden generalizarse. Es
más probable que se generalice el hallazgo de que los incentivos pequeños son efectivos para
alentar a las personas a tomar medidas que tienen costos a corto plazo pero beneficios a largo
plazo que el hallazgo de que las lentejas son un incentivo exitoso para la vacunación en
Rajasthan (Banerjee et al. 2010). Kremer y Glennerster (2011) revisan más de setenta ECA de
economía de la salud y encuentran fuertes similitudes en el comportamiento de los consumidores
entre países y productos, incluidas reducciones drásticas en la aceptación de productos de
atención médica no aguda con pequeños aumentos en el precio, grandes aumentos en la
aceptación de productos no agudos con pequeños incentivos (precios negativos) y sin evidencia
de que pagar por algo aumente la probabilidad de que las personas lo usen (Kremer y Miguel
2007; Ashraf, Berry y Shapiro 2010; Cohen y Dupas 2010; Dupas 2014a).
Este cuerpo de trabajo sobre los precios fue retomado por los defensores de la distribución
gratuita de mosquiteros tratados con insecticida (MTI). Durante muchos años, hubo un feroz
debate sobre los méritos de la distribución gratuita, con los defensores de la distribución gratuita
argumentando que incluso los precios pequeños disuaden a los pobres, mientras que otros
argumentaron que los copagos pequeños eran importantes para garantizar que se utilizaran los MTI.
Armados con la evidencia de los ECA, los defensores de la distribución gratuita masiva han
impulsado con éxito este enfoque, lo que resultó en un aumento dramático en la cobertura de
MTI en África desde aproximadamente 2009 a 2015. La Organización Mundial de la Salud
informa que cuarenta y tres de cuarenta y siete países en África subsahariana con programas
de distribución de MTI los proporciona de forma gratuita (Informe mundial sobre el paludismo,
Organización Mundial de la Salud 2015). Un artículo reciente en Nature (Bhatt
et al. 2015) examina la fuerte disminución de las infecciones por paludismo en el África
subsahariana y estima que, entre 2000 y 2015, las intervenciones contra el paludismo
previnieron 663 millones de casos de paludismo, la mayoría de los cuales se atribuyen al
fuerte aumento de la cobertura de MTI: 450 millones de casos de paludismo y
aproximadamente Los MTI evitaron 4 millones de muertes entre 2000 y 2015.
Más allá del ejemplo específico de la malaria, la comunidad política se está dando
cuenta de manera más general de que los precios más altos de los productos de salud
preventiva pueden reducir drásticamente la aceptación y que la elasticidad de la demanda
en función del precio puede ser muy alta (Kremer y Holla 2009; Kremer y Glennerster
2011; Dupas 2014b). Estos resultados están cambiando todo el enfoque de fijación de
precios de estos productos.
Otra área en la que un cuerpo de evidencia de RCT ha producido cambios de política
específicos y ha dado lugar a lecciones más generales que han cambiado profundamente
el debate de política es sobre las actitudes hacia los programas de transferencia de
efectivo. Podría decirse que la mayor innovación en las políticas antipobreza y de
protección social en los países en desarrollo durante los últimos 20 años es el crecimiento
de los programas de transferencias monetarias condicionadas (CCT, por sus siglas en
inglés). Comenzando en México, estos programas ahora se han extendido a más de
treinta países, y podría decirse que han jugado un papel importante en la disminución de
la pobreza en América Latina (Attanasio et al. 2005; BarreraOsorio et al. 2011; Alzúa,
Cru ces y Ripani 2013; Galiani y McEwan 2013). Aunque hubo muchos factores en juego
en la difusión de las TMC, nosotros y muchos otros pensamos que el experimento de
PROGRESA (Gertler 2004; Schultz 2004) y los muchos experimentos subsiguientes en
otros contextos2 desempeñaron un papel importante. Estos programas influyeron en la
decisión de México de continuar y expandir las TMC después de la toma de posesión de
una nueva administración, la promoción activa de las TMC por parte del Banco
Interamericano de Desarrollo y el Banco Mundial, y la adopción de las TMC por parte de
muchos países.
Más recientemente, un examen adicional de cómo funcionan las TMC está cambiando
aún más el debate sobre políticas. Los ECA han demostrado que las TMC no solo
aumentan el comportamiento al que está condicionado el efectivo, sino que también
mejoran los resultados, como la altura, el peso y el desarrollo cognitivo (Barham, Macours
y Maluccio 2013) y reducen la infección por el VIH (Baird,
2. Véase Glewwe y Olinto (2004), Maluccio y Flores (2005), Galiani y McEwan (2013), Banco Mundial (2013),
Benhassine et al. (2015), entre otros, así como la revisión en Fiszbein y Schady (2009).
McIntosh y Özler 2011). Ninguna evidencia indica que los hogares pobres gasten más dinero
en efectivo en alcohol u otros productos tentadores (Haushofer y Shapiro 2013; Masterson y
Lehmann 2014; Evans y Popova 2014). De hecho, la evidencia sugiere que la elasticidad
ingreso de la demanda de alimentos a partir de las transferencias de efectivo es
sorprendentemente alta (ver una revisión en Banerjee 2016), y las transferencias de alimentos
no mejoran la nutrición más que las transferencias de efectivo (Cunha 2014).
Esta evidencia está provocando un cambio de una situación en la que los formuladores
de políticas casi nunca considerarían las transferencias de efectivo a una en la que el efectivo
las transferencias, condicionadas o no, se están convirtiendo en una herramienta aceptada
en la política de desarrollo. Por ejemplo, mientras el mundo lucha para hacer frente a los
refugiados de la guerra, grupos como el Comité Internacional de Rescate se han basado en
RCT de distribuciones de efectivo en entornos estables y con refugiados (Masterson y
Lehmann 2014) para presionar fuertemente por efectivo en lugar de dinero en efectivo.
amable apoyo a los refugiados. En un comunicado de prensa del IRC, David Miliband,
presidente y director ejecutivo del IRC, dijo:
La avalancha de desastres naturales y provocados por el hombre que envuelven a civiles
inocentes plantea cuestiones profundas no solo para la política internacional, sino también
para las ONG y el sector humanitario. Si seguimos haciendo “negocios como siempre”, la
brecha entre la necesidad y la provisión seguirá creciendo. La distribución de efectivo,
junto con objetivos humanitarios "mínimos" claros en los Objetivos de Desarrollo del Milenio
revisados, alianzas locales más sostenibles y un mejor uso de la evidencia en general,
podría ser parte de una renovación vital del sector humanitario.
Al principio de la introducción de los RCT, Lant Pritchett (2002) argumentó que los RCT
nunca se volverían particularmente populares entre los formuladores de políticas, porque
tienen razones para preferir la ignorancia sobre el conocimiento riguroso para continuar
favoreciendo su programa preferido: "Vale la pena ser ignorante". Aunque en algunos casos
los formuladores de políticas pueden tener incentivos para preservar la ignorancia, en otros
son conscientes de los agujeros en su conocimiento y les gustaría aprender más.
Pueden tener un fuerte apego a un programa favorito, ya sea por inercia o por imperativo
político. Pero la experiencia de ejecutar el programa a menudo los convence de que podrían
hacerlo mejor y están sorprendentemente abiertos a ideas sobre cómo mejorar sus programas.
Los programas Raskin y MGN REGS mencionados anteriormente, en los que varios equipos
de investigadores han trabajado con el gobierno, son buenos ejemplos: aunque estaba claro
que los programas continuarían, era difícil encontrar maneras de hacerlos funcionar mejor.
de interés.
Cómo evaluar el éxito (o no) de las políticas de la agenda de los ECA
Es algo difícil evaluar el efecto causal de los ECA en la adopción de políticas. Las
intervenciones sujetas a ECA no son en sí mismas aleatorias, y muchos factores
influyen en si se adopta una intervención en particular y cuándo. Cuando se inicia un
programa después de que un RCT demostró que funcionó, no siempre se debe al RCT,
y nunca es solo a causa del RCT.
Sin embargo, algunos han argumentado que la influencia de los ECA en la política es
en realidad bastante baja, en comparación con el volumen de los ECA. Por ejemplo,
Shah et al. (2015) señalan que, a pesar de las 489 evaluaciones completadas por
investigadores afiliados a JPAL, en ese momento solo había nueve historias de
aumento de escala o de influencia en las políticas en el sitio web de JPAL. Pero este
número per se no es particularmente informativo: por ejemplo, no es un censo de los
estudios que tienen algún impacto. No todos los ECA realizados por investigadores
afiliados a JPAL tienen un seguimiento sistemático. Estas historias se eligen
precisamente por el tamaño de su impacto y porque se pueden documentar claramente.
El número absoluto de vidas alcanzadas por ellos es bastante significativo: el sitio web
de JPAL nos dice que estos programas llegaron a más de 400 millones de personas.
Pero las principales preocupaciones con cualquier estadística como esta son conceptuales:
1. El sitio web de JPAL no contiene estadísticas sobre estudios realizados por
investigadores fuera de la red de JPAL por la muy buena razón de que, según
nuestra experiencia en la recopilación de información de DIV y JPAL, está lejos de
ser sencillo recopilar información. sobre la medida en que los ECA han influido en
la política. Por ejemplo, el número no incluye los cientos de millones de personas a
las que han llegado las CCT.
2. Muchos ECA son bastante recientes. Llevarlos al nivel de la política requiere mucho
cuidado, especialmente dados los problemas de validez externa. (¿Funcionaría en
el gobierno? ¿Funcionaría en un lugar diferente?) Por lo tanto, el proceso suele ser
lento, nuevamente por buenas razones. Por lo tanto, no debemos esperar que
muchos de estos sean escalados todavía.
3. Muchos de los RCT más valiosos son aquellos que prueban políticas populares y
muy promocionadas que ya existen en el mundo a gran escala y muestran que, de
hecho, son mucho menos efectivas de lo que se afirmaba o creía anteriormente.
Las microfinanzas y las estufas mejoradas son dos ejemplos obvios. En tales casos,
el éxito sería frenar la propagación de tales políticas. En tales casos, uno no
esperaría que algo apareciera en la página de ampliación de JPAL, pero estos son
dos casos en los que el trabajo probablemente ha sido bastante influyente.
4. En algunos casos, el objetivo principal de un ECA no es afectar directamente la política,
sino investigar un mecanismo teórico subyacente que, a su vez, puede influir
indirectamente en la política. Sin embargo, estos casos no aparecerían en una lista
de ampliaciones, a pesar de que el conocimiento que han proporcionado ha impactado,
aunque indirectamente, a un gran número de personas. Por ejemplo, la ortodoxia en
la economía del desarrollo ha sido durante mucho tiempo que los pobres son “pobres
pero racionales”. La evidencia acumulada de los ECA sin duda ha acelerado la
difusión de la idea en la economía del desarrollo y la política de desarrollo de que los
pobres no siempre son racionales. Esta idea se refleja, por ejemplo, tanto en el
contenido como en el número de ECA del Informe sobre el desarrollo mundial 2016
(Banco Mundial 2016) sobre psicología y pobreza. A su vez, publicaciones como esta
y las discusiones asociadas influyen en el diseño de políticas.
5. No está claro cuál debe ser el punto de referencia correcto para el éxito. Nosotros sus
Es de esperar que si uno observa otras áreas de la economía, uno encontraría que
los proyectos de investigación influyeron en la política a un ritmo mucho más bajo que
los ECA en la política de desarrollo en los últimos años. Además, uno no querría decir
que la influencia política rápida es la única o incluso la principal métrica por la cual se
debe evaluar el valor de la investigación económica; piense en la idea de la tarificación
por congestión para el uso de las carreteras (Vickrey 1969), que apenas está
comenzando. para encontrar aplicaciones del mundo real.
6. Quizás lo más importante es que vale la pena darse cuenta de que es probable que el
beneficio de los ECA sea el promedio de una distribución muy sesgada. Mirar la
fracción de ECA que escalan, en lugar del pago promedio, es por lo tanto tan
engañoso como mirar la fracción de cualquier esfuerzo de investigación y desarrollo
que tiene éxito en términos de, digamos, generar un producto comercializado exitoso,
porque el pago de la investigación y el el desarrollo en general es típicamente muy
sesgado. Como es bien sabido, las citas en las disciplinas científicas parecen seguir
una distribución de ley de potencia, con una pequeña fracción de artículos que
representan la mayoría de las citas. Este pico es seguido por una caída pronunciada,
ya que una gran parte de los trabajos de investigación nunca se citan (Radicchi,
Fortunato y Castellano 2008).3 Como mencionamos, la
3. Por ejemplo, en las ciencias sociales en general, los artículos reciben en promedio 0,5
citas en los primeros 2 años después de la publicación, incluidas las autocitas (Klamer y
Dalen 2002), mientras que en matemáticas, medicina y educación, el número es estimada
en menos de 1 (Mansilla et al. 2007). La distribución asimétrica implica que la mediana
Las nueve innovaciones de políticas que se enumeraron en el sitio web de JPAL en 2015 llegaron a
más de 200 millones de personas, y esto no incluye a los más de 100 millones de personas a las que
se ha llegado a través de la ronda de desparasitación más reciente de la India, los millones de
personas que han recibieron mosquiteros gratis (ya que JPAL lo enumera como influencia política
pero no proporciona un recuento), y los 60 millones de personas cuyo agua y aire están menos
contaminados debido a la adopción estatal de una mejor regulación de la contaminación industrial en
Gujarat (nuevamente , sin contar).
7. Por esta razón, señalar que muchos esfuerzos de I+D producen bajos beneficios no sugiere que se
trate de malas inversiones ex ante. La pregunta analítica correcta que se debe hacer es si el pago
promedio o marginal esperado del esfuerzo de I+D en los ECA es positivo o mayor que el de otras
áreas de investigación si se toman los presupuestos generales de investigación como fijos. Por
supuesto, medir la rentabilidad de la investigación es inherentemente un ejercicio difícil por todo tipo
de razones conceptuales. También existe la dificultad estadística añadida de que se necesita una
gran cantidad de datos para medir con precisión la media de
una distribución de cola gruesa.
¿Qué hemos aprendido de la experiencia DIV?
Teniendo todo esto en cuenta, pasemos ahora a un ejemplo en particular, la experiencia de las inversiones
realizadas por el DIV de USAID entre 2010 y
2012.
DIV lleva a cabo un concurso de subvenciones durante todo el año para soluciones innovadoras para
una variedad de desafíos de desarrollo, los pone a prueba y los pone a prueba utilizando métodos
analíticos, y escala soluciones que demuestran un impacto generalizado y rentabilidad. DIV admite
nuevos modelos empresariales u organizativos; procesos operativos, de comportamiento o de producción;
y productos o servicios que pueden ayudar a abordar los desafíos del desarrollo. El modelo de financiación
escalonada de DIV proporciona pequeñas subvenciones para experimentar innovaciones en el desarrollo;
subvenciones medianas para evaluar rigurosamente el impacto y la rentabilidad (a menudo mediante
ECA) o la capacidad de pasar una prueba de mercado; y subvenciones a mayor escala para ayudar a
hacer la transición de innovaciones a escala que hayan superado una prueba de mercado o que tengan
pruebas rigurosas de impacto y rentabilidad.
el artículo nunca se cita. Del mismo modo, la mayoría de las patentes nuevas tienen un valor extremadamente
bajo y una pequeña fracción de patentes representa gran parte del valor total de las patentes.
Cuando se estableció DIV, se establecieron dos objetivos para el programa: (1) una
tasa social de retorno de la inversión del 15 por ciento, y (2) un alcance de al menos 75
millones de personas en todo el mundo, a través de la inversión directa y a través de una
mayor influencia en el resto. de USAID. El trabajo preliminar realizado por el personal de
DIV sugiere que la cartera de 2010–2012 cumplió fácilmente con el primer objetivo,
incluso bajo las suposiciones conservadoras de que todas las innovaciones apoyadas
por DIV no generaron beneficios adicionales, e incluso considerando solo un subconjunto
de innovaciones que generaron beneficios financieros o beneficios para la salud.
beneficios que podrían valorarse en términos de AVAD. Aunque el retorno social es una
medida conceptualmente más completa para evaluar DIV, es difícil de medir. Al considerar
los retornos sociales, no buscamos evaluar DIV, sino más bien analizar la pregunta más
estrecha de si los RCT pueden tener influencia en el mundo real. Por lo tanto, nos
enfocamos en examinar el número de personas alcanzadas por las innovaciones
respaldadas por DIV (así como por versiones posteriores adaptadas de estas
innovaciones). (Tenga en cuenta que el alcance sustancial es una condición necesaria
pero no suficiente para un alto rendimiento social porque el beneficio social total de una
innovación es igual al beneficio neto por persona alcanzada multiplicado por el número
de personas alcanzadas). Este ejercicio es inherentemente limitado, por lo que los
lectores tendrán para hacer sus propios juicios sobre el impacto probable por persona
alcanzada, el alcance futuro probable de estas innovaciones (sostenibilidad) y la medida
en que la financiación DIV desempeñó un papel importante en el alcance logrado por las
innovaciones en la cartera DIV. Lo que estamos haciendo aquí es más bien el ejercicio
descriptivo de seguimiento sistemático de una cartera. No obstante, el seguimiento de
toda la cartera DIV 2010–2012 es interesante para un artículo que explora la influencia
de los RCT, porque la premisa de DIV es específicamente financiar innovaciones en el
desarrollo que tengan el potencial de llegar de manera rentable a una gran cantidad de
personas a través de ya sea del sector público o privado.
En particular, mientras que muchos otros programas tienen un enfoque de arriba
hacia abajo en el que el personal del programa identifica los problemas por adelantado,
elige sectores en los que centrarse o establece una estrategia en los sectores, DIV sigue
un enfoque de abajo hacia arriba que está deliberadamente abierto a todos los sectores:
apoyar innovaciones que escalarán comercialmente, innovaciones diseñadas para
escalar a través del sector público, y nuevas empresas y organizaciones que propongan
cambiar el comportamiento dentro de las grandes organizaciones existentes. Aunque la
mayor parte del esfuerzo de divulgación de DIV se ha orientado hacia los emprendedores
sociales tradicionales, DIV también se ha esforzado por estar abierto a propuestas de desarrollo.
investigadores de economía. Para equilibrar esta apertura, DIV emplea un enfoque
financiero por etapas en el que las innovaciones solo reciben apoyo a mayor escala
después de haber superado pruebas rigurosas. DIV brinda apoyo a gran escala
(etapa 3) solo para innovaciones que tienen evidencia rigurosa de impacto y
rentabilidad o que han demostrado viabilidad de mercado. Sin embargo, en las
etapas de prueba (etapa 1) y prueba (etapa 2), DIV históricamente ha estado abierto
a propuestas que tienen el potencial de escalar en función de su rentabilidad, por
ejemplo, incluso si no necesariamente ya tienen un equipo de gestión. en el lugar
capaz de escalar internamente o compromisos por escrito de los socios de
escalamiento.4
Por lo tanto, esta combinación de enfoques nos ayuda a preguntarnos si el
compromiso con la comunidad de investigación de la economía del desarrollo y la
voluntad de considerar inversiones en etapas tempranas, incluso sin una capacidad
de escalamiento totalmente probada, tuvieron el costo de escalar el éxito. Podemos
arrojar luz sobre estas preguntas comparando el registro de escala entre tipos de
proyectos, etapas de financiación y, por supuesto, observando el registro de escala de DIV.
En los Apéndices en línea, proporcionamos una lista de todos los premios DIV de
este período y una descripción de las innovaciones que, luego de la financiación de
DIV, han llegado a más de 100,000 personas. La Tabla 10.3 muestra los resultados
de este ejercicio.
Aquí hay algunas ideas clave:
1. DIV ha tenido un éxito relativo en el apoyo a las innovaciones de esa escala.
Una fracción relativamente alta de los premios DIV, y una fracción aún más alta
de la inversión total de DIV, se destinó a proyectos que ya han llegado a más de
100 000 personas (y una fracción más pequeña pero aún alta de los premios se
destinó a proyectos que llegaron a más de un millón gente). El treinta por ciento
de los premios DIV (13/43) han llegado hasta ahora a más de 100 000 personas
en un período de 3 a 5 años.5 Estos premios representan el 57 por ciento del
valor total de los premios DIV en este período, o $10,98 millones en financiamiento
total. El catorce por ciento de los premios DIV (5/43) han llegado hasta ahora a más
4. Aunque DIV no requiere un camino probado para escalar en las etapas 1 o 2, uno de sus principales criterios
de selección es un camino prometedor para escalar a través del sector público o privado (o un híbrido de los
dos) y una fuerte demanda potencial. particularmente en la etapa 2.
5. Dos innovaciones (que llegaron a más de 100.000 personas) recibieron un premio de etapa 1 y etapa 2. Por
lo tanto, estos doce premios respaldan diez innovaciones separadas.
Tabla 10.3
Alcance futuro de los proyectos DIV, por tipo de adjudicación
Fracción Fracción
Llegar a Llegar a DIV
Número Total más de más de Gasto por
de Galardonado 100.000 1.000.000 Gente Persona
Etapa de premiación Premios Valor personas de personas Alcanzó* Alcanzó
Etapa 1 23 $2,353,136 17% (4/24) 8% (2/24) 6,723,733 $0.35
(<$100,000)
Etapa 2 19 $9,557,926 44% (8/18) 11% (2/18) 16,931,044 $0.56
($100,000,000)
1 $5,516,606 100% (1/1) 100% (1/1) 1,750,000 $3.15
Etapa 3
(<$15 millones)
*Dos innovaciones (Tarjetas de informe de información para votantes y CommCare) que llegaron a más de
100,000 personas recibieron premios de etapa 1 y etapa 2. En ambos casos, las personas alcanzadas por esas
innovaciones se cuentan como personas alcanzadas por los premios de la etapa 2.
de 1 millón de personas. Estos premios representan el 33 por ciento del valor total de
los premios DIV en este período, o $6.38 millones en financiamiento total.
¿Por qué decimos que el 30 por ciento es "relativamente exitoso"? Una regla
general en el mundo del capital de riesgo es que el 10 por ciento de las inversiones
producen un éxito modesto y el 1 por ciento produce grandes éxitos. Aunque todavía
no hemos identificado otros financiadores que publiquen datos que permitan el cálculo
de estadísticas comparables, nuestra lectura de la literatura y nuestro examen de los
sitios web de algunas otras organizaciones sugiere que estas tasas se comparan bien
con las logradas durante un período de tiempo mucho más largo por otras
organizaciones de inversión de impacto. Estos resultados son aún más sorprendentes
porque, aunque algunas organizaciones proporcionan financiamiento solo después de
alcanzar un cierto nivel de escala (por ejemplo, Acumen, Skoll Foundation), DIV a
menudo apoyó las innovaciones en una etapa temprana (así como las pruebas para
saber si valía la pena ampliarlas), en lugar de esperar hasta que las innovaciones ya
hubieran alcanzado una cierta escala y hubieran atraído un apoyo anterior antes de
invertir.
2. Los premios de la etapa 1 y la etapa 2 tienen un gasto DIV particularmente bajo por
persona alcanzada y representan más del 90 por ciento de las personas alcanzadas
por las innovaciones apoyadas por DIV durante este período.
Una de estas primeras innovaciones (Consumer Action y Matatu
Seguridad) recibió recientemente un premio DIV etapa 3, pero en general, la etapa 1 y
Las innovaciones de la etapa 2 alcanzaron altos niveles de alcance porque otros
financiadores/entidades brindaron apoyo basado en parte en la información generada
por el proyecto financiado por DIV.
3. Aunque el gasto DIV estimado por persona es más bajo para las subvenciones de etapas
anteriores, es bastante bajo en todos los ámbitos. Esto se debe a que la mayor parte
del alcance de las innovaciones apoyadas por DIV se logró sin que los solicitantes
regresaran a DIV para recibir apoyo financiero adicional.
Aunque muchos beneficiarios anteriores solicitan financiamiento adicional, solo el 7
por ciento de la cartera de beneficiarios de DIV de 2010–2012 recibió financiamiento
de seguimiento después del período inicial de desempeño. Más del 40 por ciento de los
beneficiarios de DIV de 2010–2012 recibieron financiamiento de seguimiento del sector
público o privado después de la inversión de DIV. La capacidad de DIV para actuar
como catalizador, por supuesto, se deriva en parte del rico ecosistema de financiación
en el que opera, donde otras entidades (gobiernos, ONG, empresas del sector privado)
pueden adoptar innovaciones.
4. El costo fue un determinante clave de qué innovaciones se escalaron. El más largo
escala se logró mediante innovaciones con costos muy bajos por persona.
En algunos casos, las innovaciones involucraron el suministro de información por
los medios de comunicación o por teléfono (incluidos los boletines de calificaciones de
los votantes, el monitoreo de las elecciones) o brindaron “empujoncitos” conductuales
en los grandes sistemas existentes (p. ej., trabajadores de salud comunitarios de
Zambia). Por supuesto, es importante reconocer que el impacto total depende del
beneficio por persona alcanzada multiplicado por el número de personas alcanzadas, y
algunas innovaciones con un costo moderado por persona (p. ej., Vision Spring) y un
alcance moderado pueden generar un alto beneficio social total porque la beneficio por
persona es muy alto.
5. Si bien algunas innovaciones llegaron a más de 100 000 o, en un caso, a más de
1 000 000 de personas a través de la creación y el crecimiento de una nueva
organización diseñada para escalar la innovación, la gran mayoría del alcance se obtuvo
a través de la adopción por parte de grandes organizaciones existentes, incluidas
grandes empresas, ONG y gobiernos.
Cuatro de las innovaciones respaldadas por DIV que llegaron a 100 000 o más
consumidores involucraron la creación de nuevas organizaciones que escalaron desde
cero. Siete involucraron la adopción de la innovación por parte de entidades existentes
que ya tenían altos niveles de alcance.
De las seis innovaciones que llegaron a más de un millón de personas, una fue
escalada por una ONG que construyó y construyó operaciones alrededor
la innovación (Evidence Action en el caso de los dispensadores de cloro), y cuatro lo hicieron
por adopción de organizaciones existentes (una compañía de seguros y la Autoridad
Nacional de Transporte y Seguridad de Kenia en el caso de las pegatinas en matatus, el
Gobierno de la India en el caso de monitoreo biométrico, campañas políticas en el caso de
esfuerzos en tiempo real para enviar los resultados de los colegios electorales a ubicaciones
centrales mediante teléfonos móviles y periódicos en el caso de boletas de calificaciones de
votantes). Las organizaciones existentes con gran alcance que adoptaron innovaciones
apoyadas por DIV o versiones modificadas de estas innovaciones incluyeron empresas del
sector privado, ONG y gobiernos.
6. Las innovaciones probadas con RCT escalan no solo a través de la adopción por parte de los
gobiernos, sino también a través de la adopción por parte de empresas del sector privado y
ONG.
De los diez premios DIV a las innovaciones con ECA que han alcanzado
más de 100 000 personas, hubo dos casos claros en los que los gobiernos de los países
en desarrollo jugaron el papel principal (ampliación de un enfoque mejorado para la
contratación de trabajadores de salud comunitarios por parte del gobierno de Zambia y
monitoreo biométrico en la India). Es probable que el gobierno de Kenia desempeñe un
papel importante junto con la industria de seguros en la ampliación del programa de
seguridad matatu de Kenia. Los donantes jugaron un papel clave en la provisión de estufas
mejoradas de Energía Potencial en Darfur. Las ONG asociadas desempeñaron un papel en
una serie de proyectos. Una lección importante de este análisis es que las grandes empresas
privadas también desempeñaron un papel importante (p. ej., una compañía de seguros
desempeñó un papel clave en el proyecto de calcomanías matatu y los periódicos publicaron
el contenido gratuito cuando una ONG les entregó las boletas de calificaciones de los
votantes).
7. Las innovaciones que involucran RCT o son desarrolladas en parte por investigadores (que
a menudo trabajan en estrecha colaboración con los implementadores), llegan a 100 000 o
1 000 000 de usuarios a una tasa particularmente alta.
El cuarenta y tres por ciento (10/23)6 de los premios para los que se utilizó un ECA para
la evaluación o los investigadores de economía del desarrollo participaron en
6. Los proyectos se codificaron como proyectos en los que participaron investigadores de economía del
desarrollo si la propuesta inicial que fue financiada por DIV incluía explícitamente los esfuerzos de los investigadores.
Aunque la propuesta inicial de d.light incluía un ECA sobre los impactos de sus productos, este ECA no se
llevó a cabo y la financiación apoyó estrictamente el desarrollo de un nuevo sistema solar doméstico, así como
una evaluación de impacto ex post de estos sistemas. Debido a estas circunstancias, no hemos incluido d.light
en nuestro cálculo de proyectos
El diseño de la innovación llegó a más de 100 000 personas.7 El veintiséis por ciento (6/23)
de estos premios apoyó innovaciones que habían llegado a más de un millón de personas
en la forma original o adaptada (incluidas boletas de calificaciones de votantes, monitoreo
de elecciones, calcomanías en matatus, dispensadores de cloro y verificación biométrica
de asistencia). Por el contrario, entre las innovaciones que no incluyen un componente RCT
o un papel importante para los investigadores de economía del desarrollo, solo el 16 por
ciento (3/19) llegó a 100 000 personas (Vision Spring, Mera Gao, d.light), y ninguna llegó a
más de una persona. millones de personas.8 Uno podría imaginar múltiples hipótesis para
esta diferencia en las tasas de éxito. Primero, podría ser más fácil llegar a muchas personas
persuadiendo a las grandes organizaciones y gobiernos para que adopten la innovación,
y en este proceso, la evidencia de los RCT podría haber jugado un papel importante. Por el
contrario, aquellas innovaciones que no provinieron del lado académico de RCT intentaron
escalar mediante la implementación o venta directa de su producto, lo que puede ser más
difícil, ya que estas innovaciones no tienen grandes políticas, programas o instituciones
preexistentes como socios iniciales.
En segundo lugar, a menudo se argumenta que los investigadores académicos
principalmente quieren publicar, y esto entra en conflicto con sus incentivos para involucrarse
en proyectos que son socialmente útiles pero no tan creativos (p. ej., replicación,
modificación del diseño). Pero también se argumenta que las revistas tienen un fuerte
sesgo de publicación y es más fácil publicar ideas que han funcionado. Ergo, los
economistas del desarrollo deberían tener fuertes incentivos para desarrollar y probar
innovaciones que tienen una posibilidad razonable de éxito.
desarrollado en parte por investigadores en este punto. Si tuviéramos que incluir d.light, esta cifra sería
11/24, o 46 por ciento.
7. Boletas de calificaciones de información electoral (dos premios), tecnología de monitoreo de
elecciones, asistencia digital y sistemas de información médica en centros de atención primaria de
salud, herramientas móviles para trabajadores de atención médica comunitarios (dos premios), acción
del consumidor sobre la seguridad de Matatu, llevar agua segura a escala , estufas mejoradas y
contratación de trabajadores de salud comunitarios.
8. Veinticuatro premios incorporaron un componente RCT o se basaron en un RCT.
Esto excluye dos casos en los que la propuesta inicial incluía un RCT pero el proyecto real final
financiado por DIV no incluía un RCT: Análisis Psicométrico para Emprendedores (AIDOAAF13–
00028) y Acceso Asequible a la Energía para Todos: Financiamiento Innovador para Sistemas Solares
(AIDOAAF13–00007). Tenga en cuenta que debido a que hay mucha superposición entre los proyectos
dirigidos por investigadores y los proyectos con un RCT, no podemos separar fácilmente su impacto.
Además, tal vez la economía les brinde algunas ideas útiles sobre el diseño de proyectos.
En tercer lugar, también puede ser que el enfoque reciente en la información y la economía
del comportamiento los haga particularmente interesados en las innovaciones con un bajo
costo por usuario ("empujones"), lo que parece ser un fuerte predictor de éxito. Cuarto,
cuando los investigadores estaban involucrados, por lo general no eran solo evaluadores:
estaban completamente involucrados en el desarrollo de la innovación (por ejemplo, boletas
de calificaciones de votantes, dispensadores de cloro, un proyecto de monitoreo en
Afganistán), trabajaron en estrecha colaboración con las organizaciones implementadoras y
permanecieron estrechamente involucrado en los detalles de la implementación. De hecho,
eran “investigadores emprendedores”. Muchas de las ideas desarrolladas por los
investigadores se basaron en las últimas ideas en el campo, y los datos sugieren que los
investigadores que desarrollaron estas ideas tuvieron un éxito relativo en el trabajo con
otros para escalar estas innovaciones.
8. Las innovaciones que ya habían sido probadas a través de ECA y se encontró que tenían
impacto y potencial de rentabilidad antes de solicitar el apoyo de DIV representaron tres de
las cinco innovaciones que llegaron a más de un millón de personas.
Tres de las cinco innovaciones que alcanzaron más de un millón
personas (boletas de calificaciones de votantes, Consumer Action y Matatu Safety, y Chlorine
Dispensers for Safe Water) ya habían sido objeto de ECA antes de que se enviaran las
solicitudes al DIV. Aunque aún no hemos codificado los datos, creemos que hubo muy pocas
aplicaciones en esta categoría, por lo que la tasa a la que las propuestas en esta categoría
llegaron a más de un millón de personas fue muy alta (posiblemente el 100 por ciento).
9. Aunque algunas innovaciones respaldadas por DIV se han aplicado en varios países, la
mayoría no lo ha hecho.
Hasta ahora, las innovaciones respaldadas por DIV generalmente no se han aplicado
mucho más allá del país donde se probaron. Esto puede ser un
área donde se necesita trabajo futuro.
Conclusión
La discusión anterior sobre el papel que desempeñan los ECA en la política sugiere que los ECA
han influido en la política al proporcionar evidencia sobre proyectos y programas individuales y
al cambiar el pensamiento en el desarrollo de manera más amplia.
Las industrias de la biotecnología y la tecnología de la información se basan habitualmente en
innovaciones desarrolladas por investigadores que utilizan técnicas de vanguardia en esos campos. La
evidencia de los premios DIV es consistente con la idea de que un simi
El enfoque lar puede ser efectivo en el desarrollo, con innovaciones desarrolladas en parte por
investigadores o involucrando ECA que alcanzan 100,000 o 1,000,000 de usuarios a una tasa
particularmente alta. Esto no quiere decir en absoluto que no se necesite trabajo para afinar las
intervenciones para diferentes contextos, o que no sea importante evaluar programas del mundo real
que aún no han sido evaluados mediante un ECA. Pero el desarrollo de nuevas ideas que se basan en
la ciencia básica en realidad puede conducir a un cambio en la vida real.
Una lección sorprendente de este análisis es que los proyectos que se amplían tienden a ser de
bajo costo, bien definidos y simples. Otros ejemplos, que no están en esta lista, también se ajustan a
este proyecto de ley (por ejemplo, la desparasitación, la tarjeta Raskin). Hay contraejemplos notables
de programas que no son ni particularmente baratos ni simples y se han ampliado: las transferencias
monetarias condicionadas y los programas para ultrapobres de BRAC son dos ejemplos. Además, esos
dos programas no solo se ampliaron donde se habían probado, sino que también se implementaron en
muchos otros países. Curiosamente, inicialmente se replicaron
como ECA.
Las intervenciones bien definidas también son las que tienen más probabilidades de conducir a
proyectos de investigación exitosos porque pueden precisar más fácilmente un mecanismo específico y
ser interpretadas como una prueba para una teoría. Entonces, las razones por las que los RCT han
tenido tanto éxito como herramienta de investigación también pueden ser lo que los hace exitosos para
generar cambios en el mundo real.
De cara al futuro, no sabemos cuáles podrían ser las vías de influencia más importantes para los
ECA. Una ruta es que se adopten ideas simples y claras, intervenciones de bajo costo o modificaciones
de bajo costo a programas existentes prometedores, como sugiere el estudio de caso de DIV. Que estas
innovaciones sean de bajo costo, por supuesto, no significa que tengan un impacto bajo. Una lección de
décadas de investigación de desarrollo bien identificada es que los detalles son increíblemente
importantes y que la distinción entre preguntas "grandes" y "pequeñas" puede ser muy engañosa (ver
Banerjee y Duflo 2011, capítulo 10) para una discusión más detallada) .
Una vía alternativa es aquella en la que se requieren intervenciones más complejas.
replicado en muchos contextos y luego ampliamente adoptado, siguiendo el modelo PRO GRESA o
BRAC. La tercera vía es que en lugar de centrarse
solo en los resultados, los formuladores de políticas y otros actores adoptan la actitud
experimental permitiendo innovaciones y aprendizaje quizás dentro de una unidad
especializada (como la unidad de “empujoncito” de la Casa Blanca) o un fondo
interdepartamental (como el fondo de innovación de Tamil Nadu) .
Pero para realmente obtener todos los beneficios de la revolución de los RCT, no es
suficiente hacer más RCT y ampliar algunos de ellos. También se necesita una gama de
instituciones complementarias para traducir de manera más efectiva la investigación en
políticas. Por ejemplo, necesitamos mejores sistemas para la producción de metanálisis
y artículos de revisión y para la creación de paneles de expertos para revisar la evidencia.
La medicina tiene un sistema bastante complicado para esto, pero incluso dejando de
lado la cuestión de qué tan bien funciona ese sistema en medicina (Sim et al. 2001;
Kawamoto et al. 2005), las instituciones que son apropiadas para la medicina no son
necesariamente apropiadas para las ciencias sociales y la economía del desarrollo en
particular. Estas instituciones recién comienzan a construirse: El registro de RCT de la
Asociación Económica Estadounidense es un ejemplo de un esfuerzo exitoso para
construir una plataforma de registro. Su popularidad sugiere que la comunidad de
desarrollo es receptiva a estos esfuerzos.
Además de la infraestructura puramente científica para el aprendizaje, el proceso de
pasar de una idea a un programa a escala requiere un apoyo institucional apropiado. Se
necesitan financiadores para financiar la prueba piloto iterativa antes de un RCT para
resolver los detalles de implementación.9 Una vez que se ha realizado un RCT, también
se necesita apoyo institucional para iterar en la intervención para prepararla para la
transición a escala. Esto incluye probar formas de reducir los costos unitarios (porque el
primer RCT a menudo evalúa un pequeño piloto con altos costos unitarios); colaborar con
posibles socios implementadores; y mitigar los posibles aumentos de costos o la reducción
de beneficios que pueden resultar de las diferencias institucionales y de personal entre
las versiones piloto y ampliada de una innovación (debido, por ejemplo, a sistemas de
contratación pública con costos de transacción más altos o capacidad gubernamental
limitada para implementar la intervención de manera efectiva). ). Por lo tanto, llegar a la
versión ampliada adecuada implica probarlos a escala y medir el impacto a escala. De
hecho, se pueden necesitar múltiples iteraciones hasta que algo que
9. Development Innovation Ventures y el Global Innovation Fund, un fondo privado
inspirado en DIV y al que contribuyen DIV y otros donantes bilaterales e inversores de
impacto, abarcan explícitamente dicha fase piloto.
es apropiado para la política puede funcionar. Averiguar cuál es la mejor manera
de escalar en cada caso o cómo hacerlo en otros países requiere tiempo, capital
humano especializado y financiamiento adicional.
Referencias
Abdulkadiroglu, Atila, Joshua Angrist y Parag Pathak. 2014. "The Elite Illusion: Achievement Effects at Boston
and New York Exam Schools". Econométrica 82 (1): 137–196.
Alesina, Alberto, Paola Giuliano, and Nathan Nunn. 2013. “Sobre los orígenes de los roles de género: las
mujeres y el arado”. Revista trimestral de economía 128 (2): 469–530.
Alzúa, María Laura, Guillermo Cruces, and Laura Ripani. 2013. “Programas de Bienestar y Oferta Laboral en
Países en Desarrollo: Evidencia Experimental de América Latina”. Revista de Economía de la Población 26
(4): 1255–1284.
Ashraf, Nava, Oriana Bandiera y Scott S. Lee. 2015. “DoGooders and GoGetters: Incentivos profesionales,
selección y desempeño en la prestación de servicios públicos”. Documento de trabajo, Harvard Business
School, Cambridge, MA.
Ashraf, Nava, James Berry y Jesse M. Shapiro. 2010. “¿Pueden los precios más altos estimular el uso de
productos? Evidencia de un experimento de campo en Zambia”. Revisión económica estadounidense 100
(5): 2383–2413.
Athey, Susan y Guido W. Imbens. 2017. "La econometría de los experimentos aleatorios". En Handbook of
Field Experiments, volumen 1, editado por Abhijit V.
Banerjee y Esther Duflo, 73–140. Ámsterdam: Holanda Septentrional.
Attanasio, Orazio P., Costas Meghir, and Ana Santiago. 2012. “Opciones educativas en México: uso de un
modelo estructural y un experimento aleatorio para evaluar PRO GRESA”. Revisión de estudios económicos
79 (1): 37–66.
Attanasio, Orazio P., Erich Battistin, Emla Fitzsimons y Marcos VeraHernandez.
2005. “¿Cuán efectivas son las transferencias monetarias condicionadas? Evidencia de Colombia”.
Nota informativa IFS BN54, Instituto de Estudios Fiscales, Londres.
Attanasio, Orazio P., Camila Fernández, Emla OA Fitzsimons, Sally M. Grantham McGregor, Costas Meghir,
and Marta RubioCodina. 2014. “Uso de la infraestructura de un programa de transferencia condicional de
efectivo para ofrecer un programa de desarrollo infantil temprano integrado y escalable en Colombia: ensayo
controlado aleatorio por conglomerados”. BMJ 349 (septiembre): g5785.
Attanasio, Orazio P., Arlen Guarín, Carlos Medina, and Costas Meghir. 2017. “Formación Vocacional para
Jóvenes Desfavorecidos en Colombia: Un Seguimiento a Largo Plazo”.
Diario económico estadounidense: Economía aplicada 9 (2): 131–143.
Baird, Sarah, Craig McIntosh y Berk Özler. 2011. “¿Efectivo o condición? Evidencia de un
experimento de transferencia de efectivo”. Revista trimestral de economía 126 (4): 1709–1753.
Bandiera, Oriana, Robin Burgess, Narayan Das, Selim Gulesci, Imran Rasul y Munshi Sulaiman.
2013. "¿Puede el espíritu empresarial básico transformar la vida económica de los pobres?"
Documento de debate IZA 7386, Instituto para el Estudio del Trabajo, Bonn.
Banerjee, Abhijit V. 2008. “Grandes respuestas para grandes preguntas: la presunción de la
macroeconomía”. Documento presentado en la Conferencia sobre Desarrollo y Economía
Global de Brookings: What Works in Development? Thinking Big and Thinking Small,
Washington, DC, mayo.
Banerjee, Abhijit V. 2016. “Políticas para un mundo mejor alimentado”. Review of World
Economics 152 (1): 3–17.
Banerjee, Abhijit V. y Esther Duflo. 2009. “El enfoque experimental de la economía del
desarrollo”. Revisión anual de economía 1: 151–178.
Banerjee, Abhijit V. y Esther Duflo. 2011. “Políticas, Política”. En Poor Economics: A Radical
Rethinking of the Way to Fight Global Poverty, editado por Abhijit V. Banerjee y Esther Duflo,
235–265. Nueva York: Asuntos Públicos.
Banerjee, Abhijit V., Esther Duflo, Rachel Glennerster y Dhruva Kothari. 2010.
“Mejora de la cobertura de inmunización en la India rural: una evaluación controlada aleatoria
agrupada de las campañas de inmunización con y sin incentivos”. British Medical Journal 340:
c2220.
Banerjee, Abhijit V. y Lakshmi Iyer. 2005. “Historia, instituciones y desempeño económico: el
legado de los sistemas de tenencia de tierras coloniales en la India”. American Economic
Review 95 (4): 1190–1213.
Banerjee, Abhijit V., Sylvain Chassang y Erik Snowberg. 2016. “Enfoques teóricos de la
decisión para el diseño de experimentos y la validez externa”. Documento de trabajo NBER
22167, Oficina Nacional de Investigación Económica, Cambridge, MA.
Banerjee, Abhijit V., Alice H. Amsden, Robert H. Bates, Jagdish N. Bhagwati, Angus Deaton y
Nicholas Stern. 2007. Hacer que la ayuda funcione. Cambridge, MA: MIT Press.
Banerjee, Abhijit V., Raghabendra Chattopadhyay, Esther Duflo, Daniel Keniston y Nina Singh.
2014. “Mejora del desempeño policial en Rajasthan, India: Evidencia experimental sobre
incentivos, autonomía gerencial y capacitación”. Documento de trabajo NBER 17912, Oficina
Nacional de Investigación Económica, Cambridge, MA.
Banerjee, Abhijit V., Esther Duflo, Nathanael Goldberg, Dean Karlan, Robert Osei, William
Parienté, Jeremy Shapiro, Bram Thuysbaert y Christopher Udry. 2015a.
“Un programa multifacético provoca un progreso duradero para los muy pobres: evidencia de
seis países”. Ciencia 348 (6236): 1260799–1260799.
Banerjee, Abhijit V., Rema Hanna, Jordan C. Kyle, Benjamin A. Olken y Sudarno Sumarto.
2015b. “El Poder de la Transparencia: Información, Tarjetas de Identificación y
Programas de subsidios alimentarios en Indonesia”. Documento de trabajo NBER 20923, Oficina
Nacional de Investigación Económica, Cambridge, MA.
Banerjee, Abhijit, Esther Duflo, Clément Imbert, Santhosh Mathew y Rohini Pande. 2016. “¿Puede el
gobierno electrónico reducir la captura de programas públicos? Evidencia experimental de la garantía
de empleo de la India”. Mimeo, MIT, Cambridge, MA.
Barham, Tania, Karen Macours y John A. Maluccio. 2013. “¿Más escolarización y más aprendizaje?
Efectos de un programa de transferencias monetarias condicionadas de tres años en Nicaragua después
de 10 años”. IDBWP432, Banco Interamericano de Desarrollo, Washington, DC.
BarreraOsorio, Felipe, Marianne Bertrand, Leigh L. Linden, and Francisco Pérez Calle. 2011.
“Mejorando el Diseño de Programas de Transferencia Condicional: Evidencia de un Experimento de
Educación Aleatoria en Colombia.” Diario económico estadounidense: Economía aplicada 3 (2): 167–195.
Benhassine, Najy, Florencia Devoto, Esther Duflo, Pascaline Dupas y Victor Pou liquen. 2015.
“¿Convertir un empujón en un codazo? Una 'transferencia de efectivo etiquetada' para la educación”.
Diario económico estadounidense: Política económica 7 (3): 86–125.
Bertrand, Marianne y Esther Duflo. 2016. “Experimentos de campo sobre discriminación”. NBER
Working Paper 22014, Oficina Nacional de Investigación Económica, Cam bridge, MA.
Bertrand, Marianne y Sendhil Mullainathan. 2004. “¿Emily y Greg son más empleables que Lakisha y
Jamal? Un experimento de campo sobre la discriminación en el mercado laboral”. Revisión económica
estadounidense 94 (4): 991–1013.
Bertrand, Marianne, Simeon Djankov, Rema Hanna y Sendhil Mullainathan.
2007. “Obtención de una licencia de conducir en India: un enfoque experimental para estudiar la
corrupción”. Revista trimestral de economía 122 (4): 1639–1676.
Bhatt, S., DJ Weiss, E. Cameron, D. Bisanzio, B. Mappin, U. Dalrymple, KE
Batalla, et al. 2015. “El efecto del control de la malaria en Plasmodium falciparum en África entre 2000 y
2015”. Naturaleza 526 (7572): 207–211.
Blattman, Christopher, Nathan Fiala y Sebastián Martínez. 2014. “Generación de autoempleo calificado
en países en desarrollo: evidencia experimental de Uganda”. Revista trimestral de economía 129 (2):
697–752.
Blattman, Christopher, Julian C. Jamison y Margaret Sheridan. 2015. "Reducción del crimen y la
violencia: evidencia experimental de la terapia cognitiva conductual en Liberia". Documento de trabajo
NBER 21204, Oficina Nacional de Investigación Económica, Cambridge, MA.
Bolton, Paul, Judith Bass, Theresa Betancourt, Liesbeth Speelman, Grace Onyango, Kathleen F.
Clougherty, Richard Neugebauer, Laura Murray y Helen Verdeli.
2007. “Intervenciones para los síntomas de depresión entre los adolescentes sobrevivientes de la guerra
y desplazamiento en el norte de Uganda: un ensayo controlado aleatorio”. JAMA 298 (5): 519–527.
Bolton, Paul, Judith Bass, Richard Neugebauer, Helen Verdeli, Kathleen F. Clougherty, Priya Wickramaratne,
Liesbeth Speelman, Lincoln Ndogoni y Myrna Weissman. 2003. “Psicoterapia grupal interpersonal para la
depresión en la zona rural de Uganda: un ensayo controlado aleatorio”. JAMA 289 (23): 3117–3124.
Bursztyn, Leonardo y Lucas C. Coffman. 2012. “La decisión escolar: preferencias familiares, conflicto
intergeneracional y riesgo moral en las favelas brasileñas”.
Revista de Economía Política 120 (3): 359–397.
Callen, Michael y James D. Long. 2015. “Corrupción institucional y fraude electoral: evidencia de un
experimento de campo en Afganistán”. Revisión económica estadounidense 105 (1): 354–381.
Cameron, Drew B., Anjini Mishra y Annette N. Brown. 2016. “El crecimiento de la evaluación de impacto
para el desarrollo internacional: ¿Cuánto hemos aprendido?”
Chassang, Sylvain, Gerard Padró i Miquel y Erik Snowberg. 2012. "Ensayos selectivos: un enfoque de
agente principal para experimentos controlados aleatorios". American Economic Review 102 (4): 1279–
1309.
Clark, Damon. 2009. “El desempeño y los efectos competitivos de la autonomía escolar”. Revista de
Economía Política 117 (4): 745–783.
Cohen, Jessica y Pascaline Dupas. 2010. “¿Distribución gratuita o costo compartido?
Evidencia de un experimento aleatorio de prevención de la malaria”. Revista trimestral de economía 125 (1):
1–45.
Congdon, William J., Jeffrey R. Kling, Jens Ludwig y Sendhil Mullainathan. 2017.
“Política social: experimentos de mecanismos y evaluaciones de políticas”. En Handbook of Field
Experiments, volumen 2, editado por Abhijit V. Banerjee y Esther Duflo, 389–426. Amsterdam: NorthHolland.
Cunha, Jesse M. 2014. “Prueba del paternalismo: transferencias en efectivo versus transferencias en
especie”. American Economic Journal: Applied Economics 6 (2): 195–230.
Dal Bó, Ernesto, Frederico Finan, and Martín A. Rossi. 2013. “Fortalecimiento de las Capacidades del
Estado: El Rol de los Incentivos Financieros en la Llamada al Servicio Público”. Revista trimestral de
economía 128 (3): 1169–1218.
Deaton, Angus. 2010. “Instrumentos, aleatorización y aprendizaje sobre el desarrollo”. Revista de Literatura
Económica 48 (2): 424–455.
de Janvry, Alain, Elisabeth Sadoulet y Tavneet Suri. 2017. "Experimentos de campo en la agricultura de
países en desarrollo". En Handbook of Field Experiments, volumen 2, editado por Abhijit V. Banerjee y
Esther Duflo, 427–466. Ámsterdam: Holanda Septentrional.
Dell, Melissa. 2010. “Los efectos persistentes de la mita minera del Perú”. Econométrica 78 (6): 1863–1903.
de Mel, Suresh, David McKenzie y Christopher Woodruff. 2012. “Las transferencias únicas de efectivo o
capital tienen efectos duraderos en las microempresas de Sri Lanka”. Ciencia 335 (6071): 962–966.
DizonRoss, Rebecca, Pascaline Dupas y Jonathan Robinson. 2017. “Gobernanza y eficacia de los
subsidios de salud pública: evidencia de Ghana, Kenia y Uganda”. Revista de Economía Pública 156: 150–
169.
Dobbie, Will y Roland G. Fryer, Jr. 2014. "El impacto de asistir a una escuela con compañeros de alto
rendimiento: Evidencia de las escuelas de examen de la ciudad de Nueva York". American Economic
Journal: Applied Economics 6 (3): 58–75.
Duflo, Ester. 2004. “Escalamiento y evaluación”. Documento presentado en la Conferencia Anual del
Banco sobre Economía del Desarrollo (ABCDE), Bangalore, 21 y 22 de mayo.
Duflo, Esther y Michael Kremer. 2005. “Uso de la aleatorización en la evaluación de la eficacia del
desarrollo”. En Evaluación de la eficacia del desarrollo, editado por George Keith Pitman, Osvaldo N.
Feinstein y Gregory K. Ingram, 205–230. New Brunswick, NJ: Transacción.
Duflo, Esther, Rachel Glennerster y Michael Kremer. 2007. “Using Randomization in Development
Economics Research: A Toolkit”. En Handbook of Development Economics, volumen 4, editado por T. Paul
Schultz y John A. Strauss, 3895–3962.
Ámsterdam: Elsevier.
Duflo, Esther, Michael Kremer y Jonathan Robinson. 2008. “¿Qué tan altas son las tasas de retorno de los
fertilizantes? Evidencia de experimentos de campo en Kenia”. American Economic Review 98 (2): 482–
488.
Duflo, Esther, Michael Greenstone, Rohini Pande y Nicholas Ryan. 2013a. “¿Qué compra la reputación?
Diferenciación en un mercado de auditores externos”. American Economic Review 103 (3): 314–319.
Duflo, Esther, Michael Greenstone, Rohini Pande y Nicholas Ryan. 2013b.
“Decir la verdad por parte de auditores externos y la respuesta de las empresas contaminantes: evidencia
experimental de la India”. Revista trimestral de economía 128 (4): 1499–1545.
Duflo, Esther, Michael Kremer, Jonathan Robinson y Frank Schilbach. 2017.
“Difusión de tecnología y uso apropiado: evidencia del oeste de Kenia”. Documento de trabajo, MIT,
Cambridge, MA.
Dupas, Pascalina. 2014a. “Subsidios a corto plazo y adopción a largo plazo de nuevos productos de salud:
evidencia de un experimento de campo”. Econométrica 82 (1): 197–228.
Dupas, Pascalina. 2014b. “Hacer llegar productos de salud esenciales a sus usuarios finales: subvencionar,
pero ¿cuánto?” Ciencia 345 (6202): 1279–1281.
Dupas, Pascaline y Edward Miguel. 2017. “Impactos y determinantes de los niveles de salud en países de
bajos ingresos”. En Handbook of Field Experiments, volumen 2, editado por Abhijit V. Banerjee y Esther Duflo,
3–93. Ámsterdam: Holanda Septentrional.
Dustan, Andrew, Alain de Janvry y Elisabeth Sadoulet. 2015. “¿Florecer o fracasar?
La Arriesgada Recompensa de la Admisión a la Escuela Secundaria Elite en la Ciudad de México”. Documento
de trabajo del Departamento de Economía 15–00002, Universidad de Vanderbilt, Nashville.
Evans, David K. y Anna Popova. 2014. "Transferencias de efectivo y productos de tentación: una revisión de
la evidencia global". Documento de trabajo de investigación de políticas 6886, Banco Mundial, Washington,
DC.
Finan, Frederico, Benjamin A. Olken y Rohini Pande. 2015. “La economía de personal del Estado”. Documento
de trabajo NBER 21825, Oficina Nacional de Investigación Económica, Cambridge, MA.
Fisher, Ronald Aylmer. 1925. Métodos estadísticos para trabajadores de investigación. Guildford, Reino Unido:
Génesis.
Fiszbein, Ariel y Norbert Schady. 2009. Transferencias Condicionadas de Efectivo: Reduciendo la Pobreza
Presente y Futura. Washington, DC: Banco Mundial.
Freedman, David A. 2006. “Modelos estadísticos para la causalidad: ¿Qué edad de palanca inferencial
proporcionan?” Revisión de evaluación 30 (6): 691–713.
Galiani, Sebastián y Patrick J. McEwan. 2013. “El impacto heterogéneo de las transferencias monetarias
condicionadas”. Journal of Public Economics 103 (Suplemento C): 85–96.
Gertler, Paul. 2004. “¿Mejoran la salud infantil las transferencias monetarias condicionadas? Evidencia del
Experimento Controlado al Azar de PROGRESA.” Revisión económica estadounidense 94 (2): 336–341.
Glennerster, Raquel. 2017. "Los aspectos prácticos de realizar evaluaciones aleatorias: asociaciones,
medición, ética y transparencia". En Handbook of Field Experiments, volumen 1, editado por Abhijit V. Banerjee
y Esther Duflo, 175–243. Presa de Amster: Holanda Septentrional.
Glewwe, Paul y Pedro Olinto. 2004. “Evaluación del impacto de las transferencias monetarias condicionadas
en la escolarización: un análisis experimental del programa PRAF de Honduras”.
Manuscrito, Universidad de Minnesota, St. Paul.
Glewwe, Paul, Michael Kremer y Sylvie Moulin. 2009. “¿Muchos niños dejados atrás? Libros de texto y puntajes
de exámenes en Kenia”. Diario económico estadounidense: Economía aplicada 1 (1): 112–135.
Gueron, Judy. M. 2017. “La política y la práctica de los experimentos sociales: semillas de una revolución”. En
Handbook of Field Experiments, volumen 1, editado por Abhijit V. Baner jee y Esther Duflo, 27–69. Ámsterdam:
Holanda Septentrional.
Hanna, Rena y Dean Karlan. 2017. “Diseño de programas de protección social: uso de la teoría y la
experimentación para comprender cómo ayudar a combatir la pobreza”. En
Manual de experimentos de campo, volumen 2, editado por Abhijit V. Banerjee y Esther Duflo, 515–553.
Ámsterdam: Holanda Septentrional.
Haushofer, Johannes y Jeremy Shapiro. 2013. “Respuesta de los hogares a los cambios en los ingresos:
evidencia de un programa de transferencia de efectivo incondicional en Kenia”.
Mimeo, Instituto Tecnológico de Massachusetts, Cambridge, MA.
Heckman, James J. 1992. “Aleatorización y evaluación de políticas sociales”. En Evaluating Welfare and
Training Programs, editado por Charles Manski e Irwin Garfinkel, 201–230. Cambridge MA: Prensa de la
Universidad de Harvard.
Comité Internacional de Rescate. 2014. “IRC publica evaluación: las transferencias de efectivo funcionan para
refugiados en situaciones de emergencia”. Comité Internacional de Rescate, Nueva York.
Karlan, Dean S. y Jonathan Zinman. 2008. “Elasticidades crediticias en economías menos desarrolladas:
implicaciones para las microfinanzas”. Revisión económica estadounidense 98 (3):
1040–1068.
Kawamoto, Kensaku, Caitlin A. Houlihan, E. Andrew Balas y David F. Lobach.
2005. “Mejora de la práctica clínica mediante el uso de sistemas de apoyo a las decisiones clínicas: una
revisión sistemática de los ensayos para identificar las características críticas para el éxito”. BMJ 330 (7494): 765.
Khan, Adnan Q., Asim I. Khwaja y Benjamin A. Olken. 2016. "Tax Farming Redux: evidencia experimental
sobre el pago por desempeño para los recaudadores de impuestos". Revista trimestral de economía 131 (1):
219–271.
Klamer, Arjo y Hendrik P. van Dalen. 2002. “La atención y el arte de la publicación científica”. Revista de
Metodología Económica 9 (3): 289–315.
Kreindler, Gabriel. 2018. “El efecto de bienestar de la tarificación por congestión vial: evidencia experimental
e implicaciones de equilibrio”. Documento sobre el mercado laboral, MIT, Cambridge, MA.
Kremer, Michael. 2003. “Evaluaciones aleatorias de programas educativos en países en desarrollo: algunas
lecciones”. Revisión económica estadounidense 93 (2): 102–106.
Kremer, Michael y Rachel Glennerster. 2011. "Mejora de la salud en los países en desarrollo: evidencia de
evaluaciones aleatorias". En Handbook of Health Economics, volumen 2, editado por Mark V. Pauly, Thomas
G. Mcguire y Pedro P. Barros, 201–315. Ámsterdam: Elsevier.
Kremer, Michael y Alaka Holla. 2009. “Precio y acceso: lecciones de evaluaciones aleatorias en educación y
salud”. En ¿Qué funciona en el desarrollo? Thinking Big and Thinking Small, editado por William Easterly y
Jessica Cohen, 91–129. Washington, DC: Brookings Institution Press.
Kremer, Michael y Edward Miguel. 2007. “La ilusión de la sostenibilidad”. Quarterly Journal of Economics 122
(3): 1007–1065.
Lucas, Adrienne M. e Isaac M. Mbiti. 2014. “Efectos de la calidad escolar en el rendimiento estudiantil:
Evidencia de discontinuidad de Kenia”. Diario económico estadounidense: Economía aplicada 6 (3): 234–263.
Maluccio, John A. and Rafael Flores. 2005. “Evaluación de impacto de un programa de transferencias
monetarias condicionadas: la Red de Protección Social de Nicaragua”. Informe de investigación IFPRI 141,
Instituto Internacional de Investigación sobre Políticas Alimentarias, Washington, DC.
Mansilla, Ricardo, Elke Köppen, Germinal Cocho, and Pedro Miramontes. 2007.
"Sobre el comportamiento de la distribución del orden de clasificación del factor de impacto de la revista".
Diario de Informetrics 1 (2): 155160.
Masterson, Daniel y Christian Lehman. 2014. “Economías de emergencia: el impacto de la asistencia en
efectivo en el Líbano”. Comité Internacional de Rescate, Nueva York.
Pobre, Rachael. 2016. "Comprender el impacto de las expansiones de microcréditos: un análisis jerárquico
bayesiano de 7 experimentos aleatorios". Documento de trabajo, MIT, Cambridge, MA.
Muralidharan, Karthik y Venkatesh Sundararaman. 2015. "El efecto agregado de la elección de escuela:
evidencia de un experimento de dos etapas en la India". Revista trimestral de economía 130 (3): 1011–1066.
Muralidharan, Karthik, Paul Niehaus y Sandip Sukhtankar. 2016. "Creación de capacidad estatal: evidencia
de tarjetas inteligentes biométricas en la India". Revisión económica estadounidense 106 (10): 2895–2929.
Neyman, Jerzy. [1923] 1990. “Sobre la aplicación de la teoría de la probabilidad a los experimentos
agrícolas. Ensayo sobre los principios. Sección 9.” Traducido y editado por Dorota M. Dabrowska y Terence
P. Speed. Ciencia estadística 5 (4): 465–472.
Olken, Benjamin A. 2007. “Monitoreo de la corrupción: evidencia de un experimento de campo en
Indonesia”. Revista de Economía Política 115 (2): 200–249.
Padró i Miquel, Gerard, Nancy Qian y Yang Yao. 2014. “Fragmentación social, bienes públicos y elecciones:
evidencia de China”. NBER Working Paper 18633, Oficina Nacional de Investigación Económica, Cambridge,
MA.
Patel, Vikram, Helen A. Weiss, Neerja Chowdhary, Smita Naik, Sulochana Pednekar, Sudipto Chatterjee,
Mary J. De Silva, et al. 2010. "Efectividad de una intervención dirigida por consejeros de salud legos para
los trastornos depresivos y de ansiedad en la atención primaria en Goa, India (MANAS): un ensayo
controlado aleatorio por grupos". Lanceta 376 (9758): 2086–2095.
Pritchett, Lant. 2002. “Vale la pena ser ignorante: una economía política simple de evaluación rigurosa del
programa”. Revista de Reforma de Políticas 5 (4): 251–469.
Radicchi, Filippo, Santo Fortunato y Claudio Castellano. 2008. "Universalidad de las distribuciones de citas:
hacia una medida objetiva del impacto científico". PNAS 104 (45): 17268–17272.
Rao, Gautam, Frank Schilbach y Heather Schofield. nd “Sleepless in Chennai: The Economic Effects of
Sleep Deprivation between the Poor”. Documento de trabajo, Universidad de Pensilvania, Filadelfia.
Ravallion, Martín. 2012. “Lucha contra la pobreza, un experimento a la vez: una revisión de 'Economía pobre:
un replanteamiento radical de la forma de combatir la pobreza mundial' de Abhijit Banerjee y Esther Duflo”.
Journal of Economic Literature 50 (1): 103–114.
Rigol, Natalia, Reshmaan Hussam y Giovanni Regianni. 2017. “Formación de hábitos y adicción racional”.
Documento de trabajo de la Escuela de Negocios de Harvard 18030, Cambridge, MA.
Rubin, Donald B. 1974. "Estimación de los efectos causales de los tratamientos en estudios experimentales
y observacionales". Revista de Psicología Educativa 66 (5): 668–670.
Rubin, Donald B. 1981. "Estimación en experimentos aleatorios paralelos". Revista de estadísticas educativas
6 (4): 377–401.
Schilbach, Frank. 2015. "Alcohol y autocontrol: un experimento de campo en la India".
Documento de trabajo, MIT, Cambridge, MA.
Schultz, T.Paul. 2004. “Subsidios escolares para los pobres: evaluación del programa de pobreza de
PROGRESA en México”. Revista de Economía del Desarrollo 74 (1): 199–250.
Shah, Neil Buddy, Paul Wang, Andrew Fraker y Daniel Gastfriend. 2015. “Evaluaciones con impacto:
evaluación de impacto centrada en decisiones como herramienta práctica para la formulación de políticas”.
3ie Documento de Trabajo 25, Iniciativa Internacional para la Evaluación de Impacto, Nueva Delhi.
Sim, Ida, Paul Gorman, Robert A. Greenes, R. Brian Haynes, Bonnie Kaplan, Harold Lehmann y Paul C.
Tang. 2001. “Sistemas de apoyo a la decisión clínica para la práctica de la medicina basada en la evidencia”.
Revista de la Asociación Estadounidense de Informática Médica 8 (6): 527–534.
Todd, Petra E. y Kenneth I. Wolpin. 2006. “Evaluación del impacto de un programa de subsidio escolar en
México: uso de un experimento social para validar un modelo de comportamiento dinámico de escolaridad y
fertilidad infantil”. Revista económica estadounidense 96 (5): 1384–1417.
Udry, Christopher. 1995. “Riesgo y ahorro en el norte de Nigeria”. Revista económica estadounidense 85 (5):
1287–1300.
Vickrey, William S. 1969. "Teoría de la congestión e inversión en transporte". American Economic Review 59
(2): 251–260.
Vivalt, Eva. 2015. “¿Cuánto podemos generalizar a partir de las evaluaciones de impacto? ¿Valen la pena?”
Mimeo, Universidad de Stanford, Palo Alto, CA.
Banco Mundial. 2013. Programa de transferencias monetarias condicionadas de Filipinas: Evaluación de
impacto 2012. Washington, DC: Banco Mundial.
Banco Mundial. 2016. Informe sobre el desarrollo mundial 2016: Dividendos digitales. Washington, DC: Banco
Mundial.
Organización Mundial de la Salud. 2015. Informe mundial sobre el paludismo 2015. Ginebra: Organización
Mundial de la Salud.
Comentario: David McKenzie
El surgimiento y la normalización de los ensayos controlados aleatorios (ECA) como una
parte importante del conjunto de herramientas de los economistas del desarrollo ha sido
rápido, con mucho debate sobre si esto es motivo de celebración o preocupación.
Abhijit, Esther y Michael han sido los primeros pioneros y defensores del uso de RCT en
la economía del desarrollo, y su artículo representa un importante ejercicio de balance,
documentando este aumento e intentando extraer algunas de las consecuencias de este
proceso tanto para la investigación como para la economía. política. Agrupo mis
comentarios en torno a tres temas: poner en perspectiva el surgimiento de los ECA,
considerar cómo han afectado la práctica de la investigación e intentar comprender cómo
han influido y no han influido en la política.
El auge de los ECA en perspectiva
Su artículo documenta el rápido crecimiento en el número de ECA publicados en las
principales revistas, de 0 artículos en 2000 a 32 artículos en 2015. En la tabla 10.4,
extiendo este análisis considerando también artículos de economía del desarrollo
publicados en tres revistas líderes de economía de interés general consideradas estar
en el siguiente nivel por debajo de las cinco revistas principales (American Economic
Journal: Applied Economics, Review of Economics and Statistics y Economic Journal),
artículos publicados en tres revistas líderes en economía del desarrollo (Journal of
Development Economics, Economic Development and Cultural Change y World Bank
Economic Review), y en World Development, la principal publicación multidisciplinaria
sobre desarrollo. Considero artículos publicados en 2015 y defino los artículos de
economía del desarrollo en las revistas de interés general como aquellos con una
"O" (economía del desarrollo) Journal of Economic Litera
código de clasificación de la naturaleza .
Tabla 10.4
ECA como parte de los artículos de desarrollo publicados en 2015, por tipo de revista
Número de
Desarrollo Número que son
Documentos ECA Porcentaje ECA
Las cinco mejores revistas 32 10 31.3
Buen interés general 32 14 43.8
Diario económico estadounidense: dieciséis 10 62.5

Economía Aplicada
Diario económico 8 1 12.5
Revista de Economía y Estadística 8 3 37.5
Revistas líderes en desarrollo 115 15 13.0
Revista de Economía del Desarrollo 70 9 12.9
Desarrollo Económico y 24 5 20.8
Cambio cultural
Revisión económica del Banco Mundial 21 1 4.8
Desarrollo mundial 275 5 1.8
Todos los documentos de desarrollo 454 44 9.7
Fuente: Los datos de las cinco revistas principales son de Banerjee, Duflo y Kremer (2016). Datos de
otras revistas recopilados por el autor. Artículos en buenas revistas de interés general clasificados como
de desarrollo si tienen un código "O" en el sistema de clasificación Journal of Economic Literature (JEL).
Los conteos excluyen editoriales, comentarios, dúplicas, correcciones, artículos y actas de la Revista
Económica del Banco Mundial (WBER) y la edición del 125 aniversario de la Revista Económica (EJ).
De esta tabla surgen varios puntos que creo que son importantes para poner en
perspectiva el surgimiento de los RCT y para considerar su influencia en la política. En primer
lugar, a pesar del rápido crecimiento, la mayoría de los artículos sobre economía del desarrollo
publicados incluso en las cinco revistas principales no son RCT. En segundo lugar, los ECA
constituyen una proporción mucho mayor de los artículos sobre desarrollo en las revistas de
interés general que en las revistas sobre desarrollo. En tercer lugar, la mayoría de los artículos
sobre desarrollo publicados no se publican en las principales revistas, sino en revistas de campo.
Como resultado, de los 454 artículos de desarrollo publicados en estas catorce revistas en
2015, solo 44 son RCT (9,7 por ciento). La consecuencia es que los estudios RCT son solo
una pequeña parte de toda la investigación de desarrollo que se lleva a cabo. Creo que esto
es evidencia contra el argumento (quizás testaferro) de que los RCT han desplazado a otras
investigaciones de desarrollo, y que los formuladores de políticas que buscan consejos sobre
preguntas que los RCT no pueden responder se están perdiendo como resultado.
490 Comentarios de David McKenzie y Martin Ravallion
Su artículo también documenta cómo los ECA se han vuelto más comunes
entre los investigadores más jóvenes, lo que demuestra que los miembros de BREAD que se
graduaron más recientemente tienen más probabilidades de haber realizado ECA que los que
se graduaron hace más tiempo. Esta observación ha llevado a un segundo argumento
caricaturesco o testaferro: que “el mejor y más brillante talento de una generación de
economistas del desarrollo se ha dedicado a producir evaluaciones de impacto rigurosas
sobre temas que son fáciles de aleatorizar (p. ej., Pritchett 2014) y que toman una actitud de
“aleatorizar o reventar”, por la que rechazan muchas preguntas de investigación interesantes
si no pueden aleatorizar (p. ej., Ravallion 2009).
Para explorar esto, examiné los registros de publicación de los sesenta y cinco afiliados
de BREAD (este es el grupo de miembros más jóvenes), restringiendo la atención a los
cincuenta y tres investigadores que se graduaron en 2011 o antes (para darles tiempo para
tener publicado). El investigador mediano había publicado nueve artículos, y la proporción
mediana de sus artículos que eran ECA era del 13 por ciento. Centrándose en el subconjunto
de aquellos que han publicado al menos un ECA, el porcentaje medio (mediana) de sus
artículos publicados que son ECA es del 35 por ciento (30 por ciento) y el rango de 10 a 90 es
de 11 a 60 por ciento.
Entonces, los investigadores jóvenes que publican ECA también escriben y publican artículos
que no son ECA. De hecho, esto también es cierto para Abhijit, Esther y Michael; aunque se
les conoce como los líderes del movimiento "randomista", los artículos más citados de los tres
investigadores no son RCT.
La influencia de los ECA en la investigación para el desarrollo
Abhijit, Esther y Michael documentan varias formas importantes en que los ECA han afectado
la forma en que se realiza la investigación sobre economía del desarrollo. Estoy de acuerdo
con sus afirmaciones de que los RCT han elevado el nivel de la investigación no experimental
en términos de pensar en la identificación creíble, y que los RCT han estimulado nuevas
formas creativas de medición. Quiero señalar otros dos
áreas de influencia.
La primera influencia, extremadamente positiva, ha sido hacer que sea un lugar común
para los investigadores hablar con las personas y las empresas que están estudiando. Este
es un gran cambio con respecto a la era en la que la mayoría de las investigaciones sobre
desarrollo consistían en que los investigadores descargaban un conjunto de datos como Penn
World Tables o Living Standards Measurement Surveys, intentaban estimar algún modelo o
probar alguna teoría, y luego escribían el artículo sin siquiera hablar.
a cualquier persona del país objeto de estudio. De hecho, esto clasifica bien mi investigación de tesis:
estaba interesado en entender por qué la gente en Taiwán seguía ahorrando tanto cuando sus
ingresos habían estado aumentando rápidamente durante años. Elaboré cuidadosamente una nueva
teoría econométrica y estimé y probé modelos de varias teorías de consumo en competencia, pero
nunca pregunté directamente a ningún hogar en Taiwán "¿Por qué ahorran tanto?" Del mismo modo,
he estado en varias misiones del Banco Mundial en las que se diseñaron proyectos hablando con los
encargados de formular políticas y quizás con un conjunto cuidadosamente seleccionado de
beneficiarios existentes, y la idea de simplemente caminar por un vecindario promedio y hablar con
algunas pequeñas empresas seleccionadas al azar se consideró como una cosa sorprendente que
hacer. Los RCT hacen que esto sea más común, y también hacen que sea mucho más probable que
los investigadores realmente hablen con los implementadores de los programas que están tratando
de estudiar.
Sin embargo, también creo que los ECA afectan hasta cierto punto las preguntas sobre las que
trabajan los investigadores. Como se señaló anteriormente, hay muchos investigadores, y la mayoría
de las investigaciones realizadas en economía del desarrollo todavía no se realizan a través de ECA.
Creo que es justo decir que probablemente algunas preguntas hayan sido respondidas solo porque
un experimento podría responderlas limpiamente, y estas preguntas no habrían tenido investigadores
trabajando en ellas de otra manera. Como argumento en la siguiente sección, no está claro si esto
es necesariamente algo malo, ya que ha resultado en que los investigadores se involucren mucho
más en el complicado asunto de comprender cómo se implementan las políticas, lo que
de lo contrario, no había recibido mucha atención de la investigación.
La influencia de los ECA en la política de desarrollo
Creo que es justo decir que los ECA han tenido mucha más influencia en cómo se implementa la
política de economía del desarrollo que en lo que se hace. Muchas de las preguntas respondidas por
los ECA caen en la categoría de ayudar a los formuladores de políticas a orientar mejor, o implementar
mejor, una política que ya han decidido hacer. Por ejemplo, ¿deben otorgarse las subvenciones de
manera condicional o incondicional? ¿Cómo se puede incentivar a los trabajadores del gobierno para
que brinden los servicios que deben brindar? ¿Se deben dar mosquiteros gratis u ofrecerlos a un
precio? ¿La gente utilizará más los productos de ahorro si se les ofrecen compromisos o recordatorios?
Este uso de RCT es muy similar al uso principal de RCT en muchas empresas, donde las pruebas
AB se utilizan para ajustar los productos y decidir cómo dirigirse mejor a los clientes.
Cuando se trata de lo que se hace, hago la distinción entre los esfuerzos para tratar
de hacer mejoras marginales en la vida de las personas y las empresas, dada la estructura
económica en la que operan, y los intentos de impulsar los tipos de cambios de un país
estancado, en gran parte rural. , economía agraria a una economía vibrante, innovadora,
en gran parte urbana, basada en la manufactura y los servicios, que asociamos con el
proceso de desarrollo. Gran parte de la investigación temprana de RCT se centró en el
primero, y muchos de los casos de ampliación de DIV descritos por Banerjee et al.
también caen en este caso: ¿cómo podemos hacer que el tráfico sea un poco menos
riesgoso, que el agua sea un poco más limpia, que los hogares pobres obtengan un poco
más de electricidad, etc.? El éxito aquí se basa en gran medida en hacer que las personas
pobres sean un poco menos pobres o en hacerles la vida un poco más fácil. Esta es una
clase importante de políticas, y una en la que los ECA han tenido alguna influencia política.
Por el contrario, hasta hace poco ha habido muchos menos ECA que ayuden a los
formuladores de políticas a intentar probar políticas asociadas con una transformación
más estructural: ¿cómo hacemos que más empresas innoven y crezcan?
¿Cómo logramos que la gente se mude de lugares pobres con pocas perspectivas
laborales a lugares con mejores perspectivas? Sin embargo, esta es un área en la que
los ECA se están expandiendo rápidamente, con ejemplos como Bryan, Chowdhury y
Mobarak (2014), Atkin, Khandewal y Osman (2017), McKenzie (2015), Beam, McKenzie
y Yang (2016), y Cusolito, Dautovic y McKenzie (2018) que muestran que los ECA
también pueden proporcionar consejos útiles sobre políticas para estas preguntas.
ciones también.
Un último punto que quiero hacer es argumentar en contra de la idea de que los
responsables de la formulación de políticas pueden sustituir fácilmente los ECA mediante
procesos rápidos e iterativos de aprendizaje práctico. Tal enfoque puede ser posible en
algunos ambientes, pero es muy difícil de aprender haciendo en algunas situaciones. Una
de las razones de esto es que a las personas a menudo les resulta difícil generar
contrafactuales precisos para ellos mismos, incluso cuando han pasado por un programa,
por lo que McKenzie (2018) encuentra que tanto los grupos de tratamiento como los de
control sobrestiman el efecto que tendría ganar un concurso de planes de negocios. tener,
incluso después del hecho. En segundo lugar, son tantos los factores que influyen en los
resultados que los RCT a menudo necesitan cientos o miles de observaciones para
detectar un efecto, y es imposible que las personas extraigan señales del ruido para
determinar si sus acciones están funcionando. Como ejemplo extremo, Lewis y Rao
(2015) muestran que las empresas a menudo no pueden saber si sus campañas de
marketing están funcionando, incluso cuando se prueban en millones de clientes.
Referencias
Atkin, David, Amit Khandewal y Adam Osman. 2017. "Exportación y rendimiento empresarial:
evidencia de un experimento aleatorio". Revista trimestral de economía 132 (2): 551–615.
Banerjee, Abhijit V., Esther Duflo y Michael Kremer. 2016. “La influencia de los ensayos
controlados aleatorios en la investigación de la economía del desarrollo y en la política de
desarrollo”. Documento preparado para la conferencia “El estado de la economía, el estado del
mundo” del Banco Mundial, septiembre de 2016.
Beam, Emily A., David McKenzie y Dean Yang. 2016. “La facilitación unilateral no aumenta la
migración laboral internacional desde Filipinas”. Desarrollo económico y cambio cultural 64 (2):
323–368.
Bryan, Gharad, Shyamal Chowdhury y Ahmed Mushfiq Mobarak. 2014. “Bajo inversión en una
tecnología rentable: el caso de la migración estacional en Bangladesh”. Econométrica 82 (5):
1671–1748.
Cusolito, Ana Paula, Ernest Dautovic, and David McKenzie. 2018. “¿Puede la intervención del
gobierno hacer que las empresas estén más preparadas para invertir? Un experimento aleatorio
en los Balcanes Occidentales”. Policy Research Working Paper 8541, Impact Evaluation Series,
Banco Mundial, Washington, DC.
Lewis, Randall A. y Justin M. Rao. 2015. “La economía desfavorable de medir los rendimientos
de la publicidad”. Revista trimestral de economía 130 (4): 1941–1973.
McKenzie, David. 2017. "Identificación y estímulo del espíritu empresarial de alto crecimiento:
evidencia experimental de un concurso de planes de negocios". Revista económica
estadounidense 107 (8): 2278–2307.
McKenzie, David. 2018. “¿Pueden los dueños de negocios formar contrafactuales precisos?
Obtención de creencias de tratamiento y control sobre sus resultados en el estado de tratamiento
alternativo”. Revista de Estadísticas Comerciales y Económicas 36 (4): 714–722.
Pritchett, Lant. 2014. “¿Su evaluación de impacto está haciendo preguntas que importan? Una
prueba de olor en cuatro partes. Vistas desde el Centro (blog), 6 de noviembre . http://
www.cgdev.org/blog/yourimpactevalueaskingquestionsmatterfourpartsmelltest .
Ravallion, Martín. 2009. "¿Deberían gobernar los aleatorios?" Voz de los economistas 6 (2): 1–5.
Comentario: Martín Ravallion
Ensayos aleatorios y política de desarrollo
Mide lo que es importante, no hagas importante lo que puedes medir.
—Robert McNamara, presidente del Banco Mundial, 1968–1981
Los ensayos controlados aleatorios (ECA) están en el menú de opciones para la
evaluación del impacto del desarrollo. Eso no es una novedad, ya que ha sido cierto
durante al menos 40 años.1 Lo que ha cambiado en los últimos 10 a 15 años es la
popularidad académica de los RCT. El capítulo de Banerjee, Duflo y Kremer (BDK)
describe y reflexiona sobre el uso cada vez mayor de RCT en la economía del desarrollo.
Los autores han estado a la vanguardia de este cambio.
En teoría, la idea de un RCT es bastante simple. El acceso al programa se asigna
aleatoriamente a algunas unidades, mientras que otras se reservan como grupo de control.
Luego, el impacto se estima por la diferencia en los resultados medios de la muestra
entre los grupos tratados y de control. Esto converge hacia el verdadero impacto medio
en la población a medida que aumenta el tamaño de la muestra.
En la práctica, los ECA rara vez son perfectos, su validez interna rara vez está
asegurada y su validez externa a menudo es cuestionable. Como argumentan Deaton y
Cartwright (2018), estas limitaciones no parecen ser bien entendidas entre los
profesionales. No ayuda que los defensores destacados a menudo hagan afirmaciones
desprevenidas que exageran las virtudes de los ECA. Por ejemplo, claramente no es
cierto que “cualquier diferencia entre las unidades de tratamiento y control refleje el
impacto del tratamiento”, como dice BDK, porque siempre hay algún error experimental
(incluyendo, por supuesto, el error de muestreo).
1. El ECA de desarrollo más antiguo que conozco fue realizado en 1978 por el Banco
Mundial y publicado en 1981, a saber, Jamison et al. (1981).
Las preocupaciones son más profundas. Ni siquiera la justificación teórica de la aleatorización
es tan clara como afirman los defensores. De hecho, en general, existe una asignación
determinista (no aleatoria) del estado del tratamiento (basada en covariables continuas) que
minimiza la varianza esperada del error, como lo muestra Kasy (2016). Esto es válido para un
tamaño de muestra dado. Comparando métodos, tiene más sentido fijar el presupuesto para la
evaluación que fijar el tamaño de la muestra. Los ECA pueden ser costosos. Con un presupuesto
determinado, los ECA a menudo tendrán tamaños de muestra más bajos de lo que es posible
con los estudios observacionales (OS). Entonces, un sistema operativo puede resultar más
cercano a la verdad en la práctica, incluso si tiene un sesgo (Ravallion 2018).
¿Ha ayudado la nueva popularidad de los ECA en la investigación del desarrollo a informar
la formulación de políticas de desarrollo? Esa no es la única razón por la que podríamos hacer
ECA; otra es comprender mejor cómo funciona una economía: identificar parámetros estructurales
clave. Sin embargo, la elaboración de políticas es una razón importante.
BDK está claramente de acuerdo. De hecho, ese es explícitamente el objetivo de la principal
institución para promover los ECA en el desarrollo, a saber, el Abdul Latif Jameel Poverty Action
Lab (JPAL), fundado por dos de los autores. En la página biográfica de Banerjee y Duflo (2011),
se dice que “la misión de JPAL es reducir la pobreza asegurando que la política se base en
evidencia científica”. ("Evidencia científica" puede tomarse como código para los RCT.) JPAL y
otros defensores de los RCT han enmarcado su tarea como la de descubrir qué funciona y qué
no, para ampliar el primero y reducir el segundo. ¿Es eso lo que está pasando ahora?
Para informar la elaboración de políticas antipobreza, lo ideal es que los investigadores
llenen los vacíos entre lo que sabemos sobre la efectividad de las políticas y lo que los
formuladores de políticas necesitan saber. Como economistas, primero debemos preguntarnos:
¿Por qué existen tales brechas? La información imperfecta juega un papel. Aquí el problema es
que los profesionales del desarrollo no pueden evaluar fácilmente la calidad y los beneficios
esperados de una evaluación, para sopesar los costos.
En comparación con los complejos métodos econométricos utilizados en algunos sistemas
operativos, la simplicidad de un RCT ayuda a los profesionales a comprender lo que se está haciendo.
Sin embargo (como ya se señaló), esa comprensión no siempre es tan profunda como debe ser
para que los profesionales evalúen adecuadamente las lecciones de un ECA, incluidos sus
límites.
También hay externalidades importantes. Los beneficios de una evaluación son
rara vez se limita a ese proyecto específico, sino que se extiende a proyectos futuros. Estos
beneficios externos son probablemente mayores para los OS que para los RCT,
para los cuales la validez externa ha sido una preocupación recurrente (ver, por ejemplo,
Pritchett y Sandefur 2015). Además, no se puede esperar que los directores de proyectos
actuales tomen debidamente en cuenta los beneficios externos de otros proyectos al
decidir cuánto gastar en la evaluación de su propio proyecto.
Por lo tanto, bien puede haber una inversión insuficiente en SO, que generan más
externalidades, en relación con los RCT.
Las brechas de conocimiento también se derivan de los desajustes del esfuerzo de
evaluación. Un aspecto es que los evaluadores del desarrollo a menudo ignoran el
alcance de la fungibilidad. Los beneficiarios (gubernamentales o no) pueden reasignar
sus propios esfuerzos en respuesta a nuevos fondos, como la ayuda al desarrollo. Como
consecuencia de tal fungibilidad, los donantes a menudo apoyan implícitamente otra
cosa y evalúan el programa equivocado desde el punto de vista de evaluar su impacto.
Entonces los esfuerzos de evaluación no están bien alineados con los esfuerzos de
desarrollo. Esto se aplica tanto a los RCT como a los OS.
Las preferencias metodológicas por parte de los evaluadores pueden reforzar tales
desalineaciones, y aquí el énfasis en los ECA bien puede estar perjudicando nuestro
progreso para abordar importantes brechas de conocimiento. Hay efectos tanto de
producción como de sustitución del auge de RCT. El efecto de salida es obvio, como lo
documenta BDK. El efecto sustitución se relaciona con los métodos utilizados.
Ha habido un marcado aumento en la proporción de artículos de revistas sobre
economía del desarrollo que utilizan ECA. Pero no es ahí donde preocupa una
sustitución metodológica; en cambio, está en la evaluación de políticas. Hemos visto
un marcado cambio a favor de los ECA en instituciones como el Banco Mundial.
El propio Grupo de Evaluación Independiente del Banco informa que más del 80 % de
las evaluaciones de impacto que comenzaron en 2007–2010 utilizaron la aleatorización,
en comparación con el 57 % en 2005–2006 y solo el 19 % en años anteriores (Banco
Mundial 2012).
Un problema en la evaluación general de políticas surge del hecho de que la
aleatorización claramente solo es factible para un subconjunto no aleatorio de políticas
y entornos, por lo que perdemos nuestra capacidad de abordar de manera integral
nuestras brechas de conocimiento (Ravallion 2009, 2018). Por ejemplo, rara vez es
factible asignar aleatoriamente la ubicación de proyectos de infraestructura de mediana
a gran escala y reformas sectoriales y económicas, que son actividades centrales en la
estrategia de desarrollo de casi cualquier país pobre. De hecho, la idea misma de la
asignación aleatoria es la antítesis de los objetivos de muchos programas de desarrollo,
que por lo general apuntan a llegar a ciertos tipos de personas o lugares. Los gobiernos
(con suerte) podrán hacerlo mejor para llegar a los pobres que un grupo aleatorio.
la asignación lo haría. La aleatorización también tiende a adaptarse mejor a programas
relativamente simples, con participantes y no participantes claramente identificados,
horizontes de tiempo más bien cortos y poco margen para que los costos o beneficios
se extiendan a los no participantes.
Hay tanto el lado de la oferta como el de la demanda en este desajuste. Por el lado
de la oferta, la realidad actual es que los estudiantes de posgrado y sus profesores
deambulan buscando algo que puedan asignar al azar. Si la aleatorización no es factible
para la pregunta que se plantea, entonces los investigadores a menudo se ven atraídos
a hacer otras preguntas. Los gobiernos del mundo en desarrollo tienen más dificultades
para encontrar a alguien que ayude a evaluar los programas públicos para los que la
aleatorización no es una opción factible.
Los posibles sesgos van más allá. Por el lado de la demanda, los gobiernos (y las
agencias de desarrollo) son en gran medida libres de elegir lo que se evalúa. Incluso
cuando están de acuerdo con un RCT, pueden elegir aquellos programas para los que
no les importa cuál será el veredicto. Otros programas no serán evaluados en equilibrio.
(Y, como se señaló, pueden incluir lo que realmente estaba siendo financiado por la
ayuda). Los riesgos son claros.
Si lo que realmente nos preocupa es obtener estimaciones fiables de la
impacto de la cartera de políticas de desarrollo, debemos elegir una muestra
representativa de esa cartera y luego encontrar el mejor método para cada uno de los
programas/políticas seleccionadas, con la aleatorización como solo una de varias
opciones. Eso no es lo que está sucediendo ahora.
Referencias
Banerjee, Abhijit V. y Esther Duflo. 2011. Economía pobre: un replanteamiento radical de la forma
de combatir la pobreza mundial. Nueva York: Asuntos Públicos.
Deaton, Angus y Nancy Cartwright. 2018. “Comprensión y malentendidos de los ensayos
controlados aleatorios”. Ciencias Sociales y Medicina 210: 2–21.
Jamison, Dean, Barbara Searle, Klaus Galda y Stephen P. Heyneman. 1981.
“Mejorando la Educación Matemática Elemental en Nicaragua: Un Estudio Experimental del
Impacto de los Libros de Texto y la Radio en el Rendimiento”. Revista de psicología educativa
73 (4): 556–567.
Kasy, Maximiliano. 2016. "Por qué los experimentadores no siempre quieren aleatorizar y qué
deberían hacer en su lugar". Análisis político 24: 324–338.
Pritchett, Lant y Justin Sandefur. 2015. "Aprender de los experimentos cuando el contexto
importa". American Economic Review: Documentos y Actas 105 (5): 471–475.
Ravallion, Martín. 2009. "¿Deberían gobernar los aleatorios?" Voz de los economistas 6 (2): 1–5.
Ravallion, Martín. 2018. "¿Deberían (continuar) gobernar los aleatorios?" Documento de trabajo
492, Centro para el Desarrollo Global, Washington, DC.
Banco Mundial. 2012. Evaluaciones de impacto del Grupo del Banco Mundial: relevancia y eficacia.
Grupo de Evaluación Independiente, Banco Mundial, Washington, DC.

La influencia de los ensayos controlados aleatorios en la investigación económica del desarrollo

Cargado por

Información del documento

Descripción original:

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

La influencia de los ensayos controlados aleatorios en la investigación económica del desarrollo

Cargado por

Copyright:

Formatos disponibles

Machine Translated by Google

2,40% 16,10% 16,70%

Porcentaje de ECA en Econ Porcentaje RCTS en otros campos No ECA

Año Número total de ECA Proporción de ECA (porcentaje)

económico americano 2015 101 15 4

Total 2015 271 32 10

Diario económico estadounidense: dieciséis 10 62.5

Revistas líderes en desarrollo 115 15 13.0

Desarrollo mundial 275 5 1.8

Todos los documentos de desarrollo 454 44 9.7

También podría gustarte