barcelona|drg

development research group

Mtodos experimentales para la evaluacin de la ayuda al desarrollo

Jos Garca Montalvo UPF e IVIE
barcelona|drg
development research group

El diablo que hay en el mundo proviene de la ignorancia, y las buenas intenciones pueden hacer tanto dao como las malas intenciones, si falta el conocimiento Albert Camus, La Plaga

Resumen de la presentacin
Evaluacin y causalidad El mtodo experimental La evaluacin de la ayuda al desarrollo (no humanitaria) El uso de experimentos randomizados en la evaluacin de programas de ayuda al desarrollo Conclusiones

Resumen de la presentacin
Evaluacin y causalidad El mtodo experimental La evaluacin de la ayuda al desarrollo El uso de experimentos randomizados en la evaluacin de programas de ayuda al desarrollo Conclusiones

La esencia de la evaluacin
Evaluar supone medir lo que ha pasado frente a lo que habra sucedido de no haber realizado una actuacin. La segunda situacin es contrafactual: un individuo no puede ser tratado y no tratado a la vez. Grupo de comparacin. Problema bsico: datos faltantes. Evaluar supone tambin ser capaces de atribuir a la actuacin el efecto: causalidad

Ejemplo: el permiso por puntos

Cul ha sido el efecto sobre la siniestralidad del permiso por puntos?

Grupo de comparacin. Supuestos. Ha sido el permiso por puntos?

Ya vena reducindose con anterioridad. Durante algunos meses ms controles de alcoholemia. Instalacin continuada de ms radares.

Problemas bsicos en los mtodos de evaluacin no experimentales

Endogeneidad

Omisin de variables correlacionadas con variables explicativas incluidas Errores de medida Simultaneidad: la relacin entre instituciones y desarrollo econmico

Seleccin muestral

Seleccin muestral
Elecciones presidenciales de 1936 en Estados Unidos Lista muestral: familias con telfono y dueos de coches registrados Resultado de la encuesta: Landon (republicano) ganara con el 57% de los votos frente a Roosevelt (democrata) La estadstica no falla. Es el estadstico el que puede equivocarse.

Soluciones tradicionales
Imponer una estructura basada en una serie de supuestos:

Sistemas de ecuaciones simultneas (50-60s) Sistemas de vectores auto-regresivos (7090s) Correcciones para seleccin muestra tipo Heckman (70s-80s)

Nuevas soluciones
En bsqueda de una fuente exgena de variacin

Imposible (crtica de Lucas): en el anlisis econmico todas las variables se fijan simultneamente. Shocks en la funcin de utilidad, la productividad, etc. cambian los parmetros de las formas reducidas. Los datos son sucios. Es mejor la simulacin utilizando la estimacin de deep parameters. DGEM y ciclos reales Construir experimentos o buscar experimentos naturales o pseudo-experimentos

Resumen de la presentacin
Evaluacin y causalidad El mtodo experimental La evaluacin de la ayuda al desarrollo El uso de experimentos randomizados en la evaluacin de programas de ayuda al desarrollo Algunos ejemplos Conclusiones

Experimentos randomizados
Es el estndar en la mayora de las ciencias duras: anlisis de nuevos medicamentos, procedimientos mdicos, etc. FDA Basado en un grupo de control (al que se administra placebo) y un grupo tratado. La tcnica estadstica es muy simple y poco manipulable: normalmente una diferencia de medias (y su desviacin estndar) es suficiente.

Experimentos randomizados
Algunos problemas:

Pueden ser caros Dependiendo del objeto de estudio puede ser imposible realizar un experimento En ocasiones existen problemas de tipo tico

La gran ventaja es que proporciona unos resultados crebles y difcilmente manipulables si se han seguido correctamente los protocolos

Los criterios de la FDA

Antes de la aprobacin de un nuevo principio activo es preciso probar, por mtodos experimentales:

que dicha molcula tiene efecto sobre el problema que pretende resolver (tamao de un tumor, recuento vrico, etc.) que el procedimiento es ms efectivo que los existentes que no tiene efectos secundarios perjudiciales (o que tiene efectos muy limitados)

Experimentos en ciencias sociales

Pueden hacerse experimentos randomizados en ciencias sociales? Por supuesto. Algunos ejemplos:

El efecto del tamao de las clases sobre el aprendizaje: STAR El efecto de los cheques escolares: PACES (Colombia) o School Choice Scholarship Foundation Program en Nueva York Reduccin de la pobreza: PROGRESA (Mxico). Programa Moving to Opportunity para familias que viven en barrios degradados de Baltimore, Boston, Chicago, Los Angeles y Nueva York.

Un ejemplo en detalle: STAR

El experimento de reduccin de tamao de las clases de Tennessee (STAR: Student-Teacher Achievement Ratio)

Experimento de cuatro aos diseado para evaluar el efecto del aprendizaje en clases pequeas Coste: 12 millones de dlares Tres tratamientos:
Clases tamao normal (22-25 estudiantes) Clases pequeas (13-17 alumnos) Clases tamao normal y un profesor de apoyo.

STAR (cont.)
Protocolo

Los estudiantes que entran en la guardera en los colegios participantes son asignados aleatoriamente a uno de los tres grupos Los estudiantes continuarn en el mismo grupo durante los cuatro aos En el primer ao 6.400 estudiantes participaron en 108 clases pequeas, 101 clases normales y 99 clases con profesor de apoyo. En total (cuatro ao): 11.200 estud.

STAR (cont.)
Fallos en el seguimiento del protocolo:

Protestas de los padres cuyos hijos haban sido asignados aleatoriamente a un grupo regular sin profesor de apoyo Aproximadamente 10% de los estudiantes fueron cambiados de clase, fundamentalmente por problemas de comportamiento o incompatibilidad con otros estudiantes del grupo

STAR (cont.)
La medida de resultados utilizada para comprobar el efecto de los diferentes tratamientos es la puntuacin de los alumnos en el test combinado de matemticas y lectura de Stanford (Stanford Achievement Test) Especificacin
Yi 0 1ClasePequeai 2 Papoyoi ui

STAR (cont.)
Reg\Curso Clase pequea G 1 29.78** (2.83) 11.96** (2.65) 1,039** (1.78) 6,379 2 19.39** (2.71) 3.48 (2.54) 1,157** (1.82) 6,049 3 15.59** (2.40) -0.29 (2.27) 1,228** (1.68) 5,967

13.90** (2.45) Normal y 0.31 prof. apoyo (2.27) Constante 918** (1.63) N 5,786

STAR (cont.)
Interpretacin de los resultados:

Para comparar entre cursos es necesario trasladar los resultados de los tests en trminos de desviaciones estndar. El efecto de las clases pequea es reducido. Adems, el efecto se concentra en los primeros aos. Continuar en una clase pequea no produce mejoras adicionales.

Experimentos frente a estudios observacionales

Podemos fiarnos de los resultados de estudios que no utilizan el mtodo experimental?

Afecta a la longevidad el hacerse un chequeo medio anual? Es efectiva la terapia de reemplazamiento hormonal en mujeres con menopausia?

La crtica de LaLonde
Evaluacin de programas de formacin. LaLonde tom los datos del National Supported Work Demonstration (NSW) y compar los resultados del experimento randomizado con los obtenidos por varias tcnicas economtricas habituales.

La crtica de LaLonde
Control Experimental Est. 1 paso NSW PSD1 CPS1 Bietpicos (Heckman) PSD1 CPS1 Hombres 886 (476) Mujeres 851 (317)

-1,228(896) 2,097 (491) -805 (484) 1,041 (505) -1,333(820) 1,129 (385) -22 (584) 1,102 (323)

La crtica de LaLonde
Los mtodos no experimentales producen resultados muy diferentes dependiendo del grupo de control utilizado y de la especificacin economtrica adoptada. Los resultados de los mtodos experimentales pueden ser muy diferente de los resultados no experimentales Incluso cuando los estimadores no experimentales pasan los test convencionales pueden fracasar en replicar los resultados experimentales.

Y si no podemos hacer un experimento randomizado?

Experimentos naturales Quasi experimentos y mtodos de emparejamiento (seleccin en observables) Variables instrumentales (seleccin en no observables). Randomizacin es el instrumento perfecto RDD: Regression discontinuity design

Resumen de la presentacin
Evaluacin y causalidad El mtodo experimental La evaluacin de la ayuda al desarrollo El uso de experimentos randomizados en la evaluacin de programas de ayuda al desarrollo Conclusiones

Pregunta bsica
Si con un dlar al da se puede salvar un nio en el tercer mundo, qu ha pasado con los 2,4 billones de dlares en ayuda al desarrollo desembolsados entre 1960 y 2005? Si una mosquitera cuesta 4 dlares cmo es posible que no todas las familias pobres de frica tengan mosquiteras?

Evaluacin macro
Estimaciones de tercera generacin:

Boone (1996): la ayuda al desarrollo no aumenta significativamente ni la inversin ni los indicadores de desarrollo humano. Solo aumenta el tamao del gobierno. Burnside y Dollar (2000): la ayuda al desarrollo solo funciona cuando se combina con buenas polticas monetarias, fiscales y comerciales

Evaluacin macro
Estimaciones de tercera generacin:

Easterly, Levine y Roodman (2003): los resultados de Burnside y Dollar (2000) no son robustos a cambios en el periodo temporal ni a la inclusin de nuevos datos. En general, la mayora de los estudios macroeconmicos coinciden en no encontrar efecto de la ayuda al desarrollo. Tambin muchos estudios de casos concluyen lo mismo (Calderisi 2006. Why foreign aid isnt working: the trouble with Africa)

Posibles explicaciones
Corrupcin Los incentivos de los donantes La coordinacin de los donantes La misma evaluacin de los efectos

Posibles explicaciones
Corrupcin Los incentivos de los donantes La coordinacin de los donantes La misma evaluacin de los efectos

La corrupcin
Se ha convertido en polticamente incorrecto hablar de este problema pero existe. Normalmente evaluacin difusa. Recientes estudios ayudan a obtener una magnitud ms precisa (PETS: Public Expenditure Tracing Surveys).

Reinnika y Svensson (2005, 2006) calculan que llega a destino un 13% (Kenia) o un 20% (Tanzania) de los fondos para construir escuelas. Olken (2006a) encuentra en un programa antipobreza en Indonesia que el 18% del arroz desaparece. Olken (2006b) encuentra que la corrupcin en la construccin del carreteras alcanza el 28%.

La corrupcin
Cmo solucionar el problema?

Reinikka y Svensson (2006) encuentran que una campaa informativa entre los padres de las escuelas donde deben ir los fondos reduce significativamente la prdida. Olken (2006) encuentra que es mejor el sistema tradicional de top-down (vigilar para que no se desven fondos).

Posibles explicaciones
Corrupcin Los incentivos de los donantes La coordinacin de los donantes La misma evaluacin de los efectos

Incentivos de los donantes

El broken-information-loop: los ciudadanos que pagan los impuestos y los que se benefician de la ayuda son diferentes (no pueden votar) El efecto meditico per se. Con una buena estrategia de comunicacin se puede conseguir que los ciudadanos piensen que se dedica a ayuda al desarrollo mucho ms que en realidad Donantes objetivos mltiples y algunos (polticos o estratgicos) ajenos al desarrollo y la lucha contra la pobreza.

Incentivos de los donantes

De los 23,700 millones de dlares que el presidente Bush ha propuesto en ayuda a pases pobres en 2007 solo 3,700 millones estn destinados a la lucha contra la pobreza El efecto warm glow: utilidad se deriva de dar la ayuda y no de los beneficios que tenga para los que la reciben El nfasis en los inputs y no los outputs (0,7%).

Incentivos de los donantes

Ms no implica necesariamente mejor como suponen las visiones simplistas: tuberas Los incentivos propios de las burocracias: mucha rigidez, gastar el presupuesto antes de fin del ao, promocin de los funcionarios en funcin de gasto no de los resultados, etc. Incentivos mal diseados.

Incentivos de los donantes

Plan Director de la Cooperacin Espaola:

Hacia una cooperacin de calidad: Gestin basada en resultado incluye un cambio en el modo de pensar y actuar: en lugar de atender a los recursos que se van a emplear, analizando ms tarde los resultados e impactos obtenidos, se fijaran claramente los resultados e impactos deseados y, en funcin de ellos, se identificarn los recursos y actuaciones que se necesitan

Posibles explicaciones
Corrupcin Los incentivos de los donantes La coordinacin de los donantes La misma evaluacin de los efectos

La coordinacin de los donantes

La aproximacin impulsiva frente a la aproximacin reflexiva. Ejemplo: la nia con sarampin de Riga. El ndice de fraccionalizacin de los donantes ha crecido de manera muy rpida Djankov, Montalvo and Reynal-Querol (2006) muestran que la efectividad de la ayuda aumenta cuanto menor es el nmero de donantes por pas debido a la independencia de objetivos y la posible competencia.

ndice de fraccionalizacin de los donantes

.6 (mean) donfrag .2 .3 .4 .5 .7

1960

1970

1980 year

1990

2000

FRAG 1 i2
i 1

Proporcin de la ayuda total

.4 0 .1 .2 .3

1960

1970 (mean) ratusa (mean) ratuk

1980 year

1990 (mean) ratfrance (mean) ratjapan

2000

La evaluacin de la ayuda
Las encuestas de opinin recientes muestran un renovado inters de los ciudadanos por la ayuda al desarrollo, en particular a frica.

En 1995 el 43% de los estadounidenses se mostraban partidarios de reducir o eliminar la ayuda a frica. En la actualidad ese porcentaje es solo el 12%. Por el contrario un 33% deseara aumentarla (frente al 13% de 1995).

El renovado apoyo ciudadano a la ayuda al desarrollo puede desaparecer si los organismos encargados de la ayuda internacional no son capaces de mostrar resultados positivos y crebles de dichas intervenciones.

La evaluacin de la ayuda
Estos ciclos ya los hemos visto en el pasado en la ayuda al desarrollo: primero, idealismo; luego grandes esperanzas; luego resultados decepcionantes; y por ltimo aproximacin cnica.

Por qu no se evala correctamente la ayuda?

Pritchett (2002): los promotores de las intervenciones tienen inters en mostrar que los programas tienen un gran impacto. Si se hiciera una evaluacin randomizada se revelara el verdadero impacto, donde no existe garanta de que sea positivo ni importante.

Por qu no se evala correctamente la ayuda?

Dos teoras contrapuestas sobre la utilidad de los experimentos:

la teora de los paracadas en la prevencin de un grave trauma relacionado con el reto de la gravedad. Las medicinas y la seguridad alimenticia son importantes para los polticos. La educacin y la ayuda al desarrollo no se consideran tan importantes. Por tanto la evaluacin correcta no importa.

La teora del paracadas

La teora del paracadas aplicada a la ayuda al desarrollo supone que:

las intervenciones y la ayuda al desarrollo no tienen nunca efectos secundarios indeseados. los procedimientos alternativos son todos igualmente eficientes o que no hay restricciones presupuestarias.

Efectos secundarios
Maren (1997) seala que la lucha por el control de la ayuda fue una de las causas del comienzo de la conflicto de Somalia entre los seores de la guerra. Rajan y Subramaniam (2005) sealan que la ayuda al desarrollo reduce la competitividad El aumento de la proporcin de ayuda sobre el PIB reduce el nivel de democracia del pas. Easterly (2006) cita un enorme listado de efectos secundarios (White mans burden). Muchos son bastante sofisticados y difciles de prever sin un estudio piloto de tipo experimental

Efectos secundarios
Mary Anderson (1999), Do not harm: How aid can support peace - or war.

Creemos que la ayuda internacional es positiva. El mundo es un sitio mejor cuando se puede ayudar a la gente que sufre... El reto para los profesionales de la asistencia al desarrollo (en entornos conflictivos) ... es encontrar como hacer el bien de manera que, sin desearlo y sin darse cuenta, no reduzcan las fortalezas locales, promuevan la dependencia y permitan que los recursos puedan ser utilizados para seguir con la guerra.

Son todos los programas igualmente efectivos?

No. Ejemplos en el caso de la educacin:

un programa de eliminacin de los parsitos intestinales en nios cuesta $3.5 dlares para conseguir un ao adicional de asistencia a la escuela. la provisin de uniformes y libros gratis cuesta $99 dlares por ao adicional de asistencia. un programa de provisin de alimentos en las escuelas cuesta $36 dlares por ao adicional inducido de asistencia a la escuela.

Da lo mismo el mtodo de evaluacin de la ayuda?

Glewwe, Kremer, Moulin y Zitzewitz (2004): El efecto de los flip charts sobre el aprendizaje de los alumnos (Kenia). Dos tipos de evaluacin:

Con datos observacionales Con datos experimentales

Qu es un Flip chart? Ayuda visual que contiene una serie de cuadros (alrededor de 12) unidos por un espiral.

Por qu usar Flip charts?

Los libros de texto son muy escasos en las escuelas de la Kenia rural. Adems estn escritos en ingls (medio de instruccin en el pas) y muchos estudiantes tienen un dominio limitado de dicho idioma. Los FC pueden promover el aprendizaje pues:

Todos los estudiantes recuerdan grficos y fotografas ms a menudo que haber ledo palabras Los estilos de aprendizaje varan mucho entre estudiantes: aadir ayudas visuales aumenta el espectro de estudiantes a los que se puede ensear efectivamente Las clases y presentaciones se benefician de tener ayudas visuales suplementarias

Flip charts: datos observacionales

100 colegios de un estudio sobre el efecto de la provisin de libros de texto y becas aleatoriamente en escuelas de Kenia. Tambin se recogi informacin sobre materiales docentes en las escuelas y, entre ellos, la disponibilidad de flip charts Se dispone de informacin sobre el nmero de FC de ciencias, matemticas, salud-negocios en cada escuela.

Flip charts: datos observacionales

Para poder comparar con la intervencin experimental que se comentar posteriormente (distribucin de 4 FC) el nmero de FC disponibles en cada escuela se divide por 4 (bloques de FC comparables) Resultados: los estudiantes que utilizaron los FC aumentaron un 20% de una DE sus resultados escolares (un 10% es como pasar del percentil 50 al percentil 54). Tabla.

Flip charts: datos observacionales

Si los resultados observacionales son correctos entonces los FC son muy efectivos: el coste por alumno de los cuatro FC (un set=$80) es solo el 10% del coste de los libros en las tres asignaturas cubiertas por los FC (un libro de texto en Kenia cuesta $3.3x3x80 estud.=$800) pero su impacto es dos veces ms grande que el efecto de proveer libros de texto. Los FC seran, por tanto, 20 veces ms efectivos en trminos de coste que los libros de texto.

Flip charts: datos experimentales

La ONG International Christelijk Steunfonds (ICS) proporcion los FC. La intervencin consista en 4 FC: dos sobre ciencias (agricultura y ciencia en general), uno sobre salud, uno sobre matemticas y un mapa del este de frica para geografa.

Flip charts: datos experimentales

El diseo experimental consisti en la seleccin de 178 escuelas en Busia y Teso (Kenia) por la ONG ICS Las escuelas elegidas tenan una media de aprendizaje de los estudiantes similar a la media del distrito en su conjunto 89 escuelas fueron asignadas al grupo de control y otras 89 al grupo tratado despus de ser ordenadas por orden alfabtico. De cada dos escuelas consecutivas una se asignaba al grupo tratado y otra al de control (sistemtico)

Flip charts: datos experimentales

Los resultados experimentales no muestran ningn efecto significativo de los flip charts:

Resultados agregados Resultados por asignatura Resultados por grupos de asignaturas

Qu funciona?
Usos de la ayuda al desarrollo muy efectivos (en trminos coste-beneficio)

Medicinas para acabar con los parsitos intestinales Suplemento como el hierro y la vitamina A Subsidios a los fertilizantes Vacunacin de los nios Provisin de agua potable

Qu funciona?
Las anteriores son intervenciones modestas, frente a las grandes promesas y el esquema utpico (hacerlo todo a la vez), que tienen una enorme incidencia sobre el bienestar de las familias pobres.

No es efectivo
Flip charts Dar libros (solo beneficia a los estudiantes en el segmento superior de la clase) Incentivos econmicos para los profesores (acaban enseando como hacer tests)

Conclusiones
Ser capaces de arrebatarle a la poltica el protagonismo en mbitos en los que no debera tenerlo Los programas pueden fallar y de eso tambin se aprende. Tapar los fallos evitando la evaluacin de resultados o utilizando procedimiento no adecuados hace una mal servicio a la comunidad cientfica y a la cooperacin en general La evaluacin experimental puede dar resultados muy diferentes a los obtenidos por procedimientos tradicionales

Conclusiones
La evaluacin experimental (randomizada) es factible en la ayuda al desarrollo. Precisa de recursos humanos y econmicos pero no ms que la recoleccin de otros datos para evaluar

Conclusiones
Normalmente la evaluacin experimental supone un presupuesto millonario. La evidencia sugiere que es posible otro modelo basado en la evaluacin de proyectos de ONGs y un anlisis randomizado para determinar el orden de las actuaciones. En todo caso el presupuesto para la evaluacin debera provenir de organismos internacionales (bien pblico internacional)

Conclusiones
Agencias y ONGs deben experimentar y buscar intervenciones que funcionan verificndolo por medio de las mejores tcnicas de evaluacin cientfica disponibles y usando evaluadores externos para evitar los intereses de los gestores de los proyectos. Para aprender es necesario tener informacin.