DOCUMENTO DEL BANCO INTERAMERICANO DE DESARROLLO

BOLIVIA

PROGRAMA DE AGUA POTABLE Y ALCANTARILLADO PERIURBANO FASE II

(BO-L1087)

PLAN DE SEGUIMIENTO Y EVALUACIN

Este documento fue elaborado por: Edgar Orellana (INE/WSA), Jefe de Equipo de proyecto;
Germn Sturzenegger (INE/WSA), Jefe de Equipo Alterno; Efran Rueda (INE/WSA), y Sebastin Martnez (SPD/SDV).

NDICE

I. II.

INTRODUCCIN ...............................................................................................................3 SEGUIMIENTO ..................................................................................................................4 a. b. c. d. e. Indicadores ............................................................................................................4 Recopilacin de datos e instrumentos...................................................................5 Presentacin de informes ......................................................................................5 Auditora................................................................................................................6 Coordinacin, plan de trabajo y presupuesto del seguimiento .............................6

III.

EVALUACIN...................................................................................................................8 a. b. c. d. e. f. g. Principales preguntas de evaluacin .....................................................................8 Conocimiento existente (evaluaciones previas, anlisis econmico ex ante) ......8 Principales indicadores de efectos directos ..........................................................9 Evaluacin de impacto ..........................................................................................9 Evaluacin intermedia.........................................................................................14 Informacin de los resultados .............................................................................14 Coordinacin, plan de trabajo y presupuesto de la evaluacin ..........................15

IV.

ANEXO: ESTUDIO DE LA DEMANDA Y LOS IMPACTOS DE PROYECTOS DE ALCANTARILLADO EN REAS PERI-URBANAS DE BOLIVIA .............................................17

I. Introduccin 1.1 Los objetivos del programa son i) incrementar y mejorar el acceso a servicios de agua potable y alcantarillado en Cobija, Riberalta y otras ciudades del pas, ii) promover la creacin y/o fortalecimiento de prestadores de servicios de APS en las localidades beneficiadas por el programa, y iii) desarrollar Planes Maestros de AP&AL para las ciudades de Potos, Sucre y Oruro. Para alcanzar estos objetivos, el programa est estructurado en tres componentes. Componente I. Infraestructura de AP&AL (US$51,97MM), que financiar: a) estudios y diseos de las obras propuestas, b) construccin, mejoramiento y ampliacin de sistemas de AP&AL, c) supervisin de obras, d) implementacin y supervisin del DESCOM, y e) incentivos para conexiones de alcantarillado. En materia de infraestructura se financiar, entre otras: obras de captacin, reservorios, plantas de tratamiento de AP, redes de conduccin, redes de distribucin, conexiones domiciliarias de AP, adquisicin e instalacin de micro medidores, conexiones domiciliarias de AL, redes de recoleccin de aguas residuales, colectores, emisarios, plantas de tratamiento de aguas residuales y estaciones de bombeo. En materia de DESCOM se financiarn actividades de socializacin sobre el pago del servicio, conexin a la red de alcantarillado, y educacin sanitaria y ambiental. Tambin se financiarn las actividades de SENASBA, que deber vigilar el cumplimiento de las nomas y guas del DESCOM en cada uno de los proyectos del programa. Se podr financiar tambin fondos rotatorios a las EPSA para apoyar a las familias que tengan barreras econmicas para conectarse a los sistemas de alcantarillado. Componente II. Fortalecimiento Institucional (FI) a las EPSA y MMAyA/SENASBA (US$2,89MM), que financiar: a) FI y AT a las entidades operadoras de los sistemas construidos con el objeto de mejorar su desempeo administrativo, operativo y financiero, y b) apoyo al MMAyA/SENASBA en los procesos normativos y de ejecucin del DESCOM, para que pueda realizar un efectivo seguimiento y control del DESCOM en la presente operacin y replicar esta experiencia en otros proyectos y programas del sector. Componente III. Desarrollo de los Planes Maestros de AP&AL para las ciudades de Potos, Sucre y Oruro (US$1.98MM), que financiar la elaboracin de los Planes Maestros Metropolitanos de Oruro, Potos y Sucre, para el desarrollo y proteccin de las fuentes de agua y cuerpos receptores de aguas servidas, desarrollo de planes de inversin de corto, mediano y largo plazo, propuestas de fortalecimiento y desarrollo institucional de las EPSA, hasta un nivel de factibilidad tcnico-econmica. Esquema de ejecucin. El ejecutor ser el MMAyA, a travs de la Unidad Coordinadora de Proyecto (UCP) constituida para el Prstamo No. 2199/BL-BO (Programa de Agua y Alcantarillado Periurbano Fase I), que ha demostrado eficiencia en la ejecucin de la Fase I; de esta forma se aprovechar la capacidad instalada, ya que los objetivos y alcances de la Fase II son muy similares a la primera. La UCP estar constituida por un Coordinador del Programa as como por un equipo constituido por, al menos: (i) dos ingenieros especialistas en agua y
3

1.2

1.3

1.4

1.5

saneamiento, (ii) un especialista de gestin ambiental, (iii) un especialista en desarrollo comunitario; (iv) un especialista en fortalecimiento institucional, (v) un especialista financiero, (v) un especialista en adquisiciones, y (vi) un administrador encargado de la gestin financiera del Programa. El SENASBA apoyar la ejecucin del DESCOM en los diferentes proyectos del Programa, para lo cual firmar un convenio de cooperacin con el MMAyA. 1.6 Resumen esquema de seguimiento y evaluacin. El mismo incluir: i) el Plan de Adquisiciones (PA); ii) los Planes Operativos Anuales (POA); iii) la verificacin anual del cumplimiento de metas establecidas en la Matriz de Resultados (MdR); y iv) los informes semestrales. Los informes semestrales contendrn: a) las actividades realizadas en el programa, el avance en su ejecucin, los problemas surgidos y la manera de solucionarlos; b) evaluacin de la Matriz de Resultados; c) evaluacin del PA; d) evaluacin del POA; e) evaluacin de la Matriz de Riesgos; f) el seguimiento y evaluacin del plan de fortalecimiento institucional; y g) cualquier otra informacin que solicite el BID. El monitoreo de avance de ejecucin de los diferentes componentes se realizar siguiendo los indicadores de productos y resultados, contenidos en la MdR. Para la evaluacin del programa se contratar una consultora para llevar a cabo las siguientes tareas: i) despus de 36 meses de ejecucin, o cuando 35% de los recursos del financiamiento del Banco estn comprometidos, preparar una evaluacin intermedia para medir el avance en el cumplimiento de los resultados, segn se estipula en la MdR; y ii) una evaluacin de impacto.

1.7

II. Seguimiento a. Indicadores 2.1 El Cuadro 1 a continuacion incluye los indicadores de producto a los que se dar seguimiento y que se consignarn en los informe semestrales de seguimiento del programa.
Cuadro 1 Indicadores de Producto FRECUENCIA DE MEDICIN

INDICADOR

FUENTE DE VERIFICACIN

Componente 1: Infraestructura de AP&AS Obras de captacin construidas. Plantas de tratamiento de agua potable construidas nuevas o ampliadas. Tanques de almacenamiento construidos. Redes de agua potable construidas (km) Redes de alcantarillado sanitario construidas (km) Plantas de tratamiento de agua residuales construidas. Estudios de pre inversin elaborados Semestral Semestral Semestral Semestral Semestral Semestral Semestral Reporte Semestral UCP Reporte Semestral UCP Reporte Semestral UCP Reporte Semestral UCP Reporte Semestral UCP Reporte Semestral UCP Reporte Semestral UCP

Componente 2: Fortalecimiento Institucional Talleres en construccin de conexiones intradomiciliarias realizados Diagnsticos institucionales de los operadores elaborados Planes de Fortalecimiento Institucional de los operadores implementados Plan de Fortalecimiento Institucional del sector (MMAyA / SENASBA) implementado Mujeres capacitadas en la gestin o administracin de los servicios en los operadores (%) Planes Maestros de Agua y Saneamiento adoptados Semestral Semestral Semestral Semestral Semestral Reporte Semestral UCP Reporte Semestral UCP Reporte Semestral UCP Reporte Semestral UCP Reporte Semestral UCP

Componente 3: Planes Maestros de AP&AS para las ciudades de Potos, Sucre y Oruro Semestral Reporte Semestral UCP

b. Recopilacin de datos e instrumentos 2.2 Todos los indicadores de producto sern medidos directamente. Los avances correspondientes a los diferentes indicadores sern contrastados con los productos y resultados esperados de la MdR. El Ministerio de Medio Ambiente y Agua (MMAyA), a travs de su Unidad Coordinadora del Proyecto (UCP), deber sistematizar toda la informacin obtenida a partir de las revisiones semestrales (informes semestrales), la evaluacin de medio trmino y la evaluacin de impacto con el objeto de asistir en: (i) la preparacin del Informe de Terminacin del Proyecto (PCR por sus siglas en ingls, ahora XPMR), y (ii) en la preparacin de cualquier informe requerido por la Oficina de Seguimiento y Evaluacin del BID (OVE por sus siglas en ingls), en lnea con el documento de poltica GN-2254-5. Adems de los POA y los PA, la UCP, remitir al Banco informes de progreso de carcter semestral durante todo el perodo de ejecucin del Programa. Los mismos sern remitidos dentro del plazo de sesenta (60) das posteriores a la terminacin de cada semestre. Estos reportes debern contener: (i) descripcin de las actividades ejecutadas por cada componente del programa; (ii) informacin sobre el desempeo de los contratistas, consultores y firmas de supervisin; (iii) descripcin de los procesos de adquisiciones llevados adelante en el perodo de reporte; (iv) cronograma actualizado de los avances en materia fsico-financiera (desembolsos); (v) nivel de cumplimiento con los indicadores de la MdR, de acuerdo al sistema PMR; (vi) progreso con respecto a la implementacin de las auditoras ambientales, incluyendo cronograma, resultados y medidas implementadas para cumplir con el Reporte de Manejo Ambiental y Social (ESMR por sus siglas en ingls); (vii) identificacin de nuevos riesgos/eventos que puedan afectar la implementacin del Programa y una actualizacin de las Matrices de Riesgo generadas a partir del proceso de gestin de riesgos; (viii) plan de ejecucin correspondiente a los prximos dos semestres; (ix) plan de mantenimiento correspondiente a los
5

2.3

c. Presentacin de informes 2.4

prximos dos semestres; (x) un resumen de los estados financieros del Programa; y (xi) el cash-flow estimado para los prximos dos semestres. 2.5 Los informes de progreso semestrales estarn estructurados de manera que faciliten la actualizacin del sistema PMR (basado en la MdR). Un modelo estndar ha sido desarrollado en el cual se especifican los indicadores e hitos correspondientes a los productos y resultados del Programa. Misiones de Inspeccin sern llevadas a cabo regularmente con el objeto de monitorear aspectos relevantes de carcter tcnico, operacional y financiero. Las visitas de inspeccin tendrn una periodicidad trimestral. Cuando se requieran tambin se organizarn misiones de administracin. Auditora. Durante el perodo de desembolso del prstamo y del financiamiento no reembolsable, dentro de los 120 das siguientes al cierre del ejercicio fiscal del OE, se presentarn al Banco los estados financieros auditados anuales del programa. La auditora ser efectuada por una firma de auditores independientes aceptable al Banco. La determinacin del alcance y otros aspectos relacionados se regir por la Poltica de Gestin Financiera para Proyectos Financiados por el Banco (OP-273-2) y la Gua de Estados Financieros y Auditora Externa. Los costos de auditora sern financiados con recursos del programa. Como indicado en la Propuesta de Desarrollo de la Operacin (POD por sus siglas en ingls) el MMAyA, a travs de la UCP, ser el responsable de monitorear el desempeo y avances del programa durante el perodo de ejecucin. La UCP ser responsables de recolectar la informacin correspondiente a los diferentes indicadores de producto y resultado incluidos en la MdR del programa, establecer los mecanismos de control administrativo que permitan reportar semestralmente el avance fsico-financiero por producto, as como de recolectar la informacin correspondiente a los indicadores y planes de implementacin. Cada ejecutor ser responsable de monitorear el progreso del programa en relacin a las metas acordadas. Como parte de su personal mnimo, la UCP contar con un especialista en planificacin y control.

2.6

d. Auditora 2.7

e. Coordinacin, plan de trabajo y presupuesto del seguimiento 2.8

2.9

Cuadro 2 Plan de trabajo de seguimiento

Principales actividades de seguimiento/Productos por actividad

Ao 1 2 3

Ao 2 2 3

Ao 3 2 3

Ao 4 2 3

Ao 5 1

Responsable

Costo (moneda)

Financiamiento Factoreado en los costos de personal de la UCP, incluido en tem del cuadro de costos Administracin del Programa Parmetro de Supervisin (US$14 x ao)

Informe de seguimiento semestral

MMAyA (UCP)

Visitas de inspeccin

Jefe de equipo BID Firma de auditora independiente contratada por el MMAyA Firma de auditora independiente contratada por el MMAyA Costo Total:

US$70,000

Reporte de auditora anual

US$32.500

Reporte de auditora final

Prstamo incluido en tem del cuadro de costos Monitoreo, Evaluacin y Auditoria

US$ 102,500

III. Evaluacin a. Principales preguntas de evaluacin 3.1 El objetivo de la evaluacion es medir el logro de los obejtivos del programa en funcin de los establecido en la matriz de resultados. Para ello no slo se realizar una medicin del nivel de progreso de los objetivos, sino que ademas se realizar una evaluacin de impacto con el objeto de: i) identificar el efecto del alcantarillado en materia de salud, puntualmente en nios menores de 5 aos, y ii) identificar el efecto de acciones de concientizacin, comunicacin y educacin, asociadas al componente de DESCOM y de incentivos econmicos en el nivel de conectividad a la red de alcantarillado. La evaluacin de impacto tiene un diseo cuasi-experimental correspondiente al punto i), y un diseo experimental con seleccin aleatoria de barrios (unidades vecinales) y hogares, correspondiente al punto ii). Estas evaluaciones se asocian con la Fase I del Programa Perirubano, aprobada en octubre del 2009 por US$100 millones. El mbito geogrfico en el que se realizarn estas evaluaciones es la zona periurbana de la ciudad de Santa Cruza de la Sierra, que constituye una de las zonas beneficiadas por la Fase I del Programa. En el marco de la Fase I se est en proceso de levantamiento de una lnea de base con el objeto de identificar balance (comparabilidad) entre los grupos de tratamiento y control. De ambas evaluaciones podrn extraerse lecciones aprendidas que sern luego utilizadas en el diseo de programas similares. Para la preparacion del programa, se realizaron evaluaciones beneficio costo a los proyectos de la muestra. Los proyectos evaluados fueron: i- Agua Potable (ciudades de Riberalta y Cobija); ii- Alcantarillado (ciudades de Riberalta, Cobija y Entrerios); y iiiPlanta de tratamiento (ciudades de Riberalta, Cobija y Entrerios). El proyecto de Cobija se evalu como un proyecto integral ya que se van a re-construir las redes de distribucin de agua potable. En los proyectos de agua potable, la situacin sin proyecto presenta familias que no cuentan con un servicio con conexin en las viviendas o con un servicio de mala calidad con racionamiento con una red improvisada con muchas fugas y altos costos de mantenimiento. Los beneficios son el ahorro de recursos (acarreo de agua o compra a carro tanques) y la disminucin o eliminacin del racionamiento y estos beneficios incluyen implcitamente los beneficios por disminucin de las enfermedades de vehiculacin hdrica como la diarrea. Estos beneficios se valoraron utilizando la curva de demanda por agua potable de cada ciudad la cual se estim utilizando encuestas estadsticamente representativas. En los proyectos de alcantarillado analizados, el sistema actual de disposicin de aguas servidas es el de letrinas con algunas casas vertiendo directamente a las vas o no cuentan con ningn tipo de solucin. Las aguas grises de los sistemas individuales de disposicin de agua servidas van a las vas pblicas deteriorando el medio ambiente y la salud de los residentes de la zona. Se presentan beneficios pblicos y privados derivados de la construccin los sistemas de recoleccin y disposicin de aguas residuales. El beneficio privado es el aumento en el bienestar derivado del mejoramiento del ambiente
8

b. Conocimiento existente (evaluaciones previas, anlisis econmico ex ante) 3.2

3.3

3.4

de cada vivienda y de la salud de la poblacin. Los beneficios pblicos corresponde al mejoramiento y preservacin del medio ambiente localizado en el rea del proyecto. Los beneficios directos del sistema se estimaron utilizando la metodologa la valoracin de la disposicin a pagar DAP utilizando evaluacin contingente mediante encuestas y estimaciones de modelos economtricos. 3.5 Para el anlisis se utilizaron precios de eficiencia, un horizonte de 20 aos y una tasa de descuento del 12%. Como resultado del anlisis se encontr que la totalidad de los proyectos son viables con tasas internas de retorno que varan entre el 13% y el 30%. Se elabor anlisis de sensibilidad a los supuestos y se encontr que los resultados son sensibles a la disposicin a pagar del proyecto Riberalta. Sin embargo, los resultados de viabilidad se mantienen. Por lo tanto se recomienda la financiacin de los proyectos de la muestra Los indicadores de resultados que se medirn en el marco del programa son los que se muestran en el Cuadro 3.
Cuadro 3 Indicadores de resultados INDICADOR Hogares con acceso domiciliar a agua potable a travs de nuevos sistemas o sistemas ampliados. (hogar) Hogares con conexin a servicio de alcantarillado por redes nuevas o ampliadas. (hogar) Porcentaje de hogares con tratamiento de sus aguas residuales (porcentaje). Esto sera especficamente del rea de intervencin. Operadores (EPSAS) financieramente sostenibles (ingresos cubren costo de operacin, administracin y mantenimiento) FRECUENCIA DE MEDICIN Semestral FUENTE DE VERIFICACIN Reporte Semestral UCP

3.6

c. Principales indicadores de efectos directos 3.7

Semestral

Reporte Semestral UCP

Semestral

Reporte Semestral UCP

Semestral

Reporte Semestral UCP

3.8

Los indicadores de resultado sern medidos directamente o indirectamente a travs de fuentes externas, como por ejemplo el porcentaje de cobertura de agua y el porcentaje de cobertura de saneamiento, sern medidos sobre la base del Censo de Poblacin a realizarse en 2012. Los indicadores de la evaluacin de impacto experimental sern definidos en coordinacin con el gobierno (ver seccion de Evaluacion) y sern medidos directamente por medio de encuestas.

d. Evaluacin de impacto 3.9 Contexto y Objetivos: Producto de los bajos niveles de conexin a las redes de alcantarillado una vez que la infraestructura es construida, las autoridades bolivianas solicitaron al BID apoyo para identificar intervenciones costo-efectivas que promuevan la conexin a la red. Tambin solicitaron apoyo para identificar el efecto del saneamiento
9

en materia de salud, en un contexto caracterizado por los altos niveles de contaminacin del suelo producto del vertido de aguas residuales dentro y fuera del hogar. Para ello se seleccion la zona periurbana de la ciudad de Santa Cruza de la Sierra, que constituye una de las zonas beneficiadas por la Fase I del Programa. La misma es pertinente a los fines de la evaluacin en tanto financia intervenciones similares (extensin de redes de alcantarillado) a las financiadas con la Fase I del Programa. 3.10 La evaluacin tiene as dos componentes y objetivos especficos: a. Identificar el efecto del alcantarillado en materia de salud, puntualmente en nios < de 5 aos b. Identificar el efecto de acciones de Desarrollo Comunitario (DESCOM) y de incentivos econmicos en nivel de conectividad a la red de alcantarillado 3.11 Metodologa: La evaluacin tiene un diseo cuasi-experimental, correspondiente al punto a), y un diseo experimental con seleccin aleatoria de barrios (unidades vecinales) y hogares, correspondiente al punto b). Diseo cuasi-experimental: Con el objeto de identificar el efecto del alcantarillado en materia de salud, se utilizar una metodologa denominada regresin en la discontinuidad (regression discontinuity), la cual consiste en identificar una discontinuidad o punto de corte, y comparar observaciones de un lado y otro del mismo. En este caso, la continuidad est representada por la frontera de la intervencin, es decir, el lmite geogrfico hasta el cual llega el proyecto. Se asume que los hogares que se encuentran dentro del proyecto y cerca de esta frontera son comparables con los hogares que se encuentra fuera del proyecto y tambin cerca de la frontera (ver Figura 1). De demostrarse que los hogares beneficiados por el proyecto presentan en promedio caractersticas similares a los que no se benefician con en el proyecto, este segundo grupo puede constituir un buen control o grupo de comparacin. En la figura de abajo, las reas en rojo y azul oscuro representan las zonas beneficiadas por el proyecto, mientras que las reas celeste y verde claro las zonas no beneficiadas. Figura 1. Frontera comparable

3.12

10

3.13

Diseo experimental: Con el objeto de identificar el efecto de acciones de DESCOM y de incentivos econmicos en nivel de conectividad a la red de alcantarillado, la evaluacin consta de dos subcomponentes: a. Evaluacin del DESCOM: Con el objeto de identificar el efecto de acciones de DESCOM en nivel de conectividad a la red de alcantarillado, se proceder primero a seleccionar aleatoriamente 14 de las 28 unidades vecinales (UV) existentes en la zona roja del cuadro de arriba (Fase 1 del proyecto). En estas 14 UV se llevaran a cabo actividades de concientizacin a nivel barrial y a nivel de hogar sobre la necesidad de conectarse a la red y abonar el costo correspondiente (costo de conexin). Estas actividades se realizaran durante un perodo de 6 meses (posteriores a la inauguracin del sistema), tras lo cual se identificara su efecto en el nivel de conectividad. b. Evaluacin de esquemas de incentivo: Con el objeto de identificar el efecto de incentivos econmicos (a nivel de hogar) en el nivel de conectividad a la red de alcantarillado, se realizar, con posterioridad a la implementacin del DESCOM, una asignacin aleatoria a nivel de hogar de dos tipos de incentivo econmico. Esta asignacin se realizar sobre la base del universo de hogares no conectados a la red. Los dos esquemas son: (i) Crdito de hasta US$120 a hogares que cuentan con mdulos sanitarios precarios y que no se hayan conectado en un perodo posterior a 6 meses al inicio del funcionamiento del servicio de alcantarillado. El crdito se
11

destinara a financiar la conexin intra-domiciliaria y la realizacin de la conexin intra-hogar al sistema de alcantarillado. El Programa proporcionara los insumos a la empresa prestadora de servicios (COOPLAN) para la construccin de la conexin intra-domiciliaria. (ii) Subsidio de US$ 240 a hogares que no cuentan con mdulos sanitarios y que no se hayan conectado en un perodo posterior a 6 meses al inicio del funcionamiento del servicio. El subsidio contemplara la entrega de artefactos y accesorios sanitarios y su instalacin a travs del trabajo de plomera contratado por COOPLAN. El Programa proporcionara los artefactos y accesorios sanitarios (ducha, lavamanos, e inodoro) y brindara insumos a COOPLAN para ejecutar la instalacin sanitaria (plomera). Una vez aleatorizados los esquemas, se dejar un perodo de aproximadamente 9 meses para identificar los hogares que se han conectado. El nivel de conectividad ser igualmente monitoreado mensualmente a partir de datos administrativos de COOPLAN. 3.14 Encuesta de lnea de base: Para lograra estos objetivos se realizar un censo de los 15.000 hogares localizados en las UVs de la Fase 1 y 2 del proyecto (ver grfica de arriba), y a aproximadamente 5.000 hogares en UVs limtrofes a la frontera del proyecto. Esta encuesta censal a nivel de hogar tomara en promedio 30 minutos e incluira los siguientes mdulos: 3.15 Caractersticas demogrficas de los miembros del hogar Nivel educativo de los miembros del hogar Empleo e ingresos de los miembros del hogar Caractersticas de la vivienda Caractersticas del servicio de agua (tipo de suministro) Descripcin de mdulo/instalacin de saneamiento existente Condicin de saneamiento de la cuadra (foto) y frente de la vivienda (observacional) Capital familiar y social Salud Tomas de muestra de calidad de agua (presencia de coliformes fecales)

Como parte de la encuesta se tomarn fotografas digitales y geo-referenciados de las calles y aceras en las reas encuestadas. Tambin se tomarn al menos 4 muestras de calidad de agua por barrio encuestado para un total de al menos 160 muestras. Encuesta de seguimiento: La misma ser levantada al menos 1 ao despus de que el ltimo sistema construido entre en funcionamiento. En la misma se realizarn tomas de muestra fecal y de sangre con el objeto de medir con mayor precisin el efecto en variables de salud. Cronograma de implementacin de la evaluacin:
12

3.16

3.17

P R O Y E C T O E V A L U A C

DESCOM x 6 MESES EN 14 Uvs DE FASE 1 INICIO FUNCIONAMIENTO DEL SISTEMA (FASE 1)

IMPLEMENTACION DE ESQUEMAS DE INCENTIVOS

2013

2014

2015
LEVANTAM. DE ENCUESTA DE SEGUIMIENTO PARA MEDIR EFECTOS DE SALUD

LEVANTAMIENTO LINEA DE BASE (20 MIL HOGARES)

IDENTIFICACION DE HOGARES NO CONECTADOS

IDENTIFICACION DE HOGARES NO CONECTADOS

3.18

Supuestos de evaluacin: Los mismos se presentan en la siguiente tabla: SUPUESTOS DE EVALUACIN DISEO CUASI EXP. HH tratamiento HH control Total HH Potencia estadstica Significancia Tamao de efecto estandarizado Efecto de diseo Tasa de participacin efectiva Muestra total

5,000 5,000 10,000 0.9 0.05 0.3 1.5 0.5 10,000

SUPUESTOS DE EVALUACIN DISEO EXP. (DESCOM) UVs tratamiento 14 UV control 14 Total UVs 28 Potencia estadstica Significancia Correlacin intra-cluster Tasa de participacin efectiva (take up) Muestra total* 0.8 0.05 0.1 0.6 28

13

3.19 3.20

Supuestos esquema de incentivos: El nmero exacto de hogares donde se aleatorizarn los esquemas de incentivos se conocer despus de finalizada la lnea de base (censo). Financiamiento y presupuesto: La evaluacin est siendo financiada con recursos del Programa. La lnea de base, actualmente en proceso de recoleccin, tiene un costo estimado de US$ 170 mil y se financia con recursos correspondientes a la Fase I del programa. Se estima que la encuesta de seguimiento tendr un costo aproximado de US$ 200 mil (incluyendo los costos de supervisin), y ser financiada con recursos correspondientes a la Fase II del programa. PRESUPUESTO EVALUACIN PRECIO ITEM CANTIDAD UNIT. US$ HH baseline* 20,000 13.3 HH follow up TOTAL * Financiado con recursos de la Fase I del Programa.

TOTAL 170,000 200,000 370,000

e. Evaluacin intermedia 3.21 Adems de la evaluacin de impacto, a los 36 meses de ejecucin, o cuando 35% de los recursos del financiamiento del Banco estn comprometidos, se preparar una evaluacin intermedia para medir el avance en el cumplimiento de los resultados, segn se estipula en la Matriz de Resultados, para lo cual se contratar un consultor externo. Entre otras, esta evaluacin analizar las siguientes cuestiones: i. Nivel de progreso de los objetivos del Programa en funcin de lo establecido en la MdR; ii. Nivel de conformidad y aceptacin de los procedimientos desarrollados durante el Programa, incluyendo los procedimientos ambientales y sociales; iii. Grado de efectividad del sistema de monitoreo y supervisin interno del Banco. i. Grado de alcance de los objetivos del programa en relacin a los resultados esperado y razones de las eventuales variaciones que pudieran presentarse. ii. Nivel de conformidad y aceptacin de los procedimientos desarrollados durante el Programa, incluyendo los procedimientos ambientales y sociales. f. Informacin de los resultados 3.22 La informacion contenida en los reportes de la evaluacion complementaria y de la evaluacion economica ex - post sern utilizados como insumos para la preparacin del Informe de Terminacin del Proyecto a ser preparado por el Banco. Se estima que los reportes de la evaluaciones, tanto intermedia como final y evaluacion economica ex post, estaran disponbibles en los 6 meses posteriores a su realizacion (ver cronograma).

3.23

14

g. Coordinacin, plan de trabajo y presupuesto de la evaluacin 3.24 La evaluacin de medio trmino y la evaluacin de impacto se llevarn adelante mediante la contratacion de consultores independientes financiado con recursos del Programa. El Banco apoyar al MMAyA en la definicin de los Trminos de Referencia, en la supervisin de las evaluaciones y en el desarrollo del trabajo analtico asociado a las evaluaciones.

15

Cuadro 5 Plan de trabajo de la evaluacin

Ao 1 Principales actividades /Productos por actividad 1 2 3 4 I. EVALUACIN DE IMPACTO Contratacin firma para levantamiento de encuesta de seguimiento Diseo encuesta (1 semana) Prueba piloto (2 semanas)

Ao 2 2 3 4 X

Ao 3 2 3 4

Ao 4 2 3 4

Ao 5 2 3 4

Responsable UCP del MMAyA Firma contratada por la UCP/ Supervisin BID Firma contratada por la UCP/ Supervisin BID

Costo (moneda) US$200,000 US$ 200,000

Financiamiento Prstamo incluido en tem del cuadro de costos Monitoreo, Evaluacin y Auditora

Firma contratada por la UCP/ Supervisin BID Firma contratada por la UCP/ Supervisin BID Firma contratada por la UCP/ Supervisin BID Firma contratada por la UCP/ Supervisin BID UCP del MMAyA UCP del MMAyA X X X Consultor contratado por la UCP / supervisin BID COSTO TOTAL: US$225,000 US$25,000

Diseo final encuesta (1 semana) Trabajo de campo (6 semanas) Anlisis de los datos y preparacin de informe de lnea de base (6 semanas) III. EVALUACIN INTERMEDIA Contratacin consultor evaluacin intermedia Evaluacin intermedia

X X

Prstamo incluido en tem del cuadro de costos Monitoreo, Evaluacin y Auditoria

16

IV. ESTUDIO DE LA DEMANDA Y LOS IMPACTOS DE

PROYECTOS DE ALCANTARILLADO EN REAS PERIURBANAS DE BOLIVIA

Nota Conceptual Evaluacin de Impacto1
1. INTRODUCCIN

Como parte de los objetivos de Desarrollo del Milenio declarado por las Naciones Unidas, el acceso sostenible y equitativo al agua potable, saneamiento adecuado e higiene son prioridades reconocidas para el desarrollo, la reduccin de la pobreza y la promocin de la salud. En el 2004, casi dos de cada diez personas no tenan acceso al agua potable y cuatro tenan un saneamiento inadecuado2. Este nmero es an mayor en las poblaciones rurales, donde tres de cada diez personas no tenan acceso al agua y seis de cada diez no tenan acceso a servicios de saneamiento. El suministro inadecuado de agua y saneamiento afecta varios aspectos del desarrollo humano. Los nios son particularmente vulnerables al uso de agua contaminada y el saneamiento. En Amrica Latina, las tasas de morbilidad y mortalidad asociadas a enfermedades transmitidas por el agua son altas en comparacin internacional. En las zonas rurales, el saneamiento inadecuado y los sistemas de eliminacin de aguas residuales contribuyen a la degradacin de las aguas subterrneas, ros y afectan los ingresos rurales. En las zonas urbanas, el saneamiento inadecuado resulta en un incremento en la prevalencia de infecciones y enfermedades parasitarias relacionadas con el agua. Adicionalmente, las familias que no tienen conexiones de agua dedican una cantidad significativa de tiempo y esfuerzo fsico en ir a buscar agua a fuentes lejanas. Generalmente, las mujeres y los nios son los responsables de esta actividad. El saneamiento deficiente, la falta de acceso al agua potable y la higiene personal inadecuada son responsables de aproximadamente el 90 por ciento de los nios con diarrea (OMS 1997). Lo ms afectados son los nios menores de cinco aos (principalmente entre 6 y 12 meses). La frecuencia y la gravedad de las enfermedades diarreicas son principalmente agravadas por las malas condiciones de vivienda, la falta de acceso a suficiente agua potable y disposicin sanitaria de residuos fecales y prcticas inadecuadas de alimentacin, lavado de manos y la bsqueda de atencin mdica. Las tasas de incidencia en frica y Amrica Latina son mayores que en Asia o el Pacfico Occidental. Por otra parte, los programas de agua y saneamiento han demostrado ser la intervencin ms costoefectiva para mejorar las saludo en los nios menores de 5 aos (Prioridades de Control de Enfermedades en Pases en Desarrollo, 2006). En consecuencia, la ampliacin del acceso de agua y saneamiento a las zonas rurales pobres y el incremento a la cobertura de saneamiento en zonas urbanas, son los mayores retos para el sector.

La presente nota conceptual fue elaborada a finales de 2011. El diseo metodolgico de la evaluacin se sustenta en la misma pero presenta modificaciones. Puntualmente: i) sla evaluacin se realizar nicamente en la zona metropolitana de Santa Cruz de la Sierra, y ii) para la aleatorizacin del DESCOM se utilizar la Unidad Vecinal (UV) y no la manzana. Banco Mundial (2005) Programa de Agua y Saneamiento del Banco Mundial

17

Varios mecanismos dirigidos a la expansin, mejor calidad y eficiencia en el suministro de agua potable y saneamiento se han desarrollado e implementado en pases en desarrollo durante las ltimas dcadas. Los impactos esperados de estos programas van desde la mejora del acceso y calidad de los servicios hasta mejorar la salud, la nutricin, la inclusin social y de gnero, la educacin, as como la generacin de ingresos y el consumo. Sin embargo, en la actualidad hay pocos estudios cientficos rigurosos de evaluacin de impactos que muestran la eficacia de las polticas de agua y saneamiento en la entrega de los resultados deseados3.
2. AGUA Y SANEAMIENTO EN ZONAS INTERVENIDAS

En particular, en el caso de Bolivia, se observa que si bien la provisin de agua en zonas urbanas es casi total, todava hay una gran deficiencia a nivel saneamiento. En particular, tan slo el 39% de las viviendas en reas urbanas contaban con alcantarillado (en 2004). Situacin de Provisin de Agua y Saneamiento en Bolivia (2005)
Urbano 95% 90% 60% 39% Rural 68% 44% 22% 2%

Agua Saneamiento

Definicin amplia Conexiones domiciliares Definicin amplia Alcantarillado

Fuente: Fuente: INE, CNPV-2001

caeria de red La Paz 72.1 Santa Cruz 82.4 Cochabamba 60.5 Oruro 65.7 Potos 60.6 Tarija 82.4 Chuquisaca 59.7 Beni 40.7 Pando 42.4 68.4 Total Fuentes de Agua para Beber carro pozo o rio o repartidor noria vertiente 1.4 15.0 9.3 0.4 11.7 3.8 5.2 13.4 19.3 0.0 22.0 9.2 0.1 15.9 22.2 0.4 11.7 3.8 1.2 7.5 29.9 1.7 40.2 13.6 0.6 23.0 31.4 2.0 14.3 13.4

otra fuente 2.2 1.7 1.6 3.0 1.3 1.7 1.7 3.8 2.6 1.9

Fuente: Fuente: INE, CNPV-2001

Excepto los impactos en la salud demostrados por estudios como Fewtrell et al. (2005) y Kremer at al. (2006).

18

Tipo de desage del bao, agua o letrina cmara pozo o alcantarilla sptica superficie La Paz 39.8 2.1 15.1 Santa Cruz 17.2 24.3 45.8 Chuquisaca 34.1 2.2 10.8 Cochabamba 25.7 8.0 28.1 Oruro 29.3 2.2 6.4 Potos 23.5 1.4 9.5 Tarija 17.2 24.3 45.8 Beni 1.2 21.7 59.1 Pando 2.2 12.5 57.7 Total 31.1 10.3 26.8

Disponibilidad de Bao % hogares con bao 57.0 87.3 47.1 61.8 37.9 34.4 87.3 82.0 72.4 68.1 % hogares sin bao 43.0 12.7 52.9 38.2 62.1 65.6 12.7 18.0 27.6 31.9

Fuente: Fuente: INE, CNPV-2001 En el presente documento se analiza el proyecto de alcantarillado en zonas periurbanas localizadas en: 1. Cooplan (ciudad de Santa Cruz, Departamento Santa Cruz) 2. Distrito 8 El Alto (ciudad de El Alto, Departamento La Paz) 3. La Guardia (ciudad de Santa Cruz, Departamento Santa Cruz) En las tablas anteriores se observa que a nivel departamental, La Paz tiene 39.8% de cobertura de alcantarillado, en tanto Santa Cruz, tan slo 17.2%. A nivel ciudad, observamos las siguientes cifras de provisin de agua y saneamiento para Santa Cruz y El Alto: Situacin de Provisin de Agua y Saneamiento en El Alto y Santa Cruz (2005)
Fuentes de Agua para Beber carro pozo o rio o repartidor noria vertiente 3.4 3.3 0.3 0.1 2.3 0.1

Ciudad El Alto Santa Cruz

Hogares

caeria de red 165,320 89.2 252,136 96.2

otra fuente 3.7 1.5

agua potable 92.7% 96.2%

Ciudad El Alto Santa Cruz

Hogares 165,320 252,136

Tipo de desage del bao, agua o cmara pozo o alcantarilla sptica superficie 45.9 2.0 15.4 24.7 31.8 38.8

Disponibilidad de Bao % hogares % hogares con bao sin bao 63.3 36.7 95.3 4.7

Se observa un dficit en alcantarillado, especialmente en Santa Cruz. De todos modos, ser necesaria la informacin a nivel localidad para saber con certeza la cobertura de agua y saneamiento en las tres localidades seleccionadas para la intervencin.

19

3.

LAS INTERVENCIONES

La evaluacin se concentrar en identificar los impactos de la introduccin de redes de alcantarillado en reas peri-urbanas, as como mecanismos innovadoras para incentivar la conexin efectiva de hogares a la red y el uso de alternativas sanitarios ecolgicas. La intervencin principal estudiada en este documento es DESCOM, que es un trabajo para sensibilizar a las familias sobre la necesidad de conectarse a la red de agua, abonando el abono correspondiente. DESCOM comprende las siguientes fases: (i) Pre inversin, 3 meses; (ii) Inversin, segn el avance de las obras; (iii) Post inversin, 6 meses. La intervencin DESCOM ser provista en determinadas manzanas de las zonas periurbanas de Cooplan (ciudad de Santa Cruz), Distrito 8 El Alto (ciudad de El Alto) y La Guardia (ciudad de Santa Cruz). Las sumas a pagar por los hogares ascienden u$s180 por la conexin a la red y si el hogar no tiene bao, deber abonar u$s400 para la instalacin del bao. En una segunda fase se estudiarn las razones por las cuales los hogares que fueron tratados con DESCOM, no han optado por la conexin a la red. Esto se estudiar con grupos focales representativos de todas las reas en donde DESCOM no ha sido exitoso en motivar la demanda de alcantarillado. Cuando se tenga un mayor entendimiento de las barreras al acceso a la conexin, se decidirn tratamientos alternativos que sern provistos a aquellos que inicialmente no accedieron a conectarse. Habr distintas formas de incentivar la demanda, que incluyen por ejemplo el uso de fondos rotatorios administrados por los Operadores de Servicio. Los fondos rotatorios proveen micro-crditos y posiblemente material en especie a hogares para cubrir el costo de conexin a la red y la construccin o equipamiento del bao. Se promover adems la colocacin de equipos sanitarios ambientales que reducen el consumo de agua en el hogar. Otra alternativa para incentivar la demanda podra ser la provisin de un incentivo monetario a hogares que logren conectarse a la red con una infraestructura sanitaria de especificaciones determinadas, dentro de un plazo de tiempo establecido. Si el hogar realiza la conexin y sujeto a verificacin de la instalacin del equipo sanitario correspondiente, se le otorgara el incentivo como subsidio parcial del costo de instalacin. Si el hogar no cumple estas metas en el periodo establecido, pierde elegibilidad para el incentivo. Una evaluacin de impacto formal del programa de alcantarillado periurbano en Bolivia lograr: i) Medir y documentar precisamente el impacto del programa en variables de inters, esencialmente la salud de los nios menores de 5 aos, ii) Ayudar a mejorar el diseo y la eficiencia del programa de alcantarillado, entendiendo los factores que afectan la demanda de estos servicios por parte de los hogares y poder disear un esquema de incentivos acorde a los mismos; y iii) Contribuir a la literatura sobre la evaluacin formal de polticas de agua y saneamiento.

4.

PREGUNTAS PARA LA INTERVENCIN

La hiptesis principal de la intervencin sostiene que la implementacin de redes de alcantarillado posibilita a los hogares transferir la eliminacin de aguas negras (de pozos spticos o directamente al ambiente) al alcantarillado, donde son transferidas para procesamiento en plantas de tratamiento. Esto reduce la contaminacin ambiental de desechos humanos y aguas negras en los hogares y reas limtrofes. Reduciendo esta contaminacin se reduce tambin uno de las fuentes principales de ingestin de heces y otros contaminantes por los nios y otras poblaciones vulnerables, que reduce las enfermedades de origen hdrico y la presencia de gusanos intestinales y amebas y otros que reducen la absorcin de micro-nutrientes en los nios. Esto a su vez puede estar directamente ligado

20

en mejor crecimiento, desarrollo cognitivo y otros indicadores sanitarios finales. De la misma manera, al eliminar una de las principales fuentes de contaminacin ambiental, se mejoran las condiciones de vida que valoran la propiedad, fomentan mayor inversin en la propiedad, mayor confort y felicidad en la poblacin, entre otros. La segunda fase de la intervencin est relacionada con la segunda hiptesis que mantiene que aun cuando existe el sistema de alcantarillados, la participacin de hogares en conectarse a la red es baja. La baja tasa de conexin podra ser debido a (1) falta de liquidez y (2) falta de motivacin del hogar para realizar la conexin. La disponibilidad de recursos econmicos a travs de opciones de prstamo, y los incentivos econmicos para establecer la conexin de red, impulsarn mayores tasas de conexin al reducir las barreras que impedan la actuacin del hogar. La evaluacin de impacto responde a las siguientes preguntas claves: 1. La oferta de alcantarillado mejora la salud y calidad de vida de la poblacin, particularmente la salud de los nios menores de 5 aos? 2. La oferta de micro-crditos incrementa la probabilidad de conexin a la red sanitaria, y el uso de letrinas ecolgicas? 3. La oferta de incentivos econmicos incrementa la probabilidad de conexin a la red sanitaria, y el uso de letrinas ecolgicas? (por confirmar) 4. Es mas costo-efectivo el uso de micro-crditos o incentivos para lograr los objetivos de conexin de red y uso de letrinas ecolgicas? (por confirmar) 5. Los hogares tienen diferente comportamiento si tienen la opcin de seleccin entre el crdito o el incentivo econmico? 6. Cul es el nivel de incentivo econmico optimo? 7. Cul es el impacto de tener una conexin de alcantarillado y/o letrina ecolgica sobre la salud y resultados econmicos del hogar? 8. Existen externalidades de mayor concentracin de poblacin conectada a la red de alcantarillado para la poblacin no conectada? Algunos indicadores de inters para estudiar son: Presencia de parsitos en nios de 0-5 aos (muestra de heces se requieren para este propsito). Prevalencia e incidencia de diarrea en nios de 0-5 aos. Prevalencia e incidencia de otras enfermedades infecciosas (por ejemplo respiratorias) en nios de 0-5 aos. Prevalencia de anemia en nios de 0-5 aos (muestras de sangre se requieren para este propsito). Asistencia escolar de nios de 5-16 aos. Asignacin de tiempo de adolecentes y adultos. Estrs y calidad de vida de la madre. Ingreso del hogar. Gasto del hogar en agua y saneamiento, y otros gastos del hogar. Restriccin de presupuesto del hogar. Conocimiento de beneficios de alcantarillado. Satisfaccin de los hogares con respecto a la higiene y saneamiento.

21

5.

DISEO DE LA EVALUACIN

El objetivo principal de una evaluacin de impacto es identificar y medir correctamente los efectos causales de una intervencin y sus resultados. Con el fin de aislar y evaluar estos efectos, es necesario determinar lo que habra sucedido en ausencia del programa (el contrafactual del programa). Como un verdadero contrafactual no es naturalmente observable, una estrategia frecuente es construir un indicador del contrafactual dividiendo la muestra en dos grupos comparables: Grupo de Tratamiento (GT) que representa la sub-muestra de la poblacin que recibir la intervencin. Grupo de Control (GC) que representa la sub-muestra de la poblacin que no recibir la intervencin o que no la recibir inicialmente (siendo este ltimo el caso del presente programa).

Idealmente los grupos deben ser idnticos (ex-ante), es decir, deben estar igualmente afectados por factores observables y especialmente por factores no observables, de tal manera que en promedio la nica diferencia entre los dos grupos es el resultado de la aplicacin o no del programa. La mejor manera de asegurarse la similitud entre el grupo de tratamiento y de control, es eligindolos aleatoriamente de una poblacin elegible para el tratamiento. De este modo, como cualquiera de las unidades a-priori puede ser asignada a GT o GC, entonces, es de esperar que el GC sea un buen contrafactual del GT, asegurando que las estimaciones de los efectos causales que surgen de comparar ambos grupos tienen validez interna.

Fase 1: DESCOM La intervencin DESCOM consiste en bsicamente sensibilizar a los hogares acerca de los beneficios de conectarse a la red de agua y en caso de que los hogares deseen abonarse al servicio de alcantarillado, se les darn determinadas facilidad y condiciones de pago. Los hogares que participan y el calendario de ejecucin de las obras es el siguiente:
Proyecto Ciudad Hogares Totales 9,080 10,044 2,636 % hogares q Hogares que participan Se ejecutan las obras participan 60 5,448 marzo-2012/marzo-2013 100 10,044 octubre-2011/mayo-2013 100 2,636 octubre-2011/noviembre-2012

COOPLAN Santa Cruz DISTRITO 8 EL ALTO El Alto LA GUARDIA Santa Cruz

Como la intervencin que se asigna es DESCOM, y no la provisin de alcantarillado propiamente dicha, se realizar un estudio del estimador ITT (intention to treat), en lugar de estimarse el efecto causal del alcantarillado. Ambos efectos coincidirn si en las manzanas que pertenecern al GT el take-up es del 100% y en las que pertenecern al GC, ningn hogar opta por el servicio. La asignacin de DESCOM ser aleatoria a nivel de manzanas, de la forma en que se expone en la siguiente tabla. Asimismo, habr dos tipos de grupos de control: uno ser el conformado por las zonas que sern aleatorizadas a GC dentro de cada localidad, y el otro grupo de control surge del diseo quasi-experimental que se expone luego.
A) Diseo Experimental

22

En las zonas periurbanas antes descriptas, se asignar DESCOM aleatoriamente (por sorteo) a dos terceras partes de las manzanas (GT), en tanto el tercio restante ser asignado al grupo de control (GC). La cantidad aproximada de hogares por grupo se observa en la siguiente tabla:
Aleatorizacin
Hogares que Proyecto participan COOPLAN 5,448 DISTRITO 8 EL ALTO 10,044 LA GUARDIA 2,636 Tratamiento: 2/3 manzanas Hogares Aprox: 3,632 6,696 1,757 Control: 1/3 manzanas Hogares Aprox: 1,816 3,348 879

En el apndice se incluyen los mapas con las manzanas que sern aleatoriamente asignadas a GT y GC.

De la comparacin de manzanas aleatorizadas a DESCOM y al grupo de control, se har un anlisis de ITT (intention to treat) para ver los efectos de DESCOM en salud; o bien se utilizar el tratamiento DESCOM como variable instrumental para estudiar el efecto causal del alcantarillado en salud (entre otros indicadores de inters).
B) Diseo Cuasi-Experimental

La evaluacin de las redes sanitarias utilizar complementariamente la metodologa cuasiexperimental de regresin discontinua. Este mtodo aprovecha la comparacin de hogares en la frontera del rea de intervencin, considerando que hogares en una franja alrededor de la frontera tienen caractersticas similares, con la nica excepcin de que hogares en el lado intervenido tendrn acceso a red de alcantarillado mientras que hogares fuera del rea de intervencin no tendrn acceso a la red hasta una fase subsecuente de proyecto. El diseo de regresin discontinua es ilustrado en la Grafica 1 del Apndice. El eje horizontal score es dado por la distancia a la frontera de la zona de intervencin y el eje vertical es el resultado de inters, por ejemplo un indicador de salud en la poblacin como la incidencia de diarrea en nios. El supuesto bsico del modelo es que en la ausencia del programa no existira ninguna discontinuidad entre la incidencia de diarrea entre nios en la zona limtrofe de la intervencin, ya que en la ausencia del programa la poblacin intervenida y no-intervenida tendra caractersticas similares. Si el programa produce un impacto causal, este impacto es estimado comparando los resultados de las dos poblaciones, con y sin DESCOM en este contexto, despus de la implementacin del programa. Cualquier diferencia observada es atribuible a la intervencin. Se compararn manzanas aleatorizados a DESCOM de un lado de la frontera, con manzanas que no participaron de la intervencin del otro lado de la frontera, que conformarn un grupo de control puro. Comparando estos grupos se realizarn el anlisis ITT antes mencionado. Fase 2: Incentivos a la Demanda En los proyectos seleccionados se implementarn mecanismos innovadores para lograr mayor conectividad a las redes y construccin de soluciones individuales de saneamiento ambientales. La evaluacin de mecanismos para incentivar la conexin de hogares a la red utilizar mtodos de evaluacin experimentales de evaluacin, notando una poblacin de hogares elegibles mucho mayor

23

al nmero de beneficios que pueden financiarse en esta primera etapa de programa. Se explorarn diversas opciones de aleatorizacin a nivel de hogar tomando en cuenta el contexto operativo y social de cada proyecto. La evaluacin contrastara la costo-efectividad de los modelos de crdito e incentivos, tomando en cuenta el costo y tiempo por conexin a la red logrados por cada uno de estas intervenciones, comparadas entre si y relativo al grupo de comparacin que recibir solamente el acceso a la red y sin incentivos adicionales para acceder a la red. Se podran tambin probar modelos de comunicacin, informacin y concientizacin para intentar lograr los objetivos establecidos. Los modelos especficos de intervencin se disearn con una consultora especializada y en consulta con las contrapartes en evaluacin.

6.

METODOLOGA DE ANLISIS

Para realizar la evaluacin propuesta, se requiere la existencia de informacin base e informacin post-intervencin para ambos grupos. Se llevar a cabo una lnea de base antes de implementarse DESCOM, y luego de dos aos de iniciadas las obras, se realizar una encuesta de seguimiento. Se calcula que para la encuesta de seguimiento las manzanas tendrn una exposicin a DESCOM de entre 12 y 18 meses. En las encuestas de lnea base y de seguimiento se formularn preguntas sobre salud, variables sociodemogrficas, y se recolectarn muestras para anlisis de laboratorio (a definir). Con los resultados de la encuesta de seguimiento se realizarn grupos focales para comprender qu factores generaron la no conexin a la red de aquellos hogares expuestos a DESCOM (las estimaciones provistas son de take-up es de 60/70%). Con los grupos focales se definirn los tratamientos para incentivar la demanda (como por ejemplo micro-crditos, o incentivos econmicos). Dichos tratamientos tambin se asignarn aleatoriamente.

7.

MUESTRA

Se identificaron tres proyectos candidatos para la evaluacin de impacto de DESCOM en reas periurbanas. Los proyectos son: CooPlan 3000 (Santa Cruz), Distrito 8 (El Alto) y La Guardia (Santa Cruz). La muestra de evaluacin se levantar en los proyectos seleccionados para evaluacin y sus reas de comparacin. La muestra de evaluacin debe satisfacer criterios mnimos de potencia estadstica para detectar diferencias estadsticamente significativas de un tamao suficientemente grande para relevancia de polticas pblicas. Los indicadores ms importantes en los que se espera observar efectos positivos de DESCOM, son los relativos a la salud de los nios menores de 5 aos, que son en general los ms afectados por una deficiente provisin de agua y saneamiento. A continuacin se presentan algunas estadsticas de salud de las ciudades de La Paz y Santa Cruz:

24

Poblacn atendida Ciudad por EDA El Alto 6.4% 26.9% 24.8% 4.1% Santa Cruz 4.3% 20.6% 53.8% 5.2% Total 5.1% 23.0% 42.8% 4.8% Fuente: Atlas de Salud de Bolivia La Paz y Santa Cruz (2005) Mortalidad Nios<5 Nios<5 Nios<5 Desnutridos atendidos por EDA

Se observa que la incidencia de EDA (enfermedades diarreicas agudas) en nios es muy alta, y las consultas llegan al 42.8% en estas ciudades (considerando todo tipo de centros de salud). Para realizar los clculos de potencia, se tomarn las variables relacionadas a diarrea en nios menores de 5 aos, ya que en ellas se esperan mayores efectos de alcantarillado. Se utilizarn dos fuentes complementarias: la encuesta Demographic and Health Survey (DHS) de 2008, as como tambin el Atlas de Salud de Bolivia (2005). En ambos casos las estadsticas que se utilizan corresponden al nivel de desagregacin ms prximo a las zonas periurbanas a tratar (las ciudades de El Alto y Santa Cruz en el caso del Atlas y la poblacin urbana de los departamentos de Santa Cruz y La Paz en el caso de DHS).
Nios < 5 aos Obs Tuvo diarrea recientemente? 1607 Se atendi por EDA en el ao? 231,383 Media 0.217 0.428 Desv. St. ICC 0.412 0.1-0.05 0.495 0.1-0.05 Fuente
DHS, 2008 Atlas de Salud de Bolivia, 2005

La incidencia de diarrea en nios menores de 5 aos es de 21.7% (2008) en las zonas urbanas de los departamentos en donde se encuentran las localidades que recibirn intervencin. En tanto la proporcin de nios que fueron tratados en centros de salud por enfermedades diarreicas agudas asciende a 42.8% en los departamentos de La Paz y Santa Cruz. Para determinar el tamao aproximado de la muestra que se requiere para poder evaluar el efecto de DESCOM, se asumen los siguientes supuestos: Aleatorizacin a nivel Manzana Potencia estadstica = 0.8 Significancia estadstica = 0.05 Correlacin Intra-Manzana: 0.05 - 0.1 (el 5%-10% de la varianza total del indicador de inters corresponde al efecto de la manzana y el 95%-90% al efecto individual) Take-up en manzanas aleatorizadas a DESCOM: 60%; Take-up en zonas no aleatorizadas a DESCOM 10%. Efecto diferencial: 0.5

En las siguientes tablas se muestran los requerimientos en cuanto a tamaos de la muestra para diferentes escenarios de Mnimas Diferencias Detectables (MDD) y de Intra-cluster Correlation (ICC). En este caso como la aleatorizacin es a nivel de manzana, tomamos supuestos conservadores respecto de la correlacin intre-manzana, de 0.1 y de 0.05. Se observa que dados los valores de base y los supuestos realizados, slo es posible detectar diferencias de 30% aproximadamente en adelante. Esto representa una reduccin de 6.5p.p. en la

25

incidencia de diarrea en nios menores de 5 aos (de 21.7% a 15.2%) y de 13p.p. en la tasa de atencin por EDA (de 42.8% a 29.8%). Si consideramos una correlacin intra-manzana de 10%, se podrn detectar efectos de 40% en la incidencia de diarrea y de 30% en la tasa de consultas por EDA, con 200 manzanas en el grupo de control y 200 en el grupo de tratamiento (400 manzanas en total), y en cada manzana debe haber aproximadamente 22 chicos (8 chicos para el caso de atencin de EDA). La muestra debera estar en torno de los 8,800 hogares para poder detectar los efectos mencionados en ambas variables. En cambio, si suponemos que la proporcin de la varianza total en los indicadores que corresponde al efecto de la manzana es 5% (en lugar de 10%), los requerimientos en el tamao de muestra se reducen. Por ejemplo, para detectar reducciones de 35% en la incidencia de diarrea (7.6 p.p.), se necesitan 175 manzanas asignadas a DESCOM y 175 no asignadas a DESCOM (total 350 manzanas), con 22 nios cada manzana, lo cual implica una muestra de 7,700 nios.
Tamao de la muestra para distintos escenarios de MDD e ICC
Correlacin Intra-Manzana: 0.1 Baseline Incidencia Diarrea: 0.217 Baseline Atencin EDA: 0.428 MDD 30% -6.5p.p. MDD 40%- 17p.p. MDD 35% -15p.p. MDD 40%- 8.6p.p. MDD 35% -7.6p.p. MDD 30% -13p.p. Manzanas Nios por Nios Nios por Nios Nios por Nios Nios Nios por Nios Nios por Nios Nios por Por Grupo manzana Total manzana Total Total manzana Total manzana Total manzana Total manzana 50 75 21 3150 96 14400 100 10 2000 20 4000 126 25200 125 7 1750 11 2750 27 6750 150 150 45000 5 1500 8 2400 15 4500 175 38 13300 4 1400 6 2100 11 3850 200 22 8800 110 44000 4 1600 5 2000 8 3200 225 16 7200 42 18900 3 1350 4 1800 7 3150 250 12 6000 26 13000 3 1500 4 2000 6 3000 275 10 5500 19 10450 97 53350 3 1650 3 1650 5 2750 300 9 5400 15 9000 47 28200 2 1200 3 1800 5 3000

Manzanas Total 100 150 200 250 300 350 400 450 500 550 600

Correlacin Intra-Manzana: 0.05 Baseline Incidencia Diarrea: 0.217 Baseline Atencin EDA: 0.428 MDD 40%- 8.6p.p. MDD 35% -7.6p.p. MDD 30% -6.5p.p. MDD 40%- 17p.p. MDD 35% -15p.p. MDD 30% -13p.p. Manzanas Manzanas Nios por Nios Nios por Total Por Grupo manzana Total manzana 100 50 150 75 200 100 46 9200 231 250 125 25 6250 54 300 150 17 5100 31 350 175 13 4550 22 400 200 11 4400 17 450 225 9 4050 14 500 250 8 4000 12 550 275 7 3850 10 600 300 6 3600 9 Nios Total Nios por manzana Nios Total Nios por manzana 21 11 7 6 5 4 3 3 3 3 2 Nios Total 2100 1650 1400 1500 1500 1400 1200 1350 1500 1650 1200 Nios por manzana 42 16 10 8 6 5 4 4 4 3 3 Nios Total 4200 2400 2000 2000 1800 1750 1600 1800 2000 1650 1800 Nios por manzana 266 32 17 12 9 7 6 5 5 4 4 Nios Total 26600 4800 3400 3000 2700 2450 2400 2250 2500 2200 2400

46200 13500 9300 7700 6800 6300 6000 5500 5400

99 49 33 25 20 17 14

29700 17150 13200 11250 10000 9350 8400

8.

POTENCIALES PROBLEMAS DEL DISEO

Deteccin de Efectos en Salud: En primer lugar se observa que dadas las estadsticas de base y los supuestos sobre take-up y ICC, solo se pueden detectar efectos del orden del 30% en adelante. Incluso efectos de dicha magnitud requieren muestras relativamente grandes, y a veces superan el nmero total de la poblacin tratada.

26

Sin embargo, de acuerdo a la literatura sobre intervenciones de agua y saneamiento, no se esperaran efectos tan grandes de un tratamiento de alcantarillado. Recordemos que los hogares en su mayora reciben agua potable (ver estadsticas expuestas antes), pero no tienen facilidades adecuadas para eliminar los residuos del hogar. En la literatura, los mayores efectos se observan en la provisin de agua a aquellos que no cuentan con fuentes seguras de agua bebible; que no es el caso de los hogares en las zonas periurbanas en estudio. Por ejemplo Duflo et al (2011), muestran que en Marruecos una intervencin similar en la que se incentiva a los hogares a conectarse a la red de agua con la facilidad de un crdito, tuvo un take-up del 69%, y no se observaron mejoras en la calidad del agua consumida en los hogares, y por ende no se detectaron reducciones significativas en las enfermedades relacionadas con la calidad del agua. La hiptesis de los autores es que la calidad del agua que los hogares consuman no mejoro porque los hogares ya accedan a agua potable de fuentes cercanas al hogar. S se detectaron efectos en la cantidad de agua consumida y en el bienestar de los hogares, ya que al estar conectados los miembros del hogar ganaron tiempo para otras actividades recreativas y sociales. Es por ello, que resultara ms factible analizar los aspectos que motivan la demanda de conexin a la red de agua, que estudiar los efectos en salud que sern muy difciles de detectar si no son de magnitud considerable. Externalidades: En el caso de que el alcantarillado efectivamente mejorara la calidad del agua de las zonas que optan por DESCOM, existe la posibilidad de que aquellas manzanas cercanas a las que tienen un alto take-up de DESCOM tambin se vean beneficiadas por la mejor calidad del agua de aquellos vecinos que optaron por conectarse a la red. En el caso de existir este tipo de externalidades, habra que tomar grupos de control ms alejados de las manzanas a las que se les ofrece DESCOM, pero que an as guarden similitud a dichas manzanas en las dems caractersticas observables y no observables. Para mantener la seleccin aleatoria habra que tomar como grupo elegibles manzanas que queden a una distancia considerable (separadas en el mapa), como para evitar todo tipo de contaminacin de los efectos de DESCOM en las reas de control. En esta lnea, la validez interna del diseo de regresin discontinua, tambin podra verse amenazada por la existencia de externalidades. En todo caso se requerir un estudio para asegurar que de un lado de la frontera, la calidad del agua es independiente de la provisin de alcantarillado en el otro lado. Si no, habra que tomar manzanas en el rea no tratada que se encuentren lo suficientemente alejadas de la frontera para que no exista esta posibilidad de contaminacin. Asimismo, para que este diseo sea factible y aunque supongamos que no hay externalidades- como producto de la aleatorizacin las manzanas del lado intervenido de la frontera tienen que pertenecer al grupo de tratamiento de DESCOM, para poder ver el efecto de DESCOM en su comparacin con sus vecianas al otro lado de la frontera. A priori no se sabe si esto va a ser as.

A.

Bibliografa

Duflo, E., P. Dupas, F. Devoto, W. Pariente and V. Pons (2011), Happiness on Tap: Piped Water Adoption in Urban Morocco Working paper Pascaline Dupas, William Pariente, Vincent Pons), April 2011.

27

Fewtrell, L., R. Kaufmann, D. Kay, W. Enanoria, L. Haller, and J. Calford Jr (2005). Water, Sanitation, and Hygiene Interventions to Reduce Diarrhoea in less developed Countries: a Systematic review and Meta-analysis. Lancet Infect Dis 2005; 5: 42-52. Kremer. M., J. Leino, E. Miguel, A.P. Zwame (2006). Spring Cleaning: A Randomized Evaluation of Source Water Quality Improvement Draft, December 2006. http://www. economics.harvard.edu/faculty/kremer/files/springclean.pdf

28

B.

Anexo:

COOPLAN

29

Ilustracin de Modelo de Regresin Discontinua:

Poblacin con Alcantarillado

Poblacin sin Alcantarillado

Fuente: Gerter et al. Impact Evaluation in Practice

30