Captulo VI

HACIA EL DISEO DE UN SISTEMA DE MONITOREO Y EVALUACIN DE pROGRAMAS

POR QU Y pARA QU EL SEGUIMIENTO

Como se ha visto, la estrategia programtica que se coordina desde la OCEPR, as como sus acciones, han estado dirigidas prioritariamente a la rehabilitacin fsica y ambiental de las comunidades, al fortalecimiento de la organizacin comunitaria y de sus lderes y al desarrollo socioeconmico de las familias. La participacin de los gobiernos municipales fue un componente fundamental en la identicacin de las comunidades que formaran parte del proyecto, as como de sus necesidades, y debe continuar sindolo en la elaboracin e implantacin de planes de desarrollo comunitario. La estrategia que sustenta las acciones programticas se apoya en los siguientes pilares:

El principio de autogestin y apoderamiento comunitario, que hace del residente el eje central de la planicacin y la accin de renovacin y desarrollo. La alianza entre las comunidades, los sectores pblicos y el sector empresarial que asumen diversas responsabilidades para facilitar el desarrollo socioeconmico. El enfoque integral al problema de la pobreza que reconoce la multicausalidad de los factores que la producen y los mltiples aspectos en que se maniesta.

129

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

La articulacin entre las agencias gubernamentales, las corporaciones pblicas, los gobiernos municipales, el sector privado y las organizaciones de la sociedad civil con las Comunidades Especiales.

El Proyecto de Comunidades Especiales fue concebido y se ejecuta en el marco de una estrategia muy compleja en lo que hace a su institucionalidad, a la vez que se propone cumplir con objetivos ambiciosos, en trminos de la superacin de la pobreza y la integracin social y econmica de los pobladores de las comunidades. Se desenvuelve con un alto protagonismo del Estado, la participacin activa de residentes de las propias comunidades y con algunas, todava pocas, vinculaciones con el sector empresarial privado y la sociedad civil. Tenemos, entonces, un proyecto con mltiples instancias de toma de decisiones, mltiples actores, tiempos diversos y espacios diferenciados. Calibrar el progreso de un proyecto tan complejo y abarcador requiere desarrollar un sistema anado de monitoreo y evaluacin que le permita convertirse, adems, en un elemento central de la propia gestin. Aunque la OCEPR ha dado algunos pasos certeros en esa direccin, es imprescindible que se fortalezca una instancia que tenga esta encomienda en forma permanente y que se asignen recursos humanos y nancieros a la misma. En el transcurso de esta evaluacin de impacto pudimos intercambiar con funcionarios de la OCEPR que han tenido como encomienda iniciar dicha tarea y hemos diseado algunos instrumentos para poner en marcha un sistema que les permita dar seguimiento y vericar en forma permanente los resultados de la gestin. Este captulo ofrece, primeramente, unos lineamientos de cmo ha estado evolucionando en el mbito internacional la discusin sobre el diseo y la instrumentacin de sistemas de evaluacin y monitoreo en programas de accin social gubernamental. Luego propone una serie de indicadores para sustentar el sistema que debe desarrollar la OCEPR a n de lograr una gestin integral orientada a resultados.

LA EVALUACIN Y EL MONITOREO EN LOS pROGRAMAS SOCIALES DEL ESTADO

La evaluacin cumple un papel importante en la modernizacin del aparato gubernamental y en el impacto de sus inversiones. El proceso de reformulacin de la relacin Estado-sociedad civil otorg una mayor relevancia a los resultados de la accin estatal que a los insumos y procesos. De este modo, se subraya la necesidad de alcanzar mayores niveles de ecacia, eciencia y equidad en los programas y servicios sociales dirigidos a la poblacin en situacin de pobreza, vulnerabilidad y exclusin social. Un breve panorama de los cambios de paradigma respecto a la funcin de evaluacin permite entender mejor estos conceptos:

130

Bernardo Kliksberg y Marcia Rivera

En los aos cincuenta y setenta, la evaluacin se conceba como un producto, no como un proceso, el eje estaba puesto en la medicin y comparacin. En los ochenta se incorporan a la funcin de evaluacin los conceptos de rendimiento de cuentas, responsabilidad y transparencia. En la dcada del noventa se la concibe como una herramienta estratgica para la adquisicin y construccin de conocimiento con el n de facilitar la construccin de capacidad institucional, fortaleciendo el proceso de toma de decisiones y el aprendizaje institucional. Desde un enfoque de derechos se agrega, hoy, la necesidad de que el proceso de la evaluacin no sea neutral, sino que, por el contrario, se convierta en un proceso de construccin de ciudadana, participativo y empoderador.

En este marco, reorientar y fortalecer la funcin de la evaluacin signica imprimir un cambio sustantivo en la concepcin de funcionamiento del Estado: medir resultados en funcin de demandas satisfechas y de problemas resueltos que, en el campo de las polticas sociales, remiten al logro de la equidad, la integracin social y a la superacin de la pobreza y la vulnerabilidad social. En este proceso, la evaluacin es inherente a la lgica del nuevo modelo porque articula la gestin con los resultados y permite hacer transparentes las acciones del Estado, habilitando el control social de la gente sobre los compromisos asumidos. Y, en este sentido, la evaluacin habilita derechos ciudadanos. Otro aspecto importante a tener en cuenta es el reconocimiento de la centralidad, la autonoma y la especicidad de la evaluacin de lo social. Esta nueva identidad es la base del fortalecimiento de la funcin de la evaluacin en el Estado. Esto ha permitido superar las concepciones tradicionales de evaluacin originadas en las metodologas de costo-benecio y en la lgica de reduccin del gasto social y del ajuste presupuestario. Las evaluaciones en el rea social, en cambio, parten de enfatizar en qu medida los programas sociales potencian a sus beneciarios mediante la generacin o formacin de capacidades que quedan incorporadas en el capital humano y social, as como tambin en qu medida se logran disminuir las brechas sociales existentes y se alcanzan metas de integracin y equidad. Si los programas sociales tienen como objetivo responder y transformar con eciencia y calidad los problemas especcos de la poblacin, la evaluacin debe ser, entonces, el proceso integral que favorezca planicar, replanicar, viabilizar, concretar y valorar los resultados que

131

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

superen o alivien efectivamente dichos problemas, contribuyendo as a la extensin de la ciudadana plena. Fortalecer la funcin de evaluacin signica instalarla en la accin misma de los programas, para que se constituya en un proceso de aprendizaje que permita mejorar su gestin y sus resultados, y se convierta en un elemento de reexin y capacitacin, que fomente la cultura y rutinas de autoevaluacin, a la vez que integre, como elemento constitutivo de la evaluacin, la perspectiva de los beneciarios.

LOS SISTEMAS DE EVALUACIN Y MONITOREO DE pROGRAMAS SOCIALES: CONCEpCIN Y ALCANCES

En trminos generales, la evaluacin constituye una actividad de los programas sociales que puede ser interna o externa para vericar en qu medida su diseo y mtodos de aplicacin y ejecucin son apropiados para alcanzar los objetivos propuestos; para dar cuenta de los resultados del programa, tanto los especicados en el diseo como otros impactos no esperados; y para identicar los factores que puedan incidir sobre el nivel y la distribucin de los benecios producidos. El propsito de las evaluaciones es aportar informacin que permita perfeccionar el proceso de toma de decisiones y adquirir conocimientos para mejorar tanto las actividades que se llevan adelante como para planicar nuevas. Pero, tambin la informacin generada por las evaluaciones permite rendir cuentas a la sociedad sobre los resultados alcanzados y los recursos empleados a la vez que construir sustentabilidad para las inversiones del Estado. La funcin de la evaluacin orientada a resultados se diferencia as de la funcin de inspeccin o control, que escruta, en secreto, hechos y pruebas para disculpar o incriminar a quien es objeto de la inspeccin (Quesnel, 1996). En tal sentido, Quesnel plantea: La meta de la evaluacin ha pasado del escrutinio de la culpabilidad a la meta del entendimiento y aprendizaje en funcin de experiencias adquiridas (1996: 104). El fortalecimiento de la funcin de evaluacin requiere, en primer lugar, que el proceso responda a criterios tcnicos rigurosos; en segundo lugar, que sus resultados puedan difundirse al conjunto de la sociedad y que se constituyan en insumos clave para la toma de decisiones. Para ello, es necesario garantizar competencia profesional y rigor metodolgico durante la ejecucin del proceso evaluativo. En tercer lugar, la inclusin de diversos puntos de vista, intereses y percepciones, para permitir la participacin de los actores intervinientes en el programa. Finalmente, la difusin de los resultados habilita y otorga credibilidad a los procesos de rendicin de cuentas.

132

Bernardo Kliksberg y Marcia Rivera

QU hAY DE ESpECIAL EN LA EVALUACIN DE LOS pROGRAMAS SOCIALES Y QU DESAFOS pARTICULARES pRESENTA EL pROCESO EVALUATIVO?
En materia de evaluacin, es necesario diferenciarla de las concepciones tradicionales que focalizan en la relacin costo-benecio y destaca la especicidad de la evaluacin social en tanto se plantea que lo social es irreductible a relaciones causales simples. Ello signica que una evaluacin de los resultados de las acciones orientadas a modicar las condiciones de vida de la poblacin en situacin de pobreza y vulnerabilidad social no debe desconocer que las mismas son consecuencia de condiciones estructurales cada vez ms complejas, que generan respuestas complicadas y heterogneas por parte de los sectores sociales, que a su vez pueden reproducir o modicar en algn sentido dichas condiciones. Los programas sociales pueden ser concebidos como procesos sociales, es decir, como procesos donde los beneciarios no son objetos pasivos de las acciones y actividades desarrolladas sino, por el contrario, actores sociales cuya accin contribuye a darle sentido y sustentabilidad a las intervenciones. El desarrollo de la capacidad de evaluacin resulta de la necesidad de encontrar formas de valorizar en forma objetiva los resultados de las acciones pblicas, no slo en trminos de la magnitud del gasto social, sino fundamentalmente en trminos del avance o no en la proteccin de derechos, la equidad, el mejoramiento de la calidad de vida, en n, en la extensin de ciudadana a los sectores ms vulnerables. En ese contexto, la evaluacin social no slo debe generarse en un marco conceptual e interpretativo acorde a dicha especicidad, sino tambin emplear herramientas metodolgicas que permitan aprehender la multidimensionalidad de los procesos sociales. Ellas deben ser exibles, permitiendo la combinacin de tcnicas de anlisis y fuentes de informacin, para poder dar cuenta de fenmenos complejos y multideterminados. A este desafo, se suman el de institucionalizar la funcin evaluadora. En general, las polticas y programas sociales se desenvuelven en un contexto caracterizado por la falta de una cultura de evaluacin que se traduce muchas veces en cierto prejuicio hacia la medicin a travs de un sistema de indicadores, por la presencia de organizaciones rgidas y burocrticas, y por la multiplicidad de actores e intereses no siempre convergentes. Los desafos prioritarios para fortalecer la funcin de evaluacin, entonces, son la consolidacin, explicitacin y consenso de un marco conceptual; la identicacin de herramientas de evaluacin, de indicadores clave y de criterios de medicin; y el uso adecuado de la informacin disponible.

133

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

LA EVALUACIN, IMpRESCINDIBLE pARA MEJORAR LOS RESULTADOS E IMpACTOS DE LOS pROGRAMAS SOCIALES
Esta nueva perspectiva de la evaluacin se plasma en:

La armacin de la centralidad, autonoma y especicidad de la evaluacin social a partir de la complejidad, multicausalidad y heterogeneidad de lo social, por contraste con las habituales evaluaciones de inversiones fsicas con criterios estrictamente econmicos. La superacin de las concepciones tradicionales de evaluacin originadas en metodologas de costo-benecio y en la lgica de la reduccin del gasto social y el ajuste presupuestario. Su capacidad para dar cuenta de los efectos sociales y de las polticas sociales y econmicas.

UN MARCO CONCEpTUAL pARA LA EVALUACIN Y EL MONITOREO1: LA GESTIN INTEGRAL DE PROGRAMAS SOCIALES ORIENTADA A RESULTADOS
La Gestin Integral de Programas Sociales Orientada a Resultados propone articular los procesos de planicacin, ejecucin y evaluacin de los programas sociales para mejorar su gestin y aumentar sus resultados e impactos en la poblacin en situacin de pobreza, vulnerabilidad y exclusin social.

Es un proceso permanente porque la gestin es el desarrollo completo de toda la vida del programa social, desde el momento en que se identica y delimita el problema que le da origen hasta el momento de evaluacin de los impactos que este programa gener en la poblacin objetivo. Tiene un carcter integral que se verica en el desarrollo y la relacin continua de los tres procesos de la gestin de un programa: la planicacin, la ejecucin y la evaluacin de sus acciones dirigidas a transformar un problema social determinado. Se orienta a lograr resultados. La nalidad fundamental del programa social es solucionar o transformar, con eciencia y calidad, los problemas especcos de las poblaciones del pas, por lo tanto, la gestin es el proceso operativo que permite identicar, viabilizar, concretar y evaluar los resultados que superen, efectivamente, esos problemas.

1 Aqu se presenta un resumen de las principales herramientas de evaluacin. Para una caracterizacin ms extensa, ver Novacovsky y Chvez (1999).

134

Bernardo Kliksberg y Marcia Rivera

La concepcin de evaluacin se centra fundamentalmente en el anlisis de resultados; es decir, en la produccin de informacin pertinente para conocer si las prestaciones de los programas sociales llegan efectivamente a las poblaciones objetivo, si su calidad es adecuada, si su costo reeja la utilizacin eciente de los recursos pblicos y si esas prestaciones estn modicando las condiciones de vida de esas poblaciones. La evaluacin de resultados no descuida la evaluacin de procesos, ya que para obtener resultados de calidad, hay que generar procesos de calidad.

LA CONCEpCIN DE LA EVALUACIN EN LA GESTIN INTEGRAL

La evaluacin de un programa-proyecto social es la indagacin y valoracin continua de los procesos y los resultados de la planicacin y de la ejecucin del programa con el n de retroalimentar la gestin del mismo. Es concebida como un proceso permanente que se inicia en el mismo momento de identicar el problema que da origen al programa-proyecto y acompaa toda la vida de ste, utilizando sus resultados como insumos de la gestin, al proporcionar informacin que permita modicar, redimensionar o ampliar lo planicado y lo actuado. Es una herramienta de capacitacin para mejorar la gestin de las organizaciones y los proyectos por lo cual se privilegia la generacin de mecanismos de autoevaluacin. La evaluacin as planteada se diferencia de una mera accin de control o scalizacin externa del programa, convirtindose en una actividad que aprovecha la experiencia de lo actuado, y es propia del equipo de gestin. Si no se separaran claramente estos conceptos se corre el riesgo de impedir el desarrollo institucional. La evaluacin es, tambin, una herramienta para permitir el rendimiento de cuentas a la sociedad y desarrolla la autorresponsabilidad. Es un proceso a travs del cual la responsabilidad institucional se traduce en compromisos cuanticables y con signicado pblico. La informacin se convierte en un elemento que habilita la participacin y construye ciudadana. La esencia del cambio de paradigma en evaluacin es medir resultados en trminos de demandas y problemas resueltos. Esto implica dejar las prcticas aisladas de evaluacin ex ante y ex post para insertarse continuamente en la accin, constituirse en un proceso de aprendizaje que permita mejorar la toma de decisiones y la gestin, que promueva el debate, la reexin y fomente la cultura de la autoevaluacin, desarrolle capacidades e involucre permanentemente a todos los actores. Evaluar tiene que servir entonces para resolver problemas, tomar decisiones, abogar por las convicciones, documentar las actividades, los resultados y los impactos, obtener y defender el presupuesto, es decir, permitir el crecimiento de las instituciones.

135

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

HERRAMIENTAS pARA LA EVALUACIN Y EL MONITOREO DE pROGRAMAS SOCIALES EN EL MARCO DEL pROYECTO DE COMUNIDADES ESpECIALES. CUESTIONES METODOLGICAS, REFLEXIONES Y pROpUESTAS
Existen distintas herramientas posibles de ser aplicadas para realizar las actividades evaluativas, relacionndolas con el momento o estadio de la vida de un programa (planicacin, ejecucin y nalizacin). Segn el momento del programa-proyecto, las herramientas propuestas para la evaluacin del mismo no son excluyentes sino, por el contrario, son complementarias y contribuyen al conocimiento ms amplio y profundo de su situacin. Por ejemplo, durante la ejecucin pueden detectarse, a travs del monitoreo permanente de las acciones, dicultades en la implementacin que requieran una evaluacin ms profunda, desde la perspectiva institucional y/o desde la perspectiva de los beneciarios del mismo, que permitan determinar dnde se originan esas dicultades y qu hacer para solucionarlas. La evaluacin se inicia en el mismo momento en que se identica el problema que da origen al programa, y acompaa toda la vida del mismo. Las evaluaciones ex ante son las herramientas privilegiadas para la evaluacin de la planicacin del programa, atendiendo a su factibilidad y viabilidad. Las evaluaciones diagnsticas y las evaluaciones desde la perspectiva de los beneciarios, junto con el monitoreo, constituyen las evaluaciones del proceso de ejecucin por excelencia. Finalmente, las evaluaciones ex post son las que corresponden a la nalizacin del programa, y analizan los resultados nales e impactos que el mismo gener en su ejecucin. Especcamente, las evaluaciones de proceso indagan sobre el logro de resultados de medio trmino y su relacin con la forma en que se est ejecutando el programa, atendiendo a sus componentes, actividades, tareas, recursos, presupuesto. Su nalidad es garantizar informacin sobre el proceso de ejecucin, que brinde insumos para la toma de decisiones con respecto a la eciencia de la inversin social que implica el programa. En tal sentido, requiere, en tanto proceso de evaluacin, de la construccin de juicios valorativos por parte del evaluador, as como de la toma de decisiones por parte de la autoridad pertinente para alimentar o retroalimentar la gestin del programa social.

136

Bernardo Kliksberg y Marcia Rivera

Cuadro 1 La evaluacin y el monitoreo en la gestin de los programas sociales

Momento del programa-proyecto Herramientas de evaluacin
Evaluacin ex ante

Objetivos

Cundo utilizarla

Evaluar la viabilidad del programa en Desde la identicacin de las actrminos nancieros, polticos e ins- ciones hasta la nalizacin de la titucionales, priorizando y seleccio- planicacin del programa. nando las acciones que racionalicen la inversin. Es informacin referida a los valores ini- Finalizado el proceso de planiciales de los indicadores del problema cacin. que dio origen al programa-proyecto y que se construyen durante la delimitacin del problema. Constituye un parmetro indispensable para poder evaluar los impactos de la intervencin al permitir comparar las situaciones antes, durante y despus de su ejecucin. Programar las actividades, sus metas y productos de manera anualizada, constituyendo la base para el monitoreo. Dos meses antes de iniciarse cada ao, con un ajuste semestral, a la luz de los resultados del monitoreo.

Lnea de base Planicacin del programa

Plan operativo anual

Monitoreo

Indagar y analizar permanentemente el Permanentemente durante toda la grado en que las actividades realizadas ejecucin del programa. y los resultados obtenidos cumplen con lo planicado, con el n de detectar oportunamente eventuales deciencias, obstculos y/o necesidades de ajuste en la ejecucin. Evaluar con profundidad desde la perspectiva institucional y en un momento determinado el desempeo del programa en todos sus niveles. Evaluar las caractersticas de implementacin del programa y los resultados obtenidos a partir de la percepcin de los beneciarios. Durante la ejecucin del programa, cuando existe la necesidad de profundizar el conocimiento sobre el desempeo de ste. Durante la ejecucin del programa, cuando existe la necesidad de profundizar el conocimiento sobre su implementacin y sobre los efectos de sta, segn los propios beneciarios. Inmediatamente despus de nalizada la ejecucin del programa. Tambin puede realizarse antes de la nalizacin del programa, despus de un perodo de tiempo de ejecucin que se considere pertinente para la obtencin de resultados, segn la naturaleza de los objetivos especcos planteadas. Un tiempo despus de nalizada la ejecucin del programa.

Ejecucin del programa

Evaluacin de medio trmino o diagnstica

Evaluacin desde la perspectiva de los beneciarios

Evaluacin de resultados

Evaluar el grado de cumplimiento de los objetivos especcos del programa.

Finalizacin del programa Evaluacin de impacto Identicar y explicar la modicacin de la situacin inicial, relacionada con el objetivo general del programa.

137

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

La lnea de base es la informacin referida a los valores iniciales de los indicadores del problema que dio origen al programa. Se debe construir durante la delimitacin del problema. Permite describir la situacin de la poblacin objetivo, comunidad, instituciones, localidad, regin, etctera, antes de comenzar a ejecutarse el programa, y es indispensable para poder evaluar sus impactos. Si bien cada programa tiene especicidades en cuanto a sus objetivos generales y particulares reas de impactos, instrumentos de relevamiento y seguimiento de su gestin, entre otros, existen actividades bsicas comunes a todos ellos que deben tenerse en cuenta para construir una lnea de base que sirva de insumo para la evaluacin de impactos: el diseo, la realizacin de la prueba piloto de la lnea de base y la instalacin de los instrumentos y sistemas de informacin, circuitos, procedimientos y normas para que el programa asuma su carga. Para ello es necesario:

Determinar las reas sobre las cuales el programa tiene previsto impactar. Por ejemplo: condiciones de pobreza, vulnerabilidad y exclusin de la poblacin, tasas de desocupacin, accesibilidad a servicios de salud, accesibilidad a infraestructura bsica y social, grados y modalidades de participacin y organizacin comunitaria, desarrollo de capital humano y social, fortalecimiento de la capacidad institucional, capacidad de articulacin e integracin de las intervenciones sociales a nivel del territorio, etctera. Determinar un sistema de indicadores clave o descriptores de los impactos previstos por el programa para cada una de las reas de impacto. Revisar y analizar los instrumentos que utiliza el programa basndose en su capacidad para captar los indicadores seleccionados y sus valores iniciales. Por ejemplo: gua de pautas para la elaboracin de los diagnsticos locales, gua de pautas para la presentacin de proyectos o propuestas, guas de pautas para la aprobacin de proyectos, diferentes tipos de intervencin o modalidades, gua de pautas para la evaluacin ex ante, sistemas de seguimiento del programa cha SISFAM de identicacin y registro de los beneciarios, diagnsticos institucionales, etctera. Readecuar y disear nuevos instrumentos, si fuera pertinente. Determinar el o los tipos de muestra que ingresarn a la prueba piloto en funcin de la disponibilidad de variables. En esta etapa la muestra debe considerar la representatividad en la tipologa de proyectos, en las variaciones locales a nivel de individuos,

138

Bernardo Kliksberg y Marcia Rivera

naturaleza de las comunidades, tipo de organizaciones que participan, estilos de gestin local, etctera.

Disear las tcnicas de relevamiento, incluyendo planillas de clculo u otro tipo de software, cargar la informacin a partir de los instrumentos pertinentes y realizar los ajustes que se consideren necesarios. Desarrollar y poner en marcha el sistema de informacin, procedimientos, normas para que la lnea de base pueda cargarse durante la ejecucin del programa, incluyendo el listado de indicadores para cada unidad de anlisis, su descripcin, categorizacin y la fuente de informacin de donde es posible extraerlo y actualizarlo peridicamente.

El Proyecto de Comunidades Especiales cuenta con un cmulo muy importante de informacin que permite construir el escenario que d cuenta de las condiciones iniciales en las que comenz a operar. Se ha elaborado con un perl socioeconmico de las comunidades, de sus pobladores, as como de las instituciones gubernamentales, ONGs y empresas privadas que operan en cada una de ellas. Esta informacin debidamente sistematizada y organizada alrededor de los indicadores clave de resultados e impacto que se esperan del Proyecto constituye la lnea de base. De todas maneras, la caracterizacin del T0 (situacin sin programa) podra ser perfectible, enriqueciendo los diagnsticos ya realizados con nuevas perspectivas orientadas a identicar con un nivel mayor de precisin los indicadores clave de resultado e impacto esperados por el programa en su totalidad y por cada una de sus reas programticas. ste es un tema central ya que constituirn los ejes de las miradas evaluativas durante toda la gestin del programa. Dichos indicadores deberan estar orientados a dar cuenta de las reas de impacto del programa:

Reduccin de situaciones de pobreza y vulnerabilidad social (aspectos demogrcos, de empleo, ingresos y educacin, bienes en el hogar, acceso a los servicios de salud, educacin, infraestructura bsica, etctera). Reduccin de los indicadores tomados en consideracin para caracterizar a una Comunidad Especial (presencia de 6 ms indicadores combinados). Reduccin de los dcits de vivienda, infraestructura fsica y ambiental de las comunidades. Reduccin de las inequidades de gnero.

139

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

Disminucin de las discriminaciones sociales. Grados de vinculacin entre actores (caracterizacin en general y casos particulares segn las Comunidades Especiales). Fortalecimiento de estrategias de asociatividad interinstitucional entre agencias del Estado en sus diferentes niveles sectoriales y jurisdiccionales. Consolidacin de alianzas intergubernamentales, pblico-privadas, Estado-ONGs, sustentables en el tiempo. Naturaleza y grado de modicacin una vez que el programa comenz a operar. Grado de incidencia del programa en el fortalecimiento de las capacidades comunitarias para la organizacin social y el desarrollo social y econmico. Desarrollo de las capacidades autogestivas y de apoderamiento comunitario. Sustentabilidad social, tcnica y econmica de la estrategia de intervencin y de los resultados de los proyectos. Grado de inuencia de la accin y participacin de las agencias estatales y municipales en la solucin de problemas. Medicin del efecto del trabajo de la Ocina en la reduccin de la pobreza de las Comunidades Especiales y en la creacin de capital social (grado de asociacin, conanza, ejercicio de derechos). Grado de incorporacin de voluntariado, desarrollo de redes y alianzas con mltiples actores, etctera. Cumplimiento de los derechos econmicos y sociales. Incremento en la construccin de ciudadana social. Medicin del estatus fsico actual de las comunidades, servicios que se prestan, medio ambiente, cambios ocurridos, qu queda por hacer. Cambios en la calidad de vida, capital social y desarrollo humano.

Los instrumentos cuantitativos y cualitativos a aplicarse en lo sucesivo deberan poder dar cuenta, en su totalidad, de los indicadores construidos para visualizar la incidencia del programa. Un tema central para legitimar la validez de las comparaciones entre resultados de los sucesivos relevamientos es el respeto de los marcos muestrales y sus solapamientos. La evaluacin de medio trmino o diagnstica es un tipo de evaluacin de proceso y formativa. Evala con profundidad el proceso de

140

Bernardo Kliksberg y Marcia Rivera

ejecucin del programa proporcionando informacin acerca de la eciencia y efectividad de la implementacin, gestin y sus resultados. Es una investigacin detallada que permite a los responsables contar con indicadores cualitativos y cuantitativos acerca de su gestin y resultados sobre la poblacin objetivo. Constituye uno de los principales insumos para la toma de decisiones relacionadas con ajustes en la planicacin, con eventuales replanicaciones y ajustes en los mecanismos de ejecucin. En ese sentido, permite detectar y analizar problemas y obstculos con miras a lograr un impacto ms signicativo del programa y una mayor ecacia y eciencia en la utilizacin de los recursos. Sus principales objetivos y aspectos centrales a indagar son:

Mecanismos institucionales para garantizar las resultados e impactos previstos. Resultados e impactos del programa a partir de su comparacin con la situacin inicial del programa (LB T0). Correspondencia entre los objetivos del programa y los requerimientos de los beneciarios. Posibilidad de constituirse en un insumo para el diseo de poltica sociales del Estado.

La evaluacin de medio trmino implica el anlisis del programa atendiendo al menos a los siguientes ejes:

Aspectos institucionales y mecanismos de ejecucin del programa: problemas u obstculos institucionales existentes, en los mbitos central y local, en la ejecucin del programa considerando la naturaleza de los diferentes efectores; articulaciones interinstitucionales a nivel central, provincial y local; ajuste entre la planicacin y la ejecucin del programa: adecuacin entre recursos e instrumentos adoptados por el programa y las necesidades a las que intenta atender; ajuste entre las estructuras nanciera y administrativa y pertinencia tcnica de los instrumentos, prestaciones y servicios del programa; caractersticas del modelo de gestin vigente en el programa en trminos de la dotacin de recursos humanos, procedimientos y normas de gerenciamiento vigentes, capacidad del programa para realizar las prestaciones; forma y caractersticas de las relaciones de los efectores con los destinatarios del programa. Estructura administrativo nanciera y ujo de fondos: normas y tramitaciones a cumplir para la adquisicin de bienes y/o

141

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

servicios relacionados con la ejecucin del programa; caractersticas de los circuitos tcnico-administrativos del programa; ciclo desde la asignacin hasta la efectiva ejecucin de los recursos disponibles y criterios con los que se establecen las necesidades presupuestarias; funcionamiento de los mecanismos y operatoria de transferencia de fondos para la ejecucin del programa; dicultades en la recepcin y ejecucin de los fondos; correlacin entre metas anuales y presupuesto anual; trabas burocrticas o de otra ndole para la operatoria de asignacin y transferencia de fondos.

Focalizacin: criterios y mecanismos de focalizacin; procedimientos e instrumentos empleados por el programa para alcanzar efectivamente a la poblacin objetivo; efectiva aplicacin de esos criterios de tal forma que la poblacin beneciaria se corresponda efectivamente con la denicin de la poblacin objetivo. Estructura de costos, eciencia y efectividad de los componentes del programa: eciencia y ecacia del programa en sus principales prestaciones y su relacin con los resultados e impactos del programa. Cobertura poblacional: brecha entre la poblacin denida como objetivo y la cobertura real. Registro de beneciarios: estrategias, instrumentos, procedimientos, recursos humanos y tecnolgicos utilizados para construir el registro de beneciarios y la capacidad de actualizacin de los mismos Accesibilidad: adecuacin de los requisitos y formas de acceso al programa; requerimientos institucionales y organizacionales necesarios para sostener y mejorar el acceso de los beneciarios del programa en el mbito local. Prestaciones del programa: provisin, frecuencia, oportunidad, calidad de los bienes y servicios. Resultados intermedios del programa: logro de metas de cobertura, fsicas y de resultados; adecuacin y pertinencia de las prestaciones del programa para transformar los factores crticos y, por tanto, para alcanzar los objetivos denidos por el programa al nivel de la poblacin objetivo (individuos, familias, hogares, comunidades, instituciones); identicacin de vacos, superposiciones y complementariedad de los bienes y servicios del programa con otras intervenciones nacionales, provinciales y locales; pertinencia del programa y su viabilidad y sostenibilidad para convertirse en poltica social del Estado.

142

Bernardo Kliksberg y Marcia Rivera

Para la realizacin de las evaluaciones de medio trmino ser necesario:

Determinar los aspectos centrales sobre los que se realizar la evaluacin y las unidades de anlisis. Determinar los niveles en que se desarrollar la investigacin de anlisis. Identicar los indicadores previos de la lnea de base y construir indicadores especcos para evaluar los aspectos centrales identicados. Identicar las estrategias de obtencin de la informacin, las fuentes ya disponibles y las tcnicas e instrumentos de recoleccin de nueva informacin. Elaborar la matriz de la evaluacin intermedia. Disear un plan de anlisis y sistematizacin de la informacin. Redactar los trminos de referencia.

Conscientes de la importancia de la evolucin, la OCEPR desde sus inicios comenz a elaborar algunos instrumentos y realiz varias de las actividades evaluativas descriptas anteriormente. Ello constituye un punto de salida sumamente importante. Adems, como parte de este esfuerzo de calibrar el impacto del Proyecto, se han efectuado: entrevistas en detalle a actores clave (funcionarios, lderes, alcaldes, empresarios, periodistas); se han realizado grupos focales con diversos sectores y se llev a cabo una extensa y completa encuesta a los pobladores y a los lderes de las comunidades. Ello, junto con los perles ya antes elaborados por la OCEPR, debe convertirse en la piedra fundacional del sistema de monitoreo y evaluacin permanente. Por otra parte, en este captulo se proponen indicadores precisos que con la informacin recopilada permitirn caracterizar los aspectos institucionales, el modelo de gestin, los mecanismos de ejecucin, etctera, para completar la mirada evaluativa. Las evaluaciones desde la perspectiva de los beneciarios incorporan la participacin de los destinatarios de los programas sociales como elemento articulador entre la oferta y la demanda. Se trata de una evaluacin de percepciones, conocimientos, prcticas y actitudes sobre:

Contribucin del programa al mejoramiento de las condiciones de vida de la poblacin. Percepcin de la adecuacin de las prestaciones, acciones del programa y operatoria.

143

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

Satisfaccin: oportunidad, frecuencia, calidad, pertinencia. Tipo de participacin y organizacin social. Identicacin de nuevas necesidades y demandas de la poblacin. Focalizacin y accesibilidad a la operatoria del programa.

El trabajo realizado como parte de esta evaluacin le ofrece al Proyecto de Comunidades Especiales una variedad de elementos para nutrir el proceso de evaluacin. La perspectiva de la gente y sus percepciones, recogidas en las encuestas, constituyen un insumo central para la coordinacin y los equipos tcnicos programticos. Se han utilizado las metodologas ms pertinentes (entrevistas en profundidad, grupos focales, reuniones, encuestas, observaciones en territorio). As se puede ir conociendo qu sucede con los pobladores de las comunidades, su grado de satisfaccin, los avances en la consolidacin de los procesos de participacin y organizacin social. El monitoreo de programas sociales desde la perspectiva de la oferta es un anlisis peridico de la ejecucin de un programa para establecer el grado de cumplimiento de lo planicado. Se considera una actividad desde la perspectiva de la oferta porque utiliza la informacin de los registros producidos por el propio programa en el mbito de la ocina central, de otros organismos involucrados, tanto federales como regionales y locales. El monitoreo permite la vericacin de:

Cumplimiento de metas peridicas. Grado de cumplimiento de actividades y tareas de cada componente. Grado de cumplimiento del cronograma de trabajo (planes operativos). Entrega de prestaciones.

El sistema contiene:

Indicadores: Proceso. Cobertura. Producto. Resultados. Contexto.

Informacin bsica a relevar para construirlos. Periodicidad del relevamiento.

144

Bernardo Kliksberg y Marcia Rivera

Instrumentos de relevamiento. Actores involucrados. Funciones y responsabilidades de involucrados. Circuitos.

En la seccin que sigue se realiza una propuesta preliminar para instalar un sistema de monitoreo permanente en la OCEPR. El monitoreo desde la perspectiva de la demanda es una evaluacin en el territorio desde la ptica de los actores sociales y los beneciarios de programas. Este tipo de herramienta permite:
1 Inmersin en el mbito local para reconstituir, describir y evaluar

los factores que determinan la dinmica de las polticas sociales en el territorio.

2 Mirada en el territorio sobre problemas y fortalezas en: Acceso. Circuitos. Calidad de las prestaciones: periodicidad, continuidad,

interrupcin, oportunidad. Satisfaccin de la demanda y caracterizacin de la demanda insatisfecha. Integralidad de las acciones en el mbito familiar y territorial. Cobertura. Superposicin, concentracin, vacos. Red de relaciones sociales. Caractersticas de la participacin y organizacin social a nivel local.

Es la estrategia de evaluacin la que permite completar el sistema de monitoreo del Proyecto (desde la perspectiva de la oferta y de la demanda). Es la mirada desde el territorio; all se reconstruye la ejecucin misma del programa en microescala, considerando a los pobladores, las instituciones en juego, los efectores, la estructura programtica como totalidad. Una cuestin central a considerar es el marco muestral y su seguimiento temporal. La o las comunidades seleccionadas operan como sitios centinela y deben tener los atributos de poder dar cuenta de las situaciones ms paradigmticas en la ejecucin de los diversos programas que coordina la OCEPR. Los sitios centinela deben ser constantes en las series de relevamientos temporales. La evaluacin nal de impactos ex post analiza en qu medida el programa ha generado cambios relevantes en las condiciones de vida de

145

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

la poblacin beneciaria y ha contribuido a transformar positivamente los factores crticos sobre los que la intervencin pretenda incidir. Es insumo para la identicacin, planicacin y gestin de nuevos programas y polticas sociales.

ALGUNAS CONSIDERACIONES pARA LA CONSOLIDACIN DEL SISTEMA DE EVALUACIN Y MONITOREO DEL PROYECTO DE COMUNIDADES ESpECIALES
En primer trmino, cabe destacar que se cuenta con un caudal de informacin muy vasto que alcanza a prcticamente todas las reas programticas. Una tarea primordial para organizar el sistema de evaluacin y monitoreo es analizar la utilidad y pertinencia de cada uno de los instrumentos a la luz de los requerimientos de evidenciar los resultados e impactos del programa. La informacin producida por los equipos de la OCEPR tiene ms la mirada puesta en los procesos y en el cumplimiento de metas de desempeo que en los resultados e impactos de corto y mediano plazo. De ah que tengan el desafo de poder demostrar que es la mejor alternativa de poltica social del Estado, a partir de su estrategia y enfoque en el fortalecimiento de la participacin ciudadana como mecanismo de inclusin social y en el cambio en los diseos institucionales para promover procesos de rendicin o accountability. La evaluacin de medio trmino debera tener un nfasis especial en el anlisis de la institucionalidad del programa, ya que constituye una nueva forma de hacer polticas sociales en el pas con el concurso de estrategias intersectoriales. Existen numerosos instrumentos de relevamiento de informacin cualitativa y cuantitativa (diferentes guas de pautas de grupos focales para diferentes actores, cuestionario para los lderes comunitarios y los residentes de las comunidades y su caracterizacin socioeconmica infraestructura fsica, social y de viviendas, modelo de evaluacin y seguimiento de las actividades de los componentes de la organizacin comunitaria, autogestin, desarrollo socioeconmico, seguimiento de las actividades nanciadas con el fondo del Fideicomiso Perpetuo, modelo de entrevistas a actores clave, registros de observaciones en terreno, etctera). Sera muy til realizar un ejercicio para disear, organizar y preparar el sistema de evaluacin, sacando el mayor provecho posible a lo que ya se ha construido, aplicado y procesado, y por otra parte, identicar con suciente precisin cules sern los instrumentos que habr que completar o disear (cuantitativos y cualitativos). El ejercicio podra contener las siguientes actividades:

146

Bernardo Kliksberg y Marcia Rivera

Identicar para cada componente del Proyecto las dimensiones que ingresarn al estudio. Para hacer este ejercicio ser preciso identicar las dimensiones sobre las que se espera tener incidencia. Identicar para cada una de las dimensiones seleccionadas la batera de indicadores clave de resultados e impactos operacionalizados y su unidad de anlisis. sta es la parte ms sustantiva del ejercicio en la medida que se ha observado, por ejemplo, que se han diseado y aplicado una gran cantidad de preguntas para caracterizar el fortalecimiento del capital social, los estilos, tipos, grados de participacin ciudadana en las diversas posibilidades que ofrece el programa a los residentes de las comunidades, etctera. La informacin relevada debera servir de base para construir algunos indicadores resumen que den cuenta de los resultados e impactos en ese sentido. Los indicadores resumen podran estar categorizados. El encadenamiento del Proyecto se reeja en la cantidad de metas establecidas para cada una de las reas programticas y sus respectivos componentes. Debe analizarse este encadenamiento para identicar cules de ellas se corresponden con resultados e impactos de las intervenciones y cules de ellas constituyen medios para lograrlas. Esta situacin determina que algunos de sus indicadores sern de efectos y otros sern de procesos. Identicar cules de los instrumentos de relevamiento de la informacin disponible permite construir cada uno de los indicadores identicados o, en su defecto, qu instrumentos debern construirse o ampliarse. Un indicador puede ser relevado por ms de un instrumento, por lo que habr que triangular la informacin Identicar los indicadores clave para la evaluacin de la gestin (diseo, ejecucin y resultados intermedios y nales) del programa y los proyectos incluyendo el anlisis de la estructura de costos, el costoeciencia y el costo-ecacia de cada una de las intervenciones. Los impactos de las acciones de capacitacin que ha aplicado el programa podran reejarse en los valores que asumen los indicadores que se considerarn en cada una de las dimensiones clave. Generar una matriz con la informacin de los puntos anteriores. Dicha matriz ser el punto de referencia de la evaluacin del programa. Si se construyeran grupos de control, se debern relevar los mismos indicadores que para las Comunidades Especiales bajo programa.

147

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

La propuesta de diseo de esta matriz de indicadores clave del sistema de evaluacin de ninguna manera excluye el anlisis de desempeo, avances y logros que vienen desarrollando los equipos programticos del programa sobre todas las actividades puestas en prctica.

EL MONITOREO COMO SISTEMA DE AUTOEVALUACIN (AUTOMONITOREO) Y COMO SISTEMA ESTRATGICO DE EVALUACIN: UNA pROpUESTA pARA EL PROYECTO DE COMUNIDADES ESpECIALES
LOS INDICADORES

Los indicadores son esenciales para cualquier actividad evaluativa. Son rastros o seales que revelan cmo se comporta una variable en la realidad. Sirven para observar, medir y vericar los cambios cuantitativos y cualitativos que presenta, en determinado momento, cierta variable asociada a las caractersticas de uno o ms problemas detectados y sobre los cuales se pretende incidir. A travs de ellos, es factible conocer el grado de avance de un programa o accin, estableciendo comparaciones entre lo planicado y lo efectivamente realizado y obtenido, en trminos de sus actividades y procesos, productos, cobertura, nivel de alcance de los objetivos tanto generales como especcos, etctera. En la planicacin de un programa o intervencin, los indicadores permiten describir la situacin inicial y establecer y precisar las metas y resultados esperados en distintos momentos a lo largo de la vida del programa. En la evaluacin y el monitoreo, los indicadores guan el relevamiento de informacin pertinente, permiten establecer juicios de valor sobre la ejecucin del programa y facilitan la toma de decisiones de los actores que intervienen. Para la construccin de los indicadores, metodolgicamente hay que recorrer tres momentos:
1 Seleccin de la unidad de anlisis. Es la seleccin del elemento

mnimo de estudio, observable o medible, en un contexto y en un espacio dados. Por ejemplo, si se quiere establecer el grado de alcance de los resultados esperados, la unidad de anlisis sern los objetivos especcos del programa, cuya denicin ya contempla el contexto y el espacio.
2 Identicacin de las variables. Las variables son las caractersticas,

cualidades, elementos o componentes de una unidad de anlisis, las cuales pueden modicarse o variar en el tiempo. Siguiendo el ejemplo anterior, para identicar las variables se deben desglosar los objetivos especcos en sus componentes, elementos, atributos

148

Bernardo Kliksberg y Marcia Rivera

y/o temas relevantes, que en su conjunto constituyen los objetivos para los cuales se quiere construir los indicadores.
3 Denicin de los indicadores. A cada variable que se considere

relevante se le debe formular al menos un indicador, a travs del cual se pueda valorar y evaluar la dinmica de sta. Para ello, en el caso anterior, se debe convertir y expresar a cada variable relevante que conforman a los objetivos especcos en un patrn o categora de valoracin y evaluacin. Por ejemplo, si una de las variables seleccionadas es acceso a servicios nancieros uno de los indicadores relacionado pude ser cantidad y monto de prstamos desembolsados. Hay indicadores histricamente construidos, es decir, indicadores que han sido diseados con anterioridad y que pueden servir para evaluar algunos programas en determinados contextos. Pero no hay indicadores absolutos, o sea que ningn indicador sirve para evaluar todo programa y para todo contexto en el que se ejecuta. En esa medida, los indicadores requieren ser denidos tomando en consideracin el espacio, el contexto y la especicidad del programa que se evala. La seleccin de indicadores est relacionada con los distintos aspectos que conforman la intervencin. Es decir, puede determinarse la necesidad de monitoreo de los procesos internos (administrativos, contables, recursos humanos, etctera) y de los resultados que se obtienen a partir de sus acciones, la interaccin con otros programas o acciones, u otras cuestiones que se consideren importantes. Es necesario, entonces, un marco que identique tanto los aspectos de la intervencin como los indicadores a ser utilizados para cada caso. Para ello, se proponen cuatro categoras generales de indicadores para la evaluacin. Estas categoras, a su vez, tienen un encadenamiento lgico que se relaciona con la secuencia de causas y efectos de las instancias de un programa. Los indicadores pueden ser:

Indicadores de proceso: son aquellos indicadores que facilitan el seguimiento de la implementacin de las actividades. Estn estrictamente relacionados con la ejecucin de la intervencin y dan cuenta de su desempeo. Indicadores de producto: estos indicadores dan cuenta de la oferta de bienes y/o servicios brindados (caractersticas de las prestaciones, costo unitario, calidad, etctera). Indicadores de cobertura: dan cuenta de la relacin de las acciones con los beneciarios actuales y potenciales de sus prestacio-

149

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

nes, considerando el grado de alcance de las metas de cobertura planteadas, pudiendo incluir variables que reejen el uso efectivo y la accesibilidad a las prestaciones.

Indicadores de resultado e impacto: reejan el grado de alcance de los objetivos especcos y generales de la intervencin y las contribuciones del mismo a resolver directamente problemas y/o necesidades de la poblacin beneciaria.

OBJETIVO DEL AUTOMONITOREO

El automonitoreo consiste en la comprobacin peridica de la ejecucin de programas, y busca establecer el grado en que las actividades, el cronograma de trabajo, los productos previstos y otras acciones se cumplen acorde a lo planicado, de modo que al detectarse deciencias e incongruencias se puedan tomar oportunamente acciones correctivas. El automonitoreo es la vericacin continua de la realizacin de un plan, cuyos objetivos son:

Proporcionar informacin permanente a los responsables del programa acerca de hasta qu punto las actividades del mismo se desarrollan de la manera en que se las haba planicado y de qu forma se han utilizado los recursos disponibles. Facilitar a travs de lineamientos claros la tarea de modicar lo planicado.

Dado que no todos los aspectos del programa pueden ser determinados de antemano, ms an teniendo en cuenta que estos no son entidades cerradas, sino por el contrario, interactan permanentemente con el contexto socioeconmico y poltico en el cual estn inmersos, y con otros programas en vigencia, el monitoreo y las modicaciones que de l se deriven deben estar contemplados en el propio diseo de los programas. Es aqu, principalmente, donde el automonitoreo se diferencia de una actividad de auditora, ya que no se trata del control y scalizacin externa de los recursos ejecutados y disponibles, sino de una actividad evaluativa interna y permanente que toma como insumos la informacin cuantitativa y tambin la cualitativa, generada por la interaccin permanente con su contexto y los elementos que lo condicionan. Como actividad evaluativa constante de la gestin de cada programa, el monitoreo ayuda a lograr los objetivos en un marco presupuestario y temporal denido y es un recurso necesario para el perfeccionamiento del programa. No se pueden mejorar los programas a menos que se tenga informacin sobre sus puntos dbiles y fuertes, y sobre los medios a su alcance.

150

Bernardo Kliksberg y Marcia Rivera

DISEO DEL pLAN DE AUTOMONITOREO

Operativamente, para desarrollar una actividad de automonitoreo en los programas, deben tenerse en cuenta los siguientes puntos:
DETERMINAR

Quin necesita qu informacin. Para qu propsito. Con qu frecuencia se necesita. En qu forma se necesita. Quines estarn involucrados en el proceso. Recursos necesarios y disponibles.

Estas cuestiones nicamente pueden ser resueltas por las personas que llevarn a cabo la actividad, pero esa informacin determinar en gran medida todos los puntos considerados posteriormente y que completan las tareas necesarias para efectuar el monitoreo.
CONSTRUccIN Y SELEccIN dE LOS INdIcAdORES

Para llevar adelante la actividad de monitoreo, es necesario denir el conjunto de indicadores que sern monitoreados y a travs de los cuales se obtendr la informacin necesaria acerca de la marcha de las acciones del programa. Por tal motivo, la construccin y seleccin de esos indicadores es una instancia relevante dentro del proceso, en la cual se debe decidir qu es lo que se quiere evaluar y por medio de qu informacin.
PERIOdIcIdAd dEL RELEVAMIENTO

La periodicidad en el relevamiento de la informacin de los indicadores estar condicionada principalmente por tres factores:
1 El tipo de indicador: existen indicadores que, por la naturale-

za de las variables que miden, para ser efectivos requieren una periodicidad en el relevamiento distinta de otros. Por ejemplo, los indicadores referentes al cumplimiento de la programacin presupuestaria pueden ser relevados trimestralmente, en cambio aquellos referentes a los resultados obtenidos por la implementacin del programa es probable que deban ser relevados anualmente o al menos semestralmente.
2 Las caractersticas del programa: las caractersticas propias de cada

programa tambin pueden inuir en el relevamiento de algunos

151

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

indicadores. Por ejemplo, en un programa de servicios agropecuarios, donde una de sus prestaciones es la entrega de insumos bsicos para la produccin, el indicador de oportunidad del producto (bien o servicio entregado) ser pertinente relevarlo teniendo en cuenta la iniciacin y duracin de los ciclos productivos. En otros casos, la ejecucin de actividades esenciales de un programa responde a los tiempos contemplados en su cronograma, construido de acuerdo a las necesidades del mismo, por lo que el indicador correspondiente al cumplimiento de la programacin de esas actividades deber tener una periodicidad de relevamiento acorde al cronograma previsto.
3 La necesidad de informacin: si bien generalmente se considera que

los resultados de la actividad de monitoreo deben ser trimestrales, o a lo sumo semestrales (aunque teniendo en cuenta los dos puntos anteriores, esto no sea para todos los indicadores), tambin aqu inuye la necesidad de la informacin por parte de quienes la requieren, lo que determinar a su vez la periodicidad del relevamiento. Por ejemplo, uno de los instrumentos que la OCEPR desarroll, el estudio Perl socioeconmico de la poblacin residente en Comunidades Especiales, debe ser actualizado cada cuatro o cinco aos por la envergadura de la recopilacin de datos. Pero hay otros instrumentos que podran ser actualizados cada seis meses o anualmente. Lo importante es que las decisiones de la periodicidad se tomen con conciencia del costo, el esfuerzo y la utilidad de cada uno de los instrumentos segn los criterios que hemos esbozado.
SELEccIN dE MTOdOS pARA EL RASTREO dE LOS INdIcAdORES

Es relevante llegar a identicar los mtodos para rastrear los indicadores e informar sobre el progreso. Se pueden utilizar distintos mtodos, como por ejemplo: observacin, entrevistas, encuestas, informes de rutina, informantes clave, trabajo de campo, etctera. Se utilizan mtodos formales o informales, cuantitativos y cualitativos. El proceso de seleccin de los indicadores tambin se encuentra muy ligado a este punto, ya que al denir la inclusin de uno u otro indicador se debe contemplar las posibilidades reales de que ste pueda ser, en trminos metodolgicos, monitoreado y con la frecuencia que se dena.
ANLISIS dE LA INFORMAcIN Y pROdUccIN dE INFORMES

Finalmente, est la etapa de analizar la informacin relevada a partir de los indicadores seleccionados y con relacin a los objetivos del monitoreo. Es conveniente realizar un informe en el cual pueda elaborarse una sntesis de la informacin relevada, acerca de las actividades im-

152

Bernardo Kliksberg y Marcia Rivera

plementadas, los recursos involucrados y los resultados obtenidos en el marco del Proyecto. La estructura del informe puede estar basada en los indicadores seleccionados, es decir, que cada indicador que se incluya en la actividad de monitoreo podra ser un ttulo del informe.
ESQUEMA dE INdIcAdORES GENRIcOS pARA EL AUTOMONITOREO

Al nal de este captulo, en el Esquema preliminar, presentamos un esquema de indicadores genricos, a modo de propuesta, que puede ser empleado para el automonitoreo de los proyectos que coordina la OCEPR. Se encuentra organizado de acuerdo a las categoras descriptas anteriormente y contemplando que la periodicidad ideal para su relevamiento depender de las caractersticas del tipo de proyecto. Los indicadores propuestos deben someterse a un proceso de adaptacin a partir de las caractersticas y los mecanismos de ejecucin de cada proyecto, de forma tal que sea factible su implementacin y se contemplen las especicidades de cada caso.
EL MONITOREO ESTRATGICO

Una estrategia de intervencin basada en un conjunto de programas u acciones requiere del seguimiento permanente de la situacin de cada uno de ellos, as como de la ejecucin de las actividades propias de la coordinacin general. En ese contexto, es imprescindible que los decisores puedan contar con informacin permanente y relevante sobre tales cuestiones, a travs de la instalacin de un sistema centralizado de monitoreo estratgico. La informacin generada en el mbito de los programas u acciones debe proponerse superar el seguimiento estrictamente fsico-nanciero, por una alternativa que contemple tambin las caractersticas de las actividades realizadas, de los productos obtenidos y de los resultados alcanzados.

OBJETIVO DEL MONITOREO ESTRATGICO

A travs del seguimiento peridico de la ejecucin de los programasproyectos, proporcionar informacin permanente a las autoridades responsables acerca de las actividades realizadas, los recursos utilizados y los disponibles, y los resultados obtenidos, en relacin con lo planicado. A partir de ello, es factible detectar debilidades y fortalezas proporcionando un mayor nmero de elementos para la toma de decisiones sobre acciones futuras.

DISEO DE UN SISTEMA DE MONITOREO ESTRATGICO

El diseo para la instalacin de un sistema de monitoreo estratgico es uno de los puntos determinantes del xito o fracaso de esta actividad evaluativa. La envergadura del sistema, que debe reunir informacin

153

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

de distintos programas-proyectos en ejecucin, provoca que la complejidad en el diseo sea siempre mayor a la que resulta de una actividad interna de monitoreo de cada uno de ellos. La complejidad en el diseo y la operacionalizacin del sistema puede ser reducida si el monitoreo estratgico se implementa con intervenciones que ya realizan su propio automonitoreo de las acciones que desarrollan y esa informacin puede ser utilizada como insumo del sistema. En ningn caso se plantea que el sistema deba reemplazar al automonitoreo, sino por el contrario, deben complementarse. De todas formas, para la implementacin de un sistema de monitoreo estratgico se requiere que los programas-proyectos involucrados comiencen, si no lo hacen ya, a registrar informacin bsica con criterios homogneos, de manera ordenada y sistemtica de sus actividades, recursos y resultados obtenidos, la cual deber ser un insumo para la construccin de los indicadores del monitoreo estratgico. Se propone aqu un esquema para disear un sistema de monitoreo estratgico que pueda ser utilizado por la OCEPR, en el cual deberan tenerse en cuenta los siguientes puntos:
INSTANcIAS INVOLUcRAdAS

El primer punto que debe denirse es cules sern las instancias involucradas dentro del sistema y qu funciones y responsabilidades tendrn cada una de ellas. La resolucin de este punto determinar, a su vez, el circuito interno del sistema. En este sentido, la instalacin del sistema de monitoreo estratgico involucra las siguientes instancias a modo de ejemplo:

Equipo de trabajo, comisin tcnica u organismo responsable del sistema: se propone que se formalice una Unidad de Monitoreo, Estadsticas e Informacin en la OCEPR, integrada por recursos humanos con buena formacin en estadsticas y evaluacin. Las funciones de dicha unidad deben ser las siguientes: Establecer un esquema de indicadores genricos que integrarn el monitoreo, adaptarlos a las caractersticas propias de cada intervencin y denir el tipo de informacin bsica necesaria para construir los indicadores y la periodicidad del relevamiento de la misma. Consolidar en un mismo instrumento informtico de registro la informacin bsica requerida para la construccin de los indicadores del sistema (planillas de registro y consolidacin de la informacin bsica). Proponer, basndose en las necesidades de informacin de las autoridades, el diseo y contenido de los informes peridicos del sistema.

154

Bernardo Kliksberg y Marcia Rivera

Brindar apoyo tcnico para la implementacin del sistema, particularmente sobre el esquema de indicadores especcos, la informacin bsica requerida, la periodicidad de su relevamiento, la planilla de registro y consolidacin de la informacin bsica, el circuito de informacin y las caractersticas de los informes propios de cada rea programtica. Realizar el seguimiento de la actividad de monitoreo, de acuerdo a las condiciones establecidas y al cronograma de trabajo aprobado. Recepcionar y centralizar los informes de cada rea programtica conteniendo la informacin bsica requerida para la construccin de los indicadores del sistema. Procesar la informacin bsica relevada para construir los indicadores. Analizar el resultado de los indicadores en funcin de los requerimientos de las autoridades. Realizar los informes para cada perodo con la sntesis de la informacin que proveen los indicadores de monitoreo.

Unidades y divisiones responsables de las reas programticas: las funciones de cada una de estas unidades y divisiones que integran el sistema deberan ser las siguientes: Designacin de una persona responsable del sistema de monitoreo estratgico ante la Comisin Tcnica, quin deber hacer efectiva la entrega del informe en tiempo y forma conteniendo la informacin bsica requerida. Implementar un sistema de relevamiento y registro de informacin de la ejecucin de las reas programticas en funcin de las caractersticas de la informacin bsica requerida. Producir en tiempo y forma la informacin bsica requerida para la construccin de los indicadores del sistema. Elevar dicha informacin a la Unidad de Monitoreo, Estadsticas e Informacin de acuerdo al cronograma establecido.

PERIODICIDAD DEL SISTEMA

La periodicidad ideal contemplada en un sistema de monitoreo estratgico y, por lo tanto, de los informes producidos sintetizando el resultado de los indicadores es trimestral. Sin embargo, esto puede estar condicionado por distintos factores como la necesidad de informacin en tiempos distintos, el nmero de intervenciones y los recursos fsicos y humanos involucrados, la complejidad en el relevamiento de la informacin bsica requerida, etctera. De todas formas, seguramente no ser relevada la totalidad de los indicadores en todos los informes debido a que, por su naturaleza,

155

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

existen algunos de ellos (por ejemplo, indicadores de resultados que se consideran de aplicacin semestral o anual) que no justican una periodicidad trimestral. Por lo tanto, debe establecerse tambin la periodicidad para cada uno de los indicadores del esquema. Esto determinar cules de ellos integrarn cada informe. Para ello se adjunta el Anexo II en forma de matriz operacionalizada.
LOS INdIcAdORES dEL SISTEMA

Para la construccin y seleccin de los indicadores del sistema, se utiliza la misma metodologa y categoras denidas anteriormente. En este proceso, deben considerarse las caractersticas propias de cada rea programtica y el tipo de informacin bsica que les ser requerida a stas para la construccin de cada indicador. Ms adelante se presenta un esquema de indicadores tentativo para su utilizacin en el sistema de monitoreo de la OCEPR.
INFORMAcIN BSIcA REQUERIdA pARA LA cONSTRUccIN dE LOS INdIcAdORES

La informacin bsica requerida a cada unidad y divisin es la que permite que se puedan construir los indicadores en los distintos niveles de agregacin. Es el insumo principal del sistema, y debe ser responsabilidad de cada instancia involucrada realizar su entrega en tiempo y forma. En cada instancia se debe establecer el tipo de informacin bsica que ser requerida, la periodicidad y los instrumentos para que sta sea registrada de acuerdo a las necesidades establecidas en el diseo del sistema. Tanto el tipo de informacin bsica requerida como la periodicidad de su relevamiento estarn condicionados por los indicadores que se hayan seleccionado para el monitoreo y la periodicidad de aplicacin de los mismos.
DEFINIcIN dEL cRONOGRAMA dEL SISTEMA

Es importante denir un cronograma anual de las actividades que componen el sistema de manera precisa y que involucre a todas las instancias, a travs del cual queden establecidas las tareas y responsabilidades de cada una de ellas. El cronograma debe contemplar los tiempos para el relevamiento de la informacin bsica por parte de cada proyecto; el registro y consolidacin de esa informacin en los instrumentos determinados; el envo de la informacin bsica a la Comisin Tcnica; el procesamiento y construccin de los indicadores agregados por parte de esta ltima; y la produccin de los informes peridicos del sistema de monitoreo.

156

Bernardo Kliksberg y Marcia Rivera

ESQUEMA pRELIMINAR DE INDICADORES pROpUESTOS pARA LA OCEPR

Los indicadores estn organizados utilizando las categoras de proceso, producto, cobertura y resultados, tanto para la coordinacin general, como para las reas programticas.
REAS pROGRAMTIcAS

Organizacin comunitaria. Desarrollo socioeconmico comunitario. Coordinacin interagencial. Proyectos especiales. Infraestructura y vivienda.

PARA LA cOORdINAcIN GENERAL

1 Indicadores de proceso

Cumplimiento de la programacin presupuestaria: montos comprometidos y desembolsados con relacin a lo planicado. Total y desagregado por rea programtica y localizacin geogrca (regin y municipio). Gasto: gastos operativos/gasto total. Desagregado por rea programtica. Grado de cumplimiento de la programacin por actividades programadas, al nivel de la coordinacin general. Por ejemplo: Actividades de capacitacin del personal en reas programticas. Actividades evaluativas. Actividades de divulgacin. Tiempo real: tiempo empleado en la realizacin de actividades y procesos esenciales programados, respecto del tiempo previsto. Cumplimiento de la meta de cobertura, tomando en conjunto todas las reas programticas: Nmero total de personas beneciarias/nmero total de personas beneciarias proyectadas atender. Total y por localizacin geogrca (regin, municipio, comunidad). Nmero total de Comunidades Especiales atendidas/nmero total de Comunidades Especiales proyectadas a atender. Total y por localizacin geogrca (regin y municipio).

2 Indicadores de cobertura

157

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

3 Indicadores de resultados Alcance de los resultados esperados: resultados obtenidos

con relacin a las metas generales de la OCEPR. Total y por localizacin geogrca: Comunidades Especiales que se consideran organizadas y que actan bajo los principios de la autogestin (segn ndice). Comunidades Especiales donde se considera que un alto porcentaje de las familias ha mejorado social y econmicamente (variacin en principales indicadores sociales que caracterizan a las Comunidades Especiales). Comunidades Especiales que han sido rehabilitadas fsica y ambientalmente. Comunidades Especiales que presentan logros en ms de una meta de las anteriores. Grado de satisfaccin, aceptacin y reconocimiento de las Comunidades Especiales con las acciones de la OCEPR. Nivel de inversin realizada. Resultados no esperados: resultados obtenidos, positivos y negativos, no planicados. Total y por localizacin geogrca.

PARA LAS REAS PROGRAMTIcAS

1 Proceso Cumplimiento de la programacin presupuestaria: montos

comprometidos y desembolsados con relacin a lo planicado. Para cada rea programtica y desagregado por tipo de prestacin y localizacin geogrca.

Grado de cumplimento de la programacin por actividades esenciales: actividades ejecutadas respecto de las programadas, en el mbito de los planes operativos anuales de la unidad.

2 Cobertura Organizacin comunitaria: Reuniones de supervisin. Identicacin de comunidades. Conformacin de bases de datos. Realizacin de encuestas. Actividades de planicacin y revisin de acciones. Actividades de estimulacin a la participacin de

diferentes actores. Conformacin de la Red de Jvenes Facilitadores.

158

Bernardo Kliksberg y Marcia Rivera

Desarrollo socioeconmico comunitario: Identicacin y articulacin de recursos para facilitar el desarrollo econmico. Establecimiento de acuerdos con sectores privados. Diseos curriculares para capacitacin en diversas temticas. Actividades de instalacin y desarrollo de los CAADEC. Actividades de instalacin de los Centros de Capacitacin Familiar y Desarrollo Infantil. Coordinacin interagencial: Identicacin de agencias de colaboracin. Establecimiento de acuerdos con agencias. Actividades de promocin y articulacin con agencias. Proyectos especiales Actividades de instalacin de los Centros Tecnolgicos. Infraestructura y vivienda: Identicacin de prioridades (OCEPR). Elaboracin de planes (OCEPR). Coordinacin del presupuesto y las fuentes de nanciamiento (Agencia). Licitaciones (Agencia). Seguimiento de obras (Agencia). Supervisin de obras (OCEPR). Tiempo real: tiempo empleado en la realizacin de actividades y procesos esenciales programados, respecto del tiempo previsto. Cumplimiento de metas fsicas: nmero total de prestaciones realizadas/nmero total de prestaciones proyectadas realizar. Por tipo de prestacin y localizacin geogrca. Por ejemplo: Organizacin comunitaria Visitas comunitarias y eventos de promocin de organizacin. Por tipo de evento (conformacin de juntas, asambleas, reuniones, actividades de estimulacin, etctera). Eventos de capacitacin, por tipo de participantes y beneciarios; masicacin (lideratos, de base, etctera). Eventos de autogestin y apoderamiento. Por tipo de evento (encuentros de lderes, conformacin de redes, etctera). Eventos de participacin democrtica, movilizacin, experiencias de co-administracin, asambleas de toma de decisin.

159

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

Establecimiento de Comit de Trabajo. Instalacin y seguimiento de los CAADEC. Apoyo a la implementacin de proyectos de desarrollo comunitario. Actividades de promocin de alianzas. Desarrollo socioeconmico comunitario Eventos de capacitacin y asistencia tcnica para formacin de microempresas. Eventos de capacitacin y asistencia tcnica para la formacin de cooperativas. Identicacin de proyectos socioeconmicos comunitarios. Seguimiento de proyectos socioeconmicos. Eventos de promocin del empleo. Implementacin de programas de limpieza y conservacin del ambiente. Establecimiento de empresas de autogestin en las comunidades. Visitas comunitarias. Coordinacin interagencial Eventos de capacitacin y asistencia tcnica. Proyectos identicados. Proyectos en ejecucin con la colaboracin interagencial. Proyectos terminados con la colaboracin interagencial. Actividades recreativas, de fortalecimiento familiar, salubridad, seguridad pblica. Visitas comunitarias. Promocin y supervisin de las actividades en las Comunidades Especiales referidas a servicios de las agencias. Proyectos especiales Eventos de capacitacin y asistencia tcnica. Diseo e implementacin de proyectos socioeconmicos. Actividades de orientacin y promocin. Diseo e implementacin de programas de desarrollo social. Visitas comunitarias.

160

Bernardo Kliksberg y Marcia Rivera

Infraestructura y vivienda Proyectos iniciados segn tipologa (rehabilitacin de viviendas, viviendas nuevas, reubicacin, construccin y rehabilitacin de infraestructura por tipo). Grado de avance de las obras (al 25%, al 50%, al 75%). Proyectos terminados segn tipologa.

3 De productos Costo: costo unitario de la prestacin (por unidad de pro

ducto excluyendo los costos de gestin del programa): Organizacin comunitaria Costo promedio de los distintos tipo de eventos del rea. Desarrollo socioeconmico comunitario Costo promedio de los distintos tipo de eventos capacitacin y asistencia tcnica del rea. Costo promedio de instalacin de microempresas. Costo promedio de eventos de promocin del empleo. Coordinacin interagencial Costos promedio de los proyectos implementados (educativos, culturales). Costo de las actividades recreativas, de fortalecimiento familiar, salubridad, seguridad pblica, etctera. Costos de los referidos. Proyectos especiales Costo promedio de los CAADEC/por nmero usuarios en programas. Costo promedio de los Centros Tecnolgicos. Costo promedio de los Centros de Capacitacin Familiar y Desarrollo Infantil. Infraestructura y vivienda Costo promedio de los proyectos segn tipologa (rehabilitacin de viviendas, viviendas nuevas, reubicacin, construccin y rehabilitacin de infraestructura por tipo).

4 De calidad Caractersticas de la prestacin realizada y adecuacin a las

necesidades que intenta cubrir identicadas en la poblacin objetivo. Por ejemplo: Caractersticas de los eventos de capacitacin y su adecuacin con las necesidades identicadas. Caractersticas de los proyectos socioeconmicos. Caractersticas de los proyectos de vivienda e infraestructura.

161

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

Oportunidad del producto: tiempo y forma de entrega del producto. Se respetan las necesidades y tiempos de los beneciarios al realizar las prestaciones? Por ejemplo: Los eventos responden en tiempo y forma a las necesidades. Los proyectos se implementan en tiempo y forma, segn tipo de proyecto. Los acuerdos interagenciales se logran y cumplen en tiempo y forma. Cumplimiento de la meta de cobertura, para cada una de las reas programticas: Nmero total de personas beneciarias/nmero total de personas beneciarias proyectadas a atender. Total y por localizacin geogrca (regin, municipio, comunidad). Por ejemplo: Participantes en los distintos eventos de capacitacin y asistencia tcnica. Beneciarios de proyectos comunitarios. Beneciarios de proyectos de desarrollo econmico. Beneciarios de proyectos educativos y culturales. Beneciarios atendidos por los CAADEC y los Centros. Beneciarios de planes de vivienda: rehabilitacin, reubicacin y nuevas viviendas. Beneciarios de proyectos de infraestructura. Beneciarios de proyectos especiales. Nmero total de Comunidades Especiales atendidas/nmero total de Comunidades Especiales proyectadas a atender. Total y por localizacin geogrca (regin y municipio). Por ejemplo: Comunidades con necesidades identicadas y planes de desarrollo elaborados. Comunidades donde se desarrollaron acciones para la organizacin y la autogestin. Comunidades donde se instalan CAADEC y Centros. Comunidades con proyectos de vivienda e infraestructura. Comunidades con proyectos de desarrollo socioeconmico. Comunidades con proyectos educativos y culturales. Demanda: proyectos presentados/proyectos en curso/proyectos concluidos, por localizacin geogrca: Proyectos comunitarios. Proyectos de capacitacin y asistencia tcnica. Proyectos de desarrollo socioeconmico. Proyectos educativos y culturales. Proyectos especiales. Proyectos de vivienda. Proyectos de infraestructura.

162

Bernardo Kliksberg y Marcia Rivera

5 De resultados Alcances de los resultados esperados: resultados esperados

obtenidos en relacin con los objetivos de cada rea programtica. Por localizacin geogrca: Organizacin comunitaria Comunidades Especiales con Juntas Comunitarias organizadas e incorporadas. Reglamento y planes de trabajo elaborados. Incremento en la utilizacin de mecanismos e instrumentos participativos para la determinacin de planes de desarrollo comunitarios y para la resolucin de conictos. Planes de trabajo de las comunidades en diseo, en desarrollo y nalizados. Comunidades Especiales consideradas exitosas en la aplicacin del Modelo de Organizacin para el Apoderamiento y la Autogestin. Comunidades con CAADEC instalado y operando adecuadamente. Comunidades Especiales movilizadas por sus reivindicaciones. Desarrollo socioeconmico comunitario Microempresas promocionadas funcionando adecuadamente. Cooperativas promocionadas funcionando adecuadamente. Tasa de perdurabilidad de los emprendimientos. Puestos de trabajo generados. Incidencia en los ingresos de los hogares de la comunidad. Empresas de autogestin comunitarias promocionadas funcionando adecuadamente. Comunidades que mejoraron sus condiciones ambientales. Grado de satisfaccin de la demanda identicada. Coordinacin interagencial Variacin en la cantidad y tipo de agencias participantes. Recursos invertidos a partir de la coordinacin interagencial. Adecuacin de las acciones y los recursos provistos por las agencias en relacin con la demanda identicada en los planes sociales.

163

EL cAPiTAL SOciAL MOviLiZADO cONTRA LA POBReZA

Plan de desarrollo integral de infraestructura y vivienda (PDI). Proyectos especiales Grado de adecuacin de los CAADEC y los Centros a la estrategia de la OCEPR. Nivel de integracin de las comunidades con las actividades de los CAADEC y los Centros. Sustentabilidad de los proyectos especiales. Infraestructura y vivienda Comunidades con viviendas e infraestructura adecuadas. Inversin realizada. Porcentaje de ejecucin del Proyecto Mil Millones Grado de satisfaccin de la demanda identicada en vivienda e infraestructura. Plan de desarrollo integral de infraestructura y vivienda (PDI). Resultados no esperados: resultados obtenidos, positivos y negativos, no planicados. Por localizacin geogrca.

164