Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Esteban Nina Modelos de Evaluación
Esteban Nina Modelos de Evaluación
Evaluation Model Applied in the Evaluation of Social Policies and Programs in Colombia
Esteban Nina Baltazar
Recibido: 25/08/08 Aprobado evaluador interno: 28/09/08 Aprobado evaluador externo: 27/09/08
Resumen
Este documento presenta una aproximacin para determinar cules son los modelos de evaluacin aplicados en los programas sociales ms relevantes en Colombia, para lo cual se presentar una aproximacin a una comparacin conceptual y metodolgica de tres modelos predominantes: el modelo de evaluacin de consecucin de objetivos, el modelo de evaluacin de impacto y el modelo cualitativo participativo.
Abstract
This document is an effort to identify the models of evaluation applied in the most prominent social programs in Colombia. For this purpose, an approximation to a methodological and conceptual comparison of three predominant models is presented: the model of evaluation of attainment of objectives, the impact evaluation model, and the participatory qualitative model.
Artculo de reflexin que presenta una aproximacin para determinar cules son los modelos de evaluacin aplicados en los programas sociales ms relevantes en Colombia. El autor agradece los valiosos comentarios de Alfredo Sarmiento, Martha Pia, Mnica Andrea Pea y los comentarios de los dos rbitros annimos de la Revista Papel Poltico. Filsofo boliviano; magster en Economa, Pontificia Universidad Javeriana, Mgister en Desarrollo Regional, Universidad de los Andes. Actualmente es profesor investigador y director del Grupo de Investigacin Gobierno, Polcitas Pblicas y Pobreza de la Facultad de Ciencias Polticas y Relaciones Internacionales de la Pontificia Universidad JaverianaCorreo electrnico: enina@ javeriana.edu.co
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
449
450
Introduccin
El tema de la evaluacin de polticas y programas sociales se ha ido convirtiendo en la ltima dcada en un problema central de la accin o intervenciones gubernamentales. Esto principalmente por tres razones: la primera es que el desarrollo y progreso social que se viven en el nuevo milenio no aminoran la persistencia y severidad de problemas sociales: pobreza, exclusin y desigualdad. La segunda, a pesar de las innovaciones institucionales y programticas, las soluciones que se han puesto en marcha no arrojan los resultados esperados. La complejidad de nuestras sociedades, que presentan una muy desigual distribucin de las oportunidades, y de los problemas que ello genera, exige miradas ms rigurosas sobre las polticas y programas que se estn implementando. La tercera, se relaciona con la permanente escasez de recursos, cuestin que puede ser mejor enfrentada si la evaluacin permite asegurar el uso eficiente de los mismos. La funcin de evaluacin de las polticas pblicas, incluidos los programas sociales, se ha ido asentando lentamente en el sector pblico, el privado y en el amplio mundo de los organismos no gubernamentales del pas. El tema est instalado como necesidad en el sector pblico y como tpico de formacin y entrenamiento en el mbito acadmico y de las organizaciones no gubernamentales. La instalacin del tema tampoco ha significado borrar el estigma o fantasma de la evaluacin entendida como control y sancin, aunque, sin duda, para que los resultados de las evaluaciones tengan efecto, debe existir un sistema de premios y castigos (Wiesner, 1999). El ms efectivo, en nuestros pases, est asociado con las asignaciones presupuestarias. El fin principal de la evaluacin es el aprendizaje social de las formas que tiene el Estado en torno a los desafos sociales que impone el desarrollo: enseanzas que aporta la experiencia para hacerlo mejor, lograr polticas y programas ms efectivos, ms eficaces, ms eficientes, ms costo-efectivos, ms sustentables en el tiempo. La evaluacin alimenta la rendicin de cuentas, vela por el buen funcionamiento de las instituciones pblicas y sus polticas y programas, y ayuda a controlar los abusos. La diversidad de perspectivas y prioridades en la evaluacin deja en evidencia que la evaluacin no es solo un ejercicio tcnico. Tras esta hay siempre un marco de referencia, un punto de vista, un propsito, que son previos a las decisiones tcnicas y a la rigurosidad metodolgica. Estas decisiones intervienen despus, una vez definidos el propsito de la evaluacin y el parmetro o estndar segn el cual evaluar. Es tambin en ese momento que se define el tipo de evaluacin que se propone: evaluacin ex-ante o ex-post, de procesos, de resultados, de impacto, con diseo experimental, cuasi experimental o no experimental, de costo-efectividad u otras. Ms adelante en este documento se revisarn las principales metodologas de evaluacin. El presente texto tiene el objetivo de presentar una aproximacin para determinar cules son los modelos de evaluacin aplicados en los programas sociales ms relevantes
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
451
en Colombia, para lo cual en la primera parte se presentarn los tres principales modelos predominantes y, en la segunda, la aplicacin de estos modelos en la evaluacin de los principales modelos de evaluacin de programas en el pas. A continuacin se exponen los fundamentos conceptuales, metodolgicos y prcticos de los principales modelos de evaluacin de polticas y programas sociales. Para ello, se han tomado en cuenta principalmente los siguientes autores: Banco Mundial (1994), Raczynski-Serrano (2002), Baker (2000), Verdun (1997), Bamberger y Hewitt (1986), Cohen y Franco (1992), Valadez y Bamberger (1994), Nina (2007) y Sarmiento et al. (2005).
452
Debe estar destinada a todo tipo de intervenciones pblicas. Debe ocuparse del extremo final del ciclo poltico; es decir, de los resultados y consecuencias determinadas por la accin gubernamentales. Debe tambin poderse realizar antes, durante y despus del ciclo del programa; esto es, tiene un carcter prospectivo y retrospectivo. No debe limitarse solamente a la medicin cuantitativa del impacto sino tambin cualitativa. Los objetivos del programa no son los nicos patrones que permiten la actividad de comparacin y medicin. Debe responder a unos criterios mnimos de calidad en la recopilacin de datos y aplicacin de criterios de mrito y normas de rendimiento. Sus fines siempre deben estar encaminados a que las conclusiones obtenidas tengan aplicabilidad hacia el futuro. Por lo anterior, la evaluacin de polticas y programas sociales, para cumplir su
labor, debe tener claros los objetivos de su ejercicio; esto, teniendo en cuenta que no existe un modelo de evaluacin que logre cumplir a cabalidad todos y cada uno de estos requisitos. En el presente documento s se puede realizar, sobre estos parmetros, una comparacin de los tres modelos de evaluacin, la cual nos permita hacer un anlisis acerca de cules seran las ventajas y deficiencias en la aplicacin de estos modelos dentro de la administracin y gestin pblicas en el mbito gubernamental. Dicho anlisis se llevar a cabo teniendo en cuenta los denominados modelos de efectividad (Vedung, 1997), determinados por los siguientes modelos: el de evaluacin de consecucin de objetivos, el de evaluacin para la medicin del impacto, y el cualitativo participativo. Las razones de la escogencia de estos modelos objeto de comparacin estn determinadas por las siguientes circunstancias: Estos modelos estn centrados en la consecucin de una lnea de base que d pie al proceso de comparacin entre lo deseado inicialmente y los resultados fcticos del programa. El ejercicio as propuesto permite la diferenciacin entre los objetivos deseados, resultados y el impacto alcanzado. Esto se puede resumir en tres preguntas: Estn los resultados de acuerdo con los objetivos formulados? Son los resultados consecuencia del programa? Los beneficiarios estn satisfechos con los resultados de los programas? Estos modelos poseen un carcter analtico retrospectivo que da pie a recomendaciones sobre la efectividad de las polticas.
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
453
Estos modelos fueron aplicados en los programas sociales ms relevantes de la poltica social en Colombia.
454
De todas maneras, el juzgar los resultados de un programa a partir de los objetivos del mismo permite que la evaluacin se mantenga dentro de una postura objetiva y que el evaluador no pueda adoptar posiciones personales sobre los mritos y demritos del programa. Por otro lado, como la razn de ser de la evaluacin de impacto es precisamente examinar a qu se deben los resultados logrados, esta se enfoca en evaluar el impacto a travs de diferentes formas. La dificultad en este tipo de evaluacin se encuentra en la necesidad de escoger una variable que permita realmente evaluar el impacto del programa. Una manera para abordar este tipo de investigacin es mediante la creacin de escenarios contrafactuales, es decir, de escenarios proyectados hacia el futuro que evidencien lo que hubiera pasado si el programa no hubiera existido. Este escenario contrafactual se logra comparando a un grupo beneficiario (grupo de tratamiento) con un grupo equivalente de no-beneficiarios (grupo de control) (Nina, 2007; Vedung, 1997). Otra ventaja de la evaluacin de impacto es que posibilita observar los efectos colaterales, o los efectos no esperados de la intervencin. En muchos casos, los programas tienen consecuencias indeseadas que se salen de lo premeditado, consecuencias que a veces son de igual o mayor importancia que los resultados originalmente esperados. En este sentido, mientras que la evaluacin de consecucin de objetivos es ciega a estas eventualidades, la evaluacin de impacto posee herramientas para dilucidar estos efectos no previstos. El problema con la evaluacin de impacto es que, por lo complejo, requiere suficientes recursos y herramientas para una realizacin efectiva. Los altos costos, aunados a razones de carcter poltico relacionadas con la falta de disposicin por parte de los ejecutores para que se estudie la incidencia del programa, en muchos casos llevan a que no se escoja este modelo de evaluacin. Asimismo, este modelo implica un diseo metodolgico de mucha rigurosidad, sobre todo en la seleccin y seguimiento de los grupos de tratamiento y de control (Nina, 2007). Aqu encontramos dos obstculos para una evaluacin consistente. El primero, es el riesgo de que la seleccin del grupo est sesgada por falta de informacin o por cualquier otra razn. El segundo, tiene que ver con el denominado efecto Hawthorne o conejillo de indias. Este se refiere a que en algunas ocasiones el grupo de tratamiento vara su comportamiento al enterarse de que est siendo observado, lo cual termina afectando los resultados finales del programa (Vedung, 1997). La evaluacin de impacto es un proceso por el cual siempre se debe tener en cuenta el anlisis causal, mucho ms si est realizada con el fin de brindar bases hacia el futuro en cuanto a la adopcin de decisiones. Sin embargo, es importante tener en cuenta que todo programa tiene dos tipos de efectos (Vedung, 1997):
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
455
Directos: son resultado de la accin del programa y estn determinados por los objetivos formulados. Colaterales: pueden ser el resultado de la intervencin o de acciones concomitantes y simultneas que, en ltimas, afectan de manera directa el logro total. A estos dos tipos de efectos es lo que denominaramos, de manera total, como resultado general. Por tanto, para lograr tal medicin se realiza un ejercicio de comparacin entre lo real en un grupo beneficiario y una alternativa de referencia en un grupo control, que obedece a un patrn que sera el resultado de no haber aplicado la intervencin. La diferencia entre los dos resultados es el impacto neto. Esto lo podemos observar en el siguiente diagrama: Grupo experimental (GE T0) Intervencin Grupo experimental T1 (GET1)
Comparacin intertemporal
Estado inercial
Donde el impacto neto se pude calcular de acuerdo con la siguiente frmula: Impacto Neto = Dif GE (T1-T0) Dif GC (T1 T0) Por consiguiente, en la medicin del impacto neto, el objetivo est en determinar si el programa ha logrado los efectos deseados a nivel individual, familiar e institucional y, sobre todo, si estos son atribuibles a su intervencin. Los requisitos para la medicin del impacto son los siguientes: Definicin de una serie temporal de datos sobre un resultado real. Conocimiento del estadio previo a la intervencin y su modificacin posterior, a travs de una visin histrica. Definicin del grupo control con el cual se va a establecer el patrn de comparacin. El establecimiento del grupo control, precisamente, permite dividir al modelo de medicin de impacto en las siguientes categoras: a) Experimental o controles aleatorios: obedece a un proceso de comparacin, con la confeccin de un modelo experimental clsico donde se utiliza el azar como mtodo de aleatorizacin y control de variables. Es un modelo de comparacin contrafactual. Las ventajas de este modelo son:
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
456
Elimina los problemas de seleccin. No requiere ajustes estadsticos. Facilita la interpretacin del resultado final. Sin embargo, tiene las siguientes desventajas:
Est afectado por el efecto Hawthorne, que obedece al cambio en el patrn de comportamiento en el personal del grupo experimental. Es muy oneroso en cuanto a la planeacin y costos con respecto al resultado obtenido, lo cual le resta apoyo poltico. Presenta serias dificultades en el mantenimiento y la integridad de los grupos. Tiene implicaciones ticas sobre los experimentos sociales que no se pueden desconocer. b) Cuasi-experimental o de controles equiparados: no se crean grupos de manera
aleatoria, sino que se selecciona un grupo control lejano a la intervencin y que dentro de sus caractersticas se encuentren similitudes y coincidencias con el grupo experimental. Es un modelo de comparacin contrafactual. Las ventajas de la realizacin de un estudio sobre este modelo de evaluacin son las siguientes: Utiliza fuentes de datos existentes. Consume menos tiempo y es menos costoso que los diseos experimentales. No obstante, tiene las siguientes desventajas: Mantiene el problema de seleccin, ya que la comparacin se realiza sobre la base de un emparejamiento de caractersticas observables. Requiere una metodologa completa, en cuanto al conocimiento de procesos especializados de seleccin y equiparacin. c) No experimentales: mtodos de pareo en donde los controles se construyen a partir de un ejercicio de observacin de dos grupos, de los cuales uno acta una variable que determina un resultado pero que no esta en control del evaluador. Las ventajas de este procedimiento son: Realmente econmico de y fcil ejecucin. No tiene inestabilidad aleatoria. Aporta datos sobre evoluciones histricas en una cohorte determinada.
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
457
Pero tienen las siguientes deficiencias: Posee serias amenazas a la validez interna, toda vez que el resultado no siempre es atribuible a la intervencin. Los cambios observados pueden ser atribuidos a modificaciones en el registro de los datos, factor que no tiene relacin con el programa. La equiparacin de los grupos puede ser imperfecta, con aparicin de variables que se hacen manifiestas en controles posteriores de la evaluacin. La tendencia predominante en Amrica Latina es la evaluacin de impacto, como se puede observar en el enfoque que promueve el Banco Mundial, enfoque representado por el documento de Baker (2000). Este documento comienza por definir a la de impacto como una evaluacin que conviene hacer posterior (ex post) a la finalizacin del programa, y que se caracteriza principalmente por estimar el escenario contrafactual en el mismo sentido de la propuesta de Vedung; es decir, parte de un escenario hipottico que trata de medir el nivel de bienestar tanto en presencia como en ausencia del programa o poltica social cuestionando qu hubiera sucedido si este no se hubiese realizado. Determinar el escenario contrafactual requiere la comparacin entre el grupo de beneficiarios o personas que reciben la intervencin (grupo de tratamiento) y el grupo de aquellos que no participan de un programa ni reciben sus beneficios (grupo de control o de comparacin). En esta comparacin se supone que el grupo de control es semejante al de tratamiento, en varios aspectos, exceptuando que no participa del programa. Para seleccionar a los grupos se utilizan diversas metodologas que inciden en la definicin de la evaluacin de impacto, como son: diseos experimentales (aleatorios) y diseos cuasi experimentales (no aleatorios). Aqu, es importante destacar que la evaluacin de impacto es tanto cuantitativa como cualitativa y hace uso del mtodo participativo como uno de los instrumentos cualitativos que permiten complementar la medicin del impacto de un programa. Segn Baker (2000), el modelo de evaluacin se subdivide a su vez en varios submodelos, para una mejor medicin del impacto. En cuanto al mtodo experimental, se destaca que el grupo de control se selecciona mediante una asignacin aleatoria que permite evitar el sesgo de seleccin1, logrando que el efecto del programa sobre el
1 El sesgo de seleccin implica que existen elementos no observables (capacidad individual, disposicin al trabajo, vnculos familiares, condiciones preexistentes, entre otras) que afectan la muestra y sesgar los resultados. Tomado de Baker (2000, p. 12).
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
458
resultado que se evala se pueda medir a travs de la diferencia entre las medidas de las muestras del grupo de tratamiento y el de control. El mtodo cuasi experimental, por su parte, se realiza a partir de la seleccin de un grupo de comparacin, de forma no aleatoria, utilizando mtodos como (Baker, 2000, p. 15): a) la puntuacin de la propensin, que implica buscar variables caractersticas las cuales den una mayor probabilidad para que el grupo de comparacin sea similar y se parezca al grupo de tratamiento; b) de diferencia o diferencia de las diferencias, que compara un grupo de tratamiento con uno de comparacin, antes (primera diferencia) y despus de un programa (segunda diferencia); c) variables instrumentales o control estadstico, que usa una o varias variables que influyen en la participacin, pero no en los resultados de la participacin. Esto permite identificar las variables exgenas en los resultados que se atribuyen al programa de manera intencional y no aleatoria; d) comparaciones reflexivas, en el que se realiza una encuesta bsica o de referencia de los participantes antes de la intervencin (que permite establecer el grupo de comparacin), y luego una encuesta de seguimiento que permite medir el efecto de acuerdo con el cambio en los indicadores de resultados antes y despus de la intervencin. Como resumen de esta primera parte, dentro de un mbito de comparacin conceptual entre modelos, y de acuerdo con los objetivos propuestos en este documento acerca de la evaluacin, se puede decir lo siguiente: La medicin del impacto es una medida mucho ms amplia al tener en cuenta no solo la consecucin de los objetivos propuestos, sino tambin al realizar una valoracin de todos los efectos colaterales y del entorno a la aplicacin de la intervencin, y a otros elementos asociados, por lo que como elemento evaluativo cumple con la mayora de los fines de la evaluacin. Sin embargo, en comparacin con el mtodo de evaluacin por objetivos, la evaluacin de impacto es costosa, dispendiosa y onerosa. Adems, si se intenta la realizacin de un modelo experimental, esta no siempre es aplicable en los programas sociales y modelos de investigacin social. Adicionalmente, es un procedimiento que solo se puede aplicar cuando el proceso ha finalizado. En ese sentido, la evaluacin por objetivos s permite una actividad de monitoreo durante el transcurso del proyecto, en cuanto a cumplimiento de metas intermedias. Ambos modelos tienen carcter retrospectivo, ya que realizan una valoracin histrica del proyecto en comparacin con una lnea de base y una situacin que se pretende mejorar. Igualmente, permiten realizar unas recomendaciones de ajuste del programa o de poltica hacia el futuro, lo cual les permite ser elementos tiles dentro de la accin gubernamental. No obstante, como tienen elementos que en un momento dado pueden evidenciar fallos o desaciertos del programa, en la medida de lo posible son mtodos que deberan ser utilizados por organismos independientes de las instituciones gubernamenPap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
459
tales, de tal manera que se disminuya la posibilidad de falseo o manipulacin a la hora de evaluar los resultados y consecuencias de las polticas y programas sociales. Un punto a resaltar es que tanto el modelo de consecucin de objetivos como el de evaluacin de impacto no toman en cuenta como elemento principal la percepcin de satisfaccin los beneficiarios en la valoracin de los resultados del programa o poltica.
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
460
permite complementar el anlisis cuantitativo; de esta forma, la evaluacin participativa puede dar pistas sobre las preguntas clave de la evaluacin de impacto, permite conocer la estratificacin de la muestra cuantitativa y analizar el marco social, econmico, cultural y poltico en el que se desarrolla el programa. En la evaluacin participativa se supone que los evaluadores deben ser sensibles a las preocupaciones de los participantes y tener un contacto con los afectados e involucrados en el programa; para ello, se utiliza una serie de metodologas que permiten ese contacto entre el evaluador y los participantes, que van desde la observacin directa hasta la interaccin con los participantes por medio de entrevistas. Entre los mtodos ms destacados se encuentran (Moser, 2004): a) la evaluacin del beneficiario, que se disea a partir de una gua de entrevista la cual permite la recopilacin de la informacin a travs del dilogo entre beneficiarios y evaluadores, y luego los evaluadores analizan la informacin recopilada; b) evaluacin rural rpida (ERR) y valoracin rural participativa (VRP), que pone un mayor nfasis en la participacin de la comunidad y cuyo objetivo es lograr que la informacin pueda ser apropiada por los evaluadores para que estos se acerquen a las realidades de los participantes, de manera rpida y con eficiencia de costos, y mediante el uso de tcnicas verbales y visuales; c) El aprendizaje y la accin de participacin, que usa varias metodologas las cuales permiten la plena participacin de los implicados en el aprendizaje de sus necesidades, oportunidades y las acciones a emprender; d) la Sarar, una metodologa que utiliza la autoestima, la fortaleza asociativa, la recursividad, la planeacin de acciones y la responsabilidad, con el objetivo de construir capacidad local para planificar el desarrollo de la comunidad y crear conciencia sobre temas que la afectan; esta metodologa utiliza variados instrumentos participativos preparados por los evaluadores, como lo es la ayuda visual. Algunas caractersticas del mtodo cualitativo participativo son: Legitima la percepcin de los actores principales de los problemas sociales que deben ser abordados por los proyectos, dado que permite que aflore la vivencia y el conocimiento de estos actores. Permite profundizar en el conocimiento sobre los problemas sociales, porque el rol del evaluador cambia, en el sentido que este comparte las vivencias y el conocimiento de los actores sociales. Se requiere que el evaluador tenga un contacto directo con la poblacin beneficiaria. La evaluacin cualitativa de impacto permite que los datos emerjan y, en este sentido, que los resultados de la evaluacin sean crebles. La recoleccin de la informacin para hacer efectiva la evaluacin exige procesos participativos e inductivos, lo que garantiza un mayor acercamiento a la realidad.
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
461
En este tipo de evaluacin el entrevistador puede generar una mayor confianza y, por tanto, las respuestas de la comunidad estarn ms ajustadas a la realidad. Es posible que a travs de este tipo de evaluacin se pueda obtener informacin en distintos niveles y que surjan aspectos relacionados con el gnero, las relaciones y diferencias entre los grupos, etc.
La evaluacin participativa, caracterstica de este mtodo, puede generar mayor capacidad de apropiacin y gestin de los programas por parte de la comunidad. Desde el punto de vista tico, este mtodo es mucho ms consistente, en el sentido de que permite el acceso o participacin de los grupos beneficiados a los resultados de los programas ejecutados.
Es probable que la evaluacin no se limite a comprobar la consecucin de los objetivos del programa, sino que, de una manera amplia, sea posible identificar otras variables relacionadas con el programa.
Es muy frecuente el uso de la evaluacin cualitativa de impacto para complementar, perfeccionar, modificar o interpretar conclusiones derivadas del anlisis de otras metodologas.
2.1. Evaluacin de consecucin de objetivos del programa Bogota sin hambre (2004-2006)
En este apartado se presenta el programa Bogot Sin Hambre (BSH), de la actual administracin distrital, y la evaluacin que de este se desarroll por parte de Jairo Nez y Laura Cuesta, quienes para el momento de su realizacin hacan parte del Centro de Estudios de Desarrollo Econmico (CEDE) de la Universidad de los Andes. La evaluacin a la que se hace referencia fue contratada por la Personera de Bogot y abarca el periodo de 2004 a 2006; fue realizada durante la ejecucin del citado programa de la Alcalda de Bogot (Nina, 2007).
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
462
463
informacin acerca de la participacin en los proyectos, los procesos de inscripcin, priorizacin y seleccin de los beneficiarios, calidad y cantidad de los alimentos ofrecidos por BSH, infraestructura de los comedores, as como solicitudes, quejas y reclamos. La encuesta fue realizada a 3.924 personas, que corresponden al 7% del total de beneficiarios (54.238), todas mayores de edad, con el fin de obtener resultados objetivos. El ejercicio se llev a cabo en la ltima semana de mayo de 2006, y fue ejecutado por 75 funcionarios de la Personera, los cuales visitaron 169 comedores y mantuvieron una conversacin de 15 minutos con cada persona. A grandes rasgos, los resultados positivos de las encuestas indican que la mayora de la gente se enter de los beneficios del programa por un amigo, que los comedores se encuentran bien ubicados; asimismo, fue un porcentaje mnimo el que manifest mal trato y demora en los comedores; la mayora de los beneficiarios consider que los alimentos son de buena calidad y la cantidad es suficiente, y que BSH ha favorecido la economa familiar de la poblacin participante. Es pertinente aclarar que la evaluacin orienta al cliente slo evalu el eje social de BSH, ignorando la ejecucin de los proyectos del eje urbano regional.
464
3, al 2006 no existan datos que dieran cuenta del logro de esta meta. Para el objetivo nmero 4, hasta el ao de la evaluacin no se haba cumplido la meta. Los evaluadores afirman que este ha sido una de las debilidades de BSH. Finalmente, Nez y Cuesta sugieren unos indicadores extra para medir la evolucin del programa. Entre estos se destacan unos propios de la evaluacin econmica de polticas pblicas, que dan cuenta de la rentabilidad de la inversin en BSH. Finalmente, recomiendan la aplicacin de una evaluacin de impacto cuantitativa.
2.2. Evaluacin de impacto al Programa Nacional de Lucha contra la Pobreza: Familias en Accin
El programa Familias en Accin es un programa nacional que surge luego de la crisis social como efecto de la recesin econmica de 1999. Este programa fue apoyado por el Banco Mundial, el Banco Interamericano de Desarrollo (BID) y el Departamento Nacional de Planeacin. Estas mismas entidades contrataron a la firma privada Unin Temporal Econometra - Instituto de Estudios Fiscales de Londres para la Evaluacin Externa de los Impactos (Preliminares) del Programa Familias en Accin (DNP, 2004).
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
465
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
466
Evaluacin cualitativa al Programa de Vivienda de Inters Social (VIS) de la Red de Solidaridad Social
Esta evaluacin fue realizada por la Red de Universidades (Reunirse), lideradas por el Centro Interdisciplinario de Estudios Regionales (Cider) de la Universidad de los Andes. La evaluacin interinstitucional, especficamente, fue desarrollada por el investigador Ral Ernesto Crdenas y su equipo. Se trata de un evaluacin cualitativa; esto significa que est orientada al cliente, lo que se quiere medir es la satisfaccin del cliente y la capacidad de responder a los gustos, objetivos y expectativas, preocupaciones y necesidades de los beneficiarios; es descriptiva y se realiza expost y las actividades que comnmente se llevan a cabo tienen que ver con un anlisis a la oferta de los servicios ofrecidos (Vedung, 1997), en este caso en particular para la evaluacin se tomo como clientes al grupo de entidades y a los mismos
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
467
468
los mecanismos de participacin, el Instituto Nacional de Vivienda de Inters Social y Reforma Urbana (Inurbe) opin que la capacidad de los actores en las instancias donde finalmente se toman las decisiones no son para nada compatibles con las decisiones de los comits tcnicos y esto obstruye una buena focalizacin (Crdenas, 1999). Para los beneficiarios, se evaluaron subtemticas tales como las capacidades organizativas de las comunidades receptoras del programa, sobre todo en lo concerniente a la acumulacin de capital social y las potencialidades dirigidas a propiciar externalidades positivas en los procesos de organizacin comunitaria; sin embargo, los resultados an muestran debilidades en la sostenibilidad de dichos procesos de participacin luego de terminarse el proyecto. Otras subtemticas hicieron referencia al control entre las organizaciones y las entidades territoriales, la participacin y coordinacin entre Viviendas de Inters Social (VIS) y otros programas de vivienda, entre otros. Para las entidades territoriales, las temticas abordadas recogen el papel del alcalde como gerente y actor determinante en la gestin del proyecto y en la oferta institucional de gestin del municipio; es decir, que las instituciones acten de forma mancomunada; la desarticulacin desde el orden nacional frente a las gobernaciones y municipios, sobre todo en el tema de los desembolsos y la ejecucin de los proyectos, el papel de los comits tcnicos sectoriales en la localidad, la gerencia y los planes de desarrollo territorial, el poder local y el clientelismo, el papel de los Fondos de Vivienda de Inters Social (Fovis), entre otros. Este procedimiento podra resumir los pasos de la evaluacin: Trabajo sesiones. Cada participante recibi una propuesta con la hiptesis valorativa alrededor de los tems que tienen que ver con cada tema. Reflexin individual y crtica. Espacio de discusin por parejas, con un tiempo de 40 minutos. Plenaria. Conclusiones generales sobre la evolucin interinstitucional. Relatora del taller como insumo para entrega del informe. Entrega de informe final. Para finalizar, se presentar una breve comparacin entre la evaluacin de tipo cuantitativa y una cualitativa participativa. Las diferencias para ambos casos son muy marcadas, ya que en el modelo cuantitativo, por ejemplo, el aplicado en el programa Familias en Accin, se recoge informacin casi netamente estadstica, es decir, de manera agregada, generando as una serie de
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
469
datos operables aritmticamente, aspticos, externos al investigador y a los investigados, los cuales surgen de una realidad fctica (Alonso, 1998, p. 38). Para el caso de la evaluacin del Programa de Vivienda de la Red de Solidaridad Social se trata de indagar sobre una realidad simblica estructurada por significaciones y smbolos determinados en una discursividad, desde la perspectiva de lo que Habermas denominara el mundo de la vida, en donde se dan las relaciones cara a cara, dentro de una interaccin discursiva y sobre una accin comunicativa, en un escenario lingstico y semiolgico (Nina, 2007). En el primer caso, los datos implican una realidad manifiesta en donde los resultados son exteriores a las conciencias individuales, determinndolos como objetivos, situacin contraria al segundo caso, en donde opera ms una percepcin subjetiva, pero que corresponde ms al sentido mentado de los actores que externamente evalan un producto, bajo la recreacin discursiva con otros actores, tal como se realiza en los talleres temticos (Nina, 2007). En trminos operativos, la evaluacin cuantitativa realizada en el programa Familias en Accin tiene una mayor cobertura en la indagacin frente a los grupos temticos de viviendas de la Red, esto determinado por los estilos metodolgicos. En trminos de los impactos, se podra decir que en el programa de Familias se obtienen resultados de cobertura y asistencia, mientras que en Viviendas el resultado es ms sobre las externalidades que se generaron con el proyecto. Este ltimo caso permite correctivos ms estructurales que en Familias, ya que dirigira la mirada evaluativa hacia opciones relacionadas con el desarrollo y progreso social, y en beneficios en calidad de vida, entendida, como lo expresara Sen, como una expansin de las libertades individuales, mediante la generacin de una serie de logros y capacidades (Sen, 2000). Ha sido tal la influencia del positivismo en los procesos evaluativos que en el campo de las ciencias sociales se han venido utilizando modelos que se han trasladado de proyectos de ciencias exactas, lo que ha generado una serie de resistencias de los cientficos sociales, as como dificultades, puesto que esos modelos, a veces impuestos por las agencias de financiacin o cooperacin internacional, son poco adaptables en los escenarios sociales donde los proyectos tienen lugar (Nirenberg, Brawerman y Ruiz, 2000). Como recomendacin, se sugiere complementar ambas metodologas en la medida en que se tengan los recursos financieros y la logstica para hacerlo. Por ejemplo, la evaluacin del programa Familias en Accin puede complementarse con la realizacin de grupos focales de mujeres cabeza de familias, nios, padres o los mismos alcaldes, que ilustren su aprendizaje y empoderamiento gracias al programa; los cambios en las relaciones intrafamiliares; la reactivacin de las economas locales; los efectos en las relaciones entre las comunidades; la movilidad de las familias de las veredas hacia los cascos urbanos; el papel de los no beneficiarios; efectos no esperados; frustraciones de las familias; aumento de las capacidades de los individuos, en su hacer y su ser, y otros
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
470
asuntos que pueden relacionarse con las variables cuantitativas de la lnea de base y de la evaluacin de impacto.
3. Conclusiones
La escogencia de uno u otro modelo de evaluacin depende, en ltimas, de los criterios con que se quiera hacer la valoracin de un programa. Decir que un modelo es mejor o peor que otro, en abstracto, no tiene sentido. Siempre se tiene que pensar en los modelos aplicados a una realidad concreta y a un programa especfico. Cada modelo simplemente provee ciertos insumos que pueden servir o no en un determinado contexto. As, la evaluacin de consecucin de objetivos puede ser adecuada si se pretende dar cuenta de si los objetivos estn bien orientados o si deben ser ajustados para una prxima implementacin. De igual manera, la evaluacin de impacto puede ser importante en casos donde se est dudando del impacto real que est teniendo el programa, y donde existen otros factores que tambin pueden estar incidiendo en los cambios observados en ese contexto especfico. Asimismo, es importante realizar una evaluacin participativa cuando se busquen procesos democrticos de evaluacin de las acciones del Estado. Finalmente, algo que no hay que olvidar es que la escogencia de un modelo sobre otro es una decisin poltica y epistemolgica, en la cual se le est dando prioridad a cierta manera de conocer, o a veces de esconder, la verdad. La sociedad colombiana es compleja y diversa, por ello requiere un conjunto de metodologas de evaluacin que se complementen a s mismas, considerando la escasez de recursos para estos procedimientos. Una recomendacin, entonces, gira en torno a considerar la realizacin de evaluaciones que busquen valorar y rescatar la expansin de las capacidades humanas de los beneficiarios mucho ms all de que la valoracin de la cobertura de programa, que es factor importante; asimismo, que se busque una combinacin de metodologas que permita la ampliacin de los marcos interpretativos de la evaluacin de los impactos de las polticas y programas sociales; por ejemplo, desde una perspectiva incluyente de la percepcin de los beneficiarios considerados sujetos de la poltica pblica.
Referencias bibliogrficas
ALONSO, L. (1998). La mirada cualitativa en Sociologa. Madrid: Fundamentos. BAkER, J. (2000). Evaluating the Impact of Development Projects on Poverty. A Handbook for Practitionary. Washington: The World Bank. BAMBERGER, M. y HEWITT, E. (1986). Monitoring and Evaluating Urban Development Programs. World Bank Technical Paper Number 53. Washington: The World Bank.
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
471
BANCO MUNDIAL (2004) Seguimiento y evaluacin: instrumentos, mtodos y enfoques. Washington: Banco Mundial. CRDENAS, R. (1999). La evaluacin interinstitucional del modelo de gestin de los programas de vivienda de la Red. En Reunirse, Pobreza y vivienda de inters social en Colombia. Bogot: Universidad de los AndesCOHEN, E. y FRANCO, R. (1992). Evaluacin de proyectos sociales. Mxico: Siglo XXI. MOSER, C. (2005). Pueden los pobres influenciar las polticas? Bogot: AlfaomegaNINA, E; GARCA, A.; BAUTISTA, J.; CRDOBA, C. y BOTELLO, D. (2006). Evaluacin de impacto. Notas de clase del curso Evaluacin de polticas y programas sociales, Maestra y Especializacin en Poltica Social, Bogot, Pontificia Universidad Javeriana. (mimeo). NIRENBERG J; BRAWERMAN, J y RUIZ, V. (2000). Evaluar para la transformacin. Innovacin en la evaluacin de programas y proyectos sociales. Argentina: Paids. NEZ, J. (2006). Evaluacin Bogot Sin Hambre. Bogot: CEDE - Universidad de los Andes. RACzyNSkI, D. y SERRANO, C. (2002). La funcin de evaluacin de polticas sociales en Chile. Asesora para el Desarrollo (mimeo). SARMIENTO, A. et al. (2005). Evaluacin de la gestin de los colegios en concesin en Bogot 2000-2003. Archivos de Economa, DNP. Documento 291 (medio magntico). SEN, A. (2000). Desarrollo y libertad. Planeta. VALADEz, J. y BAMBERGER, M. (1994). Monitoring and Evaluating Social Programs in Developing Countries. Economic Development Institute of The World Bank. Washington: World Bank. VEDUNG, E. (1997). Evaluacin de polticas pblicas y programas. Madrid: IHP. WIESNER, E. (1999). Funcin de evaluacin de planes, programas, estrategias y proyectos. Serie Gestin Pblica N 4, ILPES. ZAPATA, J. G. (1999). Evaluacin de impacto del Programa de Mejoramiento de Vivienda Urbana de la Red de Solidaridad Social 1994-1997. En Reunirse, Pobreza y vivienda de Inters Social en Colombia.
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008