Evaluación de Proyectos Sociales

Módulo 2 del Curso
Evaluación de Programas y Proyectos de Desarrollo Humano Autor: Ricardo Villanueva Valverde

El objetivo del presente módulo es presentar y/o refrescar en los participantes nociones básicas de la investigación social que se emplean comúnmente en el diseño de estudios de línea de base y evaluación de programas y proyectos y que serán aplicados en el diseño de sus propios trabajos integradores en la tercera parte del curso.
2

1

CONTENIDO
Líneas de Base y Evaluación de proyectos. Elementos de la Investigación Social usados en estudios de líneas de base.

3

Evaluación:
cómo valorar los cambios sociales
En todo proceso de cambio social existe un margen de incertidumbre y de aleatoriedad. Las intervenciones apuntan a provocar ciertos resultados esperados, pero a su vez el entorno posee un dinamismo y las relaciones humanas están en constante cambio... Entonces una pregunta resulta pertinente: ¿cuando y cómo podemos atribuir determinado cambio como efecto directo de un proyecto?
4

2

Veamos el ejemplo de una problemática compleja en un entorno dinámico de cambio
Debilitamiento de capacidades protectivas de la familia nuclear en población vulnerable de áreas urbanas

Aumento de inseguridad económica en la población vulnerable

Valor de canasta de bienes y servicios básicos en constante aumento

Ausencia de políticas para mitigación de los estresores sociales y debilitamiento de redes sociales Incipiente nivel de estrategias de generación de ingreso familiar basadas en capital educativo

Inserción en mercado laboral en condiciones de precariedad persistente

Las flechas rojas indican las interacciones que se producen entre las variables, relaciones de causa-efecto o relaciones de influencia. Cambios en las variables del entorno ocasionarán cambios significativos. Mediante el uso del Marco Lógico hemos visto el procedimiento para identificar y aislar las variables que no son controlables por el proyecto. De tal manera que se puedan diseñar resultados realistas y viables. Como parte de la identificación del problema central -factores causales necesitamos recurrir a la investigación.
6

3

La evaluación también debe asegurarse de que la medición mantenga aisladas las variables del entorno. “Aisladas” en el sentido de asegurarse que los cambios puedan ser atribuidos eficazmente a la intervención del programa o proyecto.
Una vez que se ha cumplido con identificar y formular los indicadores de todos los niveles de la cadena de cambios, es necesario levantar información acerca del estado inicial del problema, es decir el valor actual de la variable clave delimitada en el propósito u objetivo específico del proyecto y de la situación en los indicadores del nivel de resultado. 7

La Línea de Base
La línea de base de la intervención, llamada también línea basal, es el procedimiento dentro del ciclo de la gestión del proyecto, por el cual se establece cuales son los valores de la situación que se pretende cambiar antes del inicio del proyecto, de tal manera que se pueda comparar con la situación al final del mismo.

8

4

Los proyectos sociales, o proyectos de desarrollo humano, se orientan hacia poblaciones objetivo, “beneficiarios”. Es decir los cambios se aprecian en los niveles de vida o bienestar de las personas. Es importante anotar que la observación de los cambios en las personas puede ocurrir en varios niveles y dimensiones, las cuales pueden tener diversos enfoques e instrumentos de análisis. Percepciones, conocimientos, actitudes, habilidades, comportamientos y estilos de vida son todos dimensiones con diferentes niveles de profundidad y formas de abordar.
9

La Línea de Base, Def.
“La línea basal consiste en determinar la
situación de la población objetivo en relación con las dimensiones o problemas que se desea afrontar al inicio de la intervención”
Carlos Aramburu (E. Vasquez et al. 2000) Tal como lo propone Carlos Aramburú, la línea de base es la mejor oportunidad para recoger información precisa tanto para establecer el punto de partida como para reconocer en detalle cómo se revela el problema en la vida y la percepción de la población y los actores participantes. 10

5

A diferencia de una investigación diagnóstica, la línea de base tiene definido de antemano cuales son los aspectos que debe medir y valorar, el margen para la exploración es mucho menor que aquella. Por consiguiente, el punto de partida del diseño de la línea son los indicadores. No se necesita elaborar hipótesis, aunque desde luego si existirá un marco conceptual que nos permita dar definiciones específicas a los indicadores y sus métodos de medición.
11

Elementos de Investigación Social usados en las líneas de base
El diseño de la línea de base debería seguir los pasos típicos de una investigación social, especialmente de la investigación orientada al diagnóstico. Es de vital importancia reconocer el tipo de información que será necesario analizar en la línea de base. El tipo de variables a investigar definirá si la investigación será enteramente cuantitativa, cuanti-cualitativa o principalmente cualitativa. Cada una de ellas definirá un tipo predominante de instrumentos.
12

6

Tipos de Diseño
Podemos diferenciar a los estudios en función del tipo de información a ser manejada, que a su vez implica el tipo de métodos a emplear.
Un estudio cuantitativo, incidirá en variables que se expresan numéricamente: nivel de ingreso, gasto mensual, cantidad de comidas al día, nivel de desnutrición, carga familiar, ingesta calórica, etc. Un estudio cualitativo incidirá en métodos que manejarán categorías usadas para indagar en las explicaciones que da el sujeto, sus actitudes, sus representaciones. Sus métodos son de tipo interpretativo. 13

Es importante no confundir el estudio de tipo cualitativo con las variables cualitativas. En la terminología de investigación clásica se suele hablar de variables cualitativas para referirse a cualidades o características de los sujetos. Estas se clasificarían en:
1.

Variable cualitativa ordinal: la variable puede tomar distintos valores ordenados siguiendo una escala establecida, aunque no es necesario que los intervalos que dividen la escala sean uniformes, por ejemplo, leve, moderado, grave. Variable cualitativa nominal: en esta variable los valores no pueden ser sometidos a un criterio de orden como por ejemplo los colores o el lugar de residencia, o las preferencias en el uso de métodos contraconceptivos. 14

2.

7

Como vemos de la anterior definición pueden existir estudios de tipo cuantitativo que puedan involucrar variables cuantitativas así como cualitativas. Lo que marca la diferencia es los métodos que emplearemos para manejar, analizar e interpretar la información. Sin duda en la investigación cualitativa predominará los métodos interpretativos: necesarios para construir y validar las escalas de medición, por ejemplo. A continuación observaremos diferentes tipos de variables.
15

Variable Número de miembros del hogar dependientes del jefe de hogar Participación de miembros de la comunidad en la elaboración del Plan de Desarrollo Concertado Participación de la mujer en la toma de decisiones del hogar Valoración de la autonomía personal en la crianza de los niños/ niñas Capacidades para la enseñanza de la lecto-escritura en aula

Unidad de análisis

Tipo de variable Variable ordinal

Hogar

Comunidad

Variable nominal

Hogar Hogar Sujeto

Variable nominal V. cualitativa ordinal V. cualitativa ordinal

8

Los estudios cualitativos suelen tener como objetivo hacer una aproximación descriptiva y exploratoria a aspectos difícilmente accesibles mediante métodos cuantitativos, por ello se les denomina estudios exploratorios. Una línea de base en cambio debe tener definidos de antemano los criterios de análisis-evaluación, pues su punto de partida son los indicadores, por definición cuantificables. La investigación podría indagar aspectos poco conocidos, pero sin duda no puede aplicarse un diseño exclusivamente cualitativo.
17

En los estudios de evaluación de proyectos sociales y desarrollo humano es común encontrar objetivos amplios e integradores. Ello implica el manejo y análisis de información de corte cuantitativo y cualitativo.
Generalmente la mejor opción es asumir un estudio cuanticualitativo, pues aunque predominen las variables expresables numéricamente siempre habrán criterios de evaluación que exigirán el uso de métodos interpretativos. 18

9

Antes de pasar a las siguientes páginas lea el material titulado:
“La Línea Basal” de Carlos E. Aramburú (en E. Vasquez et al. 2000: pags.90- 94)
Explica brevemente las estrategias de diseño de los procesos de evaluación: estudio de corte final y estudios comparativos con grupo control.

Fuentes de información complementaria:
Página web del Grupo de Evaluación Independiente del Banco Mundial sobre Herramientas de Evaluación.

19

Diseño de Línea de Base:

Esquema metodológico
Un esquema de diseño de línea de base debería cubrir los siguientes pasos:
Definición operacional de los indicadores. Definición de las unidades de análisis. Definición de la muestra Identificación de los métodos de recojo de información. Diseño de los ítemes de los instrumentos. Diseño del plan de recojo de información.
20

10

La definición de los indicadores
La elaboración de los indicadores constituye el primer paso y como tal su importancia es primordial, la calidad de todo el diseño y en conjunto del estudio, depende de la calidad de la formulación y el grado en que representan adecuadamente los objetivos y resultados esperados de la intervención. Veamos algunos ejemplos.
21

OBJETIVO DEL ESTUDIO
Determinar las condiciones iniciales del proyecto en relación a los indicadores objetivamente verificables del objetivo y resultados indicados formulados en la matriz de marco lógico del proyecto.

Objetivo del Proyecto
Mejorar los niveles de producción agropecuaria de manera sostenible para contribuir a mejorar la seguridad alimentaria y nutricional de las familias.

Variables del Estudio
Características sociales •Grado de escolaridad del jefe de familia •Ocupación del padre, madre de familia, e hijos •Características de la producción agropecuaria Manejo de Cultivos: •Cultivos que siembran en cada parcela •Rendimientos de los cultivos •Técnicas de fertilidad de Suelo •Técnicas de control de enfermedades y plagas •Técnicas de cosecha •Costos de Producción •Características de la organización para el riego.

11

OBJETIVO DEL ESTUDIO
Establecer un análisis situacional de riesgo ante una posible pandemia a influenza en el nivel nacional, regional, provincial y local con prioridad en las regiones seleccionadas.

Objetivo del Proyecto
Apoyar el desarrollo de planes y protocolos de preparación del sector para una pandemia de influenza en las áreas de salud con el propósito de reducir los riesgos presentes en las zonas seleccionadas con mayor vunerabilidad.

Variables del Estudio
•Condiciones del acceso a los servicios de salud de la población en mayor riesgo. •Prácticas de control y monitoreo sanitario de la población aviar •Disponibilidad de información sobre el tratamiento y acceso al tratamiento. •Capacidades de gestión de programas intersectoriales de respuesta y gestión del riesgo de los actores locales. •Capacidades de gestión coordinada de programas de respuesta de las instituciones regionales. •Recursos humanos existentes y movilizables en las instituciones.

OBJETIVO DEL ESTUDIO
Identificar los niveles de conocimientos y capacidades relevantes entre las mujeres emprendedoras que serán necesarios para el logro de los resultados respecto a sus emprendimientos personales y productivos y de su relación con los actores relevantes institucionales y del mercado de acuerdo con el marco lógico del proyecto

Objetivo del Proyecto
Promover del desarrollo de las competencias técnicas y empresariales de las mujeres de las comunidades en situación de pobreza de Carabayllo y Puente Piedra, para contribuir a una mejor calidad de vida de las familias.

Variables del Estudio
Socio-técnico-productivo: •Capacidades de mujeres emprendedoras en la gestión de emprendimientos con valor agregado •Habilidades sociales de las mujeres para su desarrollo personal y el ejercicio de sus derechos. Asociatividad y Cultura Crediticia: •Nivel de confianza mutua en grupo de pares con fines de emprendimiento. •Hábitos de manejo responsable de crédito. •Nivel de ahorro generado por las participantes como proporción del capital de trabajo. •Participación en mecanismos comerciales para el desarrollo de valor agregado de sus productos.

12

Como podemos observar cada uno de los casos aborda variables específicas en función del objetivo y resultados esperados de la intervención. La diferencia mas visibles es la unidad de análisis. En el primer caso se enfatiza en la unidad familiar-productiva, en el segundo caso, en los sujetos y redes de salud en la medida que se requiere analizar los sistemas de respuesta, y en el tercero, se enfoca en las participantes, pues el proyecto apunta a conocimientos y prácticas sobre microemprendimientos y el tercero. Esta relación entre variables y unidades de análisis tiene su correlato en la elección de los métodos de recojo de información. 25

Ahora veamos esta relación en un proyecto que tiene como variable clave el nivel de participación de actores sociales en la elaboración de políticas de salud.
“(el estudio) contempló la recolección de información de fuentes primarias y secundarias. Mientras estas últimas se basaron en el análisis documentario, las primeras incluyeron entrevistas y discusiones de grupo a informantes clave de instituciones del Estado y de las Organizaciones de la Sociedad Civil (OSC) relacionadas a la formulación de políticas vinculadas a mejorar el acceso y la calidad de los servicios en salud”
Fuente: CIES: http://observatorio.cies.org.pe/estudios/politicas-salud-seimerescobedo
26

13

Relación entre los indicadores y los medios de verificación
Los medios de verificación son básicamente las fuentes de donde se extraerá los datos para determinar o valorar los indicadores. La naturaleza de la variable y la unidad de análisis define la fuente de información y por supuesto el método de recojo de información. Recordemos siempre que la clave para encontrar el adecuado método de recojo de información es la definición operacional del indicador. Hablamos sobre este tema en el primer módulo.
27

Si comparamos las variables:
Nivel de ahorro generado como proporción del capital de trabajo Nivel de participación de actores sociales en la elaboración de políticas

Encontramos información de distinta naturaleza. Sin duda, el mas fácilmente accesible es el nivel de ahorro, una encuesta con preguntas directas a los participantes nos entregará el dato. En el caso del “nivel de participación...” es una variable compleja y que exige analizar percepciones y opiniones. Como hemos visto el investigador ha tenido que recurrir a entrevistas y grupos focales con distintos informantes.

14

Selección de los métodos de recojo de información
Los métodos de recojo de información se seleccionan en función de tres criterios: a) la naturaleza de los criterios de evaluación; b) las unidades de análisis del estudio; c) los recursos y tiempo disponible. Idealmente los estudios de línea de base y las evaluaciones deberían diseñarse fundamentalmente en función de los dos primeros pero a veces dadas las limitaciones habrá de incorporar el tercer elemento.
29

De acuerdo a la naturaleza de la variable y/o criterio de evaluación. Esta es la principal determinante de elección del método de recojo. Es evidente que una variable que aporta datos numéricos es fácilmente accesible a través de los métodos de recojo cuantitativos; estos son aquellas técnicas que permiten acumulan las observaciones de las unidades de información en forma numérica. Por ejemplo las encuestas, en las que los ítemes pueden ser tabulados y sumados, y luego se pueden procesar usando los típicos estadígrafos.
30

15

Los métodos o técnicas cuantitativas incluyen: Las encuestas Las listas de verificación o chequeo. Las escalas de diferencial semántico. Los cuestionarios autoadministrados.
Tomemos por ejemplo:
Criterio de evaluación Método de recojo Nivel de ahorro generado como proporción del capital Encuesta administrada de trabajo
31

Variables cualitativas complejas. Veamos ahora el caso de criterios de evaluación mas dificiles de abordar. Generalmente exigen recoger actitudes o comportamientos que pertenecen al ámbito privado y no son observable a simple vista o se presentan en espacios públicos especialmente configurados.
Un ejemplo:
Nivel de participación de actores sociales en la elaboración de políticas locales. En este caso para definir la técnica de recojo de información, es necesario llegar hasta el indicador, pues es el referente mas cercano a la realidad.
32

16

Criterio de evaluación Nivel de participación de actores sociales en la elaboración de políticas locales.

Indicador Número de ocasiones en que los/las dirigentes comunales participan en talleres o sesiones de trabajo sobre Presupuesto Participativo. Método de recojo Entrevista estructurada a informante clave.

Ahora bien, este indicador aporta solo información limitada.

Criterio de evaluación Nivel de participación de actores sociales en la elaboración de políticas locales.

Indicador Número de propuestas presentadas a talleres de elaboración del PDC1 que fueron discutidas por los miembros del comité de promotoras de salud y del Comité de Vaso de Leche. Método de recojo Entrevista semiestructurada a informantes clave.

Este indicador aborda una dimensión mas profunda del criterio, y exige un procesamiento mas complejo de la información.
1

Plan de Desarrollo Local Concertado

17

En función de las unidades de análisis En muchas ocasiones debemos ajustar la selección de los métodos a los tipos de unidades de análisis. Por ejemplo, es diferente recoger la información de un individuo, que obtenerla de un grupo de personas, tal como la familia. Un típico caso puede ser la composición del ingreso familiar. En este caso lo ideal será preguntar a los miembros del hogar en edad de trabajar su aporte específico – mediante una encuesta de hogares- o por lo menos al padre y la madre.
35

Otro ejemplo distinto, podría ser, la capacidad de ahorro del grupo solidario de mujeres emprendedoras. En este caso aunque se trata de una unidad de análisis colectiva, el recojo se podría realizar en forma individual, para luego agregarse la información de tal manera que la sumatoria represente al grupo. Siempre habrá que determinar cuidadosamente la técnica en función de cómo acceder mejor a la información que represente.

36

18

En función de los recursos disponibles.
A veces un estudio de LB o evaluación puede tener un marco de tiempo ajustado o recursos limitados. Por ejemplo, podemos disponer de pocos entrevistadores o el recojo debe hacerse en un distrito con dispersión poblacional y en poco tiempo. Entonces debemos reconocer estas limitaciones y estar dispuestos a hacer concesiones a la realidad con cierto desmedro de la rigurosidad. Realizar entrevistas grupales en vez de las entrevistas individuales puede ser una salida pertinente, o elegir encuestas –de menor consumo de tiempoen vez de las entrevistas.
37

Diseño de la muestra
El diseño del marco muestral y en particular del tamaño muestral exige un manejo técnico de elementos técnicos de la investigación social. En la siguiente lectura podrá encontrar información valiosa para realizar este diseño:
FAO. Manual DPCR: El estudio de línea de base en un Diagnóstico Participativo.
http://www.estrategiasdesarrollohumano.community.officelive.com/Documents /muestreo-%20en-diseño-de-la-línea-de-base.pdf

38

19

Ejercicio
En el documento “Guía de Evaluación del Desarrollo Institucional” se encuentran formulados una serie de indicadores aplicables para la autoevaluación de organizaciones orientadas al manejo de carteras de proyectos desarrollo. Elija cuatro indicadores de la sección “Modelo de Gestión” verifique que cumplan las condiciones de viabilidad (ver segunda parte del módulo 1). Elabore una tabla definiendo para cada indicador un método de recojo de información aplicable en la organización en la que actualmente trabaja. Use los criterios analizados en este módulo.

20

Sign up to vote on this title
UsefulNot useful