Documentos de Académico
Documentos de Profesional
Documentos de Cultura
IACC-2020
1
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
APRENDIZAJES ESPERADOS
El estudiante será capaz de:
IACC-2020
2
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
IACC-2020
3
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
INTRODUCCIÓN
IACC-2020
4
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
1. MONITOREO
La etapa de monitoreo es ejecutada mientras se encuentran en desarrollo las etapas de inversión y
operación del proyecto, en vista a identificar los resultados generados a partir de la gestión realizada
y evaluar las necesidades de reprogramación.
Puede presentarse el caso de que la programación no sea del todo confiable y que exista más de un
ejecutor al interior de un proyecto, por lo que adicional a generar una medición respecto a la
programación, el monitoreo debe comparar los indicadores de resultados correspondiente a cada
responsable.
Para cada indicador de gestión es factible desarrollar un análisis entre proyectos o transversal, que
tiene como objetivo la comparación de resultados obtenidos de diversas unidades ejecutoras (o de
proyectos) que posean características equivalentes. Con ello, el objetivo es construir un aprendizaje
colaborativo a partir de las situaciones de éxitos y de fracasos particulares de cada proyecto.
• Errores de diseño: se presentan debido a que las metas no fueron correctamente estimadas,
existe imprecisión en los procesos y/o actividades o falta de coherencia entre las acciones
planificadas y la estructura organizacional necesaria para ellas.
IACC-2020
5
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
• Factores externos: se presentan frente a modificaciones en los supuestos sobre los que se
construyó el proyecto o la existencia de nuevos factores de contexto que no fueron
previstos y que modifican las condiciones en las que se ejecuta el mismo.
En consideración de lo anterior, las actividades de monitoreo deben ser programadas con antelación
a la ejecución y la operación del proyecto, con el objetivo de reducir las dificultades para su
verificación y aumentar el valor de la información que es capaz de entregar, permitiendo con ello
ajustar el desarrollo del proyecto.
PREGUNTA
IACC-2020
6
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
I. Identificar quiénes serán los receptores de la información que se obtenga del monitoreo.
II. Establecer qué información necesitan los destinatarios para la toma de decisiones.
III. Diseñar indicadores acordes a las necesidades del proyecto y en consideración a las
necesidades de información detectadas.
V. Establecer la periodicidad con la que deberán realizarse cada una de las mediciones.
VI. Indicar el nivel de precisión que deben tener estas mediciones para considerarse válidas.
VII. Identificar la unidad de observación para cada medición, ya sean estas responsables,
ejecutores o beneficiarios.
VIII. Señalar qué tipo de informes serán requeridos y qué elementos mínimos deben contener.
IX. Indicar la forma en que serán procesados los datos para convertirlos en información
comparable en el tiempo, que permita medir las desviaciones y luego las posibles mejoras
tras las intervenciones que ejecuten los responsables de los procesos afectados.
IACC-2020
7
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
Una parte esencial del proceso de monitoreo es definir qué aspectos son necesarios de ser medidos
y cuáles son los requisitos, de acuerdo con los usuarios del monitoreo, que deben ser incorporados.
Para poder realizar dicho análisis, es necesario identificar los posibles usuarios:
• Los actores externos: representan a quienes forman parte de las instituciones en las que se
encuentra inserto el proyecto y que, por lo tanto, deben hacer seguimiento de su desarrollo
y de sus resultados en los términos que se establezcan en los documentos formales y
contractuales del mismo, tales como Ministerios, Fundaciones, Organismos Internacionales,
etc.
IACC-2020
8
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
Actores
Internos
Sociedad Actores
Destinatarios
Civil externos
Población
Objetivo
Cada uno de los destinatarios puede poseer diversos requerimientos de información, así como
distintos recursos para acceder a ella. Así, mientras mayor sea el grado en el que se involucran en la
gestión del proyecto, mayor es el nivel de detalle requerido. Por ejemplo, los actores externos y la
sociedad civil por lo general solicitan información en términos generales y con menos periodicidad.
PREGUNTA
IACC-2020
9
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
necesaria para la toma de decisiones. Para lograr estos objetivos, es necesario establecer las
actividades consideradas críticas en los procesos programados y vincularlas a los requerimientos
específicos de los distintos destinatarios de información. Adicionalmente a estos requerimientos,
siempre deben ser establecidos los siguientes indicadores:
i. Cobertura: se refiere al porcentaje de la población objetivo que accede a los productos del
proyecto.
El grado de focalización puede tener un valor entre cero y cien, donde cero representa que
ningún beneficiario es parte de la población objetivo, es decir, que existe un total error de
inclusión. Por otra parte, si el valor es cien, significa que todos los beneficiarios que forman
parte de la población objetivo están siendo atendidos por el proyecto, lo que representa un
total acierto de inclusión.
iii. Eficacia: la eficacia es un concepto que hace referencia al logro de los resultados
independiente de los costos que deriven de ello. Esto quiere decir, que mide si la producción
programada y su distribución se cumple por parte del proyecto. En términos operacionales
se mide en dos dimensiones, tiempo y metas.
IACC-2020
10
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
tiempo real
Grado de cumplimiento =
tiempo programado
producción generada
Índice físico =
producción programada
Mediante ambas relaciones, se obtiene la eficacia del proyecto, que realiza la comparación
de las metas de productos y actividades planificadas respecto de la cantidad que se realiza
efectivamente, dentro de los plazos establecidos para ello.
Una de las problemáticas de este enfoque es que da por sentado que las metas diseñadas
en la etapa de formulación y la planificación establecida en la programación son
comparables, dejando fuera de este ejercicio la posibilidad de que existan errores en las
estimaciones iniciales.
costos programados
Eficiencia = eficacia *
costos reales
El grado de eficiencia puede tener un valor que varía entre uno, mayor que uno y menor
que uno. Cuando el resultado es igual a uno, la producción es eficiente, es decir, los costos
de producción reales son equivalentes a los costos programados en el diseño. Si el valor es
mayor a uno, el proyecto es más eficiente que lo planificado, esto quiere decir, que se
utilizaron menos recursos para alcanzar la cantidad de producción programada. Si el valor
es menor a uno, el proyecto es poco eficiente puesto que ha requerido mayor cantidad de
recursos para lograr la cantidad de producción programada.
IACC-2020
11
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
producto real
Calidad =
estándar programado
Cuando el valor es igual a uno, la calidad evaluada del producto es igual al estándar indicado
en la etapa de programación. En el caso de que el valor sea mayor a uno, la calidad supera
a lo estimado y de ser menor a uno, la calidad no logra cumplir con el mínimo planificado.
Esta dualidad se presenta porque la percepción de calidad no tiene como único factor las
mediciones objetivas que puedan generarse en torno a este concepto, sino que se
relacionan más estrechamente con las expectativas que poseen los beneficiarios respecto a
las soluciones que les ofrecerá el proyecto. En este contexto, cuando menor es la
expectativa del público objetivo más positiva es la percepción de calidad. Dado el carácter
cualitativo de esta medición, esta considera diversas dimensiones como el producto en sí
mismo, la atención por parte de quienes trabajan en el proyecto y la infraestructura en
IACC-2020
12
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
torno al producto o servicio. Para intentar incluir estos factores en una sola medición se
recomiendan cuestionarios, como los que utilizan la escala tipo Likert, que traduce una
variable con rango de cero a cien, tal como muestra la figura:
vi. Indicadores de avance físico - financiero: estos indicadores generalmente se utilizan con el
objetivo de analizar el nivel de cumplimiento de la programación.
a. Retraso: indica el grado de cumplimiento para los plazos estimados del proyecto,
realizando una comparación entre el tiempo programado y el tiempo efectivo que
fue necesario para que la actividad se ejecutara.
IACC-2020
13
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
En caso de que el valor del índice sea mayor a uno, se ha alcanzado un nivel de
ejecución de recursos menor al estimado. Si el valor es igual a uno, la ejecución de
los recursos se ha desarrollo de acuerdo con lo planificado. Y en caso de que el valor
sea inferior a uno, se han ejecutado más recursos de los programados inicialmente.
IACC-2020
14
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
PREGUNTA
Debe estar Debe ser recogida Debe dar cuenta Debe existir Debe generarse
relacionada con mediante de información coherencia entre en el momento
los procesos instrumentos estratégica para los datos en que sea
relevantes. objetivos y la toma de recolectados, necesaria, pues
normados decisiones. evitando las de lo contraio
contradicciones. pierde utilidad.
Considerando lo anterior, es que en el proceso de definición del plan de monitoreo son pilares
fundamentales los instrumentos para recolectar la información, la unidad de registro, la
periodicidad de las mediciones y los planes para el análisis de los datos obtenidos. Para definir los
instrumentos de levantamiento de datos, se debe tener en consideración las características de los
indicadores diseñados, las unidades de análisis y los tipos de registros que respaldarán el proceso.
En caso de que sea necesario registrar los indicadores directamente de la fuente, como funcionaros,
beneficiarios o productos, es posible usar entrevistas, cuestionarios o técnicas cualitativas.
Asimismo, existen indicadores que por su naturaleza necesitan técnicas de laboratorio, como
IACC-2020
15
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
Para cada uno de los indicadores es necesario establecer el tamaño de la muestra que será
necesaria, utilizando para ello herramientas estadísticas, de manera de alcanzar resultados
correctos sobre la efectiva gestión e impacto del proyecto y no generar interpretaciones que no
obedecen a la realidad de los resultados.
ii. Para que los datos sean comparables entre sí, tanto los instrumentos como el registro de la
información y el procesamiento de datos deben ser estables en el tiempo. Si el diseño de
estos elementos requiere un cambio, estos deben ser realizados de manera planificada,
considerando para ello una marcha blanca que se desarrolle en forma paralela a las técnicas
existentes en el proyecto.
IACC-2020
16
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
iii. Para procesar los datos, se debe tener en cuenta durante el diseño de las muestras la forma
en que será segmentada la información, como por ejemplo por área geográfica, edad o nivel
educacional. Lo anterior, considerando que cada subdivisión adicional de la muestra
aumenta la posibilidad de errores en la generación de información. En consideración a esto,
es necesario comparar los beneficios de poseer información cada vez más detallada y los
costos respecto a la confiabilidad de la información.
iv. En la medida que sea posible, es recomendable la utilización de sistemas informáticos que
permitan el registro y la transmisión de información, con el objetivo de disminuir en forma
significativa los errores que se producen debido a la manipulación de los datos.
vi. En aquellos casos donde los productos obedezcan a distintos ámbitos de los beneficiarios,
su supervisión debe desarrollarse en forma multidisciplinaria.
Para estudiar los elementos internos del proyecto, se necesitan tres tipos de análisis:
• Comparar lo realizado en relación con lo planificado. Esto significa cuantificar las diferencias
que se identifiquen y analizar sus posibles causas. Las desviaciones pueden originarse por
errores en el diseño, fallas en la operación y/o cambio en los factores externos.
• Comparar los resultados de distintos períodos. Para lograr dicho análisis, es necesario
construir una base histórica de datos que contenga la información de cada período de
gestión. Esta comparación hace factible identificar las variaciones entre estos períodos y
estudiar las posibles causas o las estacionalidades del proyecto.
IACC-2020
17
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
• Estimar los resultados futuros. Al construir una base de datos que considere una serie de
tiempo suficientemente grande y regular, es factible aplicar un modelo de regresión para
proyectar los resultados de futuros períodos de gestión.
El estudio comparado de los resultados necesita para su ejecución de las siguientes herramientas:
i. Medidas de tendencia central y posición: la moda, la mediana y la media1 son muy útiles
para observar en forma conjunta los resultados de proyectos, facilitando a la vez su
comparación por períodos de tiempo. Los fractiles (como percentiles, deciles, quintiles, etc)
permiten observar los agrupamientos que se establecen y realizar estudios más específicos.
Con estos elementos, es posible realizar los siguientes análisis:
a. La moda, al señalar el valor que más se repite, indica el resultado que más se
presenta, lo que permite predecir cuál será el resultado a futuro.
b. La mediana, al identificar el valor en el que la muestra se divide equitativamente,
indica el centro de los proyectos.
c. La media permite observar el centro de distribución de datos, donde si hay alta
dispersión, con escasos casos muy distantes, esta se desplazará de la mediana.
d. Los fractiles identifican grupos de casos de acuerdo con una distribución específica
y los valores relevantes de dicha división.
ii. Distribución de frecuencias: se utiliza para observar la manera en que se distribuyen los
proyectos respecto al indicador analizado. Su identificación requiere de la elaboración de
un histograma2 con las frecuencias de los resultados de los diversos proyectos y analizar la
variabilidad de los resultados. Las distribuciones de frecuencias presentan diversas formas,
de acuerdo con el tipo de indicador.
a. Binomial: presenta dos grupos de proyectos, los que han tenido éxito y los que no.
En el gráfico cada una de las barras indica la cantidad de proyectos, siendo la
comparación de sus alturas lo que permite observar el éxito relativo de un
programa.
1
La media (promedio) de un conjunto de datos se encuentra al sumar todos los números en el conjunto de datos y luego
al dividir entre el número de valores en el conjunto. La mediana es el valor medio cuando un conjunto de datos se ordena
de menor a mayor. La moda es el número que se presenta con más frecuencia en un conjunto de datos. Extraído de
https://bit.ly/33sVorJ.
2
Un histograma es una representación gráfica de una variable en forma de barras, donde la superficie de cada barra es
proporcional a la frecuencia de los valores representados. Extraído de https://bit.ly/32wjFvW.
IACC-2020
18
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
5
4,5 4,3
4
3,5
3
2,4 Fracasos
2,5
2 Éxitos
1,5
1
0,5
0
Proyectos
IACC-2020
19
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
Desviación estándar
12
10
0
-4 -3 -2 -1 0 1 2 3 4
c. Chi Cuadrado: presenta una distribución asimétrica, donde los proyectos se ubican
más hacia el lado izquierdo del gráfico. El promedio se encuentra por encima de la
mediana, lo que evidencia que en los valores inferiores existe una mayor cantidad
de casos. En el sector alto de la distribución sucede justo lo contrario.
Valor de la variable
3,5
2,5
1,5
0,5
0
0 0,2 0,4 0,6 0,8 1 1,2 1,4 1,6
IACC-2020
20
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
El objetivo de la recolección de datos es que la información sea funcional para los que requieren de
ella en la toma de decisiones. Para generar dicho análisis, deben señalarse en forma explícita
supuestos o hipótesis con las que se están interpretando los datos. Los informes pueden ser:
Ventas
IACC-2020
21
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
Ejecución presupuestaria
Año 4
Año 3
Año 2
Año 1
0 1 2 3 4 5 6
PREGUNTA
IACC-2020
22
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
COMENTARIO FINAL
El proceso de monitoreo a lo largo del desarrollo del proyecto es de vital importancia para lograr los
resultados esperados y replicar los factores que dieron éxito para otros proyectos de similares
características. Sin embargo, no se trata en ningún caso de recolectar la mayor cantidad de datos
posibles, sino que obtener aquellos que sean necesarios, útiles y oportunos para la toma de
decisiones, alimentando un sistema de gestión que permita mejoras a través de un proceso
planificado de monitoreo y evaluación y no de iniciativas aisladas de control que no reflejan la
realidad compleja de un proyecto social.
La dificultad de esta etapa radica más allá de tecnicismos, en la coherencia que debe tener el sistema
en su totalidad, incorporando las necesidades de los usuarios, beneficiarios, organizaciones y
responsables del proyecto, junto con la estructura y objetivos del mismo, permitiendo una
supervisión de la totalidad y no de elementos particulares, puesto que en cada etapa, proceso o
actividad existen tareas perfectibles que deben ser miradas en conjunto para su comprensión y
mejora.
IACC-2020
23
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
REFERENCIAS
Cohen, E. y Martinez, R. (s/f) Manual de formulación, evaluación y monitoreo de proyectos sociales.
Recuperado de https://bit.ly/2CoiL9U
Semana 6.
IACC-2020
24
SEMANA 6 – EVALUACIÓN DE PROYECTOS SOCIALES
IACC-2020
25