Lectura 5

Métodos de evaluación

 Evaluación aleatoria
o Descripción: Método experimental que sirve para medir relaciones causales
entre dos variables comparando un grupo experimental con otro control
elegidos de forma aleatoria.
o Representación del contrafactual: El grupo de comparación es seleccionado
de forma aleatoria antes del comienzo del programa dentro de un grupo de
participantes potenciales.
o Supuestos claves: La aleatorización es válida. Es decir, los dos grupos son
estadísticamente idénticos (en factores observables y no observables).
o Ventajas: La estimación del impacto del programa es muy creíble cuando se
diseñó e implementó correctamente.
o Desventajas: Requiere la asignación aleatoria antes del programa por lo que
usualmente no se pueden hacer evaluaciones retrospectivas. El tamaño de la
muestra debe ser lo suficientemente grande para poder detectar un resultado
significativo.

 Diferencia simple
o Descripción: Mide las diferencias después del programa entre aquellos que
participaron en el programa y aquellos que no participaron.
o Representación del contrafactual: El grupo de comparación corresponde a los
individuos que no participaron en el programa (por alguna razón), y para los
cuales tenemos datos después del programa.
o Supuestos claves: Los no participantes son idénticos a los participantes
excepto por la intervención del programa. No hay ninguna selección en el tipo
de persona que entró al programa.
o Ventajas: Muchas veces ya existen datos administrativos que se pueden
analizar retrospectivamente. No requiere datos de la situación anterior al
programa.
o Desventajas: Necesita un grupo no afectado por el programa. Si los grupos
tratados y no tratados son distintos antes del programa, el método puede sub
estimar o sobre estimar el impacto verdadero de la política; es decir se
introduce un sesgo de selección en la estimación
 Pre post
o Descripción: Mide el cambio en los resultados de los participantes de un
programa en el tiempo. Es la diferencia entre la situación anterior y posterior a
un tratamiento.
o Representación del contrafactual: El grupo de comparación consiste en los
mismos participantes del programa antes de su inicio.
o Supuestos claves: El programa es el único factor que influyó en el cambio del
resultado. Sin el programa el resultado se hubiera mantenido igual.
o Ventajas: Muchas veces ya existen datos administrativos que se pueden
analizar retrospectivamente. No requiere datos de personas que no
participaron al programa.
o Desventajas: Muchos factores cambian con el tiempo y pueden afectar el
resultado, lo que va en contra del supuesto clave.
  Diferencias en diferencias
o Descripción: Compara el cambio en los resultados de los participantes con el
cambio en los resultados de los que no participaron en el programa.
o Representación del contrafactual: El cambio de los que no participaron en el
programa sirve como representación del contrafactual del cambio de los
participantes del programa.
o Supuestos claves: Supuesto de tendencias comunes: Asume que sin el
programa los dos grupos tendrían trayectorias idénticas a lo largo de este
periodo.
o Ventajas: Controla por todas las características que no cambian con en el
tiempo (tanto observables como no observables) y por todos los cambios en el
tiempo que afectan al grupo tratado y no tratado de igual manera.
o Desventajas: Si los dos grupos se hubieran desarrollado de manera diferente
en la ausencia del programa existe un sesgo de selección. Se necesita un grupo
no afectado por el programa y datos anteriores a la intervención.

Lectura 6

Hacia la elaboración de indicadores de evaluación

 Indicadores de evaluación
o Evidencia que facilita la medición de los resultados en un programa o proyecto
social. Se orientan a identificar los cambios logrados por la intervención y
pueden considerarse los productos generados por el programa
o La generación de los indicadores requiere imaginación y rigurosidad ya que
este debe evidenciar los resultados alcanzados por el programa
 Requisitos del indicador
o La construcción del indicador
 Confiabilidad: el indicador debe ser preciso y consistente con lo que
desea medir. Será confiable en la medida que produzca los mismo
resultados en las mismas situaciones
 Validez: capacidad del indicador para medir sólo lo que se desea
 Validez de criterio: capacidad predictiva del resultado dada la
combinación de un número determinado de variables
 Validez de contenido: capacidad del indicador para abarcar el
rango de significados que puedan incluir un concepto
 Validez del constructo: forma en que una medida se relaciona
con otras variables dentro de un sistema de relaciones
teoréticas.
o Componentes conceptuales y operativos del indicador
 Expresión conceptual: abarca la dimensión cuantitativa y cualitativa
de un indicador.
 Expresión operativa: forma de captar operativamente la expresión
conceptual indicando el medio y la fuente de esta.
 Características que deben seguirse para construir los indicadores:
 Deben ser razonables: en concordancia con lo que está
planeado
  Deben ser objetivamente verificables: enunciados de forma en
que los resultados puedan ser comprobados mediante
evidencia y no juicios de valor
 Deben tener metas: debe precisarse el nivel de logro que se
quiere alcanzar en relación a la cantidad, calidad y tiempo
 Pasos para la elaboración de indicadores
o Primer paso: definir el problema: definido como la situación no deseable que
el programa desea cambiar
o Segundo paso: se plantean las interrogantes sobre el problema: se plantea
una o varias interrogantes generales y luego las específicas
o Tercer paso: identificación de indicadores: se seleccionan indicadores realistas
que faciliten las viabilidad de la evaluación al saber cómo se van a comprobar
los resultados
 Aprehensión de dimensiones cualitativas
o El fin de la recolección de los datos cualitativos es comprender los puntos de
vista, actitudes y perspectivas de los investigados.
o Revelan rasgos actitudinales y comportamentales de un grupo, institución o
comunidad
o Las dimensiones cualitativas deben utilizarse para
 Clarificar e ilustrar hallazgos cuantitativos
 Construir instrumentos de investigación
 Evaluar programas
 Proveer información para fines comerciales y científicos
o En el proceso de aprehensión es conveniente analizar los aspectos cualitativos
con detenimiento a fin de evitar conceptos ambiguos o se presten a diferentes
interpretaciones

Lectura 7

Guía de evaluación de programas y proyectos sociales

 La evaluación tipos
o Por quien lo hace
 Externa: realizada por expertos ajenos a la gestión del proyecto.
Asociada a una evaluación final o de impacto
 Interna: realizada por los responsables de la gestión del proyecto.
 Mixta: combinación de las dos anteriores
 Participativa: las evaluación cae en los propios beneficiados
o Por los instrumentos
 Debe realizarse una distinción entre los procedimientos cualitativos y
cuantitativos. Debe valorarse su aplicabilidad para cada situación en
particular que pueda presentar el proyecto.
 Instrumentos cuantitativos
 Las técnicas pueden estar ligadas a las ciencias económicas,
determinado criterios de rentabilidad de los proyectos.
(análisis costo beneficio o el análisis coste efectividad)
 Las técnicas pueden estar ligadas al ámbito de las ciencias
formales, recogiendo información precisa y estandarizada. Su
alto coste de aplicación puede ser un inconveniente.
  Instrumentos cualitativos
 La observación: apreciación subjetiva, debe ser
complementada con otras técnicas para evitar sesgos
 La entrevista: a diferencia de las encuestas, permite incorporar
elementos que no se previeron antes de la aplicación. Posee
un alto grado de flexibilidad
 Criterios de evaluación
o Eficiencia
o Eficacia
o Impacto
o Pertinencias
o Viabilidad