Medir los impactos logrados

Se realiza mediante la comparacin entre el estado "inicial" de la poblacin

objetivo (lnea de base) y otro de "comparacin" que es la situacin
existente despus de un tiempo de operacin del proyecto (lnea de
comparacin), eliminando (o tratando de minimizar) la incidencia de
factores externos.
Los modelos para medir efectos e impactos son los mismos, slo cambian
los indicadores utilizados.
Existe una familia de modelos cuyo objetivo es medir el impacto. Entre ellos
es necesario mencionar:
1. Modelo experimental clsico.
Exige seleccionar aleatoriamente una muestra43 que se divide, tambin
aleatoriamente, en dos submuestras, el grupo con proyecto o poblacin
beneficiaria (grupo experimental) y el grupo sin proyecto (grupo de control).
Estas submuestras se seleccionan antes de iniciarse la operacin del
proyecto (en la situacin de lnea de base) y deben diferir slo en que la
primera recibe los bienes o servicios del proyecto y la segunda no. Tomando
en cuenta la seleccin aleatoria de ambos grupos, las diferencias iniciales
entre ellos, si las hay, debieran ser mnimas. Es decir, entre X e Y no deben
existir diferencias estadsticamente significativas.
X - Y = 0 (diferencia no significativa)
Si las diferencias iniciales fueran estadsticamente significativas, es
necesario realizar una nueva seleccin o distribucin de la poblacin en
cada grupo, de lo contrario no es posible medir el impacto.
El modelo compara la situacin en que se encontraban los dos grupos en la
lnea de base (L B), con la situacin en la lnea de comparacin (L C). A
partir de ello se verifican los cambios generados por el proyecto.
Se debe analizar nicamente una variable (objetivo) a la vez y mantener las
otras constantes.
El siguiente cuadro permite apreciar la lgica del modelo experimental y el
tipo de clculo que se efecta al evaluar el proyecto.

modelo experimental
clsico
X, X', Y, Y' = Valores del indicador de impacto de un objetivo

La magnitud en que difieran los cambios producidos en el grupo con

proyecto (X' - X), en cada objetivo de impacto, respecto a los del grupo sin
proyecto (Y' - Y), ser una medida del impacto del proyecto en dicho
objetivo.
Si, X' - X contiene cambios endgenos (resultantes del proyecto) y exgenos
(debido a otras razones).
Y' - Y slo cambios exgenos (no imputables al proyecto).
Entonces (X' - X) - (Y' - Y) = Impacto neto de un objetivo en la poblacin
beneficiaria, imputable al proyecto.
El modelo experimental clsico constituye una forma vigorosa de identificar
los cambios producidos por un proyecto44. Sin embargo, su aplicacin se
dificulta porque requiere la seleccin aleatoria de los integrantes de cada
uno de los grupos en la lnea de base (LB).
Otro obstculo son las dificultades ticas que derivan de aplicar el proyecto
a slo una parte de la poblacin objetivo (el grupo experimental) para poder
medir el impacto, excluyendo a otros que legtimamente requieren de la
atencin que el mismo brinda.

2. El modelo cuasiexperimental.
La lgica de este modelo es idntica a la del experimental clsico. Se
efectan mediciones en las lneas de base (LB) y de comparacin (LC) y
luego se comparan las diferencias. La distincin radica en que la
pertenencia al grupo con o sin proyecto no se determina aleatoriamente. La
seleccin se realiza en funcin de las variables de mayor relevancia en
relacin al objetivo de impacto perseguido.
Dado que no es aleatoria la seleccin de los grupos en la LB, es posible que
se presenten diferencias entre X e Y. El modelo asume que dichas
diferencias son estables en el tiempo, por lo que (X' - X) - (Y' - Y) es un buen
estimador del impacto neto.
Este modelo es til cuando se desea evaluar un proyecto durante su
operacin y ya se han elegido los "beneficiarios" y los "no beneficiarios". Si
se quiere evaluar un programa de alimentacin escolar que est en
funcionamiento, se pueden comparar los nios que asisten a los comedores
escolares con los que, teniendo las mismas caractersticas de dficit
nutricional y nivel socio-econmico, no asisten, sea por automarginacin,
sea porque en su escuela no opera el programa.

3. Modelos no experimentales.
Estos modelos se aplican cuando la poblacin objetivo no puede ser
comparada con un grupo de control. Vale decir, que se considera slo la
poblacin beneficiaria del proyecto, lo que impide controlar la incidencia de
variables exgenas.
Los modelos no experimentales utilizados con mayor frecuencia son:

a. Modelo antes-despus (sin grupo de comparacin):

Se efecta una medicin "antes" que el proyecto sea implementado (LB) y
se comparan los valores obtenidos con los resultados derivados de levantar
una lnea de comparacin, "durante" la operacin o "despus" que el
proyecto ha concluido.

Ejemplo: Modelo Antes-Despus (sin grupo de comparacin)

Donde, X' - X = Impacto en la poblacin beneficiaria (un objetivo) en base a

la diferencia entre LB y LC
Este diseo no permite eliminar el efecto del contexto y, por tanto, tampoco
es posible determinar en qu medida los cambios registrados son
imputables al proyecto.
Es posible aumentar la confiabilidad de la estimacin a travs de la
incorporacin de variables de control. Es decir, hacer que los dos grupos
sean los ms parecidos posible en todas las variables externas al proyecto
que pudieran incidir en el impacto
b. Series temporales:
Si se cuenta con informacin sobre indicadores de cambio en un conjunto
de perodos previos y posteriores al proyecto, es posible hacer un anlisis de
series temporales, para extraer conclusiones sobre los efectos imputables al
mismo.
Para ello, se construyen curvas sobre la base de mediciones peridicas
efectuadas "antes", "durante" y "despus" de la realizacin del proyecto.
Segn las formas que stas adopten se trata de determinar la magnitud del
impacto que el proyecto produjo.
La siguiente grfica ilustra un ejemplo de las series temporales.
Ejemplo:

Caso 1. La funcin de la variable objetivo (x) es montonamente creciente y

el proyecto no la ha modificado en absoluto.
Caso 2. La curva (+) indica que hubo cambios durante el proyecto, pero lo
mismo ocurre antes y despus de ste, lo que implica que el proyecto no
puede ser considerado como la causa de los mismos.
Caso 3. Es el nico (o) donde los cambios son, en principio, atribuibles al
proyecto.
En trminos estrictos, con este modelo no es posible aislar los efectos
imputables al proyecto.
Es el clsico problema de establecer la causalidad sin disponer de
instrumentos que controlen los diferentes tipos de variables que la afectan.
En el caso3, sin embargo, cabe asumir que el proyecto es la causa del
impacto porque ni antes ni despus del proyecto se produjeron cambios,
pero no se prueba que el impacto no haya sido producido por una o ms
variables exgenas.
c. Modelo slo despus con grupo de comparacin.
En ocasiones, es posible definir un grupo de control, que permite la
comparacin de los resultados del proyecto ("despus"), sin que sea posible
contar con informacin sobre la lnea de base

Donde, X' - Y' = Impacto (un objetivo) en base a la diferencia de los

resultados finales entre los grupos C/P y S/P.
Este modelo no controla la posibilidad de que hubiesen diferencias
significativas entre los grupos en la lnea de base. Este efecto se puede
disminuir incorporando variables de control para generar dos grupos que
slo se diferencien en su pertenencia o no al proyecto.

Cuando se evala un programa (que incluye un conjunto de proyectos con

iguales objetivos de impacto), el anlisis incluye:
1 La comparacin de sus impactos reales (de cada uno), utilizando su
posicin en una distribucin de frecuencias (como se indica en el captulo de
monitoreo) y
2 El estudio de la asociacin observada entre distintas variables
independientes y el impacto (como dependiente). Esto permitira conocer el
grado en que cada una influye en el impacto alcanzado.
Como variables independientes se pueden incluir: costo (unitario y por tipo
de recurso), focalizacin, cobertura, tipo y calidad de los productos, ejecutor
o tipo de poblacin objetivo, por ejemplo. Este anlisis se puede hacer de
manera bivariada o multivariada, para lo cual existen mltiples coeficientes
estadsticos45. Sin embargo, dada la complejidad de los fenmenos
sociales, el anlisis multivariado es el ms adecuado para conocer el
impacto del proyecto, dado que permite controlar mejor el efecto de
interaccin.