Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Modelos Evaluacion
Modelos Evaluacion
Marcos Valds
Socilogo
1
Estas reflexiones arrancan de una evaluacin ex-post realizada para CORECE Metropolitano en 1999
del proyecto Desarrollo de un ambiente de prevencin integral con la comunidad, Municipalidad de
Cerro Navia, en la cual participaron Cecilia Salazar C. (Asistente Social) y Ruth Molina (Sociloga),
ambas profesionales colaboraron en la elaboracin del marco terico de dicha investigacin. No obstante
la responsabilidad final del documento es del autor del presente documento quien agradece sus aportes.
INDICE
I. Introduccin. .........................................................................................................................3
II. El Modelo analtico. ............................................................................................................4
II.1. Modelo costo - beneficio ............................................................................................4
II.2. Modelo costo efectividad. .......................................................................................5
III. Modelos globales. ..............................................................................................................6
III.1. Modelo CIPP.............................................................................................................6
III.2. Modelo de utilizacin focalizada ..............................................................................6
III.3. Modelo evaluacin por expertos. ..............................................................................7
III.4. Modelo evaluacin iluminativa.................................................................................7
IV. Modelos formalizados:......................................................................................................8
IV.1. Modelo experimental: ...............................................................................................8
IV.2. Modelo cuasi experimental:......................................................................................8
X.3. Modelo de regresin. ..................................................................................................9
V. Modelos semi formalizados................................................................................................9
V.1. Modelo no experimental antes y despus. .................................................................9
V.2. Modelo despus con grupo de comparacin: .............................................................9
V.3. Modelo despus:.......................................................................................................10
VI. Instrume ntos y tcnicas en los modelos de evaluacin. ................................................11
BIBLIOGRAFIA. ..................................................................................................................12
I. Introduccin.
El presente artculo es un complemento o addendum de un trabajo anterior en el cual se
ofreca una conceptualizacin posible de la evaluacin de proyectos sociales y se
definan algunas tipologas de aquellas.
El esfuerzo sin pretensin de exhaustividad que ha continuacin se brinda es de
carcter descriptivo con algunas consideraciones de orden crtico a los modelos ms
usados para la evaluacin de proyectos sociales2 .
Los modelos de evaluacin de proyectos sociales son por definicin, conjuntos
aplicaciones y procedimientos a partir de los cuales es posible implementar
evaluacin de un determinado proyecto, en cambio, los tipos de evaluacin refieren a
clasificacin terica y responden a la diversidad de paradigmas involucrados en
proceso de evaluacin.
de
la
la
el
La lectura de los diferentes modelos es una lectura sociolgica, valga esta aclaracin toda vez que los
principales tericos citados en este trabajo estn afectos a esta disciplina al igual que el autor.
3
Modelo es un esquema o diseo general que caracteriza la forma de la investigacin evaluativa que ha
de realizarse, las tcnicas o procedimientos para la recoleccin y anlisis de la informacin, el
conocimiento final que se desea obtener y los usuarios principales de los resultados del estudio. Briones
G. 1991. Pg. 31.
Marcos Valds: mrv@mapunet.org
El modelo estadstico donde las relaciones de variables estn determinadas por la probabilidad de
aplicarse a toda circunstancia, ha sido el ms adoptado por los cientficos sociales; este modelo se
caracteriza por su capacidad de generalizar resultados. Martn Hammersley Paul Alkinson. Mtodos
de investigacin. Ediciones Paidos 1994. Pg. 18.
6
Azul Consultores Asociados. Enfoque de Evaluacin de Impacto: Diseos y tcnicas para enfrentar la
evaluacin. Sergio Ibez, documento de trabajo REDESOL. Pag. 10.
Marcos Valds: mrv@mapunet.org
medida que en este caso es monetaria. En este sentido, este anlisis compara los
beneficios y los costos de un proyecto particular, es por ello que se ha utilizado con gran
xito en los proyectos econmicos.
De la comparacin de ambas dimensiones surgen los indicadores de rentabilidad VAN
(Valor Actual Neto), TIR (Tasa Interna de Retorno), Costo Anual Equivalente, relacin
costo - beneficio, etc., de los cuales se origina una recomendacin positiva o negativa de
la intervencin.
Por otra parte, si bien en este modelo es imprescindible realizar una identificacin y en
lo posible una cuantificacin de los beneficios de un proyecto, en algunos casos slo es
factible una identificacin de stos. Por ello, Salamanca seala que la dificultad de
monetarizar adecuadamente los beneficios sociales produjo distorsiones importantes en
el clculo de tales beneficios7 , es decir, se reconocen vacos metodolgicos en la
valoracin monetaria de los beneficios. Otro obstculo en el uso de este modelo est
relacionado con el costo relativamente alto de los estudios involucrados en esta
asignacin de valor, lo que hace impracticable esta metodologa, salvo en aquellos
proyectos sociales de gran envergadura o masivos8 .
II.2. Modelo costo efectividad.
El modelo costo efectividad, es una variacin del modelo anterior que intenta superar
las dificultades constatadas en el modelo costo beneficio, sin embargo, ambos anlisis
buscan maximizar el logro de los objetivos de un proyecto. La diferencia ms notoria
respecto del modelo anterior es que vincula una variable nueva cual es, el impacto. As,
la efectividad se relacionada con aquella en la medida que importa mucho ms detectar
si el proyecto tiene efectos o no sobre la poblacin objetivo y selecciona la alternativa
ms adecuada.
En este modelo se supone que todas las alternativas de proyecto tienen los mismos
beneficios, como tambin que en muchos casos los efectos derivados de un proyecto
(beneficios) son de incuestionable impacto por lo que no se requieren artificios
cuantitativos para demostrarlo (por ejemplo, evitar la muerte de una persona), y que los
beneficios son superiores a sus costos, por lo tanto se justificara la implementacin de
esta iniciativa.
Por tanto, en este modelo se espera que los beneficios logrados con un proyecto sean
econmicamente menos costosos, por tanto su finalidad es comparar las alternativas,
segn sus costos unitarios o totales, y luego seleccionar la solucin de menor costo, esto
es lo que se denomina Criterio de Mnimo Costo.
Para seleccionar la alternativa ms eficiente de un proyecto, generalmente se utilizan
ciertos criterios de elegibilidad que corresponden a valores o medidas aceptadas por
quienes toman decisiones, por ejemplo, costos mximos y mnimos por unidad de
producto, coberturas mximas y mnimas del proyecto, etc.; en definitiva la seleccin se
realiza sobre la base de un anlisis de costo efectividad.
ILPES. Gua para la identificacin, preparacin y evaluacin de programas sociales, Pg. 17.
10
11
12
13
14
15
16
17
18
Este modelo supone a priori que el impacto es significativo, pues se controlan menos
elementos intervinientes, adems son indeterminables las variables independientes que
se dejan de controlar. En general, en este modelo se comparan grupos en proyectos y
contextos similares, como cursos de colegio, galeras de crcel, tipos de entidades
productivas, jardines infantiles, salas de hospitales, poblaciones marginales, etc.
X.3. Modelo de regresin.
Es una variacin de los modelos cuasi experimentales; necesitan un alto grado de
manipulacin de las variables, lo que implica la simulacin de control de variables para
incrementar la potencia explicativa de algunas variables independientes19 , para lo que se
necesitan una serie de requisitos como una completa base de datos. Implica un slido
desarrollo terico previo de la estrategia de intervencin y por otro lado el manejo
estadstico debe tener un correlato con el manejo real, si no se cumplen estrictamente
los pasos anteriores, el modelo de regresin es slo un ejercicio formal, no utilizable
como retroalimentacin en programacin social.
V. Modelos semi formalizados.
La serie temporal es un ejemplo de modelo semiformalizado; tiene por objetivo, seala
Salamanca, describir las tendencias seculares de un proyecto para poder compararlas
con comportamientos tradicionales o prognosis de las variables dependientes objeto de
la intervencin programtica20 .
La evidencia emprica del comportamiento histrico de las variables dependientes, es un
elemento con el que debe contar este tipo de diseo, para la comparacin con la
diseada por la accin del proyecto o programa. Dentro de las series temporales, se
encuentran los siguientes diseos:
V.1. Modelo no experimental antes y despus.
En este modelo debe existir una medicin despus de la intervencin, en la eventualidad
que no exista esta medicin se puede reconstruir una celdilla antes a partir de
preguntas retrospectivas para reconstruir el mecanismo causal anterior21 . Por lo general,
se asocia en la prctica este tipo de modelo antes y despus con la lgica de la
evaluacin de impacto de proyectos sociales, en tanto la medicin antes se denomina
lnea de base y la medicin despus, lnea de comparacin.
V.2. Modelo despus con grupo de comparacin:
Se caracteriza por tener una sola medicin despus de la aplicacin del proyecto, por lo
tanto carece de evaluacin antes la que puede ser suplida por la comparacin de
celdillas despus, o sea, por el proyecto con el otro proyecto similar o intervencin
19
20
21
Este es el aspecto ms cuestionado toda vez que las respuestas retrospectivas no tienen forma de ser
trianguladas y tiene una estructura que se basa en la recordacin, que no es igual para todos los
beneficiarios de un proyecto.
Marcos Valds: mrv@mapunet.org
paralela.
Para maximizar la capacidad de relevancia de este modelo, se puede usar los estudios
transversales, donde la comparacin se realiza una vez terminada la intervencin. Aqu
se contrastan muestras de participantes y no participantes del proyecto o programa y en
ella se registra informacin sobre el mayor nmero de variables independientes
posibles; el control estadstico mantiene constante a las variables, aunque este no asla el
efecto de autoseleccin que podra subyacer en el grupo de beneficiarios.
V.3. Modelo despus:
Este modelo es no experimental y no tiene grupo de comparacin, por lo que se puede
incluir en esta modalidad, descripciones de resultados de proyectos, relatos o memorias
que son en la prctica evaluaciones ex - post de medicin despus22 . Se tiene slo un
despus en que se mencionan actividades realizadas, no pudindose contrastar con un
antes.
Debido a estas caractersticas, seala Briones, el modelo est abierto a la mayora o a
todos los factores que actan contra la validez interna, en especial a la intervencin de
factores externos al proyecto que pudieron producir cambios detectados por medicin
despus, si es que realmente se produjeron, pues no se dispone de la situacin de
entrada o inicial de la poblacin objetivo; o si esos cambios se produjeron por la
seleccin sesgada de tales usuarios o por la maduracin biopsicolgica de los mismos23 .
Este modelo es til en reas en que se carece de informacin previa confiable o de
calidad, por lo tanto no es posible fijar lnea de base y lnea de comparacin;
generalmente, se utiliza en proyectos ejecutados por gobiernos locales, organizaciones
de base o de carcter no gubernamental, tambin sera aprovechable este modelo en
proyectos de capacitacin que apuntan al desarrollo de organizacional o comunitario.
La ausencia de grupos de control y mediciones antes imposibilita la apelacin a las
caractersticas de los modelos experimentales para asegurar la validez interna del
proyecto y de manera particular confiar en la efectividad de las acciones instrumentales
para producir cambios en los usuarios, de acuerdo con la intencin contenida en los
objetivos24 .
Independiente de las limitaciones del modelo despus, los tems de estas pautas de
evaluacin ex - post resultan vlidos y confiables, pudiendo ser utilizados como una
forma operacional de evaluacin que obvia las limitaciones de discrecionalidad o
subjetividad que se derivan de los informes de actividades o relatos de experiencias de
proyectos25 .
La eleccin de un determinado instrumento depender, entre otros factores, del grado de
22
23
24
25
10
11
BIBLIOGRAFIA.
1.-
2.-
3.-
4.-
5.-
6.-
7.-
8.-
9.-
10.-
11.-
12.-
13.-
14.-
12
15.-
16.-
17.-
18.-
19.-
20.-
21.-
22.-
23.-
24.-
25.-
26.-
27.-
13