Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Cippec Uni Monitoreo Evaluacion PDF
Cippec Uni Monitoreo Evaluacion PDF
de polticas, programas
y proyectos sociales
Monitoreo y evaluacin
de polticas, programas
y proyectos sociales
Di Virgilio, Mara Mercedes
Monitoreo y evaluacin de polticas, programas y proyectos sociales / Mara Mercedes Di
Virgilio y Romina Solano. - 1a ed. - Buenos Aires : Fundacin CIPPEC, 2012.
125 p. ; 23x23 cm.
ISBN 978-987-1479-35-1
Direccin editorial
Fabian Repetto, director del Programa de Proteccin Social de CIPPEC
Sebastin Waisgrais, especialista en Monitoreo y Evaluacin de UNICEF
Autores
Mercedes Di Virgilio
Romina Solano
Supervisin de contenidos
Roberto Martnez Nogueira
Colaboradores Impreso en
Natalia Aquilino VERLAP S.A.
Javier Curcio
Sofa Olaviaga Noviembre de 2012
Virgina Tedeschi
Los autores agradecen la ayuda de Federico Tobar, Sofa Duarte y
Edicin y correccin Florencia Tognolotti.
Liora Gomel
Si desea citar este manual: Di Virgilio, M. M. y Solano, R. (2012).
Diseo grfico Monitoreo y evaluacin de polticas, programas y proyectos sociales.
Patricia Peralta Buenos Aires: CIPPEC y UNICEF.
Presentacin...................................................................................................................................................... 5
Sobre el proyecto: 3 manuales para fortalecer la gestin local de polticas sociales.............................. 5
Una herramienta para funcionarios/as y legisladores/as locales ............................................................. 6
Acerca de este manual: monitoreo y evaluacin de polticas, programas y proyectos sociales............ 7
Cmo recorrer este manual?...................................................................................................................... 8
Captulo 1
Introduccin..................................................................................................................................................... 11
1.1 Polticas, Programas y Proyectos (las 3 P)......................................................................................... 13
1.2 El ciclo de vida de las polticas, programas y proyectos.................................................................. 16
1.3 Breve resea sobre el proceso de descentralizacin........................................................................ 17
El sistema municipal argentino................................................................................................................ 17
El proceso descentralizador.................................................................................................................... 18
El impacto de la descentralizacin en el gasto pblico social.................................................................. 21
1.4 Nuevo paradigma en polticas sociales destinadas a infancia y adolescencia................................ 27
Captulo 2
Aspectos conceptuales bsicos del monitoreo y la evaluacin de polticas, programas y proyectos sociales.......35
2.1 Qu son la evaluacin y el monitoreo de polticas, programas y proyectos sociales?.................. 39
2.2 El monitoreo: un instrumento para la toma de decisiones................................................................ 45
2.3 Hacia un sistema integrado de monitoreo y evaluacin.................................................................... 50
2.4 Qu ventajas genera aplicar herramientas de monitoreo y evaluacin desde el nivel municipal?...... 56
2.5 Quin monitorea? Quin evala?..................................................................................................... 57
2.6 Vinculando el monitoreo y la evaluacin con el ciclo de vida de las polticas,
los programas y los proyectos............................................................................................................60
Captulo 3
Mtodos, tcnicas y herramientas para monitoreo y evaluacin........................................................................... 65
3.1 Insumos necesarios para llevar adelante el proceso de monitoreo y evaluacin:
la construccin de una lnea de base................................................................................................. 67
3.2 El proceso de monitoreo y evaluacin. Componentes...................................................................... 71
Componente 1: descripcin de la poltica, programa o proyecto............................................................. 72
Componente 2: identificacin de los actores involucrados...................................................................... 73
Componente 3: identificacin, definicin y descripcin del problema...................................................... 74
3
Componente 4: objetivos y preguntas en el marco de la investigacin evaluativa.................................... 79
Componente 5: la construccin de la evidencia emprica........................................................................ 79
Componente 6: procesamiento y anlisis de los datos............................................................................ 81
Componente 7: socializacin de los resultados....................................................................................... 82
3.3 Tipos de monitoreo y evaluacin........................................................................................................84
3.3.1 Evaluacin para la puesta en marcha de polticas, programas y proyectos.....................................84
3.3.2 Monitoreo y evaluacin durante el proceso de implementacin de las polticas,
programas y proyectos........................................................................................................................... 88
3.3.3 Evaluacin ex post de polticas, programas y proyectos sociales................................................... 94
3.3.4 El monitoreo y la evaluacin como proceso de aprendizaje............................................................98
3.4 Herramientas para el monitoreo y la evaluacin.............................................................................. 100
3.4.1 Instrumentos y tcnicas para construir evidencia emprica........................................................... 100
Ficha 1. Encuestas.......................................................................................................................... 101
Ficha 2. Entrevistas individuales...................................................................................................... 103
Ficha 3. Grupos focales.................................................................................................................. 105
Ficha 4. Datos secundarios............................................................................................................. 107
Ficha 5. Observacin participante................................................................................................... 109
Ficha 6. Lista de control con preguntas...........................................................................................110
Ficha 7. Anlisis de las partes interesadas........................................................................................111
Ficha 8. Tcnica Delphi/panel de expertos/as..................................................................................112
Ficha 9. Clculo de los costos reales del programa.........................................................................113
Ficha 10. Clculo de la relacin CostoImpacto (va ACE)................................................................114
3.4.2 Cmo utilizar la informacin? Instrumentos para la difusin y comunicacin de los resultados...........115
Ficha 11. Informe escrito..................................................................................................................116
Ficha 12. Hojas de informacin........................................................................................................117
Ficha 13. Diapositivas......................................................................................................................117
Ficha 14. Gacetilla de prensa...........................................................................................................118
Ficha 15. Presentacin oral..............................................................................................................118
Bibliografa......................................................................................................................................................119
4
UNICEF - CIPPEC
Presentacin
Sobre el proyecto: 3 manuales para fortalecer la
gestin local de polticas sociales
Con el objetivo de visibilizar y dar prioridad a los problemas que afectan a
nios, nias y adolescentes, desde 2004, UNICEF y CIPPEC trabajan juntos
en diversas iniciativas.
5
Monitoreo y evaluacin de polticas, programas y proyectos sociales
Durante las ltimas dcadas, los gobiernos locales asumieron un rol pro-
tagnico en el diseo, implementacin y evaluacin de polticas sociales
destinadas a infancia y adolescencia. Esto se debe, principalmente, a dos
procesos que se desarrollaron a partir de la dcada de los ochenta y que
pueden condensarse en:
Por eso, y aunque estos manuales cuentan con mltiples usuarios poten-
ciales, estn especialmente orientados a los/as funcionarios/as y legislado
res/as locales cada vez ms involucrados/as en el proceso de decisin, dise-
o e implementacin de polticas pblicas destinadas a niez y adolescencia.
6
UNICEF - CIPPEC
XX Utilizar instrumentos de gestin de polticas sociales, especialmente en
aquellas destinadas a nios, nias y adolescentes.
XX Generar capacidades para planificar a travs de metodologas participa-
tivas y con criterios de equidad.
XX Generar capacidades para el monitoreo y evaluacin de polticas so-
ciales, con nfasis en la importancia del proceso de aprendizaje en la
gestin.
XX Generar capacidades para coordinar los diversos sectores y niveles de
gobierno involucrados en la gestin de polticas sociales, para construir
un abordaje integrador.
7
Monitoreo y evaluacin de polticas, programas y proyectos sociales
8
UNICEF - CIPPEC
Si bien invitamos a cada lector a delinear su propio recorrido, sugerimos
algunos:
9
Captulo 1
Introduccin
13
Monitoreo y evaluacin de polticas, programas y proyectos sociales
14
UNICEF - CIPPEC
Tabla 1.1 Poltica, programa y proyecto: algunas diferencias
Poltica de proteccin de
Programa de proteccin de derechos de Proyecto de defensoras zonales
derechos de nios, nias y
nios, nias y adolescentes y/o municipales
adolescentes
Los objetivos Una cuestin: necesidad de Un objetivo: contribuir a que los derechos Un objetivo: garantizar la defensa
garantizar los derechos de de los nios, nias y adolescentes estn de los derechos de los nios, nias
nios, nias y adolescentes. protegidos; en especial, contra la violencia, el
abuso, la explotacin y el trabajo infantil.
y adolescentes ante las instituciones
pblicas y privadas locales. Cap. 1
Supuestos La cuestin se redefine a lo La definicin de sus objetivos es el resultado La definicin de sus objetivos no
acerca de la largo del tiempo. de un proceso de negociacin entre actores se modifica en forma arbitraria. Su
accin de diferentes niveles de gobierno (nacional y vigencia est atada a la existencia
provincial) y del nivel provincial. del programa y a sus orientaciones.
15
Monitoreo y evaluacin de polticas, programas y proyectos sociales
El hecho de que la evaluacin figure como etapa final Considerar los distintos alcances de las
intervenciones pblicas (polticas, programas
del ciclo responde a un ordenamiento conceptual, a
y proyectos) y las diferentes etapas de su de-
fines aclaratorios y de referencia. Por el contrario, en sarrollo (que esquematiza el ciclo de polticas)
estos manuales se considera que la evaluacin pue- constituye un insumo importante para superar
de entrar en escena en los distintos momentos del la frecuente desarticulacin que se evidencia
ciclo de vida de una poltica, programa o proyecto entre las polticas nacionales y provinciales
(donde suelen decidirse y formularse) y el
social. Ms informacin: seccin 2.6 de este manual.
contexto local en el que se implementan.
1 Como se describe en este captulo, en la Argentina, la decisin fundamental en materia de polticas sociales orien-
tadas a niez y adolescencia ya fue tomada, es por eso que en estos manuales no se profundizar sobre esta etapa.
16
UNICEF - CIPPEC
1.3 Breve resea sobre el proceso de
descentralizacin
El sistema municipal argentino
17
Monitoreo y evaluacin de polticas, programas y proyectos sociales
El proceso descentralizador
18
UNICEF - CIPPEC
La jerarquizacin del nivel municipal es tributaria de mltiples factores
que pueden resumirse en cuatro grandes hitos, ntimamente relacionados
(Camou y Di Virgilio, 2008):
19
Monitoreo y evaluacin de polticas, programas y proyectos sociales
20
UNICEF - CIPPEC
La descentralizacin de funciones redund, en muchos casos, en una
enorme carga presupuestaria que los municipios rara vez fueron capaces
de afrontar por s solos. La capacidad tributaria de los gobiernos locales es
acotada en trminos de recaudacin. Esto condiciona fuertemente el gasto y
limita la fijacin de prioridades en el nivel local.
21
Monitoreo y evaluacin de polticas, programas y proyectos sociales
Grfico 1.1 Gasto pblico social por nivel de gobierno (Nacin, provincias
y municipios). 1980-2009 (calculado sobre la base de porcentajes del PBI)
Sin seguridad social
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
1980
1981
1982
1983
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
Fuente: CIPPEC, sobre la base de los datos disponibles en la Secretara de Poltica Econmica y Planificacin
del Desarrollo, Ministerio de Economa de la Nacin.
2 Para un anlisis ms detallado, se sugiere revisar El papel de los municipios en la inversin pblica social en infancia y
adolescencia. Resultados de una encuesta nacional a municipios argentinos (Maceira y otros, 2010). Este documento,
publicado en 2010 por CIPPEC y UNICEF, constituye un antecedente de estos tres manuales.
22
UNICEF - CIPPEC
El proceso de descentralizacin hacia los gobiernos subnacionales (pro- Participacin
vincias y municipios) se concentr, principalmente, en las reas sociales: sa- de los gobiernos
lud, educacin y promocin social. El grfico 1.2 muestra cmo creci la subnacionales
participacin de los gobiernos subnacionales en el gasto social, en particular, en el gasto
entre las dcadas del ochenta y noventa. pblico social
1,00
0,90
0,80
0,70
0,60
0,50
0,40
0,30
0,20
0,10
0,0
Gasto social total Educacin Salud Promocin social
Fuente: CIPPEC, sobre la base de los datos disponibles en la Secretara de Poltica Econmica y Planificacin
del Desarrollo, Ministerio de Economa de la Nacin.
23
Monitoreo y evaluacin de polticas, programas y proyectos sociales
3,5
2,5
1,5
0,5
0
1980
1981
1982
1983
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009*
(*) Cifras provisionales
Fuente: CIPPEC, sobre la base de los datos disponibles en la Direccin de Anlisis de Gasto Pblico y Programas Sociales
del Ministerio de Economa de la Nacin, ao 2012 (ltimo dato disponible, ao 2009).
24
UNICEF - CIPPEC
Grafico 1.4 Participacin de los gobiernos locales en el gasto social (edu-
cacin, salud y promocin social). Promedios 1981-2008 (en porcentajes)
33%
28%
Cap. 1
10%
6% 7%
3% 3% 4%
2%
Fuente: CIPPEC, sobre la base de los datos disponibles en la Secretara de Poltica Econmica y Planificacin
del Desarrollo, Ministerio de Economa de la Nacin.
25
Monitoreo y evaluacin de polticas, programas y proyectos sociales
100%
90%
80%
70% Recursos
propios
60%
50%
Transferencias
40% de los
gobiernos
30% provinciales
20% Transferencias
del Gobierno
10% nacional
0%
2000 2001 2002 2003 2004 2005 2006 2007 2008
26
UNICEF - CIPPEC
El gasto pblico social consolidado dirigido a niez y adolescencia Los mayores aumentos nominales se presentaron en 2005 y
implic, en 2008 (ltimas estimaciones disponibles), una inversin 2008, ambos superiores al 30 %, como consecuencia de las
de $72751,5 millones, lo que representa una inversin de $5945 mayores erogaciones realizadas por los gobiernos provinciales
por nio, nia o adolescente (UNICEF, 2010). (cerca del 80 % del crecimiento total).
Entre 2001 y 2008, la inversin social en personas menores En 2005, se destacan el impacto de la Ley de Financiamiento
de 18 aos reflej un crecimiento nominal acumulado de Educativo y la implementacin de los Programas Federales de
338,8 %, sin considerar el impacto del aumento de los Vivienda. En 2008, el incremento responde principalmente a
Cap. 1
precios. En trminos reales, si se contempla el impacto en la aumentos relacionados con la provisin de educacin y salud
evolucin de los precios y se equiparan los valores de cada (UNICEF, 2010).
ao a pesos de 2001, es posible identificar que el incremento
en este perodo fue del 62,8 %.
La Convencin de las Naciones Unidas sobre los Derechos del Nio, que
entr en vigor en 1989, inaugur esta nueva forma de abordar la infancia y
adolescencia al reconocer la posicin de los nios, nias y adolescentes
como sujetos de derecho. En este tratado, la familia es reconocida como el
ambiente natural de bienestar para los nios, nias y adolescentes, y como
espacio predilecto para potenciar su pleno desarrollo. En consecuencia, la
principal tarea del Estado es velar por sus derechos en el marco de la
vida familiar.
3 Este apartado se elabor sobre la base de Inversin pblica social en infancia y adolescencia: Un anlisis
institucional y presupuestario para el municipio de Morn (Olaviaga y Marazzi, 2010).
27
Monitoreo y evaluacin de polticas, programas y proyectos sociales
1989 Entra en vigor la La Convencin establece tambin que el Estado debe comprometerse
Convencin a difundir informacin y materiales de inters para que los nios, nias
y adolescentes adquieran el derecho a expresarse, a construir libremente
1994 La Convencin su opinin y a gozar de la oportunidad de ser escuchado.
adquiere rango
constitucional Tras firmar la Convencin, los Estados se comprometen a asegu-
rar a los menores de edad su proteccin, es decir, la promocin
2005 Se aprueba la
y restitucin de sus derechos y el cuidado necesarios para su
Ley 26061
bienestar. Para eso, se formulan una serie de obligaciones asocia-
das con la salud, la educacin y el esparcimiento. En particular,
se establece como lmite el derecho a no sufrir discriminacin,
maltrato o explotacin econmica.
28
UNICEF - CIPPEC
La primera consecuencia de esta ley fue la derogacin del antiguo rgi-
men del patronato de menores (establecido por la Ley 10903, conocida como Derogacin del
Ley Agote), vigente desde 1919. Esto signific un corte estructural respecto antiguo rgimen
del paradigma anterior (y de sus implicancias organizacionales, sociales y de patronato
culturales) que haba consolidado la intervencin del Estado en la vida de los de menores
nios, nias y adolescentes en situacin de pobreza y les daba facultad de
tutela a los jueces.
29
Monitoreo y evaluacin de polticas, programas y proyectos sociales
A partir de la creacin del Sistema de Proteccin Integral de En la tabla 1.2 se presenta la cantidad de rganos
los Derechos de nios, nias y adolescentes, las provincias provinciales y municipales con competencia en niez y
son las encargadas de planificar y ejecutar polticas. Esta adolescencia en relacin con las localidades urbanas (con
aplicacin es desigual entre los distintos municipios, cuyas ms de 2000 habitantes segn INDEC).
funciones, grados de autonoma y recursos para abordar la
problemtica de la niez y la adolescencia difiere segn la Tabla 1.2 Cobertura de rganos locales con
provincia en la que se encuentren. competencia en materia de niez y adolescencia
De acuerdo con un informe del defensor del pueblo de la en localidades urbanas (provincias que cuentan
Nacin, la aplicacin desigual de este sistema se evidencia con ley de proteccin integral, con o sin
en las grandes diferencias que existen en el nivel de adhesin reglamentacin y que brindaron la informacin)
Chubut 18 14 128,6
Tucuman Chaco
es
CABA 15 15 100,0
Catamarca Santiago ion
de Estero Mis
Corrientes
La Rioja
Santa
Fe
Tierra del
2 2 100,0
San
Juan
Cordoba
Fuego
Entre
Rios
San
Luis Santa Cruz 13 14 92,9
Mendoza
Buenos Aires 112 158 70,9
Jujuy 14 22 63,6
Buenos Aires
La Pampa
Neuquen
Mendoza 14 33 42,4
Rio
Negro
Nivel de
adecuacin Categoras situacionales Santa Fe 5 121 4,1
No legisl conforme a la La Rioja 0 16 0,0
Ley 26061 o Convencin
Bajo
Internacional de los Derechos del
Ro Negro 0 29 0,0
Chubut
Nio (CIDN).
30
UNICEF - CIPPEC
Todos los gobiernos locales comparten, en mayor o menor me-
dida, un grado de responsabilidad en garantizar los derechos
de los nios, nias y adolescentes en su jurisdiccin, en coordi-
nacin con los distintos niveles de gobierno y organismos com-
petentes a efectos de llevar a la prctica un enfoque integral.
Es por eso que mejorar las capacidades de los municipios
para que puedan responder a este desafo en forma adecuada
Cap. 1
constituye una meta prioritaria.
31
Monitoreo y evaluacin de polticas, programas y proyectos sociales
32
UNICEF - CIPPEC
A pesar de la mejora en muchos indicadores sociales, la situacin
social que experimentan los hogares en la Argentina segn su ubicacin
geogrfica y su composicin sigue siendo heterognea y plantea retos
ineludibles, como enfatizar la dimensin social y poltica que el cambio de
paradigma supone y colocar en primer plano la inversin de recursos eco-
nmicos y materiales para la infancia y adolescencia.
33
Monitoreo y evaluacin de polticas, programas y proyectos sociales
34
Captulo 2
Aspectos conceptuales bsicos del
monitoreo y la evaluacin de polticas,
programas y proyectos sociales
4 En este manual se utilizar la frase las 3 P para referirnos a polticas, programas y proyectos sociales. Para mayor
informacin, consultar la Introduccin.
37
Monitoreo y evaluacin de polticas, programas y proyectos sociales
Evaluacin
de las 3 P destinadas destinadas a niez
ex post
concurrente
a niez y adolescencia y adolescencia
Mejoras
concurrentes
Evaluacin ex ante de las 3 P
destinadas a niez y adolescencia.
Apoya el diseo de la intervencin
social. Sirve de base para Monitoreo de las 3 P
el monitoreo, la evaluacin destinadas a niez
concurrente y ex post y adolescencia
Fuente: CIPPEC.
38
UNICEF - CIPPEC
prioritarios (Tamayo Sez, 1997). Estos objetivos, acciones y decisiones in-
volucran a una multiplicidad de actores y sectores o reas (salud, educacin,
desarrollo social, etc.) de uno o varios niveles de gobierno (nacional, provin-
cial o municipal) y desbordan los lmites y las expresiones propias de cada
programa o proyecto.
39
Monitoreo y evaluacin de polticas, programas y proyectos sociales
El vocablo evaluacin proviene del latn valere, que significa valorar. Evaluar es
fijar el valor de una cosa y para hacerlo se requiere un procedimiento que permi-
ta comparar aquello a evaluar respecto de un criterio o un patrn determinado
(Cohen y Franco, 1988).
Referente
Objeto de de evaluacin
evaluacin
Estrategia
de evaluacin
EVALUACIN
Fuente: CIPPEC.
40
UNICEF - CIPPEC
La evaluacin no debe ser entendida como
El monitoreo es el seguimiento que se realiza
un proceso aislado. Muy por el contrario, es a la
vez un insumo para orientar la accin y un pro durante la ejecucin de una poltica, programa
ceso permanente de aprendizaje y mejora o proyecto. Es un instrumento, de gestin y de
que acompaa toda la vida de una poltica social. poltica, que permite revisar en forma peridica
En otras palabras, es una herramienta para la los aspectos sustantivos de las 3 P, para optimizar
toma de decisiones.
sus procesos, resultados e impactos. Constituye
41
Monitoreo y evaluacin de polticas, programas y proyectos sociales
42
UNICEF - CIPPEC
La definicin del problema: el caso del Programa Escuelas Plurilinges
Aqu recuperamos el ejemplo de una evaluacin Situacin edilicia: algunas escuelas tenan problemas
concurrente (de la ejecucin) del Programa Escuelas de adecuacin edilicia porque el Programa supona una
Plurilinges, desarrollado por el Gobierno de la Ciudad modificacin de la caja horaria6 de los establecimientos
de Buenos Aires desde inicios de la dcada de 2000. educativos. Tambin haba dificultades para instalar los
El Programa comenz en 2001 con un doble propsito: materiales didcticos tal como lo requeran las actividades.
ampliar y diversificar la oferta de servicios educativos de
la Ciudad e implementar desde los primeros grados una Articulacin y coordinacin: otros nudos se
enseanza de calidad en lengua extranjera, de manera relacionaban con la necesidad de fomentar la articulacin Cap. 2
sistemtica, intensiva y escalonada. entre los/as maestros/as de grado y lo/as de lengua
Escuelas Plurilinges se puso en marcha de manera extranjera, o entre estos/as y los/as otros/as docentes de
progresiva: en 2001 se inici en 12 escuelas y entre materias especiales Cmo lograr un trabajo conjunto en
2002 y 2003 se extendi a otras 10. Para evaluarlo la definicin de contenidos y otros aspectos?, cules eran
e intentar advertir cules eran los nudos en su las dificultades para que la cooperacin se concretara?,
ejecucin, un equipo de evaluadores/as se reuni qu situaciones de cooperacin eran indispensables
en diversas oportunidades con la directora de y qu actores deberan ser involucrados (los/as
Programacin y con la coordinadora del Programa. supervisores/as, los/as coordinadores/as de lenguas
Ellas no tenan pensado incorporar nuevas escuelas y extranjeras, los/as directores/as de las escuelas, los/as
estaban preocupadas por asegurar que el Programa docentes de grado, los/as de lengua extranjera o los/as de
pudiera completarse en las instituciones donde ya materias especiales, por ejemplo)?
funcionaba5 de manera exitosa y sustentable.
Impactos: tambin les preocupaban los impactos ms
Durante estas reuniones se detectaron los siguientes inmediatos del Programa, ya que este llevaba casi tres
nudos: aos de implementacin y era necesario demostrar
43
Monitoreo y evaluacin de polticas, programas y proyectos sociales
si haba tenido (o no) logros. En este sentido, era De este modo, qued definido el problema que la in-
interesante conocer su impacto sobre la matrcula de los vestigacin evaluativa se propona abordar.
establecimientos o en el rendimiento escolar7. Adems, La investigacin dur cuatro meses. Sin embargo, es im-
era til conocer si la oferta efectiva del Programa Escuelas posible dar cuenta de todas las fuentes de incertidumbre y
Plurilinges se adecuaba a los lineamientos que le dieron dificultad, y estas deben priorizarse de acuerdo a un criterio
origen. reflexionado y acordado. En este caso, para recortar se
Las preocupaciones relevadas durante las entrevistas eran decidi volver a los nudos que los/as responsables
tantas que los/as evaluadores/as no saban por dnde del Programa esbozaron en las entrevistas iniciales.
empezar a encarar el proyecto de evaluacin. Un proyecto Cules fueron esos nudos? Las dificultades en trmi-
que, adems, tena que ser consensuado y materializado. nos de recursos humanos y de infraestructura, la falta de
Armarlo fue un proceso arduo. De hecho, tuvo varias cooperacin entre los actores involucrados en el proceso de
versiones que supusieron reuniones de trabajo adicionales. implementacin y los impactos inmediatos del Programa. Es-
A pesar de su complejidad, el intercambio result tas fueron las fuentes de dificultad y de incertidumbre que
fundamental porque permiti definir la demanda. finalmente se indagaron durante la evaluacin de la ejecucin
Finalmente, se consensu que el estudio evaluativo del Programa Escuelas Plurilinges.
deba responder a dos preguntas bsicas:
(1) Cules eran las fuentes de dificultad e incertidumbre
que atentaban contra la implementacin y completitud del En la evaluacin, el proyecto es el dispositivo
Programa? a travs del cual se logra construir formalmente
(2) Qu caractersticas tenan esas fuentes? la demanda. Sin embargo, esa construccin es
provisoria porque se va a redefinir a lo largo de
todo el proceso de evaluacin.
44
UNICEF - CIPPEC
2.2 El monitoreo: un instrumento para la toma
de decisiones
A diferencia de la evaluacin, el monitoreo es el seguimiento que se realiza
durante la ejecucin de una poltica, programa o proyecto. Aunque incluye
una dimensin tcnica, no se agota en ella. Por el contrario, es un instrumento
de gestin y de poltica que permite revisar en forma peridica los aspectos
sustantivos de las 3 P para optimizar sus procesos, resultados e impactos. Por
eso, constituye un insumo indispensable para la gestin administrativa y estra-
tgica de una iniciativa pblica.
45
Monitoreo y evaluacin de polticas, programas y proyectos sociales
Tipo de tarea Informacin y comparacin de datos sobre la Informacin y comparacin de datos sobre la
ejecucin de la poltica, programa o proyecto ejecucin de la poltica, programa o proyecto con
con los objetivos establecidos en el marco de su los patrones de referencia valorativos definidos a
formulacin. travs de la visin o escenario futuro que se quiere
construir.
Propsito Controlar la ejecucin y realizar el seguimiento de la Valorar el diseo, la ejecucin, los resultados y los
gestin operativa y estratgica. impactos del Programa.
46
UNICEF - CIPPEC
Un sistema de monitoreo se construye a partir de indicadores. Los indi-
cadores son medidas directas o indirectas de un evento, condicin, situacin Indicadores
o concepto, y permiten inferir conclusiones apreciativas acerca de su com-
portamiento o variacin.
Indicadores
47
Monitoreo y evaluacin de polticas, programas y proyectos sociales
Construccin de indicadores
Para el monitoreo se proponen cuatro categoras de indicadores:
de proceso, de producto, de cobertura y de resultados.
Informacin bsica
Necesaria para construir el dato del indicador o del conjunto de
indicadores involucrados en la actividad evaluativa.
48
UNICEF - CIPPEC
Existen diferentes categoras de indicadores. Las ms comunes son8:
8 La clasificacin de los tipos de indicadores fue tomada de Cerezo y Fernndez Prieto (2011).
49
Monitoreo y evaluacin de polticas, programas y proyectos sociales
50
UNICEF - CIPPEC
XX Genricos: son comunes a las 3 P. A modo de ejemplo, entre ellos se
cuentan el ndice de avance fsico, de costo por unidad de producto, de
eficiencia de la focalizacin y de necesidades bsicas insatisfechas (NBI).
XX Sectoriales: se disean segn el rea de trabajo de cada poltica, pro-
grama o proyecto. Este tipo de indicadores incluye, por ejemplo, al ndice
de aos de vida ajustados en funcin de la discapacidad (DALY O AVAD).
XX Especficos: solo se utilizan en una poltica, programa o proyecto en par-
ticular. Puede tratarse, por ejemplo, de la relacin peso/talla, del ndice de
masa corporal, de la razn profesor/alumno o del grado de hacinamiento.
Para lograr una visin integral de lo que acontece con las 3 P, se debe
contar con las siguientes fuentes de informacin:
51
Monitoreo y evaluacin de polticas, programas y proyectos sociales
52
UNICEF - CIPPEC
DevInfo Jujuy: sistema de informacin y seguimiento de indicadores de desarrollo
humano de la niez y adolescencia
UNICEF cuenta con un sistema de manejo de bases Hacer visibles los problemas de los nios, las nias y
de datos que permite monitorear el avance de los adolescentes.
compromisos asumidos en relacin con el desarrollo Facilitar la comparacin de las cifras jujeas con las de
humano. En este marco se realizan, por ejemplo, otras provincias y entre regiones.
mediciones de la inversin social dirigida a la infancia. Generar informacin sobre desigualdades
Este monitoreo se organiza a travs de la base de datos socioeconmicas.
DevInfo (http://www.devinfo.org) que permite organizar, Informar a funcionarios/as y periodistas sobre la Cap. 2
almacenar y presentar datos de forma uniforme para situacin de los/as nios/as, los avances (y retrocesos) en
facilitar la transferencia de informacin. Con el apoyo de el cumplimiento de sus derechos.
UNICEF Argentina, el Programa se implement en las Difundir todos los indicadores sociales disponibles sobre
provincias de Jujuy y Misiones. la niez y la adolescencia, con el objetivo de mejorar sus
DevInfo admite, tambin, la compilacin y anlisis de condiciones de vida y desarrollo.
indicadores agrupados segn distintas clasificaciones
temticas (por ejemplo, temas de violencia o pobreza) Este sistema de informacin facilita el monitoreo de los
fuentes de informacin y otros criterios, y construir proyectos y la rendicin de cuentas y brinda legitimidad
herramientas visuales como cuadros, grficos o mapas. a las polticas y programas sociales; adems, promueve
Estas herramientas visuales facilitan a los/as funcionarios/as una cultura de aprendizaje a partir de la informacin
locales realizar el seguimiento de las polticas pblicas, producida.
programas y proyectos.
En la provincia de Jujuy, por ejemplo, el DevInfo se utiliza
para9:
Fuente: http://www.unicef.org/argentina/spanish/media_20230.htm
9 Esta informacin est disponible en un portal web y puede ser consultada
por cualquier individuo: http://www.infojujuy-dippec.gov.ar.
53
Monitoreo y evaluacin de polticas, programas y proyectos sociales
informtico, destinado a
facilitar y mejorar la toma
El monitoreo se focaliza fundamentalmente en los procesos y
de decisiones en la ges-
productos de un programa. La evaluacin puede estar orien-
tin de las 3 P. Para ma-
tada al diseo (ex ante), a los procesos (concurrente) o a los
yor informacin sobre los
productos, impacto y efectos (ex post).
tableros de gestin, con-
sultar la seccin 3.5 del
manual de Planificacin. La evaluacin del diseo comprende la valoracin de los insumos (re-
cursos humanos, materiales, temporales y financieros) que una determinada
poltica, programa o proyecto prev movilizar para dar respuesta a un deter-
minado problema social.
54
UNICEF - CIPPEC
Tabla 2.2 La evaluacin y el monitoreo en la gestin de polticas, programas
y proyectos sociales
Evaluacin ex Evaluar la viabilidad del programa en trminos Desde la identificacin de las acciones
ante financieros, polticos e institucionales. Priorizar/ hasta la finalizacin de la planificacin del
seleccionar las acciones que racionalicen la inversin. programa.
Lnea de base Es informacin referida a los valores iniciales de los Finalizado el proceso de planificacin.
indicadores del problema que dio origen al programa,
Planificacin que se construyen durante su delimitacin. Cap. 2
del Constituye un parmetro indispensable para evaluar
programa los impactos de la intervencin porque permite
comparar las situaciones antes, durante y despus de
su ejecucin.
Plan operativo Programar las actividades, sus metas y productos Dos meses antes de iniciarse cada ao,
anual de manera anualizada. Constituye la base para el con un ajuste semestral, a la luz de los
monitoreo. resultados del monitoreo.
Monitoreo Indagar y analizar permanentemente el grado en Durante toda la ejecucin del programa.
que las actividades realizadas y los resultados
obtenidos cumplen con lo planificado, para detectar
Ejecucin oportunamente las eventuales deficiencias, obstculos
del y necesidades de ajuste en la ejecucin.
programa
Evaluacin Evaluar con profundidad desde la perspectiva Durante la ejecucin del programa,
concurrente institucional y en un momento determinado, el cuando existe la necesidad de profundizar
desempeo del programa en todos sus niveles. el conocimiento sobre su desempeo.
55
Monitoreo y evaluacin de polticas, programas y proyectos sociales
56
UNICEF - CIPPEC
La puesta en marcha de un plan
Monitoreo y evaluacin son medios esencia
les para el aprendizaje. La informacin que pro- de M&E contribuye a fortalecer
ducen debe volcarse a las 3 P para precipitar un las capacidades estatales, otorga
proceso de reflexin y cambio estimulado desde el transparencia, aumenta la legiti-
interior de la organizacin. En este sentido, constitu- midad de la accin pblica local y
yen medios para potenciar los recursos materiales,
es fuente de aprendizaje y mejora
tcnicos y de poder (Martnez Nogueira, 2004).
permanente.
57
Monitoreo y evaluacin de polticas, programas y proyectos sociales
XX Entre las ventajas que posee este tipo de evaluacin se encuentra la su-
puesta objetividad, porque los/as evaluadores/as no pertenecen a la
organizacin ejecutora y, en consecuencia, maximizan la credibilidad
social de la evaluacin realizada.
XX Entre las desventajas, se seala que este tipo de evaluacin minimiza las
posibilidades de mejorar el programa (ya que los/as evaluadores/as
no estn directa o indirectamente vinculados en la ejecucin del proyec-
to) y, en relacin con lo anterior, podra maximizar tambin la reactivi
dad de los actores internos, que quedan afuera del proceso evaluativo.
Adems, este tipo de evaluacin tiende a resultar ms costosa, tanto en
trminos financieros como humanos.
58
UNICEF - CIPPEC
Las ventajas de esta opcin radican en que minimiza la distancia en
tre el/la evaluador/a y los/as titulares y que suele ser ms exitosa en la Ms informacin sobre
los actores involucrados
deteccin de los efectos no previstos. No obstante, es el tipo de evalua- en la seccin 3.2 de este
cin ms larga y costosa de todas las presentadas ya que implica trabajar manual y en la seccin 3.2
con un mayor nmero de actores y, por lo tanto, con un volumen mayor de del manual de
Planificacin.
informacin.
Evaluacin Actores internos y externos. -Minimiza la reactividad de los actores -Requiere un trabajo conjunto entre
mixta internos. actores internos y externos.
-Maximiza la credibilidad social de la -Proceso ms largo que la evaluacin
evaluacin. interna o externa.
-Maximiza la utilizacin de instrumentos
metodolgicos adecuados.
-Maximiza la influencia sobre el
programa.
Evaluacin Actores internos, externos y -Minimiza la distancia que existe entre -Requiere un lapso de tiempo ms largo
participativa titulares del programa. el/a evaluador/a y los/as titulares que todas las anteriores.
-Permite detectar efectos no esperados. -Tiene un costo ms alto que todas las
anteriores.
59
Monitoreo y evaluacin de polticas, programas y proyectos sociales
Figura 2.4 Ciclo de vida de una poltica o programa social y los tipos de
evaluacin
Identificacin Evaluacin
del problema ex ante o
diagnstico
(1)
Toma de
decisiones
sobre la Decisin
poltica
Evaluacin Diseo y
ex post configuracin
(3) Implementacin de de la poltica
la poltica
Monitoreo
o evaluacin
concurrente
(2)
Fuente: CIPPEC.
Distintos tipos de
monitoreo y evaluacin XX Si evaluamos antes de comenzar la ejecucin, realizamos una evaluacin
sern analizados en detalle ex ante (1).
en la seccin 3.3 de este XX Si evaluamos durante la ejecucin, implementamos un proceso de mo
manual. Sin embargo,
nitoreo o una evaluacin concurrente (2).
adelantaremos algunos de
sus rasgos para comprender XX Si evaluamos una vez finalizada la ejecucin, llevamos adelante una eva
el proceso en forma general. luacin ex post (3).
60
UNICEF - CIPPEC
Estas diferencias de temporalidad (ex ante, concurrente, ex post) respon-
den a distintos objetivos. Adems, como se implementan en distintas etapas
de las 3 P, cada una permite obtener informacin diferente.
En el manual de
Para determinar la viabilidad de una intervencin, la evaluacin ex ante Planificacin usted
pone el foco en la capacidad para movilizar recursos (ya sean estos de poder, encontrar una gua para la
humanos, materiales, de tiempo, etc.), en las capacidades organizacionales aplicacin de la tcnica de
Anlisis FODAfortalezas,
de la institucin que la implementar y en la disposicin actitudinal de los
oportunidades, debilidades
actores involucrados directa o indirectamente en la implementacin. Este es y amenazas. Para ello,
el momento indicado para intuir posibles logros a partir de las fortalezas y consultar la seccin 3.2.
oportunidades, y potenciales problemas sobre la base de debilidades y ame-
nazas (Pichardo Muiz, 1989).
61
Monitoreo y evaluacin de polticas, programas y proyectos sociales
62
UNICEF - CIPPEC
XX Efectos: los efectos esperados son los cambios previstos que se desean
Para mayor informacin,
generar a travs de las 3 P. Son cambios positivos, con respecto a la consultar la seccin
situacin inicial, y se producen como consecuencia de los productos lo- 2.1 del manual de
grados. Los efectos no previstos son aquellos (positivos o negativos) que Planificacin.
Impacto social:
- Coherencia interna.
- Pertinencia.
63
Monitoreo y evaluacin de polticas, programas y proyectos sociales
64
Captulo 3
Mtodos, tcnicas y herramientas
para monitoreo y evaluacin
3.1 Insumos necesarios para llevar adelante el proceso de monitoreo y evaluacin: la construccin de una lnea de base 67
3.2 El proceso de monitoreo y evaluacin. Componentes 71
3.3 Tipos de monitoreo y evaluacin 84
3.3.1 Evaluacin para la puesta en marcha de polticas, programas y proyectos 84
3.3.2 Monitoreo y evaluacin durante el proceso de implementacin de las polticas, programas y proyectos 88
3.3.3 Evaluacin ex post de polticas, programas y proyectos sociales 94
3.3.4 El monitoreo y la evaluacin como proceso de aprendizaje 98
3.4 Herramientas para el monitoreo y la evaluacin 100
3.4.1 Instrumentos y tcnicas para construir evidencia emprica 100
3.4.2 Cmo utilizar la informacin? Instrumentos para la difusin y comunicacin de los resultados 115
UNICEF - CIPPEC
El objetivo de este captulo es describir, explicar y desarrollar tcnicas y herra-
mientas de monitoreo y evaluacin (en adelante M&E), a partir de un enfoque tem-
Cap. 3
poral que las clasifica segn se las utilice antes, durante o despus de la im
plementacin de una poltica, programa o proyecto social (en adelante, las 3 P).
67
Monitoreo y evaluacin de polticas, programas y proyectos sociales
Identificacin Evaluacin
de problemas ex ante o
y necesidades diagnstico
(1)
Lnea de base
Punto de
referencia
Toma de
decisiones
sobre la Decisin
poltica
Evaluacin Diseo y
ex post configuracin
(3) Implementacin de la poltica
de la poltica
Monitoreo o
evaluacin
concurrente
(2)
Fuente: CIPPEC.
68
UNICEF - CIPPEC
A partir de la informacin compilada, ser necesario seleccionar
Los indicadores deben
indicadores que permitan caracterizar las distintas dimensiones del
problema focal. Para cada una de sus dimensiones ser necesario se- definirse en funcin del
leccionar uno o varios indicadores, a travs de los cuales se las podr contexto y de la especi-
valorar y evaluar. ficidad de los objetivos
planteados en el marco
Una vez seleccionados los indicadores, ser necesario recolectar
del proyecto a evaluar.
los datos para medirlos. Para la estimacin de la lnea de base se
pueden utilizar las siguientes herramientas:
69
Monitoreo y evaluacin de polticas, programas y proyectos sociales
A inicios de la dcada de 2000, el Ministerio de Trabajo, condiciones de trabajo y las causas por las cuales esos
Empleo y Seguridad Social (en adelante MTEySS) desarroll nios, nias y adolescentes tenan que trabajar.
la primera herramienta disponible en la Argentina para La encuesta recopil informacin sobre el trabajo infantil de
dimensionar el trabajo infantil y adolescente. Las iniciativas dos grupos etarios particulares: personas de 5 a 13 y de 14 a
del Estado argentino en pos de regular este tipo de prctica 17 aos. Adems, revel mltiples aspectos como educacin
son de larga data: en 1907 se sancion la Ley 5291, que y rendimiento escolar; actividades recreativas; actividades
reglament el trabajo de los menores y las mujeres. Sin domsticas (tipo, intensidad, presencia de adultos, motivos y
embargo, no fue hasta casi un siglo despus cuando apareci evaluacin); actividades econmicas (en la semana y el ao
una herramienta que permiti dar cuenta, de manera cabal, previo); tipo de trabajo; intensidad (horas semanales, trabajo
del carcter, la naturaleza y la magnitud del trabajo infantil y nocturno, por temporadas); condiciones de trabajo; elementos
adolescente, es decir, del trabajo en la poblacin de 5 a 17 de proteccin; percepcin de ingresos; accidentes laborales y
aos. Ese instrumento es la Encuesta de Actividades de su atencin; actitudes y valoracin del trabajo que realizan.
Nios, Nias y Adolescentes (EANNA). Se aplic en el Gran Buenos Aires, Mendoza y en las subregiones
Con el objetivo de contar con informacin ms precisa en del Noroeste (integradas por tres provincias: Jujuy, Salta y
torno a las caractersticas principales de las actividades que Tucumn) y Noreste (que abarca las provincias de Formosa y
desarrollan los nios, nias y adolescentes, se desarroll una Chaco), donde se encuest tanto a la poblacin urbana como a la
metodologa especfica que pudiera abordar los problemas rural. Esto signific utilizar, por primera vez, el marco de muestreo
habitualmente sealados por la literatura sobre el trabajo urbano rural diseado por el INDEC para encuestas a hogares.
infantil para luego avanzar sobre ellos (Waisgrais, 2007:101). Los datos elaborados a partir de la EANNA constituyen un
La EANNA fue desarrollada en forma conjunta por el MTEySS punto de referencia obligado para el monitoreo y la
y el Instituto Nacional de Estadsticas y Censos (INDEC) en evaluacin de las acciones que el MTEySS desarrolla
el marco del Programa Encuesta y Observatorio de Trabajo para erradicar el trabajo infantil. La EANNA ya se
Infantil y cont con la asistencia tcnica de la Organizacin implement en otras jurisdicciones como la provincia de
Internacional del Trabajo (OIT) y del Programa de Informacin Crdoba; sin embargo, solo su realizacin peridica,
Estadstica y de Seguimiento en Materia del Trabajo Infantil bajo las mismas condiciones y en los mismos lugares
(SIMPOC). en los que se aplic en 2004, permitir dar cuenta de
La encuesta se propuso producir informacin estadstica las variaciones efectivas ocurridas en el carcter, la
sobre personas de entre 5 y 17 aos involucradas en naturaleza y la magnitud del trabajo infantil y adolescente en la
actividades econmicas y no econmicas, y especificar Argentina.
sus caractersticas demogrficas, educativas y
socioeconmicas generales, junto con las de sus hogares de
pertenencia. Adems, busc obtener datos sobre las Fuente: Ministerio de Trabajo, Empleo y Seguridad Social (2007).
70
UNICEF - CIPPEC
3.2 El proceso de monitoreo y evaluacin.
Componentes
Algunos componentes o pasos bsicos de todo trayecto evaluativo son
indispensables para disear y poner en marcha un monitoreo o evaluacin
de polticas, programas o proyectos. A partir de ellos, cada equipo evaluador
desarrollar distintas acciones.
Cap. 3
1 Descripcin de la poltica, programa o proyecto
10 Desarrollamos este punto a partir de lo propuesto en la Gua para la evaluacin del programas en educacin (Pascual
y Chiara, 2008).
71
Monitoreo y evaluacin de polticas, programas y proyectos sociales
72
UNICEF - CIPPEC
Componente 2: identificacin de los actores involucrados
La nocin de actor remite a aquellos individuos o colectivos con ca En la seccin 3.2 del
pacidad para incidir (en forma positiva o negativa) en el proceso de imple- manual de Planificacin
se encuentran herramientas
mentacin de las polticas pblicas. Esta capacidad variar segn su peso para avanzar en la
relativo y dotacin de recursos de poder (Chiara y Di Virgilio, 2009). construccin de un mapa de
actores. Este instrumento
ayuda a identificar a los
En cada uno de los niveles de gobierno en los que se implementan las 3 P,
actores involucrados, directa
hay distintos actores vinculados de manera directa o indirecta. Por ejemplo, en o indirectamente, en la
un Programa de Proteccin de Derechos de Nias, Nios y Adolescentes,
los actores que identificaremos podrn diferenciarse segn su nivel de im
implementacin de la poltica,
programa o proyecto objeto Cap. 3
de la evaluacin.
plementacin. Especficamente en el sector sanitario, el hospital pblico de
Las Lomitas (Formosa) es un actor local relevante para el municipio homnimo,
pero en el nivel nacional este lugar lo ocupan el Ministerio de Salud de la Nacin
o un actor internacional como la Organizacin Panamericana de la Salud.
Por su parte, los actores locales que inciden pueden variar segn las
problemticas particulares de cada municipio. En Las Lomitas (Formosa),
la mayor parte de la poblacin reside en el mbito rural; esto configura un en-
tramado de actores diferente al del municipio de Avellaneda (Buenos Aires),
donde la totalidad de la poblacin es urbana.
73
Monitoreo y evaluacin de polticas, programas y proyectos sociales
74
UNICEF - CIPPEC
El diagnstico participativo y los talleres como herramientas de evaluacin para
seleccionar la alternativa. El caso del Consejo de Niez y Adolescencia de Jess Mara
El Consejo de Niez y Adolescencia de Jess Mara se Al concluir el diagnstico participativo, los miembros del
conform en 2009, bajo la promocin del Programa de Consejo se reunieron para sistematizar la informacin y
Atencin de Violencia Familiar de la municipalidad de Jess jerarquizar los problemas ms urgentes y de mayor incidencia.
Mara, provincia de Crdoba. En este lugar, elPrograma Luego seleccionaron los tres ms relevantes para abordarlos
convoc a todas las instituciones involucradas en la promocin durante el taller de alternativas. Los criterios contemplados
de los derechos de nias, nios y adolescentes para conformar para jerarquizar los problemas fueron: gravedad (en el tiempo
un espacio intersectorial. y espacio), urgencia (en la percepcin del sector pblico, los
Con este fin, en 2009 se implementaron dos herramientas sectores privados y el sector ciudadano), factibilidad (social
(un taller de diagnstico participativo y el taller de diseo de y legal) e incidencia (cunto incide la solucin de cada
alternativas de abordaje) para evaluar la situacin, describir las problema sobre la resolucin de cada uno de los dems?). Cap. 3
principales problemticas de esta franja etaria en el municipio Como resultado de este trabajo de priorizacin, el Consejo
y, de este modo, orientar la decisin en trminos de poltica determin que las prioridades ms urgentes eran:
pblica. Para llevar adelante estas actividades, el Consejo 1. El aumento de la violencia, ya sea a nivel familiar,
de Niez (que contaba con alrededor de 15 miembros con institucional y social.
participacin activa) realiz una convocatoria masiva y logr 2. El aumento de la desercin escolar en el nivel medio.
reunir a 50 personas para realizar el diagnstico y a cerca de 3. El mayor consumo de sustancias adictivas a edades muy
30 para el taller. tempranas.
En octubre de 2009 se realiz el Taller de diagnstico El Consejo convoc nuevamente a la comunidad local
participativo de problemas y causas. El Consejo convoc a para llevar a cabo el Taller de diseo de alternativas
la comunidad para trabajar primero en la identificacin de las de abordaje e idear acciones o gestiones alternativas o
diversas problemticas que afectan localmente a los nios, ampliatorias de las existentes.
nias y adolescentes y, luego, para determinar y analizar sus Con toda la informacin recogida, organizada y analizada, se
respectivas causas. elabor un informe para el Poder Ejecutivo Municipal.
75
Monitoreo y evaluacin de polticas, programas y proyectos sociales
Problema focal
Fuente: CIPPEC.
76
UNICEF - CIPPEC
Estas dimensiones, a su vez, se vuelven a descomponer en un con
junto de indicadores, es decir, en dimensiones ms pequeas que
pueden ser medidas. Para la operacionalizacin, pueden seguirse los si-
guientes pasos11:
1. Enunciar el problema.
2. Enumerar las caractersticas que dan cuenta de la existencia del
problema.
3. Enumerar los factores que inciden sobre el problema.
4. Agrupar las caractersticas y factores similares en aspectos clave o Operacionalizacin
dimensiones. del problema
5. Cotejar que las dimensiones identificadas sean excluyentes entre s y
suficientes para caracterizar el problema.
6. Expresar, para cada dimensin, un conjunto de indicadores que se ex-
cluyan entre s, sean suficientes para describir cada dimensin y pue-
Cap. 3
dan ser contrastables empricamente.
77
Monitoreo y evaluacin de polticas, programas y proyectos sociales
Como su nombre lo indica, el programa Promocin del Buen Trato y Erradicacin de la Violencia de la organizacin Save
the Children trabaja para erradicar todo tipo de violencia y promover el buen trato hacia los nios y nias. Este programa incluye
la supresin del castigo fsico y psicolgico en la crianza, del abuso, de la explotacin sexual y de la trata de menores. Tambin
involucra la atencin a nios y nias hijos/as de mujeres que son vctimas de violencia de gnero. Adems, busca que los
Estados los y las reconozcan como vctimas directas de estas situaciones.
En el marco de esta ltima lnea de accin, el programa podra solicitar una evaluacin externa para conocer sus resultados e
impactos en materia de erradicacin de la violencia. A partir de esta demanda, sera necesario preguntarse por la definicin que
se da a erradicar la violencia, para identificar luego la forma de medir su aumento o reduccin. Operacionalicemos el concepto
segn la definicin del programa:
Luego, tenemos que transformar o recodificar cada una de estas dimensiones en un conjunto de indicadores que permitan
medir (a travs de distintas herramientas) su magnitud y caractersticas. Tomaremos solamente una de las dimensiones para
ejemplificar el proceso: erradicacin del castigo fsico a nios y nias.
Estos indicadores pueden ser medidos, por ejemplo, en los municipios donde se instrumenta el Programa y en los cuales solo se
realizaron acciones especficas para incidir sobre este problema.
78
UNICEF - CIPPEC
Componente 4: objetivos y preguntas en el marco de
la investigacin evaluativa
Una vez delimitadas las fronteras del problema focal, es necesario establecer
el para qu de la evaluacin:
79
Monitoreo y evaluacin de polticas, programas y proyectos sociales
Listas de
Observacin control con
participante preguntas
Anlisis
Datos
secundarios de las partes
interesadas
Grupos Tcnica
focales Delphi
Entrevistas Clculo
individuales de los
costos reales
Instrumentos y
tcnicas para Clculo de la
Encuestas construir la base relacin costo
emprica impacto
80
UNICEF - CIPPEC
La relacin entre cada una de estas tcnicas y cada tipo de evaluacin
ser desarrollada al final de este captulo. Primero, caracterizaremos a Al final del captulo
encontrarn fichas
cada instrumento y tcnica para construir evidencia.
descriptivas que les
servirn como guas al
momento de la aplicacin
Componente 6: procesamiento y anlisis de los datos (consultar fichas 1 a 10).
FICHA
81
Monitoreo y evaluacin de polticas, programas y proyectos sociales
Con el objetivo de Cualquier tipo de comunicacin de resultados contiene, por lo menos, los
caracterizar cada una de
las tcnicas para socializar
siguientes elementos:
los resultados, se incluyen
al final de este captulo XX Hallazgos o hechos ms relevantes. Hechos sociales de inters, im-
fichas descriptivas que pactos deseados y no deseados, balance entre ambos, factores clave
tambin servirn como gua
al momento de la aplicacin que incidirn en el logro de los resultados.
de estas herramientas
(consultar
FICHA fichas 11 a 15)
12 El anlisis inferencial refiere al uso de tcnicas y procedimientos estadsticos que permiten generar modelos, inferencias
y predicciones asociadas a los fenmenos. Se usa para encontrar patrones en los datos y hacer deducciones acerca de
la poblacin bajo estudio. Las inferencias que se realizan a partir de datos de una muestra se denominan inferencias
estadsticas y pueden tomar la forma de respuestas a preguntas si/no (prueba de hiptesis), estimaciones de caractersti-
cas numricas (estimacin), pronsticos de futuras observaciones, descripciones de asociacin (correlacin) o establecer
(modelar) relaciones entre variables (anlisis de regresin).
82
UNICEF - CIPPEC
XX Conclusiones extradas. Elaboradas a partir de los principales hallazgos
de la investigacin. Sintetizan sus principales aprendizajes y lecciones.
XX Recomendaciones o propuestas de accin. Pueden orientarse a dis-
tintos niveles: gestores de la intervencin, organismos financieros que
sostienen o auspician la intervencin, responsables de alta jerarqua, des-
tinatarios de la accin.
El caso del Censo Social Quilmes 2010, el primer censo social en el Conurbano
Durante 2010, el municipio de Quilmes realiz el discapacidad. Tambin incluy un apartado sobre la
primer Censo Social en el Conurbano Bonaerense. situacin de la niez y adolescencia, en particular sobre Cap. 3
El trabajo de campo se realiz en los barrios que se educacin y maternidad adolescente.
encuentran en mayor situacin de vulnerabilidad social. El Censo se realiz, a su vez, con un enfoque
Su ejecucin no fue una tarea sencilla e involucr a educativo. Por eso, sus resultados fueron difundidos a
numerosos actores de diferentes mbitos. travs de una amplia campaa que incluy la publicacin
El Censo se realiz con el fin de identificar a los de la informacin obtenida en seis cuadernillos con los
hogares en situacin de vulnerabilidad social y de siguientes ttulos:
recabar informacin estratgica para elaborar un 1. Las polticas pblicas, la participacin y la
Plan de Inversin Plurianual, enfocado en solucionar informacin social.
los principales problemas sociales de la localidad, 2. Caractersticas de los hogares.
mejorar las decisiones de polticas pblicas y aumentar 3. Caractersticas de las viviendas.
la eficiencia y la inversin social en cada barrio. El 4. Infancias, adolescencias y educacin.
relevamiento puede ser considerado como una lnea 5. Salud y discapacidad.
de base para que el gobierno local disee futuras 6. Poblacin migrante.
intervenciones.
Adems de recabar informacin para determinar El Censo Social Quilmes 2010 permiti mejorar
caractersticas demogrficas de la poblacin, de los el diagnstico social de cada uno de los barrios
hogares y de las viviendas, el Censo recuper datos en situacin de vulnerabilidad social de esta
sobre el mercado de trabajo, los niveles de ingresos, localidad.
el acceso a la salud y la presencia de personas con
Fuente: El Censo Social como herramienta de organizacin comunitaria
y participacin social. Cuadernillo N 1-6. Secretara de Desarrollo Social,
municipio de Quilmes.
83
Monitoreo y evaluacin de polticas, programas y proyectos sociales
Esta evaluacin se realiza para contar con criterios racionales que permi-
tan responder a la siguiente pregunta: la iniciativa debe implementarse?
(Cohen y Franco, 1988).
Es polticamente viable?
Es institucionalmente viable?
La poltica, el programa Es tcnicamente viable?
o el proyecto: Es financiera y econmicamente viable?
Es jurdicamente viable?
Es socioculturalmente viable?
Consultar en el manual
de Planificacin la gua para
A partir del anlisis de estos aspectos, se espera que la evaluacin ex
la aplicacin de la tcnica
de Anlisis FODAfortalezas, ante permita advertir potenciales fortalezas, oportunidades, debilida
oportunidades, debilidades des y amenazas en cada una de estas dimensiones. Ahora bien, cmo
y amenazas. Para ello, evaluamos las distintas dimensiones? A continuacin, presentamos un es-
consulte la seccin 3.2.
quema til para formular preguntas sobre la viabilidad de cada dimensin.
84
UNICEF - CIPPEC
A. Viabilidad poltica
B. Viabilidad institucional
85
Monitoreo y evaluacin de polticas, programas y proyectos sociales
D. Viabilidad jurdica
E. Viabilidad sociocultural
86
UNICEF - CIPPEC
Un ejemplo de evaluacin ex ante: el caso de la extensin de la educacin obligatoria
en la Ciudad Autnoma de Buenos Aires
La Constitucin de la Ciudad de Buenos Aires, sancionada organismos encargados de la gestin de las polticas
en 1996, establece en su artculo 24 que la educacin sociales en el nivel local.
obligatoria se prolongue de los siete aos tradicionales a diez. Procesos vinculados a las caractersticas del puesto
Para hacer operativo este mandato, el Gobierno de la Ciudad de trabajo docente.
sancion, en el ao 2002, la Ley 898/2002. En ese marco, Procesos institucionales (nivel de las escuelas).
la entonces Direccin de Programacin Educativa implement Procesos a nivel de la clase.
una evaluacin ex ante con el fin de obtener los insumos Con respecto a su viabilidad poltica, la iniciativa contaba
necesarios para la puesta en marcha de la iniciativa. como principal ventaja con la aceptacin y voluntad poltica para
La implementacin de la obligatoriedad se revelaba como su implementacin. Adems, tanto su posibilidad jurdica como
una intervencin compleja e integral para el nivel secundario, la financiera estaban aseguradas a travs de la Ley que prevea,
que pona el foco en las escuelas como espacio de gestin incluso, una partida presupuestaria especfica. Cap. 3
estratgica para asegurar la captacin de los/as jvenes que En un contexto en el cual algunas de las dimensiones de la
haban abandonado la escolaridad media o que nunca haban viabilidad estaban aseguradas, las dimensiones institucional
ingresado, y su permanencia en el sistema. y sociocultural tomaron especial relevancia. La construccin de
En ese contexto, a travs de la evaluacin se busc responder a las la evidencia emprica para caracterizar estos procesos se realiz a tra-
siguientes preguntas: bajo qu condiciones se implementaba la vs de herramientas de abordaje cuantitativo y cualitativo. En el primer
propuesta de obligatoriedad de la educacin media en la Ciudad caso se utiliz la tcnica del anlisis de datos secundarios: a partir
de Buenos Aires?, en qu medida estas condiciones respondan del anlisis de datos del sistema educativo se reconstruy el trayecto
(o no) a los requerimientos de la Ley?, qu requerimientos no educativo desde 1998 a 2001. Por su parte, la estrategia cualitativa
estaban siendo atendidos? y por qu? const de entrevistas personales para construir la perspectiva de los
A partir de estos interrogantes, el equipo evaluador actores involucrados sobre los dficits
formul el objetivo general del estudio: evaluar las para captar y retener a esa poblacin Al final de este captulo se
incluyen fichas descriptivas
condiciones en las cuales se implementaba la propuesta percibidos desde las escuelas.
que tambin servirn como gua
de obligatoriedad de la educacin media en la Ciudad de El siguiente paso fue sistematizar al momento de la aplicacin de
Buenos Aires e identificar el ncleo de potenciales problemas la informacin recolectada a estas herramientas (consultar
relacionados con la intervencin. travs de las entrevistas y los datos fichas 2 y 4).
Adems, y a los fines de la evaluacin, se definieron y secundarios. Finalmente, a partir de la
clasificaron los principales obstculos a los que se enfrentaba la informacin obtenida, se elabor un informe de resultados que fue
aplicacin de la ley, segn los distintos niveles de intervencin de socializado con los actores de la entonces Direccin de Programacin
la iniciativa: Educativa del Ministerio de Educacin de la Ciudad de Buenos Aires.
Procesos vinculados al nivel socioeconmico y educativo Para la estructuracin del informe se tuvieron en cuenta las dimensio-
de las familias con las que conviven los/as jvenes. nes del problema focal y las preguntas de investigacin.
Procesos vinculados al nivel macroinstitucional, en
Fuente: Secretara de Educacin del Gobierno de la Ciudad de Buenos Aires (2002).
particular, al de la Secretara de Educacin y de los
87
Monitoreo y evaluacin de polticas, programas y proyectos sociales
13 Usualmente, se afirma que el monitoreo surge de la comparacin entre lo programado y lo realizado; sin embargo,
es importante aclarar que esta comparacin es solamente cierta si la formulacin de lo programado es idnea y
realista. Si esta programacin es arbitraria, monitorear no tiene sentido, es decir que formulacin, programacin y
monitoreo estn estrechamente relacionados (Cohen y Martnez, 2004).
88
UNICEF - CIPPEC
supera a la situacin inicial (determinada por la lnea de base) y se acerca
a la situacin deseada (definida por las metas y objetivos).
Qu debemos evaluar?
EL DISEO
LA EJECUCIN
LOS EFECTOS
S Introducir ajustes
Hay variaciones entre lo
programado y ejecutado? (medidas preventivas
o correctivas)
NO
Contina la ejecucin
de acuerdo con la
programacin inicial
89
Monitoreo y evaluacin de polticas, programas y proyectos sociales
14 Nos Interesa destacar aqu que la evaluacin del diseo, programacin, ejecucin y efectos tiene que enmarcarse en
una reflexin amplia acerca de si hubo o no cambios contextuales que contribuyeron a la redefinicin del problema
sobre el que se pretenda intervenir.
90
UNICEF - CIPPEC
Tabla 3.1 Matriz para el anlisis de logros alcanzados en la ejecucin
LOGROS FORMAS DE
INDICADORES DE XITO FACTORES QUE HAN CONTRIBUIDO
IDENTIFICADOS CONSOLIDACIN
Reduccin de - ndice mundial de paridad entre los -Creacin de escuelas acogedoras. Programa para la matriculacin
la disparidad gneros. -Introduccin de cursos de educacin con de nias en entornos
entre gneros -Tasa neta total de matriculacin/ sensibilidad en materia de gnero. educativos de calidad.
en enseanza asistencia en la escuela primaria. - Formacin de maestros/as en materia
primaria de gnero.
Cap. 3
Fuente: CIPPEC, sobre la base de Pichardo Muiz (1989).
POSIBLES ESTRATEGIAS
PROBLEMAS CAUSAS ACTORES INVOLUCRADOS
PARA ENFRENTARLOS
Dificultades de Objetivos poco claros o confusos. - Agencia financiera. - Elaboracin participativa del
comunicacin Inexistencia de un mecanismo institucional - Institucin ejecutora. rbol de problemas.
de transmisin de informacin. - Grupo destinatario. - Planificacin colectiva de
Conflicto de intereses. las posibles modificaciones al
programa.
91
Monitoreo y evaluacin de polticas, programas y proyectos sociales
El PROAME fue un programa nacional del Consejo El equipo del Programa buscaba evaluar la ejecucin y los
Nacional de Niez, Adolescencia y Familia (Ministerio efectos del Programa. Pero, cules eran los problemas en
de Desarrollo Social de la Nacin, iniciado en 1996). su implementacin y cules eran sus efectos?
Surgi con el objetivo de crear y desarrollar una red En 2006, PROAME II solicit una evaluacin concurrente al
interinstitucional, con participacin del sector pblico y de SIEMPRO (Sistema de Informacin, Monitoreo y Evaluacin
organizaciones de la sociedad civil (OSC), que proveyera de Programas Sociales). Sus objetivos eran:
servicios preventivos y atencin integral para mejorar la (1) Evaluar la efectividad de las acciones desarrolladas para
insercin y adaptabilidad social de los/as titulares del mejorar el desempeo de las reas de niez y adolescencia
Programa. de los gobiernos provinciales. (2) Conocer la efectividad
En su primera etapa (1996 a 2000), el PROAME financi de los servicios de los Proyectos en los titulares directos
proyectos presentados por OSC, que se enfocaban en la del Programa. Evaluar la calidad de los servicios y la
reinsercin de los/as titulares en los mbitos familiares conformidad por parte de los titulares, as como tambin
escolares y comunitarios. En su segunda etapa (PROAME II), algunos aspectos vinculados a la gestin de los Proyectos.
incorpor un componente destinado a fortalecer las reas (3) Evaluar el desempeo del Programa a nivel de la Unidad
de niez y adolescencia de las jurisdicciones provinciales Ejecutora Central (UEC) y de las Unidades Coordinadoras
para conformar un proceso de gestin asociada con las Provinciales (UCP). (Agoff y otros, 2006).
organizaciones de la sociedad civil. Especficamente, se Se buscaba evaluar la ejecucin y los efectos del Programa.
dirigi a apoyar a los gobiernos provinciales en: (i) la mejora A partir de ello, se podra determinar el grado de cercana o
y ampliacin de la calidad y cobertura de prestaciones lejana con el diseo.
sociales destinadas a nios, nias y adolescentes en En el marco del objetivo 1, se exploraron la efectividad de
situacin de riesgo social y (ii) el diseo e implementacin las acciones, su articulacin y su sustentabilidad. Sobre
de estrategias efectivas para enfrentar la problemtica de el objetivo 2 se evalu el proceso de admisin de las
niez y adolescencia en situacin de riesgo social. OSC al Programa, cmo valoraban las OSC al PROAME
En este contexto, los actores involucrados eran todos los II, la perspectiva de los/as titulares y padres/madres de
que estaban relacionados o tenan intereses puestos en el los/as titulares sobre las actividades, los resultados de
PROAME II: los proyectos, el costo de los servicios del Programa, la
- Equipo del PROAME II, en particular los/as encargados/as infraestructura, los equipos de trabajo y las capacitaciones
de evaluacin y monitoreo. de las OSC. Finalmente, el objetivo 3 se desagreg en
- OSC beneficiarias del PROAME II. las siguientes dimensiones analticas: adecuacin de la
- Consejo Nacional de Niez, Adolescencia y Familia del organizacin de la Unidad Ejecutora del Programa (UEP)
Ministerio de Desarrollo Social de la Nacin. y de las Unidades Coordinadoras Provinciales (UCP);
92
UNICEF - CIPPEC
ajuste entre la planificacin y la ejecucin del Programa; OSC y sus actividades, sus dificultades y oportunidades, y
articulacin entre el nivel central del Programa y las los aspectos que mantendran y modificaran, entre otros.
provincias; asignacin de recursos; desempeo de las UCP; A partir de los grupos focales fue posible recabar tambin
sistema de monitoreo, control y evaluacin; registro de la opinin de los/as representantes de las OSC ejecutoras
titulares y la estructura del gasto del Programa. acerca de diversos aspectos vinculados a su ejecucin,
Cmo se abord este proceso? En primer lugar, se desempeo e impacto en los titulares directos. Esto
seleccion una muestra de 17 proyectos entre todos los permiti contar con elementos para identificar posibles
incluidos en PROAME II. Para la recoleccin reas de mejora y las principales fortalezas y debilidades,
Para mayor de datos cuantitativos, se realizaron y contraponer las distintas experiencias y realidades entre
informacin
consultar la encuestas a 1208 titulares de 12 a 18 aos proyectos y provincias.
ficha 1. y a padres de titulares de 0 a 11 aos. Se Luego, el trabajo de evaluacin se complement con
utiliz un cuestionario semiestructurado, anlisis de fuentes secundarias (documentos del
con preguntas cerradas y abiertas. Las encuestas a los Programa). Esta instancia permiti contar con
Cap. 3
titulares directos permitieron dimensionar los cambios informacin sobre los aspectos vinculados Para mayor
informacin
percibidos por los titulares respecto a su situacin social a la gestin del Programa, tanto en el nivel
consultar la
y conocer el nivel de conformidad con las prestaciones de central como en los niveles provinciales de ficha 4.
los Proyectos. ejecucin.
Para complementar esta informacin se realiz un trabajo Las tcnicas expuestas permitieron recolectar tambin
cualitativo en 11 de los 17 proyectos seleccionados. Para informacin que fue procesada por especialistas en
ello, se utiliz la tcnica de las entrevistas tcnicas cuantitativas y cualitativas. Luego, se revisaron
Para mayor personales y grupos focales. Se los objetivos del estudio y se realizaron las inferencias
informacin
realizaron 76 entrevistas en profundidad analticas.
consultar las
fichas 2 y 3. y 2 grupos focales. Las entrevistas a Como resultado de la evaluacin, se elabor un informe
informantes clave apuntaron a la exploracin escrito. Los resultados fueron socializados entre el equipo
entre los tcnicos en condiciones de proveer testimonios del PROAME.
relevantes acerca de los proyectos implementados por las
93
Monitoreo y evaluacin de polticas, programas y proyectos sociales
94
UNICEF - CIPPEC
El modelo compara la situacin en que se encontraban los dos grupos en
la lnea de base, con una situacin en la lnea de comparacin. A partir de
ello, se verifican los cambios generados por el proyecto.
Se debe analizar nicamente una variable a la vez y mantener las otras
constantes.
Limitaciones: su aplicacin se dificulta porque requiere la seleccin alea-
toria de los integrantes de cada uno de los grupos. Otra complejidad reside
en la dificultad de constituir dos poblaciones idnticas, por lo menos en los
aspectos relevantes (los que contribuyen al efecto que se estudia). Este m-
todo conlleva adems dificultades ticas que derivan de aplicar proyectos
solo a una parte de la poblacin objetivo (el grupo experimental) para poder
medir su impacto, excluyendo a otros que legtimamente requieren la misma
atencin o servicio.
95
Monitoreo y evaluacin de polticas, programas y proyectos sociales
Encontrarn fichas Por otra parte, en la evaluacin ex post pueden utilizarse una gran va
descriptivas de cada una riedad de tcnicas de recoleccin de informacin: encuestas, entrevistas
de estas tcnicas al final de
individuales, grupos focales, mtodo Delphi, observacin participante, indica-
este captulo.
FICHA
dores sociales, clculo de los costos reales del proyecto, etc.
96
UNICEF - CIPPEC
Un ejemplo de evaluacin ex post: el caso del Plan Nacional de Seguridad Alimentaria
En el 2002, en un contexto de crisis sociopoltica y Aos despus, cuando el proyecto estaba cerca de
econmica, se declar la emergencia alimentaria en toda terminar, se propuso como estrategia de salida la creacin
la Argentina. En este contexto se cre el Plan Nacional de una nueva Unidad de Gestin integrada a la estructura
de Seguridad Alimentaria (PNSA). Sus objetivos eran del Ministerio de Desarrollo Social. En este marco, se
brindar asistencia alimentaria, adecuada y acorde a las solicit a una consultora privada la realizacin de una
particularidades y costumbres de cada regin del pas; evaluacin ex post.
facilitar la autoproduccin de alimentos a las familias y En el primer momento, los/as evaluadores/as buscaron
redes prestacionales, fortalecer la gestin descentralizando reconstruir el problema focal y el contexto de formulacin
fondos; impulsar la integracin de recursos nacionales, del proyecto, a travs de los/as informantes clave y de los
provinciales y municipales; realizar acciones en materia de documentos disponibles. Para eso, trabajaron Para mayor
educacin alimentaria y nutricional y desarrollar acciones sobre datos secundarios: documentacin informacin Cap. 3
dirigidas a grupos de riesgo focalizados. disponible en el nivel central, documentos consultar la
El plan estaba dirigido a dos tipos de titulares: que produjo el proyecto para circulacin ficha 4.
(I) Titulares directos: personas que asistan a los interna y externa, evaluaciones ex ante,
comedores, en su gran mayora (91 %) nios/as de 2 a 14 estudios de factibilidad, y fuentes primarias, Para mayor
informacin
aos; (II) Titulares indirectos: las organizaciones y sus en particular, entrevistas en profundidad a
consultar la
comedores, como agencias de implementacin localizadas responsables del proyecto. Las entrevistas y ficha 2.
en reas de pobreza. Los titulares indirectos reciban, a el anlisis de datos secundarios se enfocaron
travs del Plan, apoyo y acompaamiento, financiamiento y en las siguientes dimensiones:
distintos tipos de beneficios.Los actores involucrados en el El problema, los objetivos y las lneas de intervencin.
Programa eran muchos y diversos: Los recursos que brinda el Proyecto.
Programas/dependencias del Ministerio de Desarrollo La relacin que se establece entre Nacin, provincias y
Social de la Nacin. municipios.
Programas/dependencias de otros ministerios La cobertura y seleccin de los titulares directos e
nacionales. indirectos.
Programas/dependencias de ministerios provinciales de La estructura organizacional de la implementacin y el
desarrollo social. proceso de implementacin.
Programa/dependencias de otros ministerios El alcance de las intervenciones sobre las
provinciales. organizaciones.
Programas/dependencias de municipios. Los/as evaluadores/as se propusieron el siguiente objetivo:
Organizaciones sociales comunitarias. analizar los aspectos crticos (estratgicos, metodolgicos
ONG. y operativos) del Proyecto tendiente a fortalecer el proceso
Familias. de transformacin en las organizaciones prestadoras de
97
Monitoreo y evaluacin de polticas, programas y proyectos sociales
servicios sociales comunitarios y las condiciones que se Momento 3: el alcance de las acciones del proyecto en
presentan como las ms adecuadas para fortalecer los las organizaciones, desde la perspectiva de los actores
procesos de transformacin de los comedores comunitarios institucionales.
en instituciones que brinden servicios sociales integrales, En funcin del momento evaluado, se utilizaron variadas
a travs de la diversificacin de la asistencia que brindan a tcnicas de recoleccin de informacin. Para el primer y
la comunidad. (IPSOS, 2009). Es decir que el universo de segundo momento, se utilizaron entrevistas personales a
la evaluacin estaba comprendido por las organizaciones y los/as principales ejecutores/as del programa y anlisis de
sus comedores en tanto agencias prestadoras de servicios fuentes secundarias. Los datos secundarios examinados
sociales integrales. fueron: documentos del programa y estadsticas producidas
Para llevar adelante estos objetivos, se propuso un diseo sobre la problemtica de la alimentacin. En el tercer
que aborda tres mbitos del desarrollo del proyecto: diseo, momento, las entrevistas personales fueron orientadas a
implementacin y resultados. As, se programaron tres las organizaciones beneficiarias y, nuevamente, se realiz
momentos en la evaluacin que se corresponden con cada un anlisis de fuentes secundarias. Luego, se efectu
uno de esos mbitos: la sistematizacin de la informacin recolectada y las
Momento 1: la puesta en marcha e implementacin del inferencias analticas.
proyecto y su contexto. Los/as evaluadores/as redactaron, finalmente, un informe
Momento 2: anlisis de la apropiacin jurisdiccional del escrito para socializar los resultados de la evaluacin
proyecto y de la conformacin y dinmica de trabajo de que cont con un captulo de balance basado en toda la
efectores (organizaciones) en el nivel municipal. informacin vertida en los diferentes captulos.
98
UNICEF - CIPPEC
Definimos al aprendizaje como un proceso continuo y dinmico de in
vestigacin, cuyos elementos clave son la experiencia, el conocimien La evaluacin
to, el acceso y la relevancia. Por eso, resulta ms fcil de conseguir cuando y el aprendizaje
se brinda a los/as involucrados/as la posibilidad de observar, comprometerse
e inventar o descubrir estrategias para afrontar cierto tipo de problema15.
15 Programa de las Naciones Unidas para el Desarrollo. (2002). Manual de seguimiento y evaluacin de resultados.
Estados Unidos: PNUD, Oficina de Evaluacin.
99
Monitoreo y evaluacin de polticas, programas y proyectos sociales
FICHA A continuacin, se presenta una ficha que describe cada uno de los si-
guientes formatos: (1) encuestas; (2) entrevistas individuales; (3) grupos
focales; (4) datos secundarios; (5) observacin participante; (6) lista de
control con preguntas; (7) anlisis de las partes interesadas; (8) tcnica
Delphi/panel de expertos/as; (9) clculo de los costos reales del pro
grama; (10) clculo de la relacin Costo-Impacto (va ACE).
100
UNICEF - CIPPEC
acuerdo/
obtener informacin factual, valorar el
Ficha 1. desacuerdo respecto de una propuesta
la encu estad
o
o/a
ura del/d e
Encuestas conocer la post
respecto de un determinado juicio.
es
4) Aplicar el cuestionario. Para aplicarlo
Qu son y para qu se utilizan? necesario contar con un tiempo y un espa
cio
s
Las encuestas son un instrumento para apropiado para que los/as encuestados/a
recolectar informacin. Puede aplicarse
a puedan responderlo. Adems, se necesita
Fran co, tionario
cualquier tipo de evalu acin (Coh en y un/a aplicador/a que distribuya el cues
y tionarios
1988). Prop orcio na dato s cuan titati vos entre los/las encuestados/as. Los cues
ta la s de
permite su comparacin. Adems, facili pueden realizarse tambin en lnea, a trav
maci n prop orcio nada
sistematizaci n de la infor aplicaciones gratuitas.
, te,
por un gran nm ero de acto res. En este caso 5) Sistematizar los resultados. Finalmen
de el/la evaluador/a deber sistematizar los
el cuestionario cuenta con un nmero fijo
n.
preguntas y, muc has vece s, las resp uest as resultados para poder utilizar la informaci
deben ajustarse a una cantidad prefijada
de
de
Las herramientas en lnea que permiten
hacer
des
Cap. 3
opciones. Este facto r facilita la orga nizac in encuestas suelen incluir tambin modalida
rar que n de
la informacin, pero tambin puede gene para sistematizar la informacin y la opci
se pierdan de vista otras repuestas posib
les. sistematizar y descargar los resultados.
101
Monitoreo y evaluacin de polticas, programas y proyectos sociales
se ms
inar un entrevistas, y el proceso puede extender
hay que crear una cuenta gratuita y dest
cer las opcio nes que brinda de lo previsto.
tiempo mnimo a cono
la herramienta.
Preguntas tiles para revisar un
* Presupuestarios
En principio, la encuesta no requiere dem
asiada cuestionario
n lo
inversin presupuestaria . No obst ante , si el Una vez terminado el cuestionario, quie
cuestionario a aplicar se compone de un construya debe preguntarse:
la
nmero grande de preguntas o el nmero
de Las preguntas permitirn generar toda
de, ser nece sario contar informacin buscada?
encuestados/as es gran
con recursos para cont ratar aplic ador es/as que Son necesarias todas las preguntas del
stra, o paga r para usar cuestionario?
se ocupen de toda la mue
dern
las herramientas de las plata form as en lnea que Todos/as los/as encuestados/as compren
cues tiona rio no se aplic a cada una de las preguntas?
no eran gratuitas. Si el
macin
en lnea, deben considera rse los costo s logs ticos Los/as encuestados/as apor tarn infor
de traslado de los/as aplicadores/as. exacta?
uada para
La extensin del cuestionario es adec
los/as encuestados/as?
Encuestas o entrevistas?
Para redactar un cuestionario es necesario ar el
ser Sugerimos hacer una prueba piloto: aplic
conocer, al menos, el contexto en el cual r a los
nas de las hip tesis sobre cuestionario a actores con un perfil simila
implementado y algu ncial es
n que se dese a obte ner. de nuestra muestra para detectar pote
la potencial informaci
exto s explo rator ios obstculos o errores en su construccin.
En este sentido, en cont
de
se recomienda optar por la realizacin
res. La plan ificac in y Esta herramienta es til en todos los
entrevistas a los acto arse
encu esta insum e, en momentos de evaluacin y podra aplic
organizacin de una
las tambin durante el monitoreo.
general, mayor cantidad de tiempo que
102
UNICEF - CIPPEC
dor/a.
puntuales, predefinidas por el/la entrevista
Ficha 2. La evaluacin semidirigida, por su parte , cuen ta
Entrevistas individuales
entre vista , pero este
tambin con una gua de
to de
guin es flexible y est abier to al surgimien
as parte s. Esta gua
temas imprevistos en amb
Qu son y par a qu se utili zan ? puede complementarse tambin con preg
untas
encu entro s de los tema s que
La entrevista es una forma especial de aclaratorias o profundizadora
idere ms impo rtant es.
cara a cara entre el/la evaluador/a y el/la el/la entrevistador/a cons
tan requ iere mayo r
entrevistado/a. Es una herramienta no La entrevista semidirigida
dor/a,
com pleja , que requ iere recu rsos mod erad os. experiencia por parte del/de la entrevista
n entre vista do/a mien tras
Sin embargo, para obtener la informaci ya que debe guiar al/a la
ante s pued en profu ndiza r,
pretendida, es necesario interiorizarse reconoce los temas que se
. de la entre vista . El
sobre el tema y planificar el encuentro todo eso sin perder el foco
todos
A trav s de las entre vista s es posib le reca bar listado de preguntas est compuesto por
que se dese an abor dar
informacin cualitativa que recupere la los temas y las preguntas
perspectiva de los actores sobre distin
tiona rios: hech os espe cfico s,
tos
proc
tipos
esos,
durante la entrevista.
4) Aplicar las entrevistas. A la hora de
realizar Cap. 3
de cues
eras inars e un prim er
anlisis, propuestas, reacciones a las prim una entrevista, debe dest
entre
hip tesis de los/l as evalu ador es, entre otras. momento a la generacin de confianza
ya que do/a . All,
La entrevista es un instrumento flexible, entrevistador/a y entrevista
con su
el/la entre vista dor/a pued e inda gar sobr e varias el/la entrevistador/a puede compartir
cin de de la entre vista y el
reas problemticas a travs de la selec interlocutor/a los objetivos
sas, que cin. Si se dese a
informantes y mediante preguntas diver tiempo aproximado de dura
ipale s esen cial pedi r perm iso
se muevan de lo planificado. Las princ grabar la conversacin, es
el pelig ro ador . Lueg o, el/la
limitaciones de este mtodo radican en antes de encender el grab
con
de una elecc in sesg ada de infor man tes, que entrevistador/a comienza a preguntar,
s. flexib ilidad , seg n si se
atente contra la validez de los resultado mayor o menor nivel de
dirig ida o dirig ida.
plane una entrevista semi
un agra decim iento al/
Pasos para el diseo e La entrevista finaliza con
de la grab acin o las
la interlocutor/a. Adems
implementacin de una entrevista puede
ra notas de la entrevista, el/la entrevistador/a
1) Esclarecer qu informacin se espe e la situa cin de la
recolectar informacin sobr
obtener. e la inter locut or/a
que entrevista, reacciones del/d
2) Definir quines son los actores clave , etc.
no identificables a travs de la grabacin
brindarn la informacin que se necesita.
entrevista
3) Construir la gua de entrevista. La
puede ser dirigida o semidirigida. En el
primer Qu recursos son necesarios?
man era
caso, se aplica la gua de entrevista de (European Comission, 2005)
hace las preg untas
*
estri cta. El/la evalu ador /a Humanos
de una tiempo
una tras otra y no se pued en prop oner La preparacin de una entrevista requiere
tipo de vista dor/a .
u otra parte temas imprevistos. Este y previsin por parte del/de la entre
tiem po y dato s pued e
entrevista permite optimizar el uso del Adems, la sistematizacin de los
lizar a los/a s entre vista dos/ as en cues tiones
foca
103
Monitoreo y evaluacin de polticas, programas y proyectos sociales
104
UNICEF - CIPPEC
over
Las preguntas deben ser abier tas, prom
Ficha 3. la diversidad de opiniones y la justifi
Tamb
caci
in
n de
se
posturas para abrir la discusin.
Grupos focales pueden utilizar otros elemento s para moti var
enes , fragm ento s
el debate como videos, img
Qu son y par a qu se utili zan ? s fictic ias crea das
de documentos o situacione
que se
Es un tipo de entrevista particular en la ad hoc. Para la gua, se recomienda prev
er
o en simu ltne o. Se orga niza , lapso s en los que
trabaja con un grup momentos reactivos, es decir
un conju nto dete rmin ado tes reac cione n
la interaccin entre se espera que los/as participan
e un tema espe cfico de s por el/la
de personas y sobr frente a estmulos propuesto
sin es
inters para el/la evaluador/a. Esta discu moderador/a, y otros proactivos, en los
cuales
entre vista dor/a , ya que se busc a nes prom ueven un
guiada por el/la los/as participantes sern quie
maci n prod ucid a dura nte la do, la gua debe
recolectar la infor tema o discusin. En este senti
deba te, adem s de pers pect ivas ento s, siem pre
interaccin y el ser flexible y permitir estos mom
ales. Cuan do se agru pa a ante s.
y experiencias grup que sean pertinentes y relev
lita la
actores con posturas diferentes, se habi 4) Implementar el grupo focal. Durante
la
expresin y la posib ilidad de expli car los distin tos
implementacin se debe prev er un prim er Cap. 3
cin de
puntos de vista, y tambin la profundiza momento destinado a presentarles la activ
idad
din mica grup al es regis trada carle s su din mica
sus opiniones. Esta a los/las participantes y expli
zada para su anli sis. El grup o ento para realiz ar
y luego sistemati y objetivos; un segundo mom
herra mien ta que sirve para ento final para las
focal es la nica la discusin guiada y un mom
varios
analizar y confrontar la informacin con conclusiones y reflexiones finales.
o. l.
actores clave en simu ltne 5) Sistematizar la sesin de grupo foca
105
Monitoreo y evaluacin de polticas, programas y proyectos sociales
106
UNICEF - CIPPEC
2) Detectar el objetivo para el cual fue
Ficha 4. producida la informacin. Esto permite
entra
tener
de lo
Datos secundarios en cuenta cun cerc a o lejos se encu
que se busca.
er
3) Recolectar y, de ser necesario, volv
Qu son y par a qu se utili zan ? a sistematizar los dato s obte nido s para el
Los datos secundar ios son la fuen te ms objetivo que se busc a.
En este d de los
econmica para conseguir informacin. Se sugiere tener en cuenta la antigeda
maci n cons truid a por del anli sis. Es decir , si los datos
caso, se utiliza la infor datos y la escala
ados para el obje tivo os en el nivel nacio nal, regio nal,
otros. Al no estar dise fueron producid
dato s pued en resul tar , y cun to se acer can o aleja n
de la evaluacin, los provincial o local
ecua dos; sin emb argo , e se impl eme ntar el prog rama
insuficientes o inad de la escala dond
acercarse
muchas veces es la mejor opcin para a evaluar.
ral, las Particularmente para el caso argentino
a un tema con pocos recursos. En gene
fuentes secundarias son dato s cuan titati vos, (existen instrumentos equivalentes en otros
pero tambin pued e trata
tes
rse
secu
de
ndar
dato
ias
s
pued en ser
pases latinoamericanos), contamos con
amp lio alcan ce: la Encu
una
esta
Cap. 3
cualitativos. Las fuen herramienta de
de tres tipos: Permanente de Hogares (EPH). Es un
n mtica y
pero que no est programa nacional de produccin siste
* Datos que existen,
publicados. Muchos son reco lecta dos permanente de indic ador es socia les, realiz ado
nism os pbl icos y otros ad Naci onal de Esta dstic a y Cens os
regularmente por orga por el Instituto
o inves tigac in espe cfica . ite cono cer las cara cter stica s
hoc para un programa (INDEC), que perm
ser dato s reco lecta dos por y socio econ mic as de la
Por ejemplo, pueden sociodemogrficas
unitarios a
centros de salud, escuelas, centros com poblacin. La encuesta se realiza en form
otros . conjunta con las Direc cione s Prov incia les
o antroplogos, entre Para mayor
Informes publicados por agencias del de Estadstica (DPE). Su objetivo central
*
gobierno, organismos internacionales, es caracterizar la situacin social de
informacin
consultar la
de
universidades , organizaciones sin fines los individuos y familias de acuerdo ficha 1.
des de inser cin en la
lucro o empresas. con sus modalida
a
Informes previos del propio programa estructura socioeconmica. Proporciona
*
evaluar: informes del proy ecto , pero tamb in las tasas oficiales de actividad, empleo,
s de adores
otros documentos (com o artc ulos, acta desocupacin y subocupacin, los indic
prop sito de la revis in de la encia , y otros resul tado s
reuniones, etc.). El de pobreza e indig
com pren der mejo r la histo ria stica s socio econ mic as
documentacin es sobre las caracter
por
y la evolucin del proyecto. de la poblacin. La EPH es una encuesta
que para cono cer las diver sas
muestreo, es decir
Pasos para el correcto uso de dat os caractersticas del total de los hoga res se
ativa
secundarios encuesta una pequea fraccin represent
Toda s las mue stras pres enta n
1) Es necesario detectar, primero, qu
tipo de los mismos.
error es que se prod ucen porq ue
de datos estn disponibles y, entre ellos
, limitaciones o
rtes en luga r de a toda la
seleccionar los que ms se acercan a
la se observan reco
informacin que se busc a reco pilar .
107
Monitoreo y evaluacin de polticas, programas y proyectos sociales
para
el sitio programa de estadstica y conocimientos
poblacin. La EPH puede consultarse en
v.ar. procesarlos.
web del INDEC: www.indec.go
Otros datos secundarios de inters sobr
ntrar se en
e infancia
los sitios
* Presupuestarios
Como se mencion, es una estrategia econ
mica.
y adolescencia pueden enco en caso
meri cana de la Pueden considerarse costos de logstica,
web de la Organizacin Pana
al de ser necesario.
Salud y del Observatorio de la Deuda Soci
Argentina.
Datos secundarios o datos
Qu recursos son necesarios para primarios?
cuando
utilizarlos? Los datos secundarios resultan ptimos
recu rsos esca sos.
se trabaja en situaciones de
*Esta
Humanos
herramienta requiere una inversin de Si se cuenta con los recursos econ mic
ner
os
dato
y el
s
erta por tiempo necesario, es ms til obte
tiempo moderada, que puede ser cubi r a los obje tivos
primarios porque se ajustan mejo
el/la mismo/a evaluador/a.
de la evaluacin.
* Tecnolgicos
No se requiere ningn recurso en parti
cular, Para mayor
de traba jo con Esta herramienta es til para informacin
excepto en el caso especfico consultar las
bases de datos. Ah, ser nece sario cont ar con un la estimacin de la lnea de
base y la evaluacin ex ante . secciones 3.1
y 3.3.1 de este
manual.
108
UNICEF - CIPPEC
cidades
embargo, no se precisan demasiadas capa
Ficha 5. tcnicas para su desarrollo .
Qu recursos se necesitan?
*Esta
Humanos
herramienta requiere una moderada inver
sin
/a. Sin
de tiempo por parte del/de la evaluador
109
Monitoreo y evaluacin de polticas, programas y proyectos sociales
110
UNICEF - CIPPEC
del actor
columna implica destacar la capacidad
Ficha 7. para obstaculizar o vetar la ejecucin del proyecto
111
Monitoreo y evaluacin de polticas, programas y proyectos sociales
tos)
evaluaciones cuantitativas e informes escri
Ficha 8. se provee, como retroalimentacin, a los/a s
sus
Tcnica Delphi/Panel de mismos/as expertos/as, quienes revalan
opiniones a la luz de esta nueva infor maci n.
expertos/as
cons enso de
En ese marco, tiende a emerger un
grupo.
Qu es y para qu se utiliza?
La tcnica Delphi o panel de expertos/
as Qu recursos se necesitan?
cues tiones o se mencion,
*los/a
busca respuestas cons ensu adas a Humanos: com
especficas, es decir que pote ncia la gene racin s expertos/as del panel debern ser
sional
de acuerdos entre diver sas subje tivid ades . independientes, tener experiencia profe
Los/as informantes debe n ser expe rtos/ as en y capacidad de trabajo en equipo.
ncia,
stero s, Tecnolgicos: si el panel se realiza a dista
*
los temas a indagar (Fern nde z Balle
icos para
1995). Por eso, la condicin sine qua non
para habr que contar con medios tecnolg
este proc eso es la calid ad s expe rtos/as se cont acte n entre s o
que se pueda realizar que los/a
y pertinencia de los/a s profe siona les que se enven los cuestionarios pertinentes.
en
Presupuestarios: los/as expertos/as pued
convoca.
*
cobrar honorarios, pero tambin pueden
hace r
s/as
Pasos para la realizacin de un panel
todo
el trabajo pro bono. En caso de que no
rtos/as habl en el mism o idiom a, ser
los/as expe
de expertos/as ccin.
el necesario considerar los costos de tradu
1) Seleccionar a los/as expertos/as. Es
paso que prcticam ente dete rmin a el xito
o el fracaso de la tcnica. Se sugiere que Tcnica Delphi u otros
an
los/as expertos/as convocados/as teng instrumentos?
rienc ia profe siona l, es
una combinacin de expe La principal ventaja de esta herramienta
ecto del prog rama que se va asoc iada
independencia resp la credibilidad de las conclusiones,
traba jo en equi po. El pero
a evaluar y capacidad de a la experiencia de los/as profesionales,
10 y 30,
nmero ideal de expertos/as oscila entre tambin su independencia con resp ecto al
pero puede realizarse tamb in con 5. , esta tcn ica
programa evaluado. Sin embargo
l. No
2) Pactar modelo de trabajo del pane tiende a omitir las opiniones mino ritari as y a
o de traba jo: pued e ser
existe un nico mod suavizar las conclusiones.
encia l o a dista ncia. Lo ms
presencial, semipres
meto dolo ga de traba jo sea Para mayor
importante es que la Esta herramienta es til para
los/a s parti cipan tes y informacin
acordada con todos/as todos los tipos de evaluacin,
cita a cada uno/ a. consultar la
presentada de man era expl especialmente para la
resum en de los seccin 3.3
3) Construir consenso s. El evaluacin ex ante.
as de de este manual.
juicios de los/as expertos/as (en las form
112
UNICEF - CIPPEC
s, se los
4) Una vez verificados los gastos reale
Ficha 9. puede cont rasta r con los estim ados dura nte la
113
Monitoreo y evaluacin de polticas, programas y proyectos sociales
y
5) En caso de comparar costos estimados
Ficha 10. costos efectivos , ser necesario compara
r
con
el costo de cada actividad programada
Clculo de la relacin el costo de su ejecucin. La inter venc
in
Costo-Impacto (va ACE) sido eficie nte si ante pres tacio nes de
habr
les o
igual calidad, los costos reales fueron igua
El anlisis de la relacin costo -impacto
es til menores a los programados.
acin de las 3 P en sus distin tos
para la evalu
momento s. En una evalu acin ex ante , este Qu recursos se necesitan?
lidad de
instrumento permite acercarse a la viabi
las actividades de la inter vencin y cons
iderar *SeHum anos
requiere un/a profesional capaz de realiz
ar un
de las
otras alternativas posibles. En las evalu
aciones flujo de costos. En general, en los equipos
se encu entra al menos
concurrente y ex post, puede utilizarse
para organizaciones ejecutoras
costo -imp acto espe rada un actor con este tipo de expe rienc ia.
compara r la relac in
*
tiva. En el caso de que se anali ce Tecnolgicos
con la efec
dora con
un proyecto cuya evalu acin ex ante inclu y Ser necesario contar con una computa
diversas alter nativ as, tamb in se pued e planilla de clculo.
cto real
comparar el costo por unidad de impa
con las alter nativas. De esta man era, es posible * Presupuestarios
Es una estrategia econmica.
(con sus
establecer si la alternativa seleccionada
costos e impactos reales) es ptima. Clculos costo-impacto u otros
instrumentos?
Pasos para calcular la relacin Una de las principales desventajas de esta
nde
herramienta es que su sensibilidad depe
costo-impacto (SIEMPRO y UNESCO, 1999) e la evalu ador /a para
ica, de la minuciosidad del/d
1) Identificar las actividades de la polt s de la inter venc in.
registrar todos los costo
programa o proyecto a evaluar. se
Adems, su uso se dificulta cuando no
2) Identificar los distintos costos de las de costo s regis trado y
cada una dispone de un sistema
actividades identificadas; desagregar , si se realiz a de man era
ntes y actualizado. No obstante
de las actividades segn sus compone muy til a la hora de evalu ar
adecuada puede ser
costos respectivos. con igua l impa cto socia l,
distintas alternativas
3) Del costo total, extraer el costo por ).
es. pero distintos costos (Castao Yepes, 1997
beneficiario de cada una de las actividad
activ idad es
4) En caso de que existan varias tipo de
Esta estrategia es adecuada para todo
alternativas, comparar el costo por
idad evaluacin.
beneficiario de cada una de ellas: la activ
or costo y
ms eficiente ser la que tenga men
r calid ad.
brinde una prestacin de igual o mejo
114
UNICEF - CIPPEC
3.4.2 Cmo utilizar la informacin? Instrumentos para la
difusin y comunicacin de los resultados
Los resultados de una evaluacin o monitoreo son relevantes tanto para los ac-
tores involucrados en la poltica, programa o proyecto como para aquellos/as
interesados/as o implicados/as de formas menos directas.
115
Monitoreo y evaluacin de polticas, programas y proyectos sociales
FICHA
Los formatos ms utilizados para esta tarea son: (11) informes escritos;
(12) hojas de informacin; (13) diapositivas; (14) gacetillas de prensa;
(15) presentaciones orales (Adamchak y otros, 2001). A continuacin se
presentan fichas para describir cada uno de estos formatos:
116
UNICEF - CIPPEC
Pasos para elaborar una hoja de
Ficha 12. informacin
Hojas de informacin
re comunicar.
1) Resumir el contenido de lo que se quie
el contenido.
Incluir subttulos que permitan organizar
formato visual
2) Disear el contenido para lograr un
Qu son y para qu se utilizan? y claro.
ingls)
Las hojas de informacin (fact sheets, en
claro , brev e
son un comunicado consolidado,
y efectivo para presentar informac in a los/a s Ventajas y desventajas de la hoja de
encargados/as de formular polt icas o a otras informacin
plo, va
personas con poco tiempo para leer infor
macin + Su distribucin es econmica (por ejem
tamb in para correo electrnico).
extensa. Este formato se puede usar socializar
enviar por correo a todos/as los/a s inter esad os/as en + No requiere una reunin especfica para
la poltica, programa o proyecto. los resultados de la evaluacin.
herramientas
- Requiere diseo, es necesario manejar
informticas. Cap. 3
informacin utilizan como complemento de las * Usar frases (no oraciones completas).
117
Monitoreo y evaluacin de polticas, programas y proyectos sociales
ttulo,
2) Incluir membrete de la organizacin,
Ficha 14. copete16 , ciudad, fecha y los datos de cont
amp
acto
liar la
de una o dos personas que puedan
Gacetilla de prensa informacin.
Qu es y para qu se utiliza?
Una gacetilla de prensa es un comunica
do con Ventajas y desventajas de la gacetilla
orien tado , por lo gene ral, a + Es una buena forma de compartir los
formato periodstico cin.
cin. resultados con los medios de comunica
los medios de comunica cto en med ios de pequ ea,
Puede tene r impa
o gran esca la.
Pasos para realizar una gacetilla de
mediana
s. Con
+/- Se requiere una buena base de dato
prensa (Secretara Nacional de la Niez y la buenos contactos la gacetilla funciona
. Con
Adolescencia de Paraguay, 2009) pocos o malo s cont acto s, la incid encia se
1) Organizar un texto breve, que sea claro dificulta.
os a
y conciso, es decir que se dirija sin rode - Genera requerimientos que es necesario
que se dese an difun dir. dos de
los ejes importantes atender (por ejemplo, consultas o pedi
el texto no supe re las dos
Se recomienda que mayor informacin).
conc epto s princ ipale s en
pginas y resaltar los
o debe resp onde r a las
bastardilla. El contenid
s: qu ?, qui n?, cm o?,
siguientes pregunta
cundo?, dnde?, por qu?
ampliac in del ttulo o
16 El copete es un prrafo breve que funciona como
como sntesis de la gacetill a.
118
UNICEF - CIPPEC
Bibliografa
Acua, C. y Repetto, F. (2009). Un aporte metodolgico para comprender
(y mejorar) la lgica poltico-institucional del combate a la pobreza en
Amrica Latina. En F. Mariez Navarro y V. Garza Cant (Coords.), Poltica
Pblica y Democracia en Amrica Latina. Del Anlisis a la Implementacin.
Mxico D.F.: EGAP y CERALE.
Adamchak, S. y otros. (2001). Manual de Monitoreo y Evaluacin. [s.l.]:
Organizacin Panamericana de la Salud.
Agoff, S. y otros. (2006). Evaluacin final del programa Atencin a nios y
adolescentes en riesgo PROAME II. Buenos Aires: Universidad Nacional
General Sarmiento.
Aguilar Villanueva, L. F. (1992). El estudio de las polticas pblicas. Mxico
D.F.: Miguel ngel Porra.
Aparicio, S. y otros. (2007).El trabajo infantil en la Argentina: Anlisis y desa-
fos para la poltica pblica. Buenos Aires: OIT.
APEIM. (1991). La investigacin cualitativa mediante la tcnica de focus
groups. Consultado el 30 de marzo de 2012, disponible en la web de la
Asociacin Peruana de Empresas de Investigacin de Mercados: http://
www.apeim.com.pe/images/Manual_invest_cualitativa.pdf
Ballart, X. (1992). Cmo evaluar programas y servicios pblicos?:
Aproximacin sistemtica y estudios de caso. Madrid: Ministerio para las
Administraciones Pblicas.
Banco Internacional de Reconstruccin y Fomento Banco Mundial. (2004).
Seguimiento, evaluacin: instrumentos, mtodos y enfoques. [s.l.]: Banco
Mundial.
Camou, A. y Di Virgilio, M. M. (2008). Participacin ciudadana, gestin social
y gobernabilidad: las especificidades del nivel local en el Conurbano bo-
naerense (Argentina). En M. Tanaka, Dilemas de la descentralizacin y de
la participacin en Amrica Latina. Lima, Per: IEP (En prensa).
Castao Yepes, R. (1997). Anlisis de costo-efectividad. Una herramienta
para la toma de decisiones de poltica en el sector salud. CES med, vol.
11, N 2.
Cerezo, L. y Fernndez Prieto, A. (2011). Manual de planificacin, monitoreo
y evaluacin. Programa Remediar. Buenos Aires: Ministerio de Salud de
119
Monitoreo y evaluacin de polticas, programas y proyectos sociales
120
UNICEF - CIPPEC
Estvez, A. (1999). Construccin de una matriz de actores para polticas pbli-
cas y proyectos dentro de un contexto de reforma del Estado. Facultad de
Ciencias Sociales. Universidad de Buenos Aires. Consultado el 30 de marzo
de 2012. Disponible en la Web de Polticas Pblicas Participativas para el
Mejoramiento de la Calidad Democrtica: http://www.polipub.org/documen-
tos/matriz%20de%20actores.PDF
European Commission. (2005). Mtodos de Evaluacin. Europeaid, Co-
operation Office. Consultado el 30 de marzo de 2012. Disponible en la
Web de European Commission: http://ec.europa.eu/europeaid/evaluation/
methodology/
Fernndez Ballesteros, R. (Ed.) (1995). Evaluacin de programas: Una gua
prctica en mbitos sociales, educativos y de salud. Madrid: Sntesis.
Gasc Hernndez, M. (2002). Hacia una sistematizacin de la evaluacin de
programas y polticas pblicas. Gestin y anlisis de polticas pblicas, N
23, (55-65).
Hintze, S. y Coraggio, J. L. (1996).Polticas sociales: Contribucin al debate
teorico-metodologico. Buenos Aires: Programa Especial de Investigacin
Estado y Polticas Pblicas, Secretara de Ciencia y Tcnica de la
Universidad de Buenos Aires.
Instituto Nacional de Administracin Pblica. (1998). Evaluacin de la
Asistencia al Desarrollo: Manual para Evaluadores y Conductores de pro-
yectos segn el Enfoque de Marco Lgico (EML). Buenos Aires: Instituto
Nacional de la administracin pblica.
Instituto Nacional De Estadsticas y Censos de la Repblica Argentina. (2010).
Niveles de Gobierno: Gobiernos locales por categoras segn provincias.
Total del pas. Disponible en la Web del INDEC, http://www.indec.mecon.ar.
Isuani, F. (Coord.) (1997). Atencin a nios y adolescentes en riesgo. Proame
II. Buenos Aires: Universidad General Sarmiento y SIEMPRO.
Kliksberg, B. y Rivera, Q. M. (2007).El capital social movilizado contra la po-
breza: La experiencia del proyecto de comunidades especiales en Puerto
Rico. Buenos Aires: CLACSO.
Ley 898 de Obligatoriedad de la educacin hasta la finalizacin del nivel medio.
Maceira, D. y otros. (2010). El papel de los municipios en la inversin pblica
social en infancia y adolescencia. Resultados de una encuesta nacional a
municipios argentinos. Buenos Aires: CIPPEC y UNICEF.
Martnez Nogueira, R. (2004). La evaluacin para el anlisis y planificacin de
las organizaciones. Documento de Trabajo N 31: FORGES (Fortalecimiento
de la Organizacin y Gestin Econmica y Social). Consultado el 14 de ju-
lio de 2012. Disponible en la Web de la Facultad de Ciencias Econmicas
121
Monitoreo y evaluacin de polticas, programas y proyectos sociales
122
UNICEF - CIPPEC
Pascual, L. y Chiara, M. (2008). Gua para evaluacin de programas en edu-
cacin. Buenos Aires: DiNIECE, Ministerio de Educacin de la Nacin.
Pichardo Muiz, A. (1989).Evaluacin del impacto social: Una metodologa
alternativa para la evaluacin de proyectos. Costa Rica: Universidad de
Costa Rica.
Programa de las Naciones Unidas para el Desarrollo. (2002). Manual de segui-
miento y evaluacin de resultados. Nueva York: Colonial Communications
Corp.
Real Academia Espaola. (2001). Diccionario de la lengua espaola. Madrid:
Espasa Calpe.
Repetto, F. (2004). Capacidad estatal: requisito necesario para una mejor po-
ltica social en Amrica Latina. Documento de Trabajo N I-52. Washington
D.C.: Instituto Interamericano para el Desarrollo Social (INDES).
Secretara Nacional de la Niez y la Adolescencia de Paraguay. (2009). Cmo
hacer una gacetilla de prensa. Asesoramiento en comunicacin para el
proyecto de atencin Integral a la niez y a la adolescencia en sus comu-
nidades. Asuncin: Secretara Nacional de la Niez y la Adolescencia de
Paraguay.
SIEMPRO y UNESCO. (1999).Gestin integral de programas sociales orien-
tada a resultados: Manual metodolgico para la planificacin y evaluacin
de programas sociales. Buenos Aires: Fondo de Cultura Econmica.
Sitio Web de DevInfo. Consultado el 14 de julio de 2012. Disponible en:
http://www.devinfo.org.
Sitio Web de la Direccin Provincial de Planeamiento, Estadsticas y Censos
de Jujuy. Consultado el 14 de julio de 2012. Disponible en: http://www.
infojujuy-dippec.gov.ar.
Sitio Web de Save the Children. Programa Promocin del Buen Trato y
Erradicacin de la Violencia. Consultado el 3 de mayo de 2012. Disponible
en: http://www.savethechildren.es/tema_trabajo.php?idtema=6.
Sitio Web de Secretara de Poltica Econmica y Planificacin del
Desarrollo, Ministerio de Economa de la Nacin. Consultado el 27
de septiembre de 2012. Disponible en http://www.mecon.gov.ar/
desarrollo/?page_id=81&preview=true.
Sitio web Ministerio de Desarrollo Social de la Nacin. Consultado el 14 de julio
de 2012. Disponible en: www.desarrollosocial.gov.ar/planes/pa/default.asp.
Sotelo Maciel, A. J. (1997). Anlisis PROBES. Un mtodo para el anlisis si-
tuacional y la formulacin de estrategias. La Plata: Escuela Superior de
Trabajo Social, Universidad de La Plata.
123
Monitoreo y evaluacin de polticas, programas y proyectos sociales
124
UNICEF - CIPPEC
Acerca de las autoras
Romina Solano
Coordinadora de Proyectos del Programa de Salud de CIPPEC. Candidata a
Magister en Administracin y Polticas Pblicas (Universidad de San Andrs).
Licenciada en Ciencia Poltica (Universidad de Buenos Aires). Especialista en
Gestin Cultural (Universidad de San Martn). Previamente, se desempe
como analista de Desarrollo Institucional de CIPPEC.
125
Queda hecho el depsito que menciona la Ley 11.723.
Esta edicin de 300 ejemplares se termin de imprimir en noviembre de 2012,
en VERLAP S.A., Calle Comandante Spurr 653, Avellaneda, Provincia de Buenos Aires.
MONITOREO Y EVALUACIN DE POLTICAS, PROGRAMAS Y PROYECTOS SOCIALES
Durante las ltimas dcadas, los gobiernos locales asumieron un rol protagnico en el diseo,
implementacin y evaluacin de las polticas pblicas.
Con el objetivo de fortalecer sus capacidades para gestionar polticas sociales, en particular las
destinadas a niez y adolescencia, CIPPEC y Unicef desarrollaron los siguientes manuales:
Planificacin de polticas, programas y proyectos sociales.
Monitoreo y evaluacin de polticas, programas y proyectos sociales.
Coordinacin de polticas, programas y proyectos sociales.
Los tres manuales, en conjunto y por separado, constituyen un instrumento de apoyo para quienes
trabajan en el territorio: el abordaje de los conceptos y la forma de sistematizar las herramientas
fueron especficamente diseados para ayudar a los actores locales a enfrentar los problemas
diarios de la gestin social.
El manual de monitoreo y evaluacin de polticas, programas y proyectos sociales presenta
metodologas y recursos tiles para facilitar la elaboracin y ejecucin de herramientas de mo-
nitoreo y evaluacin, difunde los beneficios y las oportunidades que se abren al incorporar este
tipo de instrumentos en la gestin local y comparte experiencias locales que surgieron de su
implementacin. Adems, incluye fichas descriptivas que servirn como gua al momento de
poner en prctica el monitoreo y la evaluacin en el mbito local.
CIPPEC (Centro de Implementacin de Polticas Pblicas para la Equidad y el Crecimiento) es una organizacin
independiente, apartidaria y sin fines de lucro que trabaja por un Estado justo, democrtico y eficiente que mejore
la vida de las personas. Para ello concentra sus esfuerzos en analizar y promover polticas pblicas que fomenten la
equidad y el crecimiento en la Argentina. Su desafo es traducir en acciones concretas las mejores ideas que surjan
en las reas de Desarrollo Social, Desarrollo Econmico e Instituciones y Gestin Pblica, a travs de los programas
de Educacin; Salud; Proteccin Social; Poltica Fiscal; Integracin Global; Justicia; Transparencia; Poltica y Gestin
de Gobierno; Incidencia, Monitoreo y Evaluacin; y Desarrollo Local.