Está en la página 1de 129

Monitoreo y evaluacin

de polticas, programas
y proyectos sociales
Monitoreo y evaluacin
de polticas, programas
y proyectos sociales
Di Virgilio, Mara Mercedes
Monitoreo y evaluacin de polticas, programas y proyectos sociales / Mara Mercedes Di
Virgilio y Romina Solano. - 1a ed. - Buenos Aires : Fundacin CIPPEC, 2012.
125 p. ; 23x23 cm.

ISBN 978-987-1479-35-1

1. Polticas Pblicas. I. Solano, Romina II. Ttulo


CDD 320.6

Direccin editorial
Fabian Repetto, director del Programa de Proteccin Social de CIPPEC
Sebastin Waisgrais, especialista en Monitoreo y Evaluacin de UNICEF

Autores
Mercedes Di Virgilio
Romina Solano

Supervisin de contenidos
Roberto Martnez Nogueira

Colaboradores Impreso en
Natalia Aquilino VERLAP S.A.
Javier Curcio
Sofa Olaviaga Noviembre de 2012
Virgina Tedeschi
Los autores agradecen la ayuda de Federico Tobar, Sofa Duarte y
Edicin y correccin Florencia Tognolotti.
Liora Gomel
Si desea citar este manual: Di Virgilio, M. M. y Solano, R. (2012).
Diseo grfico Monitoreo y evaluacin de polticas, programas y proyectos sociales.
Patricia Peralta Buenos Aires: CIPPEC y UNICEF.

CIPPEC Fondo de las Naciones Unidas para la Infancia (UNICEF)


Av. Callao 25, 1 piso (C1022AAA). Ciudad de Buenos Aires, Argentina. Junn 1940, PB (C1113AAX). Ciudad de Buenos Aires, Argentina.
Tel: (54-11) 4384-9009 / Fax: (54-11) 4384-9009 Interno 1213 Tel: (54-11) 5093-7100/ Fax: (54-11) 5093-7111
www.cippec.org - infocippec@cippec.org www.unicef.org/argentina - buenosaires@unicef.org
ndice

Presentacin...................................................................................................................................................... 5
Sobre el proyecto: 3 manuales para fortalecer la gestin local de polticas sociales.............................. 5
Una herramienta para funcionarios/as y legisladores/as locales ............................................................. 6
Acerca de este manual: monitoreo y evaluacin de polticas, programas y proyectos sociales............ 7
Cmo recorrer este manual?...................................................................................................................... 8

Captulo 1
Introduccin..................................................................................................................................................... 11
1.1 Polticas, Programas y Proyectos (las 3 P)......................................................................................... 13
1.2 El ciclo de vida de las polticas, programas y proyectos.................................................................. 16
1.3 Breve resea sobre el proceso de descentralizacin........................................................................ 17
El sistema municipal argentino................................................................................................................ 17
El proceso descentralizador.................................................................................................................... 18
El impacto de la descentralizacin en el gasto pblico social.................................................................. 21
1.4 Nuevo paradigma en polticas sociales destinadas a infancia y adolescencia................................ 27

Captulo 2
Aspectos conceptuales bsicos del monitoreo y la evaluacin de polticas, programas y proyectos sociales.......35
2.1 Qu son la evaluacin y el monitoreo de polticas, programas y proyectos sociales?.................. 39
2.2 El monitoreo: un instrumento para la toma de decisiones................................................................ 45
2.3 Hacia un sistema integrado de monitoreo y evaluacin.................................................................... 50
2.4 Qu ventajas genera aplicar herramientas de monitoreo y evaluacin desde el nivel municipal?...... 56
2.5 Quin monitorea? Quin evala?..................................................................................................... 57
2.6 Vinculando el monitoreo y la evaluacin con el ciclo de vida de las polticas,
los programas y los proyectos............................................................................................................60

Captulo 3
Mtodos, tcnicas y herramientas para monitoreo y evaluacin........................................................................... 65
3.1 Insumos necesarios para llevar adelante el proceso de monitoreo y evaluacin:
la construccin de una lnea de base................................................................................................. 67
3.2 El proceso de monitoreo y evaluacin. Componentes...................................................................... 71
Componente 1: descripcin de la poltica, programa o proyecto............................................................. 72
Componente 2: identificacin de los actores involucrados...................................................................... 73
Componente 3: identificacin, definicin y descripcin del problema...................................................... 74

3
Componente 4: objetivos y preguntas en el marco de la investigacin evaluativa.................................... 79
Componente 5: la construccin de la evidencia emprica........................................................................ 79
Componente 6: procesamiento y anlisis de los datos............................................................................ 81
Componente 7: socializacin de los resultados....................................................................................... 82
3.3 Tipos de monitoreo y evaluacin........................................................................................................84
3.3.1 Evaluacin para la puesta en marcha de polticas, programas y proyectos.....................................84
3.3.2 Monitoreo y evaluacin durante el proceso de implementacin de las polticas,
programas y proyectos........................................................................................................................... 88
3.3.3 Evaluacin ex post de polticas, programas y proyectos sociales................................................... 94
3.3.4 El monitoreo y la evaluacin como proceso de aprendizaje............................................................98
3.4 Herramientas para el monitoreo y la evaluacin.............................................................................. 100
3.4.1 Instrumentos y tcnicas para construir evidencia emprica........................................................... 100
Ficha 1. Encuestas.......................................................................................................................... 101
Ficha 2. Entrevistas individuales...................................................................................................... 103
Ficha 3. Grupos focales.................................................................................................................. 105
Ficha 4. Datos secundarios............................................................................................................. 107
Ficha 5. Observacin participante................................................................................................... 109
Ficha 6. Lista de control con preguntas...........................................................................................110
Ficha 7. Anlisis de las partes interesadas........................................................................................111
Ficha 8. Tcnica Delphi/panel de expertos/as..................................................................................112
Ficha 9. Clculo de los costos reales del programa.........................................................................113
Ficha 10. Clculo de la relacin CostoImpacto (va ACE)................................................................114
3.4.2 Cmo utilizar la informacin? Instrumentos para la difusin y comunicacin de los resultados...........115
Ficha 11. Informe escrito..................................................................................................................116
Ficha 12. Hojas de informacin........................................................................................................117
Ficha 13. Diapositivas......................................................................................................................117
Ficha 14. Gacetilla de prensa...........................................................................................................118
Ficha 15. Presentacin oral..............................................................................................................118

Bibliografa......................................................................................................................................................119

Acerca de las autoras.................................................................................................................................... 125

4
UNICEF - CIPPEC
Presentacin
Sobre el proyecto: 3 manuales para fortalecer la
gestin local de polticas sociales
Con el objetivo de visibilizar y dar prioridad a los problemas que afectan a
nios, nias y adolescentes, desde 2004, UNICEF y CIPPEC trabajan juntos
en diversas iniciativas.

Los proyectos realizados y las lecciones aprendidas nos permitieron di-


mensionar el nuevo rol que ocupan los municipios en el campo de las
polticas sociales a partir del proceso de descentralizacin.

Adems, a partir de ellos pudimos identificar los desafos estratgicos


que el nuevo panorama institucional plantea a los/as funcionarios/as
locales en trminos de capacidades de gestin.

Para complementar y profundizar los esfuerzos realizados hasta el mo-


mento, y sumarse a otros emprendimientos que trabajan en esta lnea,
UNICEF y CIPPEC desarrollaron 3 manuales para la gestin local de pol
ticas sociales. Cada manual se enfoca en uno de estos temas:

XX Planificacin de polticas, programas y proyectos sociales.


XX Monitoreo y evaluacin de polticas, programas y proyectos
sociales.
XX Coordinacin de polticas, programas y proyectos sociales.

Los 3 manuales, en conjunto y por separa-


Los manuales combinan literatura especializada
do, constituyen un instrumento de apoyo para
quienes trabajan en el territorio. El modo en con herramientas tiles para colaborar con el
que se abordan los conceptos y se sistematizan fortalecimiento de las capacidades locales de
las herramientas fue especficamente diseado gestin de polticas sociales, especialmente en
para ayudar a los actores locales a enfrentar los
aquellas destinadas a niez y adolescencia.
problemas diarios de la gestin social.

5
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Una herramienta para funcionarios/as y


legisladores/as locales
La complejidad inherente a las polticas sociales, en especial a las destinadas
a nios, nias y adolescentes, supone un desafo que involucra a los tres
niveles de gobierno: nacional, provincial y municipal.

Durante las ltimas dcadas, los gobiernos locales asumieron un rol pro-
tagnico en el diseo, implementacin y evaluacin de polticas sociales
destinadas a infancia y adolescencia. Esto se debe, principalmente, a dos
procesos que se desarrollaron a partir de la dcada de los ochenta y que
pueden condensarse en:

XX La descentralizacin de funciones hacia jurisdicciones subna


Ms informacin
cionales (provincias y municipios).
sobre estos procesos en las
secciones 1.3 y 1.4 de este XX Un cambio en el abordaje de las polticas de niez y
manual, respectivamente. adolescencia.

Ambos factores de contexto, que sern descriptos con mayor profun-


didad en la introduccin, contribuyeron a la conformacin de una nueva
estructura institucional: los gobiernos locales asumieron crecientes respon-
sabilidades y un rol cada vez ms fundamental.

Por eso, y aunque estos manuales cuentan con mltiples usuarios poten-
ciales, estn especialmente orientados a los/as funcionarios/as y legislado
res/as locales cada vez ms involucrados/as en el proceso de decisin, dise-
o e implementacin de polticas pblicas destinadas a niez y adolescencia.

Las distintas secciones de cada manual permitirn a los/as funcionarios/as


locales:

XX Comprender mejor el proceso de identificacin de prioridades, la adminis-


tracin de los recursos y la toma de decisiones, en el marco de un nuevo
andamiaje institucional para la gestin local de la poltica social destinada
a los nios, nias y adolescentes.
XX Establecer criterios de accin para desarrollar con xito tanto las nuevas
funciones como las responsabilidades ya asumidas en torno a la gestin
social.

6
UNICEF - CIPPEC
XX Utilizar instrumentos de gestin de polticas sociales, especialmente en
aquellas destinadas a nios, nias y adolescentes.
XX Generar capacidades para planificar a travs de metodologas participa-
tivas y con criterios de equidad.
XX Generar capacidades para el monitoreo y evaluacin de polticas so-
ciales, con nfasis en la importancia del proceso de aprendizaje en la
gestin.
XX Generar capacidades para coordinar los diversos sectores y niveles de
gobierno involucrados en la gestin de polticas sociales, para construir
un abordaje integrador.

Acerca de este manual: monitoreo y evaluacin


de polticas, programas y proyectos sociales
Este manual incluye herramientas de monitoreo y evaluacin (en adelan-
te M&E) de polticas, programas y proyectos sociales (las 3 P) que fueron
diseadas especialmente para su aplicacin en el mbito municipal. Ofrece
informacin, metodologas, instrumentos y experiencias concretas.

En este manual se utilizar la frase las 3 P para referirnos a polticas, pro-


gramas y proyectos sociales. Nos permitimos esta licencia porque conside-
ramos que las herramientas aqu propuestas pueden aplicarse a cada una
de estas instancias. Pero, adems, porque creemos que para construir un
sistema integral de proteccin que permita enfrentar la vulneracin de
los derechos de las Nias, Nios y Adolescentes (como seala la Ley 26061 Las 3 P
de Proteccin Integral de los Derechos de las Nias, Nios y Adolescentes
[2005]), resulta ineludible lograr una articulacin armoniosa entre los ob-
jetos mencionados. Para lograr ese objetivo, la construccin del sistema
debe alcanzar no solo a las polticas pblicas destinadas a esta poblacin,
sino tambin a los programas y los proyectos que las operativizan.

7
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Sus objetivos son:

XX Brindar metodologas y recursos tiles que faciliten la elaboracin y


ejecucin de herramientas de M&E.
XX Jerarquizar el M&E de las 3 P desde la gestin local.
XX Difundir los beneficios y las oportunidades que se abren al incorpo-
rar herramientas de M&E para la gestin local.
XX Compartir experiencias locales de implementacin de herramientas
de M&E.

En el captulo 1 se explican el proceso de descentralizacin en la Argentina


y la transformacin del paradigma de las polticas sociales destinadas a in-
fancia y adolescencia.

El captulo 2 es el nico que tiene un perfil terico. Su objetivo es desa-


rrollar los principales abordajes y conceptos sobre M&E. En l se sealan las
razones para monitorear y evaluar una poltica pblica, se describen los dife-
rentes tipos que existen (segn qu, cundo y quines evalen) y se desta-
can las ventajas de aplicar estrategias de M&E tambin en el nivel municipal.

En el captulo 3 se desarrollan las tcnicas y herramientas de M&E a par-


tir de un enfoque temporal que las clasifica segn se utilicen antes, durante
o despus de la implementacin de un programa o poltica social. Para eso,
se describen los componentes del proceso de M&E, se explican los insumos
necesarios para llevarlo adelante y se profundiza sobre cada uno de los tipos
de evaluacin. Este captulo incluye fichas descriptivas que servirn como
guas al momento de aplicar las herramientas de M&E mencionadas.

Cmo recorrer este manual?

Al igual que los de Planificacin y de Coordinacin, este manual fue pensado


como una herramienta de consulta que admite recorridos diversos. No fue
diseado para ser ledo solo en forma lineal (de principio a fin), sino como
material de consulta permanente, para ayudar a responder a necesidades y
preguntas cotidianas sobre conceptos, herramientas y modalidades de ges-
tin social.

8
UNICEF - CIPPEC
Si bien invitamos a cada lector a delinear su propio recorrido, sugerimos
algunos:

XX El primer recorrido es lineal y est pensado para aquellos que se acer


can por primera vez al tema: les recomendamos leer el manual de princi-
pio a fin para interiorizarse, primero sobre las cuestiones conceptuales del
monitoreo y la evaluacin de las 3 P y, luego sobre los distintos modos de
implementar procesos de evaluacin o poner en marcha herramientas
de monitoreo.
XX El segundo recorrido est pensado para aquellos que necesitan di
sear herramientas de M&E: les sugerimos que se enfoquen en la
segunda seccin del captulo 3 porque describe distintos tipos de M&E
y propone herramientas concretas para utilizar en cada caso.
XX El tercer recorrido est pensado para aquellos que necesitan imple FICHA

mentar herramientas de M&E: al final del captulo 3 se incluyen fichas


que pueden ser utilizadas para monitorear y evaluar las 3 P.

Los recorridos propuestos constituyen pistas para acercarse al contenido


del manual. Esperamos que les resulten tiles y que puedan incluirlos como
herramientas en su trabajo cotidiano.

Recuerden que este manual forma parte de una serie compues-


ta por los manuales de Planificacin de polticas, programas
y proyectos sociales y Coordinacin de polticas, programas
y proyectos sociales. Les sugerimos que los utilicen en forma
complementaria, que los transiten y los combinen de acuerdo
con la temtica especfica que necesiten o deseen abordar.

9
Captulo 1
Introduccin

1.1 Polticas, Programas y Proyectos (las 3 P) 13


1.2 El ciclo de vida de las polticas, programas y proyectos 16
1.3 Breve resea sobre el proceso de descentralizacin 17
El sistema municipal argentino 17
El proceso descentralizador 18
El impacto de la descentralizacin en el gasto pblico social 21
1.4 Nuevo paradigma en polticas sociales destinadas a infancia y adolescencia 27
UNICEF - CIPPEC
1.1 Polticas, Programas y Proyectos (las 3 P) Cap. 1
Desde 1980, la Argentina atraviesa un proceso de descentralizacin que tor-
na ineludible la reflexin sobre las capacidades del Estado en todos sus nive-
les para asumir viejos y nuevos desafos.

En este contexto, UNICEF y CIPPEC se Aqu entenderemos a las capa-


propusieron acercar a los/as funcionarios/as cidades estatales como la apti-
locales una perspectiva multidimensional e
tud de las instancias de gobier-
integradora que, sin negar las restricciones
del contexto, busca fortalecer las capacida- no para plasmar los mximos
des de gestin local para gobernar proce- niveles posibles de valor social
sos complejos. a travs de polticas pblicas
(Repetto, 2004).
Las herramientas de Planificacin,
Monitoreo y Evaluacin y Coordinacin
que se presentan en estos manuales recuperan experiencias e incluyen pro-
puestas concretas. Estos instrumentos se combinan con conceptos crticos
de la gestin social, ejemplos tiles, sugerencias y reflexiones que permiten
mejorar las capacidades locales.

La forma de utilizar estas herramientas variar de acuerdo con el objeto


al que se apliquen. Por eso es necesario conocer sus caractersticas y tener-
las presentes a la hora de disear un proceso de planificacin, monitoreo y
evaluacin o coordinacin.

Identificar qu es lo que se va a planificar, monitorear, evaluar


o coordinar, es decir, cul ser el objeto, no es una cuestin
menor. De hecho, si no tenemos claridad acerca de las caracte-
rsticas de ese propsito, ser difcil realizar un diseo adecuado.

13
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Las polticas, los programas y los proyectos (las 3 P) son algunos de


estos posibles objetos; y aunque difieren entre s, son conceptos relaciona-
dos que deben formularse e implementarse en forma artculada.

XX Qu es una poltica pblica?


Aqu entenderemos a las polticas pblicas como el conjunto de objetivos,
decisiones y acciones que lleva a cabo un gobierno para solucionar los pro-
blemas que, en un momento determinado, tanto los ciudadanos como el
Polticas propio gobierno consideran prioritarios (Tamayo Sez, 1997).
Pblicas Estas acciones y decisiones involucran a una multiplicidad de actores,
sectores o niveles de gobierno. La poltica pblica no es resultado de
un proceso lineal, coherente y necesariamente deliberado de diseo
o formulacin, sino que es objeto de un proceso social y poltico que
configura un campo en disputa.

XX Qu son los programas y los proyectos?


Las polticas pblicas se cristalizan en programas y proyectos a los
que se les asignan recursos para su puesta en prctica. Por ejemplo, el Plan
Nacional de Accin por los Derechos de las Nios, Nias y Adolescentes se
operativiza a travs de programas y proyectos provinciales y municipales.
Mientras que poltica pblica se refiere a procesos polticos y sociales que
Programas se desarrollan en el tiempo, programa remite a una construccin tcnica
(que no niega el componente poltico), con mayor o menor capacidad de
expresar la complejidad del problema.
Los programas se conforman de un conjunto de proyectos que persiguen
los mismos objetivos (Cohen y Franco, 2005); son los responsables de es
tablecer las prioridades de la intervencin, ya que permiten identificar y
organizar los proyectos, definir el marco institucional y asignar los recursos.

Los proyectos pueden ser definidos como la unidad mnima de asignacin


de recursos para el logro de uno o ms objetivos especficos. De forma agrega-
da, constituyen el punto de partida ms adecuado para formular apreciaciones
sobre los programas. Los proyectos deben tener una poblacin objetivo defi-
Proyectos nida en funcin de la necesidad que se pretende satisfacer, una localizacin
espacial y tiempos de inicio y finalizacin predefinidos (Cohen y Franco, 2005).
Las 3 P se diferencian en la naturaleza de los propsitos que persiguen,
en los supuestos acerca de la accin sobre los que se sostienen y en el es-
pectro de actores que involucran. En la tabla 1.1 se presentan estas diferen-
cias a travs de un ejemplo para el sector de niez y adolescencia.

14
UNICEF - CIPPEC
Tabla 1.1 Poltica, programa y proyecto: algunas diferencias

Poltica de proteccin de
Programa de proteccin de derechos de Proyecto de defensoras zonales
derechos de nios, nias y
nios, nias y adolescentes y/o municipales
adolescentes

Los objetivos Una cuestin: necesidad de Un objetivo: contribuir a que los derechos Un objetivo: garantizar la defensa
garantizar los derechos de de los nios, nias y adolescentes estn de los derechos de los nios, nias
nios, nias y adolescentes. protegidos; en especial, contra la violencia, el
abuso, la explotacin y el trabajo infantil.
y adolescentes ante las instituciones
pblicas y privadas locales. Cap. 1
Supuestos La cuestin se redefine a lo La definicin de sus objetivos es el resultado La definicin de sus objetivos no
acerca de la largo del tiempo. de un proceso de negociacin entre actores se modifica en forma arbitraria. Su
accin de diferentes niveles de gobierno (nacional y vigencia est atada a la existencia
provincial) y del nivel provincial. del programa y a sus orientaciones.

Los actores Organismos gubernamentales. Organismos nacionales y provinciales Organismos comprometidos en la


Medios de comunicacin comprometidos en la gestin del programa. gestin del proyecto.
locales. Organismos a cargo de implementar polticas Organismos gubernamentales del
Organizaciones sociales. de erradicacin del trabajo infantil, de salud, nivel local.
Organismos como UNICEF y educacin, de desarrollo social, etc. Efectores de salud y educacin.
OIT. Organizaciones sociales. Organizaciones sociales de base
Partidos polticos. Poblacin infantil y adolescente. territorial.
Poblacin infantil y adolescente.

Fuente: CIPPEC, sobre la base de Chiara y Di Virgilio (2009).

Al igual que las polticas, los programas y proyectos no se mantie


nen en el tiempo tal como fueron diseados. Cuando se ponen en mar-
cha, entran en relacin con otros programas y proyectos, o con otras formas
de organizacin, y sufren modificaciones.

La relacin de los programas o proyectos sociales con la poltica social


en los distintos niveles (nacional, provincial o municipal) ser virtuosa (o no)
segn cules sean las caractersticas que asuman los procesos de gestin,
las condiciones del contexto y las capacidades estatales.

15
Monitoreo y evaluacin de polticas, programas y proyectos sociales

1.2 El ciclo de vida de las polticas, programas y


proyectos
Adems de ser aplicables a objetos con distintos niveles de alcance, los
conceptos y herramientas presentados a lo largo de estos manuales son
tambin susceptibles de uso en diferentes etapas de las 3 P.

Estas etapas suelen ser presentadas a travs de un ciclo secuencial de


la poltica (vlido tambin para la instancia de programa o proyecto) que, si
bien no es ms que una construccin analtica, otorga el beneficio de consti-
tuir un marco de referencia y permite ordenar sus distintas fases.

El modelo secuencial sugiere una serie de instancias que conforman un


ciclo, en el que la ltima etapa retroalimenta a la primera y reinicia el proceso
completo. Si bien en la literatura especializada existen otras calificaciones,
con ms o menos etapas, en trminos generales, las etapas del ciclo pueden
nominarse del siguiente modo:

XX La identificacin del problema (necesidades no satisfechas,


derechos vulnerados).
XX La decisin1.
XX El diseo y la configuracin (formulacin) de la poltica pblica,
con el correspondiente planteo de objetivos y metas.
XX La implementacin.
XX La evaluacin.

El hecho de que la evaluacin figure como etapa final Considerar los distintos alcances de las
intervenciones pblicas (polticas, programas
del ciclo responde a un ordenamiento conceptual, a
y proyectos) y las diferentes etapas de su de-
fines aclaratorios y de referencia. Por el contrario, en sarrollo (que esquematiza el ciclo de polticas)
estos manuales se considera que la evaluacin pue- constituye un insumo importante para superar
de entrar en escena en los distintos momentos del la frecuente desarticulacin que se evidencia
ciclo de vida de una poltica, programa o proyecto entre las polticas nacionales y provinciales
(donde suelen decidirse y formularse) y el
social. Ms informacin: seccin 2.6 de este manual.
contexto local en el que se implementan.

1 Como se describe en este captulo, en la Argentina, la decisin fundamental en materia de polticas sociales orien-
tadas a niez y adolescencia ya fue tomada, es por eso que en estos manuales no se profundizar sobre esta etapa.

16
UNICEF - CIPPEC
1.3 Breve resea sobre el proceso de
descentralizacin
El sistema municipal argentino

El sistema municipal argentino se caracteriza por su heterogeneidad.


Este rasgo se debe a que la determinacin del rgimen municipal constituye
una facultad reservada a las provincias, y no delegada al gobierno federal.
Bajo su denominacin coexisten veinticuatro regmenes distintos (uno
Cap. 1
para cada provincia y uno para la Ciudad Autnoma de Buenos Aires), esta-
blecidos a su vez por cada una de las constituciones y normativas locales.

La institucin municipal no tiene, entonces, una forma nica. En al-


gunos casos, los regmenes provinciales otorgan a los municipios facultades
limitadas (regmenes autrquicos); en otros, les conceden una autonoma
plena que los faculta para el dictado de su carta orgnica, la eleccin de
autoridades ejecutivas y legislativas o la autoadministracin.

Adems, cada municipio se define por aspectos como la cantidad de


habitantes, el marco institucional, el rgimen provincial al que pertenece, las
caractersticas geogrficas y econmicas, e incluso la tradicin poltica par-
tidaria de los dirigentes.

Actualmente, en la Argentina existen 2259 gobiernos locales (INDEC,


2010) y solo poco ms de la mitad posee un ejecutivo y un legislativo (por
lo general, un Concejo Deliberante). El resto son gobiernos locales definidos
como comunas, juntas de gobierno o comisiones municipales. Pero, a pe-
sar de sus diferencias, es posible encontrar entre ellos muchos puntos en
comn.

Al margen del rol fundamental y de las responsabilidades que


an poseen tanto los gobiernos provinciales como el gobierno
nacional, la descentralizacin gener un enorme reto para los
gobiernos locales, ya que debieron asumirse como los princi-
pales responsables del desarrollo local en un contexto de recur-
sos econmicos y tcnicos limitados.

17
Monitoreo y evaluacin de polticas, programas y proyectos sociales

El proceso descentralizador

Al consolidarse la democracia, y como consecuencia de la reforma cons-


titucional de 1994 que otorg autonoma a los municipios a travs del ar-
tculo 123, los gobiernos locales argentinos comenzaron un proceso
de transformacin, en trminos de competencias y funciones, al aa
dir nuevas y complejas responsabilidades a su clsica prestacin de
servicios bsicos como la recoleccin de residuos, el suministro de agua
potable y energa elctrica, la limpieza y mantenimiento de calles y cami-
nos vecinales, el alumbrado pblico y el mantenimiento de los cementerios,
entre otros.

Los procesos descentralizadores implicaron un fuerte llamado de


atencin sobre la dimensin territorial de las polticas pblicas. Sin em-
bargo, hasta que esta reforma institucional cobr fuerza, el territorio local
sigui siendo visto como un simple mbito administrativo desde el cual los
habitantes reciban, de modo pasivo, los servicios y programas pblicos de-
sarrollados y gestionados por el nivel central del Estado.

Los municipios asumieron cada vez ms responsabilidades en


el entramado institucional argentino hasta convertirse en los
principales receptores gubernamentales de las mltiples de-
mandas sociales.

La expansin de esta visin centralista del Estado fue particularmente


crtica en el caso de las polticas sociales porque los problemas sobre los
que estas intervienen tienen mltiples matices y particularidades propios
del entorno local.

18
UNICEF - CIPPEC
La jerarquizacin del nivel municipal es tributaria de mltiples factores
que pueden resumirse en cuatro grandes hitos, ntimamente relacionados
(Camou y Di Virgilio, 2008):

XX En la dcada del ochenta, durante los inicios de la transicin democr-


tica, se impulsaron iniciativas descentralizadoras con la expectativa de
sentar bases democrticas tambin en el nivel local.
XX La reforma constitucional de 1994 formaliz los cambios en las relacio-
nes intergubernamentales. En el artculo 123, por ejemplo, se estableci
Cap. 1
que las provincias deban asegurar la autonoma municipal en sus cons-
tituciones. Esto implic reformas jurdicas, administrativas y econmicas
que, en algunos casos, an no se efectivizaron.
XX Durante la dcada del noventa, el modelo de gestin que acompa a
los programas de alivio a la pobreza y de asistencia al empleo (financia- Grandes
dos por organismos multilaterales de crdito) repercuti tambin sobre hitos de la
los impulsos descentralizadores. En un contexto guiado por las urgencias descentralizacin
fiscales de gobiernos nacionales preocupados, casi exclusivamente, por en la Argentina
el ajuste estructural y la apertura de mercados, los municipios se convir-
tieron en los receptores naturales de las responsabilidades y demandas.
XX Con un impacto geogrfico y social heterogneo, este proceso de des-
centralizacin tuvo un nuevo impulso a partir de 2003, luego de una pro-
funda crisis que deriv en una revitalizacin del rol de Estado. El marco
institucional y normativo en el que hasta entonces operaban muchas polti-
cas sociales tuvo importantes modificaciones: la Ley 26061 de Proteccin
Integral de los Derechos de las Nios, Nias y Adolescentes (2005), la Ley
26390 de Erradicacin del Trabajo Infantil (2008) y la Ley 26233 sobre los
Centros de Desarrollo Infantil (2007), entre otras.

La transferencia de responsabilidades a los niveles provincial y


municipal de gobierno hizo aflorar, en las ltimas tres dcadas,
un nuevo tejido de relaciones econmicas, polticas y adminis-
trativas entre ellos.

Es importante reconocer que descentralizar implica siempre nuevas y Complejidades


mayores complejidades para la gestin estatal, en trminos de relacio y ventajas de la
nes intergubernamentales. descentralizacin

19
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Por ejemplo, cuando se decide, disea y gestiona una poltica social en el


marco de este nuevo contexto institucional, es importante determinar tanto
en trminos fomales como informales:

XX Si la capacidad de decisin est distribuida entre las autoridades de dis-


tinta escala territorial.
XX Qu atribuciones le caben a cada autoridad.
XX Qu mecanismos existen para coordinar la actividad entre autoridades de
distinta jurisdiccin.
XX En qu medida las diferencias entre jurisdicciones coinciden con diferen-
cias reales en el entorno social, y si existen mecanismos para compensar
esas diferencias (Acua y Repetto, 2009).
XX Las heterogneas capacidades de gestin de cada una de las unidades a
cargo de la implementacin de polticas sociales.

La descentralizacin ofrece ciertas ventajas que vale la pena


Si las polticas pblicas se
destacar:
ajustan ms a las necesi-
dades de una localidad, XX Representa una oportunidad para redistribuir poder poltico desde los
aumenta la eficiencia y gobiernos centrales a los subnacionales (provincias y municipios) y au
eficacia de los progra- mentar, as, su participacin en la identificacin de prioridades, la
gestin de los recursos y la toma de decisiones.
mas implementados.
XX Cuando la descentralizacin llega efectivamente al nivel municipal (un
proceso an incipiente en nuestro pas), la formulacin de las polticas
pblicas se acerca a la comunidad, se facilita la identificacin de ne
cesidades de grupos sociales y se fortalecen los lazos entre vecinos
y funcionarios.

Al afectar la distribucin de funciones


La descentralizacin no es un proceso ni y recursos, el proceso impacta en forma
lineal, ni automtico, ni homogneo. Por directa sobre la economa de los gobier-
el contrario, depende de ciertas condi- nos locales. Los programas y responsa-
bilidades descentralizados requirieron (y
ciones institucionales, polticas, sociales y
an requieren) un volumen de recursos
econmicas. Adems, vara segn las ca- que no siempre fueron transferidos de
ractersticas y las diferentes capacidades manera proporcional a las tareas dele-
de gestin de los gobiernos locales. gadas, o en tiempo y forma.

20
UNICEF - CIPPEC
La descentralizacin de funciones redund, en muchos casos, en una
enorme carga presupuestaria que los municipios rara vez fueron capaces
de afrontar por s solos. La capacidad tributaria de los gobiernos locales es
acotada en trminos de recaudacin. Esto condiciona fuertemente el gasto y
limita la fijacin de prioridades en el nivel local.

En paralelo, el nivel de demanda hacia los gobiernos locales aument en


forma significativa tras la delegacin de funciones: se convirtieron en los
primeros receptores de las expectativas sociales que antes se dirigan
Cap. 1
a otros niveles de gobierno. Para los municipios, esto gener un cuello de
botella en trminos de las polticas que eran capaces de implementar.

Aumentan las responsabilidades


y funciones de los municipios

Aumentan las demandas ciudadanas


hacia los municipios

Pero los recursos no fueron


transferidos de forma proporcional

Como resultado, la situacin


de los municipios parece un
embudo

El impacto de la descentralizacin en el gasto pblico


social

Para conocer cmo afect el proceso de descentralizacin en polticas so-


ciales a los municipios, vale la pena analizar la evolucin y composicin del
gasto pblico consolidado en esta rea.

En la Argentina, las responsabilidades de financiamiento del gasto pblico


corresponden a los tres niveles de gobierno (nacional, provincial y municipal).
Los distintos niveles comparten funciones y responsabilidades en la formu-
lacin, implementacin y M&E de polticas sociales, incluidos los programas
destinados a nios, nias y adolescentes.

21
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Durante las dcadas del ochenta y noventa, la participacin de las


provincias y, en menor proporcin, de los gobiernos locales en la inver
sin pblica social aument en forma significativa.

Variacin de la Como puede observarse en el grfico 1.1, el impacto de la descentrali-


composicin zacin se observa en la variacin de la composicin del gasto pblico
de gasto social2. Mientras que el componente nacional disminuye, el provincial y el
pblico social municipal aumentan. A comienzos de los ochenta la participacin del gobier-
no nacional alcanzaba ms del 50 % del total, veinte aos ms tarde haba
disminuido 15 puntos. Hacia 2009, los gobiernos provinciales y municipales
eran responsables de casi el 65 % del gasto.

Grfico 1.1 Gasto pblico social por nivel de gobierno (Nacin, provincias
y municipios). 1980-2009 (calculado sobre la base de porcentajes del PBI)
Sin seguridad social

Nacin Provincias Municipios


100%

90%

80%

70%

60%

50%

40%

30%

20%

10%

0%
1980
1981
1982
1983
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
Fuente: CIPPEC, sobre la base de los datos disponibles en la Secretara de Poltica Econmica y Planificacin
del Desarrollo, Ministerio de Economa de la Nacin.

2 Para un anlisis ms detallado, se sugiere revisar El papel de los municipios en la inversin pblica social en infancia y
adolescencia. Resultados de una encuesta nacional a municipios argentinos (Maceira y otros, 2010). Este documento,
publicado en 2010 por CIPPEC y UNICEF, constituye un antecedente de estos tres manuales.

22
UNICEF - CIPPEC
El proceso de descentralizacin hacia los gobiernos subnacionales (pro- Participacin
vincias y municipios) se concentr, principalmente, en las reas sociales: sa- de los gobiernos
lud, educacin y promocin social. El grfico 1.2 muestra cmo creci la subnacionales
participacin de los gobiernos subnacionales en el gasto social, en particular, en el gasto
entre las dcadas del ochenta y noventa. pblico social

Grfico 1.2 Participacin de los gobiernos subnacionales (provincias y


municipios) en el gasto social (total, educacin, salud y promocin social).
Promedios 1981-2009 (en porcentajes)
Cap. 1

Promedio 1981-1900 Promedio 1991-2000 Promedio 2001-2009

1,00
0,90
0,80
0,70
0,60
0,50
0,40
0,30
0,20
0,10
0,0
Gasto social total Educacin Salud Promocin social

Fuente: CIPPEC, sobre la base de los datos disponibles en la Secretara de Poltica Econmica y Planificacin
del Desarrollo, Ministerio de Economa de la Nacin.

En el caso de la educacin, el proceso descentralizador iniciado en los


aos setenta continu durante la dcada de 2000, sobre todo, con el traspaso
de la educacin media y terciaria no universitaria. En el caso de la salud, el
esquema descentralizador que se inici en los aos sesenta tuvo una continui-
dad significativa en la dcada pasada, pero menos profunda que en los otros
dos sectores (Maceira y otros, 2010).

Como se observa en el grfico 1.3, los municipios duplicaron el gasto


en polticas sociales durante la dcada del noventa, y luego de una merma
(probablemente producida por la crisis de 2001-2002) el nivel de gasto se
recuper, e incluso sigui aumentando hasta alcanzar poco menos del 3,5
% del PBI en 2009 (ltimo dato disponible).

23
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Grfico 1.3 Gasto pblico consolidado de gobiernos municipales en polti-


cas sociales como % de PBI. 1980-2009

3,5

2,5

1,5

0,5

0
1980
1981
1982
1983
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009*
(*) Cifras provisionales

Fuente: CIPPEC, sobre la base de los datos disponibles en la Direccin de Anlisis de Gasto Pblico y Programas Sociales
del Ministerio de Economa de la Nacin, ao 2012 (ltimo dato disponible, ao 2009).

Por su parte, el grfico 1.4 muestra el aumento de la participacin de los


gobiernos locales en el financiamiento de las reas de salud, educacin y
promocin social.

El rea de promocin social es la que registra un mayor crecimiento y en la


que existe una mayor participacin local. Esto se explica, en parte, porque el mu-
nicipio es la instancia de gobierno ms cercana al ciudadano y, en consecuen-
cia, la primera ventana de los reclamos de la sociedad (Maceira y otros, 2010).

24
UNICEF - CIPPEC
Grafico 1.4 Participacin de los gobiernos locales en el gasto social (edu-
cacin, salud y promocin social). Promedios 1981-2008 (en porcentajes)

Promedio 1981-1900 Promedio 1991-2000 Promedio 2001-2009

33%

28%
Cap. 1

10%
6% 7%
3% 3% 4%
2%

Educacin Salud Promocin social

Fuente: CIPPEC, sobre la base de los datos disponibles en la Secretara de Poltica Econmica y Planificacin
del Desarrollo, Ministerio de Economa de la Nacin.

Sin embargo, al mismo tiempo que ascendi el gasto pblico municipal


destinado a polticas sociales, tambin aument el nivel de dependencia
municipal a las transferencias econmicas de los gobiernos provincia
les o del gobierno nacional. Esto se observa al analizar la composicin del
gasto pblico municipal desde la perspectiva de su fuente de financiamiento.
El grfico 1.5 muestra la disminucin constante del componente municipal a
favor del provincial, desde 2000 hasta 2003, cuando comienzan a aumentar
las transferencias del gobierno nacional.

25
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Grfico 1.5 Nivel de dependencia municipal a las transferencias econmicas


de gobiernos provinciales o del gobierno nacional

100%

90%

80%

70% Recursos
propios
60%

50%
Transferencias
40% de los
gobiernos
30% provinciales

20% Transferencias
del Gobierno
10% nacional

0%
2000 2001 2002 2003 2004 2005 2006 2007 2008

Fuente: Direccin de Anlisis de Gasto Pblico y Programas Sociales, Ministerio de Economa


y Finanzas Pblicas de la Nacin (2010).

En parte debido a este origen diverso de las fuentes de financiamiento,


pero tambin porque los diseos se realizan en el nivel central y se aplican
sin una adaptacin a las particularidades locales, las polticas nacionales
y provinciales suelen estar desarticuladas del contexto local en el que
En este contexto complejo,
se implementan.
los gobiernos locales, deve-
nidos actores estratgicos Muchas polticas y programas abordan cuestiones y desafos a escala lo-
en la gestin de polticas cal, pero pocas veces incorporan en su diseo e implementacin al contexto
ms prximo como factor condicionante. Estos problemas de coordinacin
sociales, enfrentan a dia-
impiden, por ejemplo, la implementacin de un sistema integral de proteccin
rio desafos para los cuales
a la niez y la adolescencia.
no siempre poseen los re-
cursos y las herramientas En sntesis, las funciones y responsabilidades de los gobiernos locales
necesarias. crecieron en las ltimas dcadas, en particular, aquellas relacionadas con las
reas sociales. Adems, aumentaron los reclamos de la sociedad hacia los
municipios. Sin embargo, los recursos no crecieron en forma proporcional.

26
UNICEF - CIPPEC
El gasto pblico social consolidado dirigido a niez y adolescencia Los mayores aumentos nominales se presentaron en 2005 y
implic, en 2008 (ltimas estimaciones disponibles), una inversin 2008, ambos superiores al 30 %, como consecuencia de las
de $72751,5 millones, lo que representa una inversin de $5945 mayores erogaciones realizadas por los gobiernos provinciales
por nio, nia o adolescente (UNICEF, 2010). (cerca del 80 % del crecimiento total).
Entre 2001 y 2008, la inversin social en personas menores En 2005, se destacan el impacto de la Ley de Financiamiento
de 18 aos reflej un crecimiento nominal acumulado de Educativo y la implementacin de los Programas Federales de
338,8 %, sin considerar el impacto del aumento de los Vivienda. En 2008, el incremento responde principalmente a
Cap. 1
precios. En trminos reales, si se contempla el impacto en la aumentos relacionados con la provisin de educacin y salud
evolucin de los precios y se equiparan los valores de cada (UNICEF, 2010).
ao a pesos de 2001, es posible identificar que el incremento
en este perodo fue del 62,8 %.

1.4 Nuevo paradigma en polticas sociales


destinadas a infancia y adolescencia3
Como mencionamos, en los ltimos aos surgi un nuevo paradigma para
abordar las polticas sociales destinadas a infancia y adolescencia. Por su re-
levancia y peso creciente, afect rpidamente tanto a la agenda estatal como
a la de los organismos internacionales, los mbitos acadmicos y las orga-
nizaciones de la sociedad civil. Esta corriente interpela al viejo paradigma en
general y, sobre todo, a las polticas que deberan disearse para responder
a los problemas que afectan a los menores de 18 aos.

La Convencin de las Naciones Unidas sobre los Derechos del Nio, que
entr en vigor en 1989, inaugur esta nueva forma de abordar la infancia y
adolescencia al reconocer la posicin de los nios, nias y adolescentes
como sujetos de derecho. En este tratado, la familia es reconocida como el
ambiente natural de bienestar para los nios, nias y adolescentes, y como
espacio predilecto para potenciar su pleno desarrollo. En consecuencia, la
principal tarea del Estado es velar por sus derechos en el marco de la
vida familiar.

3 Este apartado se elabor sobre la base de Inversin pblica social en infancia y adolescencia: Un anlisis
institucional y presupuestario para el municipio de Morn (Olaviaga y Marazzi, 2010).

27
Monitoreo y evaluacin de polticas, programas y proyectos sociales

1989 Entra en vigor la La Convencin establece tambin que el Estado debe comprometerse
Convencin a difundir informacin y materiales de inters para que los nios, nias
y adolescentes adquieran el derecho a expresarse, a construir libremente
1994 La Convencin su opinin y a gozar de la oportunidad de ser escuchado.
adquiere rango
constitucional Tras firmar la Convencin, los Estados se comprometen a asegu-
rar a los menores de edad su proteccin, es decir, la promocin
2005 Se aprueba la
y restitucin de sus derechos y el cuidado necesarios para su
Ley 26061
bienestar. Para eso, se formulan una serie de obligaciones asocia-
das con la salud, la educacin y el esparcimiento. En particular,
se establece como lmite el derecho a no sufrir discriminacin,
maltrato o explotacin econmica.

Las modificaciones en el plano internacional fueron adaptadas a la


realidad argentina, con diversos matices en el mbito nacional y pro
vincial. La Convencin fue ratificada en 1990 a travs de la Ley 23849 y en
1994 se le otorg jerarqua constitucional (art. 75, inc. 22). La puesta en mar-
cha de los lineamientos que establece exige transformaciones profundas en
la legislacin, reformas en las prcticas de las instituciones y modificaciones
en la relacin entre el Estado, la familia y la comunidad, y los nios, nias y
adolescentes.

En 2005 se aprob la Ley 26061


La sancin, en 2005, de la Ley 26061 de
de Proteccin Integral de los
Proteccin Integral de los Derechos de Derechos de las Nias, Nios y
las Nios, Nias y Adolescentes inaugur Adolescentes, que dispone la apli-
en la Argentina un nuevo paradigma para cacin obligatoria de la Convencin
abordar el diseo y ejecucin de polticas
sobre los derechos de esta pobla-
cin y establece las caractersticas
y programas orientados a infancia y ado-
bsicas que deberan adquirir las
lescencia. Esta normativa supone la con- polticas pblicas ligadas a infancia
formacin de un nuevo andamiaje insti- y adolescencia. A partir de all, y en
tucional en el que los gobiernos locales lnea con lo determinado por la nor-
mativa nacional, se avanz con las
adquieren un protagonismo estratgico.
normativas provinciales.

28
UNICEF - CIPPEC
La primera consecuencia de esta ley fue la derogacin del antiguo rgi-
men del patronato de menores (establecido por la Ley 10903, conocida como Derogacin del
Ley Agote), vigente desde 1919. Esto signific un corte estructural respecto antiguo rgimen
del paradigma anterior (y de sus implicancias organizacionales, sociales y de patronato
culturales) que haba consolidado la intervencin del Estado en la vida de los de menores
nios, nias y adolescentes en situacin de pobreza y les daba facultad de
tutela a los jueces.

La Ley 26061 estableci tambin una nueva manera de entender y aten-


Cap. 1
der las necesidades de la niez y la adolescencia; a partir de ella se instala
el principio de corresponsabilidad y se establece una serie de obligaciones y
facultades hacia el Poder Ejecutivo en todos sus niveles.

Adems, se habilit la creacin del Sistema de Proteccin Integral de


los Derechos de Nios, Nias y Adolescentes, que busca garantizar el Creacin del
disfrute pleno y el ejercicio efectivo y permanente de los derechos recono- Sistema de
cidos en el nivel nacional y en los tratados internacionales que la Nacin Proteccin
ratifica. El Sistema est conformado por todos los organismos, entidades y Integral de los
servicios que disean, planifican, coordinan, orientan, ejecutan y supervi- Derechos de
san las polticas pblicas (de gestin estatal o privada) en el mbito nacio- Nios, Nias y
nal, provincial y municipal. Polticas que buscan promover, prevenir, asistir, Adolescentes
resguardar y restablecer los derechos de las nios, nias y adolescentes
(Art. 32).

29
Monitoreo y evaluacin de polticas, programas y proyectos sociales

A partir de la creacin del Sistema de Proteccin Integral de En la tabla 1.2 se presenta la cantidad de rganos
los Derechos de nios, nias y adolescentes, las provincias provinciales y municipales con competencia en niez y
son las encargadas de planificar y ejecutar polticas. Esta adolescencia en relacin con las localidades urbanas (con
aplicacin es desigual entre los distintos municipios, cuyas ms de 2000 habitantes segn INDEC).
funciones, grados de autonoma y recursos para abordar la
problemtica de la niez y la adolescencia difiere segn la Tabla 1.2 Cobertura de rganos locales con
provincia en la que se encuentren. competencia en materia de niez y adolescencia
De acuerdo con un informe del defensor del pueblo de la en localidades urbanas (provincias que cuentan
Nacin, la aplicacin desigual de este sistema se evidencia con ley de proteccin integral, con o sin
en las grandes diferencias que existen en el nivel de adhesin reglamentacin y que brindaron la informacin)

a la Ley 26061 y en los avances en el desarrollo del marco Cantidad


legislativo de las provincias. de rganos Cantidad de
Jurisdicciones locales de localidades Cobertura %
En el mapa se pueden observar los distintos grados de distintas urbanas
avance. competencias
Misiones 62 41 151,2
Jujuy

Entre Ros 60 44 136,4


Formosa
Salta

Chubut 18 14 128,6
Tucuman Chaco

es

CABA 15 15 100,0
Catamarca Santiago ion
de Estero Mis

Corrientes

La Rioja
Santa
Fe
Tierra del
2 2 100,0
San
Juan
Cordoba
Fuego
Entre
Rios

San
Luis Santa Cruz 13 14 92,9
Mendoza
Buenos Aires 112 158 70,9
Jujuy 14 22 63,6
Buenos Aires

La Pampa

Neuquen
Mendoza 14 33 42,4
Rio
Negro
Nivel de
adecuacin Categoras situacionales Santa Fe 5 121 4,1
No legisl conforme a la La Rioja 0 16 0,0
Ley 26061 o Convencin
Bajo
Internacional de los Derechos del
Ro Negro 0 29 0,0
Chubut

Nio (CIDN).

Cuenta con Ley de adhesin (a la Salta 0 35 0,0


Santa
Cruz
Ley 26061 o a la CIDN), pero no
tiene an desarrollo legislativo. Tucumn 0 32 0,0
Intermedio
Cuenta con Ley de proteccin
integral, pero an no fue Fuente: CIPPEC, sobre la base del informe del defensor del pueblo (2011).
reglamentada.

Cuenta con Ley de proteccin


Alto
Tierra del Fuego
integral y est reglamentada. As, tomando como unidad de anlisis a las jurisdicciones
provinciales, el informe del defensor del pueblo de la Nacin
Fuente: CIPPEC, sobre la base del informe del defensor del pueblo (2011). vuelve a mostrar diferencias sustanciales.

30
UNICEF - CIPPEC
Todos los gobiernos locales comparten, en mayor o menor me-
dida, un grado de responsabilidad en garantizar los derechos
de los nios, nias y adolescentes en su jurisdiccin, en coordi-
nacin con los distintos niveles de gobierno y organismos com-
petentes a efectos de llevar a la prctica un enfoque integral.
Es por eso que mejorar las capacidades de los municipios
para que puedan responder a este desafo en forma adecuada
Cap. 1
constituye una meta prioritaria.

La Ley dispuso, adems, la creacin de la Secretara Nacional de Niez,


Adolescencia y Familia (que depende del Ministerio de Desarrollo Social y Creacin de
del Consejo Federal de Niez, Adolescencia y Familia) cuyo objetivo es invo- la Secretara
lucrar institucionalmente a las provincias en el diseo de polticas de niez y Nacional de Niez,
adolescencia (Art. 45). De este modo, se reconoce la necesidad de que la Adolescencia
Poltica de Proteccin Integral de Derechos sea implementada a travs y Familia
de una concertacin articulada de accin de la Nacin, las provincias y
los municipios (Art. 32).

La Secretara Nacional de Niez, Adolescencia y Familia es el princi-


pal organismo encargado de promover y cuidar el ejercicio de los dere- Consejo Federal
chos destinados a niez y adolescencia. Entre sus responsabilidades se de Niez,
encuentra garantizar el funcionamiento del Consejo Federal de Niez, Adolescencia
Adolescencia y Familia, creado en el ao 2006 mediante Decreto 416/06, y Familia
y coordinar entre ambas instancias el diseo y articulacin de las polticas
pblicas integrales.

La Secretara debe ocuparse tambin de asegurar la ejecucin de los


instrumentos de carcter internacional a los que la Nacin suscriba y de
conseguir financiamiento nacional e internacional para el desarrollo de las
polticas, adems de traspasarlo a las provincias cuando sea necesario.

El Consejo Federal debe, adems de las funciones mencionadas en


articulacin con la Secretara, concertar y efectivizar las polticas de pro-
teccin integral, proponer e impulsar reformas legislativas e institucionales
destinadas a la concrecin de los principios establecidos en la Convencin,

31
Monitoreo y evaluacin de polticas, programas y proyectos sociales

fomentar espacios de participacin activa de la sociedad civil y promover la


supervisin y control de las instituciones privadas de asistencia y proteccin
de derechos (Art. 46).

En la Ley 26061 de Proteccin Integral de los Derechos de las Nios,


Defensor de los Nias y Adolescentes (2005) se estableci, tambin, la figura del Defensor
derechos de los de los derechos de nios, nias y adolescentes para velar por la protec-
nios, nias y cin y promocin de los derechos consagrados en la Constitucin nacional
adolescentes y en la Convencin sobre Derechos del Nio y las Leyes nacionales (Art. 47).
Sin embargo, esta figura jurdica an no fue implementada.

Registro de En el ao 2009 se cre el Registro de Proteccin Integral de la Niez


Proteccin Integral y la Adolescencia (Decreto 2044/2009) para integrar y sistematizar la infor-
de la Niez y la macin relacionada con las acciones gubernamentales de proteccin de los
Adolescencia derechos de las personas menores de dieciocho (18) aos de edad, y para
ampliar y calificar al conjunto de polticas pblicas en la materia.

En lnea con este cambio de paradigma, desde 2003 se evidencia una re


vitalizacin del rol del Estado que, acompaada por la recuperacin de la
crisis econmica de 2001/2002, contribuy a que los principales indicadores
sociales experimentaran una sostenida mejora (en particular, los ndices de
pobreza, indigencia y desigualdad), con un indudable correlato en la mejora
de la situacin de los nios, nias y adolescentes y de sus familias.

Esta mejora se explica parcialmente (adems de ser una consecuencia


del crecimiento econmico) por la implementacin de una reciente oferta
programtica cuyo pblico objetivo (en ocasiones, pblico exclusivo) son
los nios, nias y adolescentes. Si bien en este perodo, y para este grupo
etario en particular, la poltica por antonomasia es la Asignacin Universal
por Hijo para Proteccin Social, no deben dejar de resaltarse medidas ta-
les como el Plan Nacer, el Plan Primeros Aos, la Ley 26206 de Educacin
Nacional, la Ley 26390 de Erradicacin del Trabajo Infantil y la Ley 26233
sobre los Centros de Desarrollo Infantil, entre otras.

En esta etapa se evidencia tambin el fortalecimiento de las distintas ofer-


tas programticas provinciales y, en algunos casos, de las municipales. Esta
oferta, pese a aterrizar en cada territorio en forma fragmentada y desarticu-
lada, contribuy a mejorar la situacin relativa de nios, nias y adolescentes.

32
UNICEF - CIPPEC
A pesar de la mejora en muchos indicadores sociales, la situacin
social que experimentan los hogares en la Argentina segn su ubicacin
geogrfica y su composicin sigue siendo heterognea y plantea retos
ineludibles, como enfatizar la dimensin social y poltica que el cambio de
paradigma supone y colocar en primer plano la inversin de recursos eco-
nmicos y materiales para la infancia y adolescencia.

Para garantizar que las expectativas que se generaron en nuestro pas


tras la sancin de la Convencin Internacional de los Derechos del Nio en
Cap. 1
1989 y el consecuente marco normativo se vuelvan efectivas, los municipios
deben trabajar en forma articulada con el gobierno provincial y nacional.

Para lograr construir un sistema integral de proteccin de los derechos de los


nios, nias y adolescentes, la Argentina tiene an campo por recorrer. Hasta
el momento se avanz a travs de una proliferacin de intervenciones (muchas
veces, bajo la modalidad de programas) que no responden a lgicas integrales y
que, desde el mbito nacional, suelen desplegarse sin la sinergia necesaria entre
los diversos territorios provinciales y municipales. Por eso, el principal desafo
es avanzar sostenidamente hacia la constitucin de ese sistema.

Dado que los principales problemas sociales que afectan a la niez y


adolescencia son de carcter multidimensional (combinan carencias y ne-
cesidades tangibles e intangibles, expresan obstculos y restricciones
de muy diversa ndole, y en ellos se involucran a su vez distintos actores
sectoriales y jurisdiccionales), an se requiere afrontar el trnsito desde pro
yectos y programas a polticas, y desde polticas hacia un sistema integral.

Esa transicin, sumamente compleja en su implementacin y gestin co-


tidiana, debe ser moldeada tanto de acuerdo con los problemas especficos
que afectan a la niez y adolescencia (y, por supuesto, a sus familias) como
en lnea con lo que establece la Ley Nacional de Proteccin Integral.

Tampoco debe olvidarse que, pese a los importantes avances normativos


e institucionales realizados, los cambios planteados desde la Convencin
primero y desde el nuevo paradigma despus, no son fciles de plasmar.
En otras palabras, el marco normativo es necesario, pero no suficiente,
porque la transformacin que promueve el nuevo paradigma involucra
un proceso social y cultural mucho ms complejo y no lineal, con marchas
y contramarchas, avances y retrocesos.

33
Monitoreo y evaluacin de polticas, programas y proyectos sociales

En conjunto, la descentralizacin y el cambio en el paradigma


trajeron aparejados grandes desafos a la hora de planificar, mo-
nitorear, evaluar y coordinar polticas, programas y proyectos
sociales desde la gestin local.

Para ejercer satisfactoriamente las nuevas funciones y respon-


sabilidades asumidas por los gobiernos locales, es imprescin-
dible desarrollar nuevas capacidades que permitan identificar
prioridades, administrar recursos y establecer criterios de accin
estratgicos. Estos manuales pretenden ser un instrumento til
en este sentido.

34
Captulo 2
Aspectos conceptuales bsicos del
monitoreo y la evaluacin de polticas,
programas y proyectos sociales

2.1 Qu son la evaluacin y el monitoreo de polticas, programas y proyectos sociales? 39


2.2 El monitoreo: un instrumento para la toma de decisiones 45
2.3 Hacia un sistema integrado de monitoreo y evaluacin 50
2.4 Qu ventajas genera aplicar herramientas de monitoreo y evaluacin desde el nivel municipal? 56
2.5 Quin monitorea? Quin evala? 57
2.6 Vinculando el monitoreo y la evaluacin con el ciclo de vida de las polticas, los programas y los proyectos 60
UNICEF - CIPPEC
A lo largo de estas pginas desarrollaremos una serie de conceptos tiles
para disear o implementar herramientas de monitoreo y evaluacin (en ade-
Cap. 2
lante, M&E) de polticas, programas y proyectos sociales (las 3 P)4 destinados
a niez y adolescencia. Este punto de partida nos permitir pasar de la teora
a la prctica de un modo ms slido y sencillo.

Los objetivos de este captulo son:

XX Comprender los principales aspectos conceptuales del monitoreo y


la evaluacin en el marco de los procesos de gestin de las 3 P destina-
das a niez y adolescencia.
XX Identificar el lugar que ocupan el monitoreo y la evaluacin en
los procesos de gestin de las 3 P, segn sus diferentes tipos y
modalidades.
XX Conocer los alcances y limitaciones de los diferentes tipos y modali-
dades de M&E.

Para cumplir con nuestros objetivos intentaremos responder a las siguien-


tes preguntas: qu es el monitoreo?, qu es la evaluacin?, cul es la
diferencia entre ellos?, qu monitoreamos?, qu evaluamos?, para qu
lo hacemos?, cmo monitoreamos?, cmo evaluamos?, quin/quines lo
hacemos?, y en qu momento?

En la figura 2.1 se presentan algunos conceptos y relaciones que traba-


jaremos en este captulo.

4 En este manual se utilizar la frase las 3 P para referirnos a polticas, programas y proyectos sociales. Para mayor
informacin, consultar la Introduccin.

37
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Figura 2.1 El monitoreo y la evaluacin en el proceso de gestin de polticas,


programas y proyectos sociales de niez y adolescencia

PROCESO DE GESTIN DE POLTICAS, PROGRAMAS Y PROYECTOS DESTINADOS A NIEZ Y ADOLESCENCIA

Retroalimentacin para la formulacin o el rediseo de las 3 P

Formulacin y diseo Ejecucin de las 3 P Evaluacin

Evaluacin
de las 3 P destinadas destinadas a niez

ex post
concurrente
a niez y adolescencia y adolescencia

Mejoras
concurrentes
Evaluacin ex ante de las 3 P
destinadas a niez y adolescencia.
Apoya el diseo de la intervencin
social. Sirve de base para Monitoreo de las 3 P
el monitoreo, la evaluacin destinadas a niez
concurrente y ex post y adolescencia

Fuente: CIPPEC.

Desde nuestra perspectiva, una poltica pblica, y en particular una


poltica social, es algo ms que la suma de los programas y proyectos
que la componen, aun cuando esta se concrete a travs de aquellos.

Como mencionamos en el cap


Incluso cuando a los fines de darle fluidez al re- tulo 1, entendemos a las polticas
lato nos refiramos muchas veces a proyectos o como un conjunto de objetivos, de-
cisiones y acciones que desarro-
programas, nos interesa resaltar que la evalua-
lla un gobierno para solucionar los
cin pierde sentido si no se la inscribe en un
problemas que, en un momento
proceso ms amplio y dinmico. determinado, tanto los ciudadanos
como el propio gobierno consideran

38
UNICEF - CIPPEC
prioritarios (Tamayo Sez, 1997). Estos objetivos, acciones y decisiones in-
volucran a una multiplicidad de actores y sectores o reas (salud, educacin,
desarrollo social, etc.) de uno o varios niveles de gobierno (nacional, provin-
cial o municipal) y desbordan los lmites y las expresiones propias de cada
programa o proyecto.

2.1 Qu son la evaluacin y el monitoreo de


polticas, programas y proyectos sociales?
La evaluacin puede definirse como la emisin de un juicio de valor acer
ca de una poltica, programa o proyecto y puede ser entendida como:
Cap. 2
XX Una actividad programada de reflexin sobre la accin, cuya realiza-
cin puede proponerse para antes, durante o despus de la implementa-
cin de una poltica, programa o proyecto. La evaluacin se lleva a cabo
mediante procedimientos sistemticos de recoleccin, anlisis e in
terpretacin de informacin y a travs de comparaciones respecto
de parmetros definidos. Su finalidad es emitir juicios valorativos fun
damentados y comunicables, sobre las actividades y los resultados ()
de las intervenciones sociales y formular recomendaciones que permitan
decisiones orientadas a ajustar la accin (Nirenberg, 2009).

XX Consecuencia de la necesidad de introducir cambios respecto de


un problema de viabilidad, funcionamiento, resultados o impacto de
las 3 P. En este sentido, se realiza si existe la posibilidad de generar una Definiciones
accin deliberada que permita superar ese problema. No se ejecuta una de evaluacin
evaluacin si no se prev la posibilidad de provocar consecuencias que
induzcan a la accin o modifiquen el curso de la intervencin. La evalua-
cin responde a un propsito (Martnez Nogueira, 2004). El desarrollo
de una evaluacin supone una decisin de poltica pblica y consti
tuye un insumo clave para el desarrollo de las 3 P.

XX Un proceso reflexivo que se apoya en la formulacin de preguntas


precisas sobre uno o varios aspectos relativos al diseo, ejecucin o
finalizacin de las 3 P. Los procedimientos de recoleccin, anlisis e in-
terpretacin de informacin constituyen la base sobre la cual es posible
responder a dichos interrogantes.

39
Monitoreo y evaluacin de polticas, programas y proyectos sociales

El vocablo evaluacin proviene del latn valere, que significa valorar. Evaluar es
fijar el valor de una cosa y para hacerlo se requiere un procedimiento que permi-
ta comparar aquello a evaluar respecto de un criterio o un patrn determinado
(Cohen y Franco, 1988).

La evaluacin se compone de:

XX Un objeto: la poltica, programa o proyecto sobre el que se emite un juicio


de valor.
XX Un referente: el criterio o patrn de deseabilidad contra el que se compa-
ra el objeto de la evaluacin.
XX Una estrategia o procedimiento sistemtico mediante el cual se recolecta
y analiza la informacin.

Figura 2.2 Componentes de la evaluacin

Referente
Objeto de de evaluacin
evaluacin

Estrategia
de evaluacin

EVALUACIN

Fuente: CIPPEC.

40
UNICEF - CIPPEC
La evaluacin no debe ser entendida como
El monitoreo es el seguimiento que se realiza
un proceso aislado. Muy por el contrario, es a la
vez un insumo para orientar la accin y un pro durante la ejecucin de una poltica, programa
ceso permanente de aprendizaje y mejora o proyecto. Es un instrumento, de gestin y de
que acompaa toda la vida de una poltica social. poltica, que permite revisar en forma peridica
En otras palabras, es una herramienta para la los aspectos sustantivos de las 3 P, para optimizar
toma de decisiones.
sus procesos, resultados e impactos. Constituye

Como cualquier producto de un proceso de un insumo indispensable para la gestin adminis-


investigacin aplicada, los resultados de una trativa y estratgica de una iniciativa pblica.
evaluacin constituyen un nuevo conocimiento
prctico. La evaluacin busca conocer para
Cap. 2
hacer, para actuar, para construir, para modificar (Padrn, 2006), y as Para mayor informacin
nos ayuda a construir un futuro deseado en relacin con una determinada sobre el monitoreo
consultar la seccin 2.2 de
poltica o programa social.
este manual.

El monitoreo es uno de los instrumentos que tambin colabora en la


construccin de ese futuro. Ambos son fundamentales para la toma de
decisiones a mediano y largo plazo y constituyen una fuente primordial de
aprendizaje para los gobiernos y los/las gestores de polticas y programas
(Subirats, 1995).
La evaluacin y el monitoreo
En la evaluacin se combinan distintos tipos de informacin. Por un son instrumentos de poltica ya
lado, el propio proceso produce informacin; por el otro, se basa en la infor-
que forman parte de la atmsfe-
macin que se produce, por ejemplo a travs del monitoreo, sobre el gra-
ra poltica inherente a la toma de
do de ejecucin de las actividades que se desarrollan en el marco de una
poltica, la utilizacin de los recursos y el nivel de logro de los resultados decisiones que rodea a las 3 P
esperados. evaluadas, y porque el conte-
nido de la evaluacin, su juicio
La construccin de un futuro deseado, es decir, hacia dnde queremos ir,
de valor, tiene un componente
est mediada entre otros factores por los insumos que proveen el monitoreo y
la evaluacin para la toma de decisiones estratgicas, operativas o tcticas en claramente poltico (Subirats,
el marco del desarrollo de una poltica. Estas decisiones pueden ser: 1995). Es por eso que de ningn
modo deben ser entendidos
XX De tipo preventiva: nos anticipamos a los riesgos potenciales que se
como rituales neutros o vacos.
detectaron en una evaluacin.
XX De tipo correctiva: reorientamos procesos, estrategias o tcnicas para
corregir efectos no deseados, ineficacias o ineficiencias de nuestras
acciones.

41
Monitoreo y evaluacin de polticas, programas y proyectos sociales

La evaluacin: un tipo particular de investigacin


La investigacin evaluativa es un tipo particular de investiga-
cin aplicada. Difiere de los otros tipos por la forma en que conci-
be la nocin de problema: en el marco de la investigacin bsica,
el problema se define como una construccin de orden cognitivo;
en el de la investigacin evaluativa, en cambio, es una construc-
cin de orden prctico, es decir, la descripcin de una situacin
que se evala como conflictiva y que puede ser mejorada (Pa-
drn, 2006).

Aunque el/la funcionario/a y el equipo tcnico encargados de una poltica


tengan un alto grado de conocimiento sobre ella, habitualmente se requiere
la colaboracin del/la evaluador/a para definir con precisin el problema o
cuestin a investigar.

El/la evaluador/a impulsa y encausa el proceso de definicin del problema


y el diseo de los objetivos de la evaluacin, y abre as un proceso de nego
ciacin con el/la funcionario/a sobre cmo se va a definir el problema y
cules van a ser los objetivos de la evaluacin.

Un aspecto clave en este proceso Definir un nudo significa


de negociacin es la definicin de
identificar, por ejemplo, te-
los principales nudos, es decir, de
los desafos que se quieren abordar mas complicados, proce-
desde la gestin. Por qu estos nu- sos de decisin complejos
dos son tan importantes en la gestin que debern encararse o
de una poltica? Precisamente, porque
potenciales colaboradores
cuestionan las hiptesis iniciales
y detractores que pueden
que sustentan el diseo de una po
ltica pblica. aumentar o reducir la viabi-
lidad de la poltica.

42
UNICEF - CIPPEC
La definicin del problema: el caso del Programa Escuelas Plurilinges

Aqu recuperamos el ejemplo de una evaluacin Situacin edilicia: algunas escuelas tenan problemas
concurrente (de la ejecucin) del Programa Escuelas de adecuacin edilicia porque el Programa supona una
Plurilinges, desarrollado por el Gobierno de la Ciudad modificacin de la caja horaria6 de los establecimientos
de Buenos Aires desde inicios de la dcada de 2000. educativos. Tambin haba dificultades para instalar los
El Programa comenz en 2001 con un doble propsito: materiales didcticos tal como lo requeran las actividades.
ampliar y diversificar la oferta de servicios educativos de
la Ciudad e implementar desde los primeros grados una Articulacin y coordinacin: otros nudos se
enseanza de calidad en lengua extranjera, de manera relacionaban con la necesidad de fomentar la articulacin Cap. 2
sistemtica, intensiva y escalonada. entre los/as maestros/as de grado y lo/as de lengua
Escuelas Plurilinges se puso en marcha de manera extranjera, o entre estos/as y los/as otros/as docentes de
progresiva: en 2001 se inici en 12 escuelas y entre materias especiales Cmo lograr un trabajo conjunto en
2002 y 2003 se extendi a otras 10. Para evaluarlo la definicin de contenidos y otros aspectos?, cules eran
e intentar advertir cules eran los nudos en su las dificultades para que la cooperacin se concretara?,
ejecucin, un equipo de evaluadores/as se reuni qu situaciones de cooperacin eran indispensables
en diversas oportunidades con la directora de y qu actores deberan ser involucrados (los/as
Programacin y con la coordinadora del Programa. supervisores/as, los/as coordinadores/as de lenguas
Ellas no tenan pensado incorporar nuevas escuelas y extranjeras, los/as directores/as de las escuelas, los/as
estaban preocupadas por asegurar que el Programa docentes de grado, los/as de lengua extranjera o los/as de
pudiera completarse en las instituciones donde ya materias especiales, por ejemplo)?
funcionaba5 de manera exitosa y sustentable.
Impactos: tambin les preocupaban los impactos ms
Durante estas reuniones se detectaron los siguientes inmediatos del Programa, ya que este llevaba casi tres
nudos: aos de implementacin y era necesario demostrar

Extensin: muchas escuelas solicitaban incorporarse al


6 La caja horaria en las escuelas pblicas de la Ciudad es fija y su estructura
Programa. Aunque desde la coordinacin no tenan previsto solo se puede modificar en mrgenes muy acotados. En los establecimien-
atender este pedido, lo cierto es que las restricciones para ga- tos de jornada completa no se pueden exceder las ocho horas que deben
cumplirse entre las 8 am y las 4 pm, con una tolerancia de 15 minutos de
rantizar los docentes de lengua extranjera a las escuelas que variacin. La estructura exige, adems, un tiempo dedicado al comedor y uno
s pertenecan al Escuelas Plurilinges impedan, incluso, la al recreo. Las escuelas que cuentan con servicio de comedor resolvan las
exigencias de caja horaria a travs de la implementacin de diferentes turnos
consideracin de esta posibilidad. de comedor y horarios de recreo. Pero esa dinmica no es compatible con
el Programa porque incorpora horas adicionales de clase. Frente a esta pro-
blemtica, las escuelas tuvieron que reorganizarse y realizar readecuaciones
5 Es decir, que el Programa se implementa en todas las secciones (grados) edilicias para que todos los nios y nias almuercen en un nico turno y en
de una escuela de cada distrito escolar. un mismo espacio, con la complejidad que esto genera.

43
Monitoreo y evaluacin de polticas, programas y proyectos sociales

si haba tenido (o no) logros. En este sentido, era De este modo, qued definido el problema que la in-
interesante conocer su impacto sobre la matrcula de los vestigacin evaluativa se propona abordar.
establecimientos o en el rendimiento escolar7. Adems, La investigacin dur cuatro meses. Sin embargo, es im-
era til conocer si la oferta efectiva del Programa Escuelas posible dar cuenta de todas las fuentes de incertidumbre y
Plurilinges se adecuaba a los lineamientos que le dieron dificultad, y estas deben priorizarse de acuerdo a un criterio
origen. reflexionado y acordado. En este caso, para recortar se
Las preocupaciones relevadas durante las entrevistas eran decidi volver a los nudos que los/as responsables
tantas que los/as evaluadores/as no saban por dnde del Programa esbozaron en las entrevistas iniciales.
empezar a encarar el proyecto de evaluacin. Un proyecto Cules fueron esos nudos? Las dificultades en trmi-
que, adems, tena que ser consensuado y materializado. nos de recursos humanos y de infraestructura, la falta de
Armarlo fue un proceso arduo. De hecho, tuvo varias cooperacin entre los actores involucrados en el proceso de
versiones que supusieron reuniones de trabajo adicionales. implementacin y los impactos inmediatos del Programa. Es-
A pesar de su complejidad, el intercambio result tas fueron las fuentes de dificultad y de incertidumbre que
fundamental porque permiti definir la demanda. finalmente se indagaron durante la evaluacin de la ejecucin
Finalmente, se consensu que el estudio evaluativo del Programa Escuelas Plurilinges.
deba responder a dos preguntas bsicas:
(1) Cules eran las fuentes de dificultad e incertidumbre
que atentaban contra la implementacin y completitud del En la evaluacin, el proyecto es el dispositivo
Programa? a travs del cual se logra construir formalmente
(2) Qu caractersticas tenan esas fuentes? la demanda. Sin embargo, esa construccin es
provisoria porque se va a redefinir a lo largo de
todo el proceso de evaluacin.

7 Uno de los fundamentos pedaggicos del Programa es que la incorpora-


cin de lenguas extranjeras facilita la incorporacin de los contenidos de
lectoescritura asociados a la lengua materna y que esto redunda en un Fuente: Di Virgilio (2009).
mejor rendimiento escolar.

44
UNICEF - CIPPEC
2.2 El monitoreo: un instrumento para la toma
de decisiones
A diferencia de la evaluacin, el monitoreo es el seguimiento que se realiza
durante la ejecucin de una poltica, programa o proyecto. Aunque incluye
una dimensin tcnica, no se agota en ella. Por el contrario, es un instrumento
de gestin y de poltica que permite revisar en forma peridica los aspectos
sustantivos de las 3 P para optimizar sus procesos, resultados e impactos. Por
eso, constituye un insumo indispensable para la gestin administrativa y estra-
tgica de una iniciativa pblica.

Monitoreo y evaluacin son


Cap. 2
El monitoreo consiste en un examen continuo
actividades fuertemente interrela o peridico que se efecta durante la imple-
cionadas, pero no son sinnimos.
mentacin de un proyecto. Su objetivo es in-

El monitoreo es un proceso dagar y analizar permanentemente el grado


continuo y permanente; la evalua en que las actividades realizadas y los resul-
cin se realiza en perodos esta tados obtenidos cumplen con lo planificado,
blecidos y es de corte transversal.
con el fin de detectar a tiempo eventuales di-
El monitoreo constituye un proceso
ferencias, obstculos o necesidades de ajuste
continuo de anlisis, observacin y
elaboracin de sugerencias de ajus- en la planificacin y ejecucin (SIEMPRO y
tes que aseguren que el proyecto UNESCO, 1999).
est encaminado hacia el objetivo
propuesto. Por su parte, la evalua-
cin permite la formulacin de conclusiones acerca de lo que se observa a
una escala mayor, aspectos tales como el diseo del proyecto y sus impac-
tos, tanto aquellos previstos como no previstos (Cerezo y Fernndez Prieto,
2011).

Ms all de estas diferencias, ambos son procesos interconectados y


complementarios. Por ejemplo, el monitoreo permite, adems de poner
de manifiesto soluciones problemticas y de aportar pistas para iden
tificar causas y posibles soluciones, detectar seales de alarma que
sern insumo para la evaluacin.

45
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Tabla 2.1 Diferencias entre monitoreo y evaluacin

Componente Monitoreo Evaluacin

Tipo de tarea Informacin y comparacin de datos sobre la Informacin y comparacin de datos sobre la
ejecucin de la poltica, programa o proyecto ejecucin de la poltica, programa o proyecto con
con los objetivos establecidos en el marco de su los patrones de referencia valorativos definidos a
formulacin. travs de la visin o escenario futuro que se quiere
construir.

Propsito Controlar la ejecucin y realizar el seguimiento de la Valorar el diseo, la ejecucin, los resultados y los
gestin operativa y estratgica. impactos del Programa.

Modalidad Permanente y peridica. Puntual.

Responsable Equipo interno. En general, la evaluacin est a cargo de un equipo


del Programa partcipe, con el fin de garantizar la
independencia de los resultados.
Fuente: Mokate, 2001.

El plan de monitoreo y evaluacin (M&E) forma parte de la planificacin


Para mayor de una poltica, programa o proyecto que debe adecuarse a las carac-
informacin sobre este tersticas del destinatario de la informacin que se producir y a los indi-
punto, consultar el manual cadores e instrumentos que se utilizarn para su recoleccin, registro y
de Planificacin.
procesamiento.

Durante el monitoreo se recolecta informacin sobre:

XX La ejecucin de las actividades planificadas, para apoyar la gestin


cotidiana de los proyectos sobre el terreno.
XX Los resultados conseguidos a travs de la realizacin de las activida-
des y la respuesta de los/las titulares, para comprobar los avances
y revisar el plan de trabajo.
XX La consecucin de los objetivos del programa y sus impactos
para revisar la lgica de intervencin y la resolucin de problemas.

46
UNICEF - CIPPEC
Un sistema de monitoreo se construye a partir de indicadores. Los indi-
cadores son medidas directas o indirectas de un evento, condicin, situacin Indicadores
o concepto, y permiten inferir conclusiones apreciativas acerca de su com-
portamiento o variacin.

Objetivos Los indicadores son el resultado de operacionalizar


los objetivos a alcanzar en el marco de una polti-
ca, programa o proyecto. Se expresan en metas a
partir de las cuales se disean los indicadores que
Metas permiten medir el grado en el que fueron alcanza-
das (Cohen y Franco, 1988).
Cap. 2

Indicadores

La seleccin de indicadores es un paso clave para construir un buen


sistema de monitoreo. Su eleccin requiere tener en cuenta criterios como
independencia, verificabilidad, validez y accesibilidad. Si a travs de la
consulta con los actores involucrados es posible definir los indicadores y
acordar su importancia y caractersticas especficas, quiere decir que los
objetivos de la poltica son claros, compartidos y estn consensuados entre
los/as responsables de su implementacin.

Indicadores: los ms habitualmente utilizados son los indicado-


res cuantificables, es decir, los que se expresan en cifras abso-
lutas, tasas, proporciones o porcentuales. Si bien son necesarios,
no resultan suficientes para comprender cmo se producen los
procesos, qu oportunidades se encuentran, cules son los princi-
pales obstculos o qu factores dificultan la accin. Para mejorar
esa comprensin son necesarios los indicadores cualitativos, que
complementan a los anteriores (Nirenberg y otros, 2000).

47
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Figura 2.3 El diseo del monitoreo

Construccin de indicadores
Para el monitoreo se proponen cuatro categoras de indicadores:
de proceso, de producto, de cobertura y de resultados.

Informacin bsica
Necesaria para construir el dato del indicador o del conjunto de
indicadores involucrados en la actividad evaluativa.

Definicin de la periodicidad del relevamiento


Depende del tipo de indicador, las caractersticas del Programa
y de las necesidades de informacin.

Seleccin de tcnicas para el rastreo de indicadores


Para los indicadores de proceso y producto se utilizan, en general, los registros
e informes de rutina producidos por el equipo de gestin. En el caso de los indicadores
de cobertura, se pueden utilizar tambin otros instrumentos como,
por ejemplo, informacin sobre el uso efectivo de los beneficios del Programa
y su accesibilidad. Estas fuentes y otras (encuestas, entrevistas, etc.)
se pueden usar para medir los indicadores de resultado.

Fuente: CIPPEC, sobre la base de SIEMPRO y UNESCO (2009).

Los indicadores tienen dos funciones principales:

XX Ayudar a monitorear los avances en la consecucin de los objetivos.


XX Aclarar la lgica de intervencin del proyecto al indicar lo que se desea
lograr, la duracin, la calidad requerida y la poblacin objetivo.

Sin una correcta definicin de los indicadores, se dificulta la reco


Indicadores leccin de datos y disminuye la posibilidad de monitorear o evaluar en
forma adecuada la relacin entre lo previsto y lo realizado.

La seleccin de los indicadores no depende solo de la estructura y de


los objetivos del proyecto, sino tambin de la disponibilidad de datos, del
tiempo y de las capacidades necesarias para su recoleccin. Puede
suceder que los datos disponibles sean poco confiables, y que por eso la
informacin ms importante para la elaboracin de los indicadores relevantes
sea tambin recogida durante el proceso evaluativo.

48
UNICEF - CIPPEC
Existen diferentes categoras de indicadores. Las ms comunes son8:

XX Indicadores de resultado. Dan cuenta del grado de alcance de los obje-


tivos especficos de las 3 P y de su contribucin concreta para mejorar la
situacin que les dio origen.
XX Indicadores de cobertura. La cobertura es la proporcin de la poblacin
objetivo que efectivamente recibe los servicios que brindan una poltica,
programa o proyecto. Estos indicadores reflejan la relacin entre las 3 P y
los titulares actuales o potenciales de sus prestaciones.
XX Indicadores de producto. Los productos son los resultados concre-
Distintos
tos de las actividades, desarrolladas a partir de los insumos disponibles.
Segn su carcter de materialidad, pueden distinguirse entre bienes pro-
tipos de Cap. 2
indicadores
ducidos (o resultados materiales) y servicios prestados. Estos indicadores
facilitan el seguimiento de la oferta que brindan las 3 P.
XX Indicadores de proceso. Los procesos estn constituidos por el conjun-
to de actividades que se realizan para tratar de alcanzar el objetivo busca-
do. Estos indicadores se relacionan con los insumos que se proveen para
concretar estas acciones y con los productos que se obtienen durante
dichos procesos. Facilitan el seguimiento de la implementacin de las 3 P
y pueden alertar sobre su desempeo.

Todo indicador debe cumplir con cuatro requisitos bsicos:

XX Independencia. Cada indicador debe ser utilizado para medir un solo


objetivo. Requisitos
XX Verificabilidad. Cada indicador debe ser empricamente constatable. de los
XX Validez. Cada objetivo debe contar con, al menos, un indicador. indicadores
XX Accesibilidad. La medicin de los indicadores debe ser accesible.

8 La clasificacin de los tipos de indicadores fue tomada de Cerezo y Fernndez Prieto (2011).

49
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Consideraciones bsicas para formular buenos indicadores:


Redactarlos en un lenguaje claro y preciso.
Identificar una lista de posibles indicadores y evaluarlos junto con los actores involucrados.
Seleccionar los ms apropiados en trminos de importancia y facilidad para la recoleccin de los
datos.
Considerar si son consistentes en el tiempo, es decir, durante la implementacin de toda la poltica,
programa o proyecto.
Determinar su dimensin temporal, es decir, el plazo de tiempo en el cual se evaluarn los resultados.
Procurar que sean vlidos y confiables.
Fuente: Cerezo y Fernndez Prieto (2011).

2.3 Hacia un sistema integrado de monitoreo y


evaluacin
Los sistemas de informacin son, en general, un conjunto de herramientas,
Para mayor informacin datos estadsticos, personal capacitado, equipos de informtica, comunica-
sobre los sistemas de
informacin, consultar la ciones y procedimientos organizados que interactan para capturar, alma-
seccin 3.6 del manual cenar, actualizar, manejar, analizar y desplegar informacin en un sistema de
de Coordinacin. referencia que enriquezca las decisiones de una organizacin.

Un sistema integrado de M&E colaborar, por ejemplo, con el desa


rrollo e inclusin en el diseo de las 3 P de aquellos aprendizajes que
resulten del anlisis de otros procesos de gestin. As, brinda informa-
cin que permite tomar mejores decisiones y enunciarlas de manera slida.

Disear e implementar un sistema integrado de M&E exige adecuarse tan-


to a las caractersticas especficas del modelo de organizacin y gestin de la
institucin encargada de la intervencin como a las de la intervencin.

Las polticas, programas y proyectos en desarrollo deben tener la posibi


lidad de integrarse al sistema de M&E en cualquier momento de su ciclo de
vida. Su implementacin supone utilizar indicadores vlidos y confiables en
tres niveles:

50
UNICEF - CIPPEC
XX Genricos: son comunes a las 3 P. A modo de ejemplo, entre ellos se
cuentan el ndice de avance fsico, de costo por unidad de producto, de
eficiencia de la focalizacin y de necesidades bsicas insatisfechas (NBI).
XX Sectoriales: se disean segn el rea de trabajo de cada poltica, pro-
grama o proyecto. Este tipo de indicadores incluye, por ejemplo, al ndice
de aos de vida ajustados en funcin de la discapacidad (DALY O AVAD).
XX Especficos: solo se utilizan en una poltica, programa o proyecto en par-
ticular. Puede tratarse, por ejemplo, de la relacin peso/talla, del ndice de
masa corporal, de la razn profesor/alumno o del grado de hacinamiento.

El monitoreo debe permitir que los resultados de las actividades estrat-


gicas se reflejen en la toma de decisiones. El mejor monitoreo no es aquel
Cap. 2
que da cuenta de todas y cada una de las actividades del programa,
sino de aquellas que son clave para la gestin y el aprendizaje.

Para lograr una visin integral de lo que acontece con las 3 P, se debe
contar con las siguientes fuentes de informacin:

XX Lnea de base que permita dar cuenta de la situacin que se encuentra


Requisitos
antes de que comience la intervencin. clave para
XX Informes peridicos de tipo censal, producidos por los/as ejecutores/as
tener una
de proyectos y los/as coordinadores/as de programas. visin
XX Supervisin en terreno, con muestras aleatorias o intencionales para
integral
casos especiales. sobre las 3 P
XX Evaluaciones de impacto, de preferencia, con muestras representativas
que controlen los mrgenes de error.

Los instrumentos ms comunes para utilizar en este tipo de sistemas FICHA

de informacin son los informes peridicos de programas, el anlisis do-


cumental, las entrevistas y cuestionarios a coordinadores/as, ejecutores/as
y titulares, los grupos focales con actores internos, externos y titulares, las
observaciones y visitas en terreno o la informacin estadstica secundaria,
entre otros.

Al final del captulo 3 encontrarn fichas descriptivas para cada una


de estas tcnicas que les servirn como guas al momento de su aplicacin.

51
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Estos instrumentos de recoleccin de informacin pueden utilizarse de


manera autnoma o concertada. Cada sistema de M&E definir cules son
el balance y la combinacin ms adecuados de las distintas tcnicas para
medir los indicadores seleccionados.

La periodicidad de la recoleccin de la informacin depende de la forma


de operacin del programa y de sus proyectos:

XX Para los informes de monitoreo se recomienda trabajar en forma trimes-


tral, semestral y anual, y recolectar informacin de distinto tipo y nivel de
agregacin. Sin embargo, la periodicidad sugerida deber adecuarse a la
situacin sobre la que se pretende intervenir y a las caractersticas de la
intervencin.
XX Los informes de evaluacin de impacto dependen de las especificida-
des tcnicas de las 3 P. El resultado sobre la poblacin objetivo se obtiene
en distintos tiempos segn el problema enfrentado y las alternativas de
solucin implementadas, por lo que los plazos se deben estimar en cada
caso (Cohen y Franco, 2005).

52
UNICEF - CIPPEC
DevInfo Jujuy: sistema de informacin y seguimiento de indicadores de desarrollo
humano de la niez y adolescencia

UNICEF cuenta con un sistema de manejo de bases Hacer visibles los problemas de los nios, las nias y
de datos que permite monitorear el avance de los adolescentes.
compromisos asumidos en relacin con el desarrollo Facilitar la comparacin de las cifras jujeas con las de
humano. En este marco se realizan, por ejemplo, otras provincias y entre regiones.
mediciones de la inversin social dirigida a la infancia. Generar informacin sobre desigualdades
Este monitoreo se organiza a travs de la base de datos socioeconmicas.
DevInfo (http://www.devinfo.org) que permite organizar, Informar a funcionarios/as y periodistas sobre la Cap. 2
almacenar y presentar datos de forma uniforme para situacin de los/as nios/as, los avances (y retrocesos) en
facilitar la transferencia de informacin. Con el apoyo de el cumplimiento de sus derechos.
UNICEF Argentina, el Programa se implement en las Difundir todos los indicadores sociales disponibles sobre
provincias de Jujuy y Misiones. la niez y la adolescencia, con el objetivo de mejorar sus
DevInfo admite, tambin, la compilacin y anlisis de condiciones de vida y desarrollo.
indicadores agrupados segn distintas clasificaciones
temticas (por ejemplo, temas de violencia o pobreza) Este sistema de informacin facilita el monitoreo de los
fuentes de informacin y otros criterios, y construir proyectos y la rendicin de cuentas y brinda legitimidad
herramientas visuales como cuadros, grficos o mapas. a las polticas y programas sociales; adems, promueve
Estas herramientas visuales facilitan a los/as funcionarios/as una cultura de aprendizaje a partir de la informacin
locales realizar el seguimiento de las polticas pblicas, producida.
programas y proyectos.
En la provincia de Jujuy, por ejemplo, el DevInfo se utiliza
para9:

Fuente: http://www.unicef.org/argentina/spanish/media_20230.htm
9 Esta informacin est disponible en un portal web y puede ser consultada
por cualquier individuo: http://www.infojujuy-dippec.gov.ar.

53
Monitoreo y evaluacin de polticas, programas y proyectos sociales

El monitoreo es un insumo fundamental del proceso de gestin de


El tablero de gestin es
las 3 P. Obtener informacin en forma peridica permite gestionar de
una de las herramientas manera informada las acciones a seguir. Adems, el monitoreo genera
que se utiliza para moni- informacin estratgica para la realizacin de una evaluacin ex post. Para
torear. Se trata de un ins- eso, toda la informacin del monitoreo debe permanecer organizada y
trumento organizacional documentada, para su posterior recuperacin.

informtico, destinado a
facilitar y mejorar la toma
El monitoreo se focaliza fundamentalmente en los procesos y
de decisiones en la ges-
productos de un programa. La evaluacin puede estar orien-
tin de las 3 P. Para ma-
tada al diseo (ex ante), a los procesos (concurrente) o a los
yor informacin sobre los
productos, impacto y efectos (ex post).
tableros de gestin, con-
sultar la seccin 3.5 del
manual de Planificacin. La evaluacin del diseo comprende la valoracin de los insumos (re-
cursos humanos, materiales, temporales y financieros) que una determinada
poltica, programa o proyecto prev movilizar para dar respuesta a un deter-
minado problema social.

En general, la evaluacin de insumos se realiza antes de la ejecucin de


las 3 P y forma parte de la evaluacin ex ante. Esta evaluacin valora la pro-
puesta de intervencin en s misma ya que se pregunta por la coherencia
entre el diseo o estructura de las 3 P y los objetivos y metas que se esperan
alcanzar. Estos componentes tienden a ser evaluados ex ante, aun cuando
tambin se los considere en la evaluacin concurrente y en la ex post. Ya
veremos por qu y cmo...
Para mayor informacin
sobre los tipos de
evaluacin, consultar La evaluacin de procesos se focaliza en los medios que se utilizan para
la seccin 3.3 de alcanzar los objetivos de las 3 P. Los procesos son el objeto por excelencia
este manual. de la evaluacin concurrente, aunque la evaluacin ex post tambin puede
considerarlos.

La evaluacin de productos se concentra en el grado de logro de las


metas propuestas y es objeto de las evaluaciones ex post. Tambin lo es la
evaluacin de efectos o impacto que considera, particularmente, los pro-
ductos desarrollados a mediano y largo plazo.

54
UNICEF - CIPPEC
Tabla 2.2 La evaluacin y el monitoreo en la gestin de polticas, programas
y proyectos sociales

Momento del Herramientas


Objetivos Cundo utilizarla
programa de evaluacin

Evaluacin ex Evaluar la viabilidad del programa en trminos Desde la identificacin de las acciones
ante financieros, polticos e institucionales. Priorizar/ hasta la finalizacin de la planificacin del
seleccionar las acciones que racionalicen la inversin. programa.

Lnea de base Es informacin referida a los valores iniciales de los Finalizado el proceso de planificacin.
indicadores del problema que dio origen al programa,
Planificacin que se construyen durante su delimitacin. Cap. 2
del Constituye un parmetro indispensable para evaluar
programa los impactos de la intervencin porque permite
comparar las situaciones antes, durante y despus de
su ejecucin.

Plan operativo Programar las actividades, sus metas y productos Dos meses antes de iniciarse cada ao,
anual de manera anualizada. Constituye la base para el con un ajuste semestral, a la luz de los
monitoreo. resultados del monitoreo.

Monitoreo Indagar y analizar permanentemente el grado en Durante toda la ejecucin del programa.
que las actividades realizadas y los resultados
obtenidos cumplen con lo planificado, para detectar
Ejecucin oportunamente las eventuales deficiencias, obstculos
del y necesidades de ajuste en la ejecucin.
programa
Evaluacin Evaluar con profundidad desde la perspectiva Durante la ejecucin del programa,
concurrente institucional y en un momento determinado, el cuando existe la necesidad de profundizar
desempeo del programa en todos sus niveles. el conocimiento sobre su desempeo.

Evaluacin de Evaluar el grado de cumplimiento de los objetivos Inmediatamente despus de finalizada la


resultados especficos del programa. ejecucin del programa. Tambin puede
realizarse antes de la finalizacin del
Finalizacin
programa o despus de un perodo de
del
tiempo pertinente de ejecucin.
programa
Evaluacin de Identificar y explicar cmo se modific la situacin Un tiempo despus de finalizada la
impacto inicial en funcin del objetivo original del programa. ejecucin del programa.

Fuente: CIPPEC, sobre la base de Kliksberg y Rivera (2007).

55
Monitoreo y evaluacin de polticas, programas y proyectos sociales

2.4 Qu ventajas genera aplicar herramientas de


monitoreo y evaluacin desde el nivel municipal?
Como mencionamos, un sistema de M&E permite retroalimentar el proce
so de gestin al proporcionar informacin para la toma de decisiones
con respecto a:

XX La consistencia del diseo, especialmente, sobre las relaciones que


subyacen entre la descripcin y explicacin del problema, la visin cons-
truida (escenario futuro) sobre la base de dichas instancias, los objetivos
propuestos, las acciones a travs de las cuales plantea alcanzarlos y los
recursos con los cuales piensa hacerlo.
XX La viabilidad y la sustentabilidad de los objetivos y acciones de la
intervencin.
XX Los procedimientos y rutinas involucrados en la gestin operativa.
XX El cumplimiento de las acciones y resultados de las 3 P, segn dife
rentes criterios (vinculados a los parmetros establecidos en la formula-
cin. Por ejemplo, parmetros econmicos o financieros).
XX La perspectiva de los titulares y de la institucin ejecutante sobre la
intervencin propiamente dicha: acciones, servicios o bienes que brinda
y resultados.
XX La eficacia, la eficiencia y la calidad de los resultados e impactos que
genera la poltica, el programa o proyecto.
XX La cobertura de la intervencin y, si corresponde, la necesidad de produ-
cir adecuaciones en la definicin de la poblacin objetivo.
XX Las relaciones entre lo planificado y lo ejecutado y, si corresponde, la
necesidad de producir adecuaciones para acercar los trminos de dicha
relacin.
Fuente: SIEMPRO y UNESCO (1999).

Los espacios locales de gestin definen procesos complejos a travs


de los cuales (por medio de diferentes estrategias) se desarrollan las capaci-
dades de los actores para reorientar recursos (entre ellos los que correspon-
den a las 3 P).

En trminos muy generales, las decisiones (poltico institucionales),


las tcnicas particulares y la accin sobre el terreno son las tres gran
des dimensiones que alimentan los procesos de M&E en los espacios
locales de gestin (Chiara y Di Virgilio, 2006).

56
UNICEF - CIPPEC
La puesta en marcha de un plan
Monitoreo y evaluacin son medios esencia
les para el aprendizaje. La informacin que pro- de M&E contribuye a fortalecer
ducen debe volcarse a las 3 P para precipitar un las capacidades estatales, otorga
proceso de reflexin y cambio estimulado desde el transparencia, aumenta la legiti-
interior de la organizacin. En este sentido, constitu- midad de la accin pblica local y
yen medios para potenciar los recursos materiales,
es fuente de aprendizaje y mejora
tcnicos y de poder (Martnez Nogueira, 2004).
permanente.

2.5 Quin monitorea? Quin evala?


Cap. 2
El monitoreo y la evaluacin pueden ser realizados por distintos actores.
Segn quines los realicen, podemos identificar distintos tipos, cada uno
con ventajas y desventajas.

En tanto proceso de evaluacin interna, el monitoreo suele estar a car-


go de los miembros de la organizacin que implementa la poltica a evaluar.
Esta evaluacin puede ser realizada por actores no directamente vinculados Autoevaluacin
a su ejecucin o por actores directamente vinculados. En este ltimo caso,
los/as evaluadores/as sern tambin evaluados, por lo que la evaluacin in-
terna es tambin una autoevaluacin.

XX Al ser interna, este tipo de evaluacin minimiza la reactividad de los


actores de la organizacin y es menos costosa en trminos econmi-
cos y de recursos humanos. Algunos autores sostienen que este tipo
de evaluacin facilita que sus resultados tengan mayor influencia en la
intervencin.
XX En relacin con las desventajas, la ms destacable es que la evaluacin
interna pone en riesgo la objetividad del proceso de evaluacin y
de sus resultados y, en consecuencia, afecta directamente la credibi-
lidad social de la evaluacin. En relacin con la evaluacin externa, en
general, la interna no utiliza estndares o alta tecnologa para su diseo.
Algunos autores sealan que no necesariamente por ser interna, este tipo
de evaluacin elimina el choque de intereses entre los diferentes actores
involucrados.

57
Monitoreo y evaluacin de polticas, programas y proyectos sociales

La evaluacin externa es llevada a cabo por actores ajenos a la organi-


zacin que implementa la poltica a evaluar. En general, se recurre a investi-
Evaluacin gadores/as, consultores/as independientes, departamentos universitarios o
externa expertos/as internacionales para que realicen estas evaluaciones. Cabe acla-
rar que la evaluacin externa no es siempre deseada por los actores de la
organizacin ejecutora, muchas veces parte de los requisitos de las agencias
financiadoras.

XX Entre las ventajas que posee este tipo de evaluacin se encuentra la su-
puesta objetividad, porque los/as evaluadores/as no pertenecen a la
organizacin ejecutora y, en consecuencia, maximizan la credibilidad
social de la evaluacin realizada.
XX Entre las desventajas, se seala que este tipo de evaluacin minimiza las
posibilidades de mejorar el programa (ya que los/as evaluadores/as
no estn directa o indirectamente vinculados en la ejecucin del proyec-
to) y, en relacin con lo anterior, podra maximizar tambin la reactivi
dad de los actores internos, que quedan afuera del proceso evaluativo.
Adems, este tipo de evaluacin tiende a resultar ms costosa, tanto en
trminos financieros como humanos.

La evaluacin mixta trata de combinar ambas perspectivas bajo el su-


puesto de que su conjuncin potencia los aspectos positivos de cada
Evaluacin una (Neirotti y Poggi, 2004). Este proceso permite incluir distintas posiciones
mixta desde el punto de vista de los actores involucrados. No obstante, para im-
plementarla es necesario lograr un trabajo conjunto y acompasado entre los
actores internos y externos. Y esto alarga los tiempos de la evaluacin.

Finalmente, la evaluacin participativa incorpora a los titulares del pro-


grama evaluado; adems, considera que todos los que, de un modo u otro,
Evaluacin
se vinculan con el tema evaluado porque tienen intereses involucrados o pue-
participativa
den verse afectados por l, deberan tener protagonismo durante el proceso
(Nirenberg, 2009).

En general, esta estrategia se utiliza en polticas, programas y proyec-


Para conocer ms sobre tos ya diseados de manera participativa, donde los titulares ya estn in-
otras instancias de
coordinacin con la sociedad volucrados en el diseo de la intervencin y siguen participando durante su
civil, consultar la seccin 3.2 implementacin.
del manual de Coordinacin.

58
UNICEF - CIPPEC
Las ventajas de esta opcin radican en que minimiza la distancia en
tre el/la evaluador/a y los/as titulares y que suele ser ms exitosa en la Ms informacin sobre
los actores involucrados
deteccin de los efectos no previstos. No obstante, es el tipo de evalua- en la seccin 3.2 de este
cin ms larga y costosa de todas las presentadas ya que implica trabajar manual y en la seccin 3.2
con un mayor nmero de actores y, por lo tanto, con un volumen mayor de del manual de
Planificacin.
informacin.

Tabla 2.3 Actores involucrados, ventajas y desventajas, por tipo de evaluacin


(interna, externa, mixta, participativa)

Quines evalan? Qu ventajas tiene? Qu desventajas tiene?


Cap. 2
Evaluacin Actores internos a -Minimiza la reactividad de los actores. -Minimiza la objetividad.
interna la organizacin que -Menos costosa econmicamente y a -Minimiza la credibilidad social de la
implementa el programa. nivel de recursos humanos. evaluacin.
-Mayor influencia sobre el programa. -Minimiza la utilizacin de estndares y
tecnologa dura.
-No necesariamente elimina el choque de
intereses entre los diferentes actores.

Evaluacin Actores externos a -Maximiza la objetividad. -Maximiza la reactividad de los sujetos.


externa la organizacin que -Maximiza la utilizacin de instrumentos -Ms costosa econmicamente y en
implementa el programa. metodolgicos adecuados. trminos de recursos humanos.
-Maximiza la credibilidad social de la -Menor influencia sobre el programa.
evaluacin.
-Maximiza la utilizacin de estndares.

Evaluacin Actores internos y externos. -Minimiza la reactividad de los actores -Requiere un trabajo conjunto entre
mixta internos. actores internos y externos.
-Maximiza la credibilidad social de la -Proceso ms largo que la evaluacin
evaluacin. interna o externa.
-Maximiza la utilizacin de instrumentos
metodolgicos adecuados.
-Maximiza la influencia sobre el
programa.

Evaluacin Actores internos, externos y -Minimiza la distancia que existe entre -Requiere un lapso de tiempo ms largo
participativa titulares del programa. el/a evaluador/a y los/as titulares que todas las anteriores.
-Permite detectar efectos no esperados. -Tiene un costo ms alto que todas las
anteriores.

Fuente: Fernndez Ballesteros (1995).

59
Monitoreo y evaluacin de polticas, programas y proyectos sociales

2.6 Vinculando el monitoreo y la evaluacin con


el ciclo de vida de las polticas, los programas y
los proyectos
Tal como hemos visto hasta aqu, la evaluacin puede entrar en escena y dia-
logar con los distintos momentos del ciclo de vida de una poltica, programa
o proyecto social.

Figura 2.4 Ciclo de vida de una poltica o programa social y los tipos de
evaluacin

Identificacin Evaluacin
del problema ex ante o
diagnstico
(1)

Toma de
decisiones
sobre la Decisin
poltica

Evaluacin Diseo y
ex post configuracin
(3) Implementacin de de la poltica
la poltica
Monitoreo
o evaluacin
concurrente
(2)

Fuente: CIPPEC.

Distintos tipos de
monitoreo y evaluacin XX Si evaluamos antes de comenzar la ejecucin, realizamos una evaluacin
sern analizados en detalle ex ante (1).
en la seccin 3.3 de este XX Si evaluamos durante la ejecucin, implementamos un proceso de mo
manual. Sin embargo,
nitoreo o una evaluacin concurrente (2).
adelantaremos algunos de
sus rasgos para comprender XX Si evaluamos una vez finalizada la ejecucin, llevamos adelante una eva
el proceso en forma general. luacin ex post (3).

60
UNICEF - CIPPEC
Estas diferencias de temporalidad (ex ante, concurrente, ex post) respon-
den a distintos objetivos. Adems, como se implementan en distintas etapas
de las 3 P, cada una permite obtener informacin diferente.

La evaluacin ex ante (1) es la que se realiza antes de poner en ejecucin


el programa a evaluar. Su objetivo es determinar las posibilidades reales de Evaluacin
que las decisiones que se pretenden poner en prctica generen el mayor ex ante
impacto social posible (Pichardo Muiz, 1989). Tal como lo planteamos en la
Figura 2.1, constituye un insumo fundamental para el diseo de las 3 P.

La evaluacin ex ante permite determinar:


Cap. 2
XX La viabilidad de la intervencin, es decir, la posibilidad real de que pueda
ser implementada con xito.
XX La trascendencia social de la poltica, programa o proyecto, esto es, su
idoneidad y pertinencia para generar impacto social.

En el manual de
Para determinar la viabilidad de una intervencin, la evaluacin ex ante Planificacin usted
pone el foco en la capacidad para movilizar recursos (ya sean estos de poder, encontrar una gua para la
humanos, materiales, de tiempo, etc.), en las capacidades organizacionales aplicacin de la tcnica de
Anlisis FODAfortalezas,
de la institucin que la implementar y en la disposicin actitudinal de los
oportunidades, debilidades
actores involucrados directa o indirectamente en la implementacin. Este es y amenazas. Para ello,
el momento indicado para intuir posibles logros a partir de las fortalezas y consultar la seccin 3.2.
oportunidades, y potenciales problemas sobre la base de debilidades y ame-
nazas (Pichardo Muiz, 1989).

El otro componente de la evaluacin ex ante es el anlisis de la trascen


dencia social. Si la viabilidad se enfoca en la capacidad de la institucin
encargada de la intervencin y en la de la intervencin misma para llegar a
ejecutarse, la trascendencia social es la constatacin de que ella puede
producir, una vez ejecutada, el impacto social buscado. Por eso se analizan
los siguientes componentes:

XX Coherencia interna: implica evaluar la consistencia entre metas, objeti-


vos y acciones a realizar.
XX Pertinencia: se trata de analizar si la solucin propuesta a travs del pro-
grama responde al problema concreto que se pretende solucionar.

61
Monitoreo y evaluacin de polticas, programas y proyectos sociales

La evaluacin concurrente (2) es la que se realiza durante la ejecucin


Evaluacin de una poltica, programa o proyecto. En aquellos de corta duracin, la eva-
concurrente luacin concurrente puede realizarse una nica vez; sin embargo, en las 3 P
de mayor duracin se pueden realizar varias.

Cuando nos encontramos en esta instancia, la evaluacin nos permite


Ms informacin sobre indagar sobre:
caractersticas del
monitoreo en general y las XX Eficacia: la probabilidad de que las 3 P alcancen sus objetivos, de acuer-
diferencias y similitudes
do con el ritmo de su ejecucin.
entre actividades de
monitoreo y evaluacin, XX Eficiencia: analiza la racionalidad en el uso de los recursos (entendidos
en la seccin 2.1 y 2.2 de manera amplia).
de este manual. XX Productividad: se ocupa de la relacin entre recursos invertidos y resul-
tados alcanzados.

La evaluacin concurrente es un insumo para corregir los cursos


de accin. Permite ajustar los componentes necesarios para al-
canzar los objetivos propuestos.

La evaluacin ex post (3) se realiza al finalizar la ejecucin de una inter-


Evaluacin
vencin y examina, a partir de la situacin inicial, los cambios que se genera-
ex post
ron a lo largo de su implementacin. Por eso, podemos decir que con ella se
pone a prueba la poltica, programa o proyecto en su totalidad.

Este tipo de evaluacin se nutre de todas las evaluaciones que se hayan


realizado previamente y de los insumos que genera el proceso de monitoreo.
A la hora de replicar una poltica, programa o proyecto, o de implementar se-
gundas instancias de intervencin, la evaluacin ex post se convierte en un
insumo fundamental para superar los problemas y obstculos encontrados
o fortalecer los aspectos positivos detectados. En ella se tienen en cuenta:

XX Productos o resultados: los productos son los resultados concretos de


la implementacin de una de las 3 P. Se obtienen al comparar los objeti-
vos, metas, actividades e insumos planificados, con los alcanzados. En
trminos de productos, se analiza tanto la cantidad como la calidad. En
general, los productos ya estn expresados en la formulacin de las 3 P.

62
UNICEF - CIPPEC
XX Efectos: los efectos esperados son los cambios previstos que se desean
Para mayor informacin,
generar a travs de las 3 P. Son cambios positivos, con respecto a la consultar la seccin
situacin inicial, y se producen como consecuencia de los productos lo- 2.1 del manual de
grados. Los efectos no previstos son aquellos (positivos o negativos) que Planificacin.

no fueron contemplados a la hora de planificar, pero que la evaluacin


permite visualizar.
XX Impacto: el impacto remite a un mayor nivel de profundidad ya que toma
en cuenta el desarrollo de los efectos. En este sentido, pueden conside-
rarse tambin los resultados a largo plazo.

Tabla 2.4 Evaluacin ex ante, concurrente, ex post


Cap. 2
En qu momento de la vida de la poltica,
Qu debemos evaluar? Qu queremos responder?
programa o proyecto se aplica?

Evaluacin Viabilidad: Es viable? Formulacin y diseo.


ex ante - Poltica. Tiene impacto?
- Institucional.
- Tcnica.
- Jurdica.
- Sociocultural.
- Econmico financiera.

Impacto social:
- Coherencia interna.
- Pertinencia.

Evaluacin Diseo. Es eficiente? Ejecucin.


concurrente Ejecucin. Es eficaz?
Efectos. Es productivo?

Evaluacin Productos. Qu resultados tuvimos en Ejecucin (si se desea evaluar resultados


ex post Efectos. trminos de productos, efectos parciales).
Impacto. e impacto? Finalizacin del Programa.

Fuente: CIPPEC, sobre la base de Pichardo Muiz (1989).

63
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Adems de los beneficios especficos y de corto plazo, tanto el monitoreo


como la evaluacin de polticas, programas y proyectos sociales son instru
mentos que permiten aprender sobre la manera de disear e implemen
tar polticas pblicas. Los datos que se obtienen a travs de ellos hablan
sobre los titulares y su vnculo con la problemtica, y tambin sobre los tiem-
pos de implementacin y las estrategias ms o menos efectivas a la hora de
ejecutar una intervencin, entre otros.

64
Captulo 3
Mtodos, tcnicas y herramientas
para monitoreo y evaluacin

3.1 Insumos necesarios para llevar adelante el proceso de monitoreo y evaluacin: la construccin de una lnea de base 67
3.2 El proceso de monitoreo y evaluacin. Componentes 71
3.3 Tipos de monitoreo y evaluacin 84
3.3.1 Evaluacin para la puesta en marcha de polticas, programas y proyectos 84
3.3.2 Monitoreo y evaluacin durante el proceso de implementacin de las polticas, programas y proyectos 88
3.3.3 Evaluacin ex post de polticas, programas y proyectos sociales 94
3.3.4 El monitoreo y la evaluacin como proceso de aprendizaje 98
3.4 Herramientas para el monitoreo y la evaluacin 100
3.4.1 Instrumentos y tcnicas para construir evidencia emprica 100
3.4.2 Cmo utilizar la informacin? Instrumentos para la difusin y comunicacin de los resultados 115
UNICEF - CIPPEC
El objetivo de este captulo es describir, explicar y desarrollar tcnicas y herra-
mientas de monitoreo y evaluacin (en adelante M&E), a partir de un enfoque tem-
Cap. 3
poral que las clasifica segn se las utilice antes, durante o despus de la im
plementacin de una poltica, programa o proyecto social (en adelante, las 3 P).

A lo largo de este captulo desarrollaremos:


XX Una descripcin de los componentes del proceso de monitoreo y
evaluacin.
XX Una referencia a los insumos necesarios para llevar adelante ese
proceso.
XX La caracterizacin detallada de cada uno de los tipos de monitoreo
y evaluacin, desde un enfoque temporal.
XX Las fichas que corresponden a cada herramienta de M&E
mencionada.

3.1 Insumos necesarios para llevar adelante


el proceso de monitoreo y evaluacin: la
construccin de una lnea de base
Tal como sealamos en el captulo 2, para avanzar en un proceso de eva-
luacin es conveniente contar con una lnea de base (o patrn de referencia)
establecida durante la etapa de diseo de las 3 P. Esta herramienta ser muy
til para anticiparse a los problemas que pueden surgir en un determinado
campo de accin o para elaborar las estrategias de intervencin orientadas a
su resolucin. Adems, una vez que se implementa la intervencin, este punto
de referencia resultar indispensable para evaluar su eficiencia (ver figura 3.1).

67
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Figura 3.1 La lnea de base en el ciclo de vida de una poltica, programa o


proyecto

Identificacin Evaluacin
de problemas ex ante o
y necesidades diagnstico
(1)
Lnea de base

Punto de
referencia
Toma de
decisiones
sobre la Decisin
poltica

Evaluacin Diseo y
ex post configuracin
(3) Implementacin de la poltica
de la poltica
Monitoreo o
evaluacin
concurrente
(2)

Fuente: CIPPEC.

La lnea de base es el punto de partida de una evaluacin, es decir, la


situacin que se encuentra antes de que comience la intervencin. Esta
Lnea de base herramienta sirve para caracterizar el problema y provee informacin valiosa
tanto para la evaluacin como para el monitoreo: brinda datos tiles para di-
sear la intervencin, implementarla y para medir su grado de xito.

La lnea de base debe caracterizar la situacin de la poblacin objetivo


antes de que se ponga en marcha un programa/proyecto o se lance una
poltica (Cohen y Martnez, 2004).

Para construirla, es necesario recopilar informacin sobre los proble-


mas que afectan a la poblacin objetivo. Esto puede hacerse a travs de la
bsqueda de informacin primaria (producida ad hoc para la evaluacin)
o de informacin que provenga de fuentes secundarias.

68
UNICEF - CIPPEC
A partir de la informacin compilada, ser necesario seleccionar
Los indicadores deben
indicadores que permitan caracterizar las distintas dimensiones del
problema focal. Para cada una de sus dimensiones ser necesario se- definirse en funcin del
leccionar uno o varios indicadores, a travs de los cuales se las podr contexto y de la especi-
valorar y evaluar. ficidad de los objetivos
planteados en el marco
Una vez seleccionados los indicadores, ser necesario recolectar
del proyecto a evaluar.
los datos para medirlos. Para la estimacin de la lnea de base se
pueden utilizar las siguientes herramientas:

XX Encuestas. Cada una de estas tcnicas est


XX Entrevistas individuales. desarrollada en fichas descriptivas que se
encuentran al final de este captulo.
XX Grupos focales.
XX Datos secundarios.
Las fichas servirn como gua al Cap. 3
momento de la aplicacin de FICHA
las herramientas mencionadas.
(Consultar fichas 1 a 4).

69
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Encuesta de Actividades de Nios, Nias y Adolescentes: una herramienta pionera para


medir y dimensionar la difusin del trabajo infantil y adolescente

A inicios de la dcada de 2000, el Ministerio de Trabajo, condiciones de trabajo y las causas por las cuales esos
Empleo y Seguridad Social (en adelante MTEySS) desarroll nios, nias y adolescentes tenan que trabajar.
la primera herramienta disponible en la Argentina para La encuesta recopil informacin sobre el trabajo infantil de
dimensionar el trabajo infantil y adolescente. Las iniciativas dos grupos etarios particulares: personas de 5 a 13 y de 14 a
del Estado argentino en pos de regular este tipo de prctica 17 aos. Adems, revel mltiples aspectos como educacin
son de larga data: en 1907 se sancion la Ley 5291, que y rendimiento escolar; actividades recreativas; actividades
reglament el trabajo de los menores y las mujeres. Sin domsticas (tipo, intensidad, presencia de adultos, motivos y
embargo, no fue hasta casi un siglo despus cuando apareci evaluacin); actividades econmicas (en la semana y el ao
una herramienta que permiti dar cuenta, de manera cabal, previo); tipo de trabajo; intensidad (horas semanales, trabajo
del carcter, la naturaleza y la magnitud del trabajo infantil y nocturno, por temporadas); condiciones de trabajo; elementos
adolescente, es decir, del trabajo en la poblacin de 5 a 17 de proteccin; percepcin de ingresos; accidentes laborales y
aos. Ese instrumento es la Encuesta de Actividades de su atencin; actitudes y valoracin del trabajo que realizan.
Nios, Nias y Adolescentes (EANNA). Se aplic en el Gran Buenos Aires, Mendoza y en las subregiones
Con el objetivo de contar con informacin ms precisa en del Noroeste (integradas por tres provincias: Jujuy, Salta y
torno a las caractersticas principales de las actividades que Tucumn) y Noreste (que abarca las provincias de Formosa y
desarrollan los nios, nias y adolescentes, se desarroll una Chaco), donde se encuest tanto a la poblacin urbana como a la
metodologa especfica que pudiera abordar los problemas rural. Esto signific utilizar, por primera vez, el marco de muestreo
habitualmente sealados por la literatura sobre el trabajo urbano rural diseado por el INDEC para encuestas a hogares.
infantil para luego avanzar sobre ellos (Waisgrais, 2007:101). Los datos elaborados a partir de la EANNA constituyen un
La EANNA fue desarrollada en forma conjunta por el MTEySS punto de referencia obligado para el monitoreo y la
y el Instituto Nacional de Estadsticas y Censos (INDEC) en evaluacin de las acciones que el MTEySS desarrolla
el marco del Programa Encuesta y Observatorio de Trabajo para erradicar el trabajo infantil. La EANNA ya se
Infantil y cont con la asistencia tcnica de la Organizacin implement en otras jurisdicciones como la provincia de
Internacional del Trabajo (OIT) y del Programa de Informacin Crdoba; sin embargo, solo su realizacin peridica,
Estadstica y de Seguimiento en Materia del Trabajo Infantil bajo las mismas condiciones y en los mismos lugares
(SIMPOC). en los que se aplic en 2004, permitir dar cuenta de
La encuesta se propuso producir informacin estadstica las variaciones efectivas ocurridas en el carcter, la
sobre personas de entre 5 y 17 aos involucradas en naturaleza y la magnitud del trabajo infantil y adolescente en la
actividades econmicas y no econmicas, y especificar Argentina.
sus caractersticas demogrficas, educativas y
socioeconmicas generales, junto con las de sus hogares de
pertenencia. Adems, busc obtener datos sobre las Fuente: Ministerio de Trabajo, Empleo y Seguridad Social (2007).

70
UNICEF - CIPPEC
3.2 El proceso de monitoreo y evaluacin.
Componentes
Algunos componentes o pasos bsicos de todo trayecto evaluativo son
indispensables para disear y poner en marcha un monitoreo o evaluacin
de polticas, programas o proyectos. A partir de ellos, cada equipo evaluador
desarrollar distintas acciones.

En las siguientes pginas desplegaremos en forma breve cada uno de


los 7 componentes que consideramos indispensables para orientar el dise-
o de una evaluacin10.

Figura 3.2 Componentes del proceso de evaluacin

Cap. 3
1 Descripcin de la poltica, programa o proyecto

2 Identificacin de los actores involucrados

3 Identificacin, definicin y descripcin del problema

4 Objetivos y preguntas en el marco de la investigacin evaluativa

5 Construccin de la evidencia emprica

6 Procesamiento y anlisis de los datos

7 Socializacin de los resultados

10 Desarrollamos este punto a partir de lo propuesto en la Gua para la evaluacin del programas en educacin (Pascual
y Chiara, 2008).

71
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Componente 1: descripcin de la poltica, programa o


proyecto

En el captulo 1 definimos y caracterizamos las diferencias entre polticas,


programas y proyectos (las 3 P). Para iniciar una evaluacin, la primera cla
ve es describir la intervencin a evaluar, es decir, el objeto de nuestra
tarea. Como ya sealamos, las 3 P no se mantienen en estado puro, sino
que se reformulan en la prctica. Por eso, si la evaluacin toma como ob-
jeto un programa en marcha o finalizado, el equipo evaluador deber re
construir y describir el recorrido de transformaciones que atraves dicha
intervencin.

Cmo describir una poltica, un programa o un


proyecto? Algunos puntos clave:

XX Problema nodal: cul es el problema al que la intervencin busca dar


solucin?
XX Diagnstico: cules son los factores identificados que inciden sobre
este problema?, qu elementos del problema permiten afirmar que la
intervencin es necesaria y suficiente?
XX Objetivos: qu objetivos se propone alcanzar la intervencin?
XX Poblacin objetivo: quines son sus destinatarios?
XX Acciones y actividades: qu acciones y actividades prev?
XX Recursos: con qu recursos (financieros, materiales, humanos, comuni-
cativos, tcnicos) cuenta?
XX Cobertura: cul es la inscripcin territorial de la intervencin: local, mu-
nicipal, provincial, nacional?
XX Resultados, efectos e impacto: qu resultados, efectos e impactos
obtuvo o espera obtener?
XX Tiempos: cul es el lapso de tiempo en el que la intervencin ser
implementada?

Es importante recordar que para describir cada elemento es necesario


considerar los cambios ocurridos a lo largo de la implementacin de la
poltica, programa o proyecto.

72
UNICEF - CIPPEC
Componente 2: identificacin de los actores involucrados

La descripcin del componente 1 se completa entonces con una clara


identificacin de los actores involucrados. Estos pueden ser organizacio-
nes o individuos con algn tipo de incidencia.

La nocin de actor remite a aquellos individuos o colectivos con ca En la seccin 3.2 del
pacidad para incidir (en forma positiva o negativa) en el proceso de imple- manual de Planificacin
se encuentran herramientas
mentacin de las polticas pblicas. Esta capacidad variar segn su peso para avanzar en la
relativo y dotacin de recursos de poder (Chiara y Di Virgilio, 2009). construccin de un mapa de
actores. Este instrumento
ayuda a identificar a los
En cada uno de los niveles de gobierno en los que se implementan las 3 P,
actores involucrados, directa
hay distintos actores vinculados de manera directa o indirecta. Por ejemplo, en o indirectamente, en la
un Programa de Proteccin de Derechos de Nias, Nios y Adolescentes,
los actores que identificaremos podrn diferenciarse segn su nivel de im
implementacin de la poltica,
programa o proyecto objeto Cap. 3
de la evaluacin.
plementacin. Especficamente en el sector sanitario, el hospital pblico de
Las Lomitas (Formosa) es un actor local relevante para el municipio homnimo,
pero en el nivel nacional este lugar lo ocupan el Ministerio de Salud de la Nacin
o un actor internacional como la Organizacin Panamericana de la Salud.

Por su parte, los actores locales que inciden pueden variar segn las
problemticas particulares de cada municipio. En Las Lomitas (Formosa),
la mayor parte de la poblacin reside en el mbito rural; esto configura un en-
tramado de actores diferente al del municipio de Avellaneda (Buenos Aires),
donde la totalidad de la poblacin es urbana.

En principio, es posible identificar diferentes actores potenciales en los


procesos de implementacin. Por ejemplo, los organismos gubernamentales
de los diversos niveles (local, provincial o nacional), las ONG, las organiza-
ciones sociales de base, los sindicatos o los organismos internacionales. Sin
embargo, solo el anlisis del proceso poltico nos permitir constatar si
pueden ser considerados, efectivamente, como actores. Esta definicin
es siempre dinmica y cambiante, por lo cual puede variar a lo largo del
proceso de implementacin.

73
Monitoreo y evaluacin de polticas, programas y proyectos sociales

El proceso de identificacin de los actores involucrados en un pro-


grama requiere responder a las siguientes preguntas:
Qu actores se encuentran involucrados directa e indirectamente?
Qu intereses, valores, creencias y actitudes tienen estos actores?
Cmo es la relacin de estos actores con la poltica, programa o
proyecto?

Componente 3: identificacin, definicin y descripcin


del problema

Los primeros dos componentes ayudan a esclarecer el campo de juego


sobre el cual se sita la evaluacin. El tercero busca determinar cul es el
nudo sobre el cual se pretende intervenir.

Pero, cmo identificamos el problema? La definicin de una dificultad en


el campo de las polticas pblicas no surge en el vaco. Es probable que mu-
chos de los actores involucrados tengan ideas ms o menos precisas sobre
Cmo cules pueden ser los inconvenientes que requieren la intervencin evaluati-
identificamos va. La definicin del problema es, entonces, el resultado de la identificacin
el problema? de una vacancia a partir de las visiones y marcos conceptuales (muchas
veces contrapuestos) y de los recursos y capacidades disponibles que sur-
gen tanto de la opinin de los actores vinculados con el proyecto como de la
mirada atenta del/la evaluador/a.

A esta forma de trabajo se la denomina el modelo explicativo. Veamos


un ejemplo:

74
UNICEF - CIPPEC
El diagnstico participativo y los talleres como herramientas de evaluacin para
seleccionar la alternativa. El caso del Consejo de Niez y Adolescencia de Jess Mara

El Consejo de Niez y Adolescencia de Jess Mara se Al concluir el diagnstico participativo, los miembros del
conform en 2009, bajo la promocin del Programa de Consejo se reunieron para sistematizar la informacin y
Atencin de Violencia Familiar de la municipalidad de Jess jerarquizar los problemas ms urgentes y de mayor incidencia.
Mara, provincia de Crdoba. En este lugar, elPrograma Luego seleccionaron los tres ms relevantes para abordarlos
convoc a todas las instituciones involucradas en la promocin durante el taller de alternativas. Los criterios contemplados
de los derechos de nias, nios y adolescentes para conformar para jerarquizar los problemas fueron: gravedad (en el tiempo
un espacio intersectorial. y espacio), urgencia (en la percepcin del sector pblico, los
Con este fin, en 2009 se implementaron dos herramientas sectores privados y el sector ciudadano), factibilidad (social
(un taller de diagnstico participativo y el taller de diseo de y legal) e incidencia (cunto incide la solucin de cada
alternativas de abordaje) para evaluar la situacin, describir las problema sobre la resolucin de cada uno de los dems?). Cap. 3
principales problemticas de esta franja etaria en el municipio Como resultado de este trabajo de priorizacin, el Consejo
y, de este modo, orientar la decisin en trminos de poltica determin que las prioridades ms urgentes eran:
pblica. Para llevar adelante estas actividades, el Consejo 1. El aumento de la violencia, ya sea a nivel familiar,
de Niez (que contaba con alrededor de 15 miembros con institucional y social.
participacin activa) realiz una convocatoria masiva y logr 2. El aumento de la desercin escolar en el nivel medio.
reunir a 50 personas para realizar el diagnstico y a cerca de 3. El mayor consumo de sustancias adictivas a edades muy
30 para el taller. tempranas.
En octubre de 2009 se realiz el Taller de diagnstico El Consejo convoc nuevamente a la comunidad local
participativo de problemas y causas. El Consejo convoc a para llevar a cabo el Taller de diseo de alternativas
la comunidad para trabajar primero en la identificacin de las de abordaje e idear acciones o gestiones alternativas o
diversas problemticas que afectan localmente a los nios, ampliatorias de las existentes.
nias y adolescentes y, luego, para determinar y analizar sus Con toda la informacin recogida, organizada y analizada, se
respectivas causas. elabor un informe para el Poder Ejecutivo Municipal.

Fuente: Informe de presentacin de alternativas para el abordaje de problemticas de


niez y adolescencia de Jess Mara; Consejo local de niez, adolescencia y familia
de Jess Mara (2010).

75
Monitoreo y evaluacin de polticas, programas y proyectos sociales

El modelo explicativo permite avanzar hacia la identificacin, defi


El modelo nicin y descripcin de un problema focal: contribuye a describirlo a
explicativo travs de algunas de sus caractersticas relevantes; explicita las rela
ciones entre estos aspectos del problema y formula hiptesis sobre su
naturaleza (Cohen y Franco, 1988).

En el proceso de descripcin del problema, es necesario distinguir las


variables que operan como parmetro del proyecto (sobre las que el
proyecto no va a intervenir) y las variables instrumentales, es decir, aquellas
que constituyen los elementos a ser transformados. Las primeras, aunque
sean relevantes para la descripcin y explicacin del problema, no se modi-
ficarn con la intervencin.

Figura 3.3 Preguntas para la elaboracin de un modelo explicativo de un


problema focal

Problema focal

Cul es su alcance Cules son


las relaciones entre
(tiempo, espacio, Cules son Cules son
las causas y
actores a los que sus causas? sus consecuencias?
consecuencias
afecta)? identificadas?

Fuente: CIPPEC.

La construccin del modelo explicativo nos ayuda a realizar el proceso de


traduccin que necesitamos para hacer de nuestro problema nodal un objeto
evaluable. Esta traduccin se denomina operacionalizacin del problema e
implica descomponerlo en diferentes dimensiones para poder caracterizar-
lo y medirlo. Las dimensiones son conceptos claves que pueden contrastarse
empricamente, es decir que es posible medirlos una vez que se recolec
taron los datos.

76
UNICEF - CIPPEC
Estas dimensiones, a su vez, se vuelven a descomponer en un con
junto de indicadores, es decir, en dimensiones ms pequeas que
pueden ser medidas. Para la operacionalizacin, pueden seguirse los si-
guientes pasos11:

1. Enunciar el problema.
2. Enumerar las caractersticas que dan cuenta de la existencia del
problema.
3. Enumerar los factores que inciden sobre el problema.
4. Agrupar las caractersticas y factores similares en aspectos clave o Operacionalizacin
dimensiones. del problema
5. Cotejar que las dimensiones identificadas sean excluyentes entre s y
suficientes para caracterizar el problema.
6. Expresar, para cada dimensin, un conjunto de indicadores que se ex-
cluyan entre s, sean suficientes para describir cada dimensin y pue-
Cap. 3
dan ser contrastables empricamente.

En la pgina siguiente, presentamos un ejemplo de operacionalizacin:

11 Elaborado a partir de la enumeracin de Pichardo Muiz (1989).

77
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Ejemplo de operacionalizacin de un concepto: la erradicacin de la violencia


a nios y nias

Como su nombre lo indica, el programa Promocin del Buen Trato y Erradicacin de la Violencia de la organizacin Save
the Children trabaja para erradicar todo tipo de violencia y promover el buen trato hacia los nios y nias. Este programa incluye
la supresin del castigo fsico y psicolgico en la crianza, del abuso, de la explotacin sexual y de la trata de menores. Tambin
involucra la atencin a nios y nias hijos/as de mujeres que son vctimas de violencia de gnero. Adems, busca que los
Estados los y las reconozcan como vctimas directas de estas situaciones.
En el marco de esta ltima lnea de accin, el programa podra solicitar una evaluacin externa para conocer sus resultados e
impactos en materia de erradicacin de la violencia. A partir de esta demanda, sera necesario preguntarse por la definicin que
se da a erradicar la violencia, para identificar luego la forma de medir su aumento o reduccin. Operacionalicemos el concepto
segn la definicin del programa:

CONCEPTO Erradicacin de la violencia a nios y nias

Erradicacin Erradicacin Erradicacin Erradicacin Erradicacin Erradicacin


de violencia de del castigo del castigo del abuso de la de trata de
DIMENSIONES
gnero fsico a nios y psicolgico a sexual infantil explotacin nios y nias
nias nios y nias sexual infantil

Luego, tenemos que transformar o recodificar cada una de estas dimensiones en un conjunto de indicadores que permitan
medir (a travs de distintas herramientas) su magnitud y caractersticas. Tomaremos solamente una de las dimensiones para
ejemplificar el proceso: erradicacin del castigo fsico a nios y nias.

CONCEPTO Erradicacin del Castigo Fsico a nios y nias

Reduccin de la Reduccin de la Reduccin de la Reduccin del grado de


cantidad de casos cantidad de nios y cantidad de casos aprobacin de padres y
reportados de castigo nias con seales reportados de castigo maestros acerca de la
DIMENSIONES
fsico en escuelas de castigo fsico fsico a nios y nias disciplina a travs del
detectados por las detectados en escuelas castigo fsico a nios y
familias y hospitales nias

Estos indicadores pueden ser medidos, por ejemplo, en los municipios donde se instrumenta el Programa y en los cuales solo se
realizaron acciones especficas para incidir sobre este problema.

78
UNICEF - CIPPEC
Componente 4: objetivos y preguntas en el marco de
la investigacin evaluativa

Una vez delimitadas las fronteras del problema focal, es necesario establecer
el para qu de la evaluacin:

XX Qu preguntas se desean responder a partir de este proceso?


XX Cules sern los objetivos de la evaluacin?

Los objetivos y las preguntas de la evaluacin se derivan del proble


ma delimitado. Se trata de establecer un conjunto de interrogantes en torno
al problema. Las preguntas deben ser pertinentes, relevantes para la toma
de decisiones posterior a la evaluacin y susceptibles de ser respondidas
empricamente con los recursos disponibles.
Cap. 3
El objetivo general de la evaluacin enuncia de manera precisa lo que
se espera lograr a partir del proceso evaluativo, y debe corresponderse con
las preguntas formuladas en torno al problema construido.

Los objetivos especficos de la evaluacin deben referirse a las di-


mensiones del problema definidas anteriormente. Estos objetivos funcionan
tambin como punto de foco, al que se puede volver en distintos momentos
del proceso evaluativo.

A partir de los objetivos de la evaluacin, es necesario definir el di En la seccin 3.3 de este


seo evaluativo, es decir, el esquema general que permite detectar cul es manual, ms informacin
el mejor modo de alcanzar los objetivos postulados. Ms adelante nos sobre los tipos de monitoreo
abocaremos a esta cuestin. y evaluacin.

Componente 5: la construccin de la evidencia emprica

En esta instancia, la evaluacin se acerca al terreno. Para construir la evi-


dencia es necesario recolectar informacin que permita responder a las
preguntas y cumplir los objetivos que nos planteamos en el componente
4. En esta etapa, el/la evaluador/a tiene que seleccionar los instrumentos que
utilizar.

79
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Cmo se selecciona un instrumento? Para saber cul de ellos se adeca


Cmo se mejor a una evaluacin determinada, se deben tener en cuenta los objeti-
selecciona el vos de la evaluacin, los recursos disponibles y los tiempos establecidos.
instrumento? Entramos aqu en una etapa diferenciada de las anteriores, la implementa
cin de la evaluacin.

Es necesario planificar cuidadosamente, a travs de un crono-


Para mayor informacin, grama, los tiempos y espacios de cada etapa. Hay que prever
consultar la seccin 2.1 del
manual de Planificacin. anticipadamente los medios adecuados para documentar todo
el proceso de recoleccin de informacin (grabadores de audio,
fotocopias de documentos, entre otros).

Para la eleccin de los instrumentos y herramientas, es necesario


preguntarse:

XX Cul es el mejor instrumento de recoleccin para cada indicador?


XX Cules de esos instrumentos son factibles de ser aplicados en esta
evaluacin particular?

Figura 3.4 Instrumentos y tcnicas para construir evidencia emprica

Listas de
Observacin control con
participante preguntas

Anlisis
Datos
secundarios de las partes
interesadas

Grupos Tcnica
focales Delphi

Entrevistas Clculo
individuales de los
costos reales

Instrumentos y
tcnicas para Clculo de la
Encuestas construir la base relacin costo
emprica impacto

80
UNICEF - CIPPEC
La relacin entre cada una de estas tcnicas y cada tipo de evaluacin
ser desarrollada al final de este captulo. Primero, caracterizaremos a Al final del captulo
encontrarn fichas
cada instrumento y tcnica para construir evidencia.
descriptivas que les
servirn como guas al
momento de la aplicacin
Componente 6: procesamiento y anlisis de los datos (consultar fichas 1 a 10).
FICHA

Con la informacin recolectada, comienza uno de los principales desafos: su


procesamiento y anlisis. Los resultados de este trabajo permiten extraer
conclusiones y recomendaciones.

El mejor modo de orientar esta etapa es volver a


las preguntas formuladas, ya que el fin de la reco- Una matriz de datos
leccin de la informacin es responderlas. A partir de
esos interrogantes, es til elaborar una matriz de da
es una tabla donde se
Cap. 3
carga la informacin
tos que permita volcar la informacin obtenida y, de
relacionada con las dis-
este modo, responder a cada una de las cuestiones.
tintas dimensiones del
Una matriz de datos es una tabla donde se carga la
informacin relacionada con las distintas dimensiones problema evaluado.
del problema evaluado.

En el anlisis, es importante recordar que los datos recolectados hablan


de cuestiones diversas, y tener en cuenta las limitaciones de cada instru-
mento. Por ejemplo, las entrevistas en profundidad brindan una posible
interpretacin de ciertos hechos, pero estas miradas pueden diferir entre
distintos actores. Esto no necesariamente descalifica a los/as informan-
tes, sino que manifiesta la ausencia de consenso en la interpretacin de
ese hecho, o que existen conflictos de intereses entre los actores que lo
interpretan.

Una vez procesada la informacin, se procede a la realizacin de


un primer anlisis de los datos, para identificar los nudos crticos. Este
anlisis suele ser descriptivo, aunque no por ello pierde calidad informativa.
Luego, se profundizan los nudos crticos para completar esta fase de anli-
sis. El segundo anlisis permite realizar inferencias o extraer conclusiones ms
generales.

81
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Los pasos a seguir durante el procesamiento y anlisis de datos se resumen en:

XX Organizar y sistematizar la informacin sobre la base de las preguntas de


la evaluacin.
XX Realizar un primer anlisis descriptivo de la informacin sistematizada.
XX Identificar los nudos crticos.
XX Si es posible, realizar un segundo anlisis inferencial12 de la informacin
sistematizada.
XX Extraer conclusiones y recomendaciones del anlisis.

Componente 7: socializacin de los resultados

La comunicacin de los resultados puede realizarse de distintos modos


segn los recursos disponibles, los/as destinatarios/as de la informacin y los
objetivos del proceso evaluativo. En general, se produce algn tipo de docu-
mento escrito que sintetiza los principales hallazgos y condensa las conclu-
siones y recomendaciones que de l se desprenden.

Entonces, en este ltimo paso se elabora algn tipo de producto como


resultado del proceso evaluativo, orientado a comunicar los resultados
a los actores pertinentes. Muchas veces, se desarrollan distintos tipos de
comunicaciones para llegar a los distintos actores, segn sea su relacin con
las 3 P. En todos los casos, es recomendable apelar a la capacidad de sntesis
y redaccin o expresin fluida y directa.

Con el objetivo de Cualquier tipo de comunicacin de resultados contiene, por lo menos, los
caracterizar cada una de
las tcnicas para socializar
siguientes elementos:
los resultados, se incluyen
al final de este captulo XX Hallazgos o hechos ms relevantes. Hechos sociales de inters, im-
fichas descriptivas que pactos deseados y no deseados, balance entre ambos, factores clave
tambin servirn como gua
al momento de la aplicacin que incidirn en el logro de los resultados.
de estas herramientas
(consultar
FICHA fichas 11 a 15)
12 El anlisis inferencial refiere al uso de tcnicas y procedimientos estadsticos que permiten generar modelos, inferencias
y predicciones asociadas a los fenmenos. Se usa para encontrar patrones en los datos y hacer deducciones acerca de
la poblacin bajo estudio. Las inferencias que se realizan a partir de datos de una muestra se denominan inferencias
estadsticas y pueden tomar la forma de respuestas a preguntas si/no (prueba de hiptesis), estimaciones de caractersti-
cas numricas (estimacin), pronsticos de futuras observaciones, descripciones de asociacin (correlacin) o establecer
(modelar) relaciones entre variables (anlisis de regresin).

82
UNICEF - CIPPEC
XX Conclusiones extradas. Elaboradas a partir de los principales hallazgos
de la investigacin. Sintetizan sus principales aprendizajes y lecciones.
XX Recomendaciones o propuestas de accin. Pueden orientarse a dis-
tintos niveles: gestores de la intervencin, organismos financieros que
sostienen o auspician la intervencin, responsables de alta jerarqua, des-
tinatarios de la accin.

Veamos un ejemplo sobre socializacin de resultados.

El caso del Censo Social Quilmes 2010, el primer censo social en el Conurbano

Durante 2010, el municipio de Quilmes realiz el discapacidad. Tambin incluy un apartado sobre la
primer Censo Social en el Conurbano Bonaerense. situacin de la niez y adolescencia, en particular sobre Cap. 3
El trabajo de campo se realiz en los barrios que se educacin y maternidad adolescente.
encuentran en mayor situacin de vulnerabilidad social. El Censo se realiz, a su vez, con un enfoque
Su ejecucin no fue una tarea sencilla e involucr a educativo. Por eso, sus resultados fueron difundidos a
numerosos actores de diferentes mbitos. travs de una amplia campaa que incluy la publicacin
El Censo se realiz con el fin de identificar a los de la informacin obtenida en seis cuadernillos con los
hogares en situacin de vulnerabilidad social y de siguientes ttulos:
recabar informacin estratgica para elaborar un 1. Las polticas pblicas, la participacin y la
Plan de Inversin Plurianual, enfocado en solucionar informacin social.
los principales problemas sociales de la localidad, 2. Caractersticas de los hogares.
mejorar las decisiones de polticas pblicas y aumentar 3. Caractersticas de las viviendas.
la eficiencia y la inversin social en cada barrio. El 4. Infancias, adolescencias y educacin.
relevamiento puede ser considerado como una lnea 5. Salud y discapacidad.
de base para que el gobierno local disee futuras 6. Poblacin migrante.
intervenciones.
Adems de recabar informacin para determinar El Censo Social Quilmes 2010 permiti mejorar
caractersticas demogrficas de la poblacin, de los el diagnstico social de cada uno de los barrios
hogares y de las viviendas, el Censo recuper datos en situacin de vulnerabilidad social de esta
sobre el mercado de trabajo, los niveles de ingresos, localidad.
el acceso a la salud y la presencia de personas con
Fuente: El Censo Social como herramienta de organizacin comunitaria
y participacin social. Cuadernillo N 1-6. Secretara de Desarrollo Social,
municipio de Quilmes.

83
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Socializar los resultados de la evaluacin es un componente estratgico


del proceso de gestin de las 3 P, ya que colabora con la consolidacin de
una concepcin de la evaluacin como proceso (y no como medida de
control), que facilita el logro progresivo de los objetivos y metas a alcanzar en
el desarrollo de una intervencin.

3.3 Tipos de monitoreo y evaluacin

3.3.1 Evaluacin para la puesta en marcha de polticas,


programas y proyectos

La evaluacin ex ante es la que se realiza antes de la ejecucin de una pol-


Evaluacin
tica, programa o proyecto. Por eso, no resulta sencillo definir un diseo para
ex ante
aplicarla ya que, en algn sentido, se trata de evaluar algo abstracto.

Esta evaluacin se realiza para contar con criterios racionales que permi-
tan responder a la siguiente pregunta: la iniciativa debe implementarse?
(Cohen y Franco, 1988).

En este procedimiento, la determinacin del grado de viabilidad es el


que permitir tomar la decisin clave: si la intervencin debe o no im
plementarse. Para responder a esta pregunta ser necesario considerar las
siguientes subpreguntas (Pichardo Muiz, 1989):

Es polticamente viable?
Es institucionalmente viable?
La poltica, el programa Es tcnicamente viable?
o el proyecto: Es financiera y econmicamente viable?
Es jurdicamente viable?
Es socioculturalmente viable?

Consultar en el manual
de Planificacin la gua para
A partir del anlisis de estos aspectos, se espera que la evaluacin ex
la aplicacin de la tcnica
de Anlisis FODAfortalezas, ante permita advertir potenciales fortalezas, oportunidades, debilida
oportunidades, debilidades des y amenazas en cada una de estas dimensiones. Ahora bien, cmo
y amenazas. Para ello, evaluamos las distintas dimensiones? A continuacin, presentamos un es-
consulte la seccin 3.2.
quema til para formular preguntas sobre la viabilidad de cada dimensin.

84
UNICEF - CIPPEC
A. Viabilidad poltica

Aunque el anlisis de la dimensin poltica atraviese a las dems dimensio-


nes, el centro de inters est puesto en confrontar los programas con los
intereses y expectativas de los actores vinculados a ellos de manera di
recta. Sus intereses y expectativas son relevantes porque pueden incidir en
el logro de los resultados buscados. En este sentido, los recursos de poder
de cada actor repercuten en la viabilidad poltica de nuestro programa o
poltica.

Por eso, es necesario evaluar en qu medida el programa (y las ac


ciones que propone) significa un costo o un beneficio para los distintos
actores involucrados, y de qu tipo de costo o beneficio se trata. Por
ejemplo, las acciones involucran la legitimidad y el prestigio de algn actor?,
brindan un excedente, ingreso o posibilidades de acceso a nuevos bienes
Cap. 3
y servicios?, permiten que algn grupo acceda a poder institucional o polti-
co?, afectan las relaciones intergubernamentales?, en qu medida? El cos-
to o beneficio puede medirse a partir de las reacciones de los actores, que
pueden subdividirse en tres grandes grupos: apoyo, rechazo o indiferencia.

B. Viabilidad institucional

Esta dimensin se vincula con la capacidad organizacional Es importante evaluar la via-


de la institucin que implementar la poltica, programa o
bilidad en cinco planos:
proyecto. Se traduce en el anlisis de los niveles de institucio-
nalidad, tanto formales como informales, con los que cuenta la Poltica
organizacin. Institucional
Financiera y econmica
Para evaluarlo, podemos hacernos las siguientes preguntas: Jurdica
en qu medida los objetivos generales y los especficos de las
Sociocultural
organizaciones ejecutoras se adecan a los objetivos de la ini-
ciativa a implementar?, de qu modo las lneas de trabajo de
la organizacin ejecutora favorecen u obstaculizan la consecucin de sus
objetivos?, su organizacin interna beneficia a la implementacin del pro-
grama?, existen experiencias previas de realizacin de acciones similares?,
la dinmica del funcionamiento cotidiano institucional favorece el logro del
impacto social deseado?, sus recursos humanos estn adecuadamente ca-
pacitados para implementarlo?, la institucin posee la legitimidad necesaria
para intervenir?, etc.

85
Monitoreo y evaluacin de polticas, programas y proyectos sociales

C. Viabilidad financiera y econmica

La dimensin financiera es, seguramente, la ms visible y la que ms mere-


ce una atencin especial porque, sobre todo en los programas sociales, el
presupuesto tiende a ser ajustado. Por eso, la viabilidad financiera considera
en qu medida se cuenta con los recursos financieros para que la po
ltica, programa o proyecto a implementar pueda ejecutarse y generar
impacto social.

Podemos analizarla a partir de las siguientes preguntas: cuntos y cules


son los recursos financieros necesarios para que el programa genere impac-
to social?, y segn la respuesta anterior, cul es el plan de financiamiento
requerido? Finalmente, cul es la dinmica de flujos financieros requerida?,
desencadena la intervencin sinergias en trminos presupuestarios?

D. Viabilidad jurdica

El aspecto jurdico es relevante para las 3 P, en particular para aquellas orien-


tadas a niez y adolescencia, ya que se trabaja con una poblacin objetivo
que es menor de edad. Para garantizar su viabilidad, ser necesario con
siderar que se ajuste a las leyes nacionales y provinciales y a la base
legal institucional de la organizacin ejecutora.

E. Viabilidad sociocultural

Esta dimensin se pregunta si la iniciativa es viable en relacin con los


valores, normas, creencias, tradiciones, costumbres, actitudes y men
talidades de los grupos de beneficiarios. La pregunta a responder sera
entonces: cul es el grado de correspondencia entre las medidas propues-
tas y las relaciones culturales arraigadas en los grupos sociales beneficiarios?

86
UNICEF - CIPPEC
Un ejemplo de evaluacin ex ante: el caso de la extensin de la educacin obligatoria
en la Ciudad Autnoma de Buenos Aires

La Constitucin de la Ciudad de Buenos Aires, sancionada organismos encargados de la gestin de las polticas
en 1996, establece en su artculo 24 que la educacin sociales en el nivel local.
obligatoria se prolongue de los siete aos tradicionales a diez. Procesos vinculados a las caractersticas del puesto
Para hacer operativo este mandato, el Gobierno de la Ciudad de trabajo docente.
sancion, en el ao 2002, la Ley 898/2002. En ese marco, Procesos institucionales (nivel de las escuelas).
la entonces Direccin de Programacin Educativa implement Procesos a nivel de la clase.
una evaluacin ex ante con el fin de obtener los insumos Con respecto a su viabilidad poltica, la iniciativa contaba
necesarios para la puesta en marcha de la iniciativa. como principal ventaja con la aceptacin y voluntad poltica para
La implementacin de la obligatoriedad se revelaba como su implementacin. Adems, tanto su posibilidad jurdica como
una intervencin compleja e integral para el nivel secundario, la financiera estaban aseguradas a travs de la Ley que prevea,
que pona el foco en las escuelas como espacio de gestin incluso, una partida presupuestaria especfica. Cap. 3
estratgica para asegurar la captacin de los/as jvenes que En un contexto en el cual algunas de las dimensiones de la
haban abandonado la escolaridad media o que nunca haban viabilidad estaban aseguradas, las dimensiones institucional
ingresado, y su permanencia en el sistema. y sociocultural tomaron especial relevancia. La construccin de
En ese contexto, a travs de la evaluacin se busc responder a las la evidencia emprica para caracterizar estos procesos se realiz a tra-
siguientes preguntas: bajo qu condiciones se implementaba la vs de herramientas de abordaje cuantitativo y cualitativo. En el primer
propuesta de obligatoriedad de la educacin media en la Ciudad caso se utiliz la tcnica del anlisis de datos secundarios: a partir
de Buenos Aires?, en qu medida estas condiciones respondan del anlisis de datos del sistema educativo se reconstruy el trayecto
(o no) a los requerimientos de la Ley?, qu requerimientos no educativo desde 1998 a 2001. Por su parte, la estrategia cualitativa
estaban siendo atendidos? y por qu? const de entrevistas personales para construir la perspectiva de los
A partir de estos interrogantes, el equipo evaluador actores involucrados sobre los dficits
formul el objetivo general del estudio: evaluar las para captar y retener a esa poblacin Al final de este captulo se
incluyen fichas descriptivas
condiciones en las cuales se implementaba la propuesta percibidos desde las escuelas.
que tambin servirn como gua
de obligatoriedad de la educacin media en la Ciudad de El siguiente paso fue sistematizar al momento de la aplicacin de
Buenos Aires e identificar el ncleo de potenciales problemas la informacin recolectada a estas herramientas (consultar
relacionados con la intervencin. travs de las entrevistas y los datos fichas 2 y 4).
Adems, y a los fines de la evaluacin, se definieron y secundarios. Finalmente, a partir de la
clasificaron los principales obstculos a los que se enfrentaba la informacin obtenida, se elabor un informe de resultados que fue
aplicacin de la ley, segn los distintos niveles de intervencin de socializado con los actores de la entonces Direccin de Programacin
la iniciativa: Educativa del Ministerio de Educacin de la Ciudad de Buenos Aires.
Procesos vinculados al nivel socioeconmico y educativo Para la estructuracin del informe se tuvieron en cuenta las dimensio-
de las familias con las que conviven los/as jvenes. nes del problema focal y las preguntas de investigacin.
Procesos vinculados al nivel macroinstitucional, en
Fuente: Secretara de Educacin del Gobierno de la Ciudad de Buenos Aires (2002).
particular, al de la Secretara de Educacin y de los

87
Monitoreo y evaluacin de polticas, programas y proyectos sociales

3.3.2 Monitoro y evaluacin durante el proceso de


implementacin de las polticas, programas y proyectos

El monitoreo y la evaluacin concurrente permiten extraer informacin


Monitoreo relevante sobre la ejecucin de las 3 P, que puede ser utilizada como
y evaluacin base para su ajuste, reorientacin o planificacin de la programa
durante la cin. Sin estos elementos sera imposible juzgar si estamos yendo a donde
implementacin queremos ir, reivindicar progresos y xitos o saber cmo mejorar nuestros
esfuerzos.

Como mencionamos en el captulo 2, la evaluacin concurrente es la


que se realiza durante la ejecucin de una intervencin. Su finalidad es facili-
tar la toma de decisiones de tipo correctivo o de mejoramiento.

Como toda evaluacin, es un proceso con un principio y un fin: busca


mejorar la eficiencia operativa (no le preocupa determinar los impactos).
Consiste en la elaboracin de un diagnstico sobre el estado de la poltica,
programa o proyecto, trata de identificar aquellos factores que limitan la po-
sibilidad de alcanzar los objetivos y plantea soluciones tendientes a superar
esas restricciones.

A diferencia del monitoreo que supone una continua comprobacin


de la programacin, ejecucin y primeros impactos de las 3 P a travs de un
Diferencias proceso permanente de recoleccin y anlisis de los datos, de elaboracin
entre monitoreo de informes y del uso de la informacin (Comitato Internazionale, 2004), la
y evaluacin evaluacin concurrente es un estudio transversal que se realiza en un mo-
concurrente mento especfico del proceso de implementacin. Permite comparar la situa-
cin con proyecto con la situacin inicial sin proyecto. Adems, facilita el
conocimiento de las variaciones (positivas o negativas) que ocurrieron desde
la situacin hasta ese momento de la ejecucin13.

A travs del diseo de la evaluacin concurrente, se busca realizar un


balance para determinar en qu medida la situacin resultante (luego de
un tiempo de transcurrida la ejecucin de la poltica, programa o proyecto)

13 Usualmente, se afirma que el monitoreo surge de la comparacin entre lo programado y lo realizado; sin embargo,
es importante aclarar que esta comparacin es solamente cierta si la formulacin de lo programado es idnea y
realista. Si esta programacin es arbitraria, monitorear no tiene sentido, es decir que formulacin, programacin y
monitoreo estn estrechamente relacionados (Cohen y Martnez, 2004).

88
UNICEF - CIPPEC
supera a la situacin inicial (determinada por la lnea de base) y se acerca
a la situacin deseada (definida por las metas y objetivos).

Por eso, en la evaluacin concurrente se evala el diseo de la interven-


cin, la ejecucin y sus efectos. Su utilidad radica en que permite la retroa
limentacin para la toma de decisiones en relacin con lo programado
inicialmente. Colabora, adems, en la seleccin de alternativas de accin
para corregir limitaciones que se generaron durante la implementacin y en la
identificacin de aquellas buenas prcticas que ya se estn desarrollando.
Se retroalimenta as el proceso de implementacin con los recursos y apren-
dizajes adquiridos.

Proponemos aqu un esquema que permite visualizar la utilidad de la eva-


luacin concurrente:
Cap. 3
Figura 3.5 La utilidad de la evaluacin concurrente

Qu debemos evaluar?

EL DISEO

LA EJECUCIN

LOS EFECTOS

S Introducir ajustes
Hay variaciones entre lo
programado y ejecutado? (medidas preventivas
o correctivas)

NO

Contina la ejecucin
de acuerdo con la
programacin inicial

Fuente: Pichardo Muiz (1989).

89
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Podemos dividir a la evaluacin concurrente en14:

XX Evaluacin del diseo: busca evaluar la pertinencia y vigencia del diseo


de la iniciativa, a partir de la forma en la que fue inicialmente concebida y
de las acciones que finalmente se realizaron. La pregunta que gua esta
evaluacin es: el diseo es coherente con las acciones desarrolladas en
el marco de la intervencin y con las metas que se propone alcanzar?

XX Evaluacin de la programacin y la ejecucin: para evaluar la progra-


macin y la ejecucin se utilizan, como insumos bsicos, los producidos
por el sistema de monitoreo. A partir de dichos insumos, sumados a otros
que puedan obtenerse ad hoc, la evaluacin de esta dimensin se centra
en comparar:
- Objetivos alcanzados y objetivos programados.
- Metas alcanzadas y metas programadas.
- Actividades realizadas y actividades programadas.
- Insumos utilizados e insumos programados.
- Tiempos de ejecucin efectivos y tiempos de ejecucin
programados.

XX Evaluar los efectos: as como es importante tener en cuenta los proble-


mas que surgen durante la implementacin, en la evaluacin concurren-
te es fundamental realizar una primera aproximacin a los logros de la
poltica, programa o proyecto implementado, as como a los efectos no
deseados de la ejecucin.

Para evaluar los logros alcanzados durante la evaluacin concurrente,


se propone utilizar la matriz para el anlisis de logros alcanzados en la
ejecucin porque permite sistematizar la informacin y presentarla a otros
actores involucrados de manera clara.

14 Nos Interesa destacar aqu que la evaluacin del diseo, programacin, ejecucin y efectos tiene que enmarcarse en
una reflexin amplia acerca de si hubo o no cambios contextuales que contribuyeron a la redefinicin del problema
sobre el que se pretenda intervenir.

90
UNICEF - CIPPEC
Tabla 3.1 Matriz para el anlisis de logros alcanzados en la ejecucin

LOGROS FORMAS DE
INDICADORES DE XITO FACTORES QUE HAN CONTRIBUIDO
IDENTIFICADOS CONSOLIDACIN

Reduccin de -Tasa de mortalidad de menores de - Inclusin de vitamina A en vacunas. Promocin de cuidados de


la mortalidad cinco aos. - Programa para aumentar lactancia salud y acompaamiento
infantil -Tasa de mortalidad infantil. materna exclusiva. a mujeres embarazadas y
-Porcentaje de nios/as de 1 ao - Programa integral de salud a mujeres purperas.
vacunados/as contra el sarampin. embarazadas.

Reduccin de - ndice mundial de paridad entre los -Creacin de escuelas acogedoras. Programa para la matriculacin
la disparidad gneros. -Introduccin de cursos de educacin con de nias en entornos
entre gneros -Tasa neta total de matriculacin/ sensibilidad en materia de gnero. educativos de calidad.
en enseanza asistencia en la escuela primaria. - Formacin de maestros/as en materia
primaria de gnero.
Cap. 3
Fuente: CIPPEC, sobre la base de Pichardo Muiz (1989).

Este proceso de identificacin de logros permite, a su vez, conocer cu-


les son los problemas que aparecieron durante la ejecucin. Para analizar
sus causas y tomar las decisiones correctivas necesarias, resulta apropiado
utilizar la matriz para el anlisis de problemas que pueden encontrarse
durante la ejecucin.

Tabla 3.2 Matriz para el anlisis de problemas que pueden encontrarse


durante la ejecucin

POSIBLES ESTRATEGIAS
PROBLEMAS CAUSAS ACTORES INVOLUCRADOS
PARA ENFRENTARLOS

Dificultades de Objetivos poco claros o confusos. - Agencia financiera. - Elaboracin participativa del
comunicacin Inexistencia de un mecanismo institucional - Institucin ejecutora. rbol de problemas.
de transmisin de informacin. - Grupo destinatario. - Planificacin colectiva de
Conflicto de intereses. las posibles modificaciones al
programa.

Falta de recursos - Ausencia de herramientas para abordar el - Directivos. - Capacitaciones y talleres de


humanos e problema. - Maestros/as y formadores. formacin.
infraestructura - Falta de inters de las autoridades para -Grupo destinatario.
adecuada avanzar en la direccin propuesta.

Fuente: CIPPEC, sobre la base de Pichardo Muiz (1989).

91
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Un ejemplo de evaluacin concurrente: el caso del PROAME


(Programa de Atencin a Menores en Riesgo)

El PROAME fue un programa nacional del Consejo El equipo del Programa buscaba evaluar la ejecucin y los
Nacional de Niez, Adolescencia y Familia (Ministerio efectos del Programa. Pero, cules eran los problemas en
de Desarrollo Social de la Nacin, iniciado en 1996). su implementacin y cules eran sus efectos?
Surgi con el objetivo de crear y desarrollar una red En 2006, PROAME II solicit una evaluacin concurrente al
interinstitucional, con participacin del sector pblico y de SIEMPRO (Sistema de Informacin, Monitoreo y Evaluacin
organizaciones de la sociedad civil (OSC), que proveyera de Programas Sociales). Sus objetivos eran:
servicios preventivos y atencin integral para mejorar la (1) Evaluar la efectividad de las acciones desarrolladas para
insercin y adaptabilidad social de los/as titulares del mejorar el desempeo de las reas de niez y adolescencia
Programa. de los gobiernos provinciales. (2) Conocer la efectividad
En su primera etapa (1996 a 2000), el PROAME financi de los servicios de los Proyectos en los titulares directos
proyectos presentados por OSC, que se enfocaban en la del Programa. Evaluar la calidad de los servicios y la
reinsercin de los/as titulares en los mbitos familiares conformidad por parte de los titulares, as como tambin
escolares y comunitarios. En su segunda etapa (PROAME II), algunos aspectos vinculados a la gestin de los Proyectos.
incorpor un componente destinado a fortalecer las reas (3) Evaluar el desempeo del Programa a nivel de la Unidad
de niez y adolescencia de las jurisdicciones provinciales Ejecutora Central (UEC) y de las Unidades Coordinadoras
para conformar un proceso de gestin asociada con las Provinciales (UCP). (Agoff y otros, 2006).
organizaciones de la sociedad civil. Especficamente, se Se buscaba evaluar la ejecucin y los efectos del Programa.
dirigi a apoyar a los gobiernos provinciales en: (i) la mejora A partir de ello, se podra determinar el grado de cercana o
y ampliacin de la calidad y cobertura de prestaciones lejana con el diseo.
sociales destinadas a nios, nias y adolescentes en En el marco del objetivo 1, se exploraron la efectividad de
situacin de riesgo social y (ii) el diseo e implementacin las acciones, su articulacin y su sustentabilidad. Sobre
de estrategias efectivas para enfrentar la problemtica de el objetivo 2 se evalu el proceso de admisin de las
niez y adolescencia en situacin de riesgo social. OSC al Programa, cmo valoraban las OSC al PROAME
En este contexto, los actores involucrados eran todos los II, la perspectiva de los/as titulares y padres/madres de
que estaban relacionados o tenan intereses puestos en el los/as titulares sobre las actividades, los resultados de
PROAME II: los proyectos, el costo de los servicios del Programa, la
- Equipo del PROAME II, en particular los/as encargados/as infraestructura, los equipos de trabajo y las capacitaciones
de evaluacin y monitoreo. de las OSC. Finalmente, el objetivo 3 se desagreg en
- OSC beneficiarias del PROAME II. las siguientes dimensiones analticas: adecuacin de la
- Consejo Nacional de Niez, Adolescencia y Familia del organizacin de la Unidad Ejecutora del Programa (UEP)
Ministerio de Desarrollo Social de la Nacin. y de las Unidades Coordinadoras Provinciales (UCP);

92
UNICEF - CIPPEC
ajuste entre la planificacin y la ejecucin del Programa; OSC y sus actividades, sus dificultades y oportunidades, y
articulacin entre el nivel central del Programa y las los aspectos que mantendran y modificaran, entre otros.
provincias; asignacin de recursos; desempeo de las UCP; A partir de los grupos focales fue posible recabar tambin
sistema de monitoreo, control y evaluacin; registro de la opinin de los/as representantes de las OSC ejecutoras
titulares y la estructura del gasto del Programa. acerca de diversos aspectos vinculados a su ejecucin,
Cmo se abord este proceso? En primer lugar, se desempeo e impacto en los titulares directos. Esto
seleccion una muestra de 17 proyectos entre todos los permiti contar con elementos para identificar posibles
incluidos en PROAME II. Para la recoleccin reas de mejora y las principales fortalezas y debilidades,
Para mayor de datos cuantitativos, se realizaron y contraponer las distintas experiencias y realidades entre
informacin
consultar la encuestas a 1208 titulares de 12 a 18 aos proyectos y provincias.
ficha 1. y a padres de titulares de 0 a 11 aos. Se Luego, el trabajo de evaluacin se complement con
utiliz un cuestionario semiestructurado, anlisis de fuentes secundarias (documentos del
con preguntas cerradas y abiertas. Las encuestas a los Programa). Esta instancia permiti contar con
Cap. 3
titulares directos permitieron dimensionar los cambios informacin sobre los aspectos vinculados Para mayor
informacin
percibidos por los titulares respecto a su situacin social a la gestin del Programa, tanto en el nivel
consultar la
y conocer el nivel de conformidad con las prestaciones de central como en los niveles provinciales de ficha 4.
los Proyectos. ejecucin.
Para complementar esta informacin se realiz un trabajo Las tcnicas expuestas permitieron recolectar tambin
cualitativo en 11 de los 17 proyectos seleccionados. Para informacin que fue procesada por especialistas en
ello, se utiliz la tcnica de las entrevistas tcnicas cuantitativas y cualitativas. Luego, se revisaron
Para mayor personales y grupos focales. Se los objetivos del estudio y se realizaron las inferencias
informacin
realizaron 76 entrevistas en profundidad analticas.
consultar las
fichas 2 y 3. y 2 grupos focales. Las entrevistas a Como resultado de la evaluacin, se elabor un informe
informantes clave apuntaron a la exploracin escrito. Los resultados fueron socializados entre el equipo
entre los tcnicos en condiciones de proveer testimonios del PROAME.
relevantes acerca de los proyectos implementados por las

93
Monitoreo y evaluacin de polticas, programas y proyectos sociales

3.3.3 Evaluacin ex post de polticas, programas y


proyectos sociales

La evaluacin ex post se realiza cuando la poltica, programa o proyecto


Evaluacin termin, o cuando finaliz una de sus etapas o ciclos, ya que se aplica so
ex post bre la base de la informacin derivada de la implementacin. Permite
evaluar lo realizado: sus resultados, efectos e impactos.

A partir de ella, puede decidirse por ejemplo la continuidad de un pro-


grama, su replicacin o la construccin de una experiencia superadora. Se
utiliza tambin para rendir cuentas a actores involucrados con el proyecto,
como agencias financiadoras o la ciudadana misma.

La evaluacin ex post compara el estado inicial de la poblacin


Para mayor informacin
objetivo (lnea de base) con la situacin existente transcurrido un tiempo
sobre la lnea de base
consultar la seccin 3.1 de operacin del proyecto (lnea de comparacin), para eliminar (o al menos
de este manual. minimizar) la incidencia de factores externos.

La evaluacin ex post se concentra en el impacto social y busca respon-


der a las siguientes preguntas:

XX En qu medida se alcanzaron los objetivos?


XX Cules fueron estos resultados?
XX Cules son sus efectos (esperados y no esperados)?
XX Cul es el impacto de la intervencin?

Para medir el impacto contamos con los siguientes modelos:

a. Modelo experimental clsico (Cohen y Franco, 1988; Cohen y Martnez,


2004)
Procedimientos Implica la conformacin de dos muestras: un grupo con proyecto o pobla-
para cin beneficiaria (grupo experimental) que recibe el estmulo (en este caso,
implementar las acciones del proyecto en cuestin) y un grupo sin proyecto (grupo de
una evaluacin control). Estas submuestras se seleccionan antes de iniciarse las operacio-
ex post nes de la intervencin (en la situacin de lnea de base) y deben diferir solo
en que la primera recibe los bienes o servicios de las 3 P y la segunda no.
Las diferencias iniciales entre estos grupos deberan ser mnimas; si fueran
estadsticamente significativas, sera necesario realizar una nueva seleccin.
De lo contrario, no es posible medir el impacto.

94
UNICEF - CIPPEC
El modelo compara la situacin en que se encontraban los dos grupos en
la lnea de base, con una situacin en la lnea de comparacin. A partir de
ello, se verifican los cambios generados por el proyecto.
Se debe analizar nicamente una variable a la vez y mantener las otras
constantes.
Limitaciones: su aplicacin se dificulta porque requiere la seleccin alea-
toria de los integrantes de cada uno de los grupos. Otra complejidad reside
en la dificultad de constituir dos poblaciones idnticas, por lo menos en los
aspectos relevantes (los que contribuyen al efecto que se estudia). Este m-
todo conlleva adems dificultades ticas que derivan de aplicar proyectos
solo a una parte de la poblacin objetivo (el grupo experimental) para poder
medir su impacto, excluyendo a otros que legtimamente requieren la misma
atencin o servicio.

b. Modelo cuasi experimental (Cohen y Franco,1988; Cohen y Martnez,


Cap. 3
2004)
En este tipo de diseos, los miembros de los grupos con y sin proyecto Procedimientos
no se seleccionan aleatoriamente, sino en funcin de las variables de mayor para
relevancia para el objetivo de impacto perseguido. Por eso, es posible que se implementar
presenten diferencias entre los grupos. una evaluacin
La lgica de este modelo es idntica a la del experimental clsico. Se ex post
efectan mediciones en las lneas de base y de comparacin, y luego se
comparan las diferencias.
Esta tcnica resulta til cuando se desea evaluar un proyecto durante su
operacin o cuando ya se eligieron tanto los titulares como los no titulares.
Limitaciones: en trminos estrictos, con este modelo no es posible aislar
los efectos legtimamente atribuibles a una poltica, programa o proyecto.

c. Modelo antes-despus (sin grupo de comparacin)


Se trabaja solo con el grupo constituido por la poblacin objetivo de la polti-
ca, programa o proyecto. Se efecta una medicin antes de que la interven-
cin sea implementada y se comparan los valores obtenidos con los resulta-
dos derivados de levantar una lnea de comparacin durante la operacin, o
despus de que la iniciativa haya concluido. Es posible aumentar la confia-
bilidad de la estimacin a travs de la incorporacin de variables de control.
Limitaciones: este diseo no permite eliminar el efecto del contexto y, por
lo tanto, tampoco es posible determinar en qu medida los cambios registra-
dos son imputables a la intervencin.

95
Monitoreo y evaluacin de polticas, programas y proyectos sociales

d. Modelo solo despus con grupo de comparacin


Este modelo contrasta los resultados obtenidos en el grupo beneficiario de
las 3 P con los de un grupo de comparacin que opera como testigo. As
sucede cuando se decide evaluar los impactos con la intervencin en mar-
cha. Si bien los resultados obtenidos no tienen la solidez del diseo experi-
Procedimientos mental, pueden proporcionar aproximaciones razonables.
para
implementar e. Modelo solo despus
una evaluacin Es el ms dbil de los diseos presentados. Considera a un solo grupo (la po-
ex post blacin objetivo de la poltica, programa o proyecto) y la medicin solo puede
efectuarse una vez finalizada la implementacin. Efectuada la medicin, hay
que reconstruir cmo era la situacin antes de comenzar la intervencin, so-
bre la base de la informacin disponible. La comparacin entre los datos de
la medicin y los obtenidos mediante la reconstruccin de la situacin inicial
permitir emitir un juicio sobre el impacto. Para superar esta restriccin, es
posible identificar variables de control dentro del mismo grupo experimental
que indiquen los impactos imputables al curso de accin.

Encontrarn fichas Por otra parte, en la evaluacin ex post pueden utilizarse una gran va
descriptivas de cada una riedad de tcnicas de recoleccin de informacin: encuestas, entrevistas
de estas tcnicas al final de
individuales, grupos focales, mtodo Delphi, observacin participante, indica-
este captulo.
FICHA
dores sociales, clculo de los costos reales del proyecto, etc.

96
UNICEF - CIPPEC
Un ejemplo de evaluacin ex post: el caso del Plan Nacional de Seguridad Alimentaria

En el 2002, en un contexto de crisis sociopoltica y Aos despus, cuando el proyecto estaba cerca de
econmica, se declar la emergencia alimentaria en toda terminar, se propuso como estrategia de salida la creacin
la Argentina. En este contexto se cre el Plan Nacional de una nueva Unidad de Gestin integrada a la estructura
de Seguridad Alimentaria (PNSA). Sus objetivos eran del Ministerio de Desarrollo Social. En este marco, se
brindar asistencia alimentaria, adecuada y acorde a las solicit a una consultora privada la realizacin de una
particularidades y costumbres de cada regin del pas; evaluacin ex post.
facilitar la autoproduccin de alimentos a las familias y En el primer momento, los/as evaluadores/as buscaron
redes prestacionales, fortalecer la gestin descentralizando reconstruir el problema focal y el contexto de formulacin
fondos; impulsar la integracin de recursos nacionales, del proyecto, a travs de los/as informantes clave y de los
provinciales y municipales; realizar acciones en materia de documentos disponibles. Para eso, trabajaron Para mayor
educacin alimentaria y nutricional y desarrollar acciones sobre datos secundarios: documentacin informacin Cap. 3
dirigidas a grupos de riesgo focalizados. disponible en el nivel central, documentos consultar la
El plan estaba dirigido a dos tipos de titulares: que produjo el proyecto para circulacin ficha 4.

(I) Titulares directos: personas que asistan a los interna y externa, evaluaciones ex ante,
comedores, en su gran mayora (91 %) nios/as de 2 a 14 estudios de factibilidad, y fuentes primarias, Para mayor
informacin
aos; (II) Titulares indirectos: las organizaciones y sus en particular, entrevistas en profundidad a
consultar la
comedores, como agencias de implementacin localizadas responsables del proyecto. Las entrevistas y ficha 2.
en reas de pobreza. Los titulares indirectos reciban, a el anlisis de datos secundarios se enfocaron
travs del Plan, apoyo y acompaamiento, financiamiento y en las siguientes dimensiones:
distintos tipos de beneficios.Los actores involucrados en el El problema, los objetivos y las lneas de intervencin.
Programa eran muchos y diversos: Los recursos que brinda el Proyecto.
Programas/dependencias del Ministerio de Desarrollo La relacin que se establece entre Nacin, provincias y
Social de la Nacin. municipios.
Programas/dependencias de otros ministerios La cobertura y seleccin de los titulares directos e
nacionales. indirectos.
Programas/dependencias de ministerios provinciales de La estructura organizacional de la implementacin y el
desarrollo social. proceso de implementacin.
Programa/dependencias de otros ministerios El alcance de las intervenciones sobre las
provinciales. organizaciones.
Programas/dependencias de municipios. Los/as evaluadores/as se propusieron el siguiente objetivo:
Organizaciones sociales comunitarias. analizar los aspectos crticos (estratgicos, metodolgicos
ONG. y operativos) del Proyecto tendiente a fortalecer el proceso
Familias. de transformacin en las organizaciones prestadoras de

97
Monitoreo y evaluacin de polticas, programas y proyectos sociales

servicios sociales comunitarios y las condiciones que se Momento 3: el alcance de las acciones del proyecto en
presentan como las ms adecuadas para fortalecer los las organizaciones, desde la perspectiva de los actores
procesos de transformacin de los comedores comunitarios institucionales.
en instituciones que brinden servicios sociales integrales, En funcin del momento evaluado, se utilizaron variadas
a travs de la diversificacin de la asistencia que brindan a tcnicas de recoleccin de informacin. Para el primer y
la comunidad. (IPSOS, 2009). Es decir que el universo de segundo momento, se utilizaron entrevistas personales a
la evaluacin estaba comprendido por las organizaciones y los/as principales ejecutores/as del programa y anlisis de
sus comedores en tanto agencias prestadoras de servicios fuentes secundarias. Los datos secundarios examinados
sociales integrales. fueron: documentos del programa y estadsticas producidas
Para llevar adelante estos objetivos, se propuso un diseo sobre la problemtica de la alimentacin. En el tercer
que aborda tres mbitos del desarrollo del proyecto: diseo, momento, las entrevistas personales fueron orientadas a
implementacin y resultados. As, se programaron tres las organizaciones beneficiarias y, nuevamente, se realiz
momentos en la evaluacin que se corresponden con cada un anlisis de fuentes secundarias. Luego, se efectu
uno de esos mbitos: la sistematizacin de la informacin recolectada y las
Momento 1: la puesta en marcha e implementacin del inferencias analticas.
proyecto y su contexto. Los/as evaluadores/as redactaron, finalmente, un informe
Momento 2: anlisis de la apropiacin jurisdiccional del escrito para socializar los resultados de la evaluacin
proyecto y de la conformacin y dinmica de trabajo de que cont con un captulo de balance basado en toda la
efectores (organizaciones) en el nivel municipal. informacin vertida en los diferentes captulos.

3.3.4 El monitoreo y la evaluacin como proceso de


aprendizaje

Ya hemos establecido que un sistema de monitoreo y evaluacin tiene costos


pero, cul es su principal beneficio?, vale la pena involucrar a las 3 P en un
sistema de M&E? Consideramos que su principal beneficio radica en el
aprendizaje y mejora continua de la poltica, programa o proyecto.

El xito de una evaluacin reside en el aprendizaje que los ac-


tores participantes pueden obtener acerca de lo que funcion y
lo que no, para mejorar el proceso y lograr mejores resultados en
las intervenciones actuales y futuras.

98
UNICEF - CIPPEC
Definimos al aprendizaje como un proceso continuo y dinmico de in
vestigacin, cuyos elementos clave son la experiencia, el conocimien La evaluacin
to, el acceso y la relevancia. Por eso, resulta ms fcil de conseguir cuando y el aprendizaje
se brinda a los/as involucrados/as la posibilidad de observar, comprometerse
e inventar o descubrir estrategias para afrontar cierto tipo de problema15.

Principios clave del aprendizaje:

XX Ayudar a otros/as a interpretar activamente (y no solo a registrar) la informacin,


para que puedan extraer nuevos conocimientos por s mismos/as.
XX Utilizar estrategias eficaces, innovadoras y oportunas de gestin de la
informacin.
XX Elaborar normas de desempeo y aprender de las diversas unidades,
circunscripciones y comunidades de prcticas con las cuales mantienen
vnculos.
Cap. 3
XX Situar tareas abstractas en contextos reales para que se destaque su
relevancia y otros/as puedan adquirir nuevos conocimientos.
XX Dar a otros/as la posibilidad de participar en la solucin de problemas, al
compartir conocimientos tcnicos y experiencias.
XX Derivar conocimientos generales de contextos nicos, especficos, con el
fin de potenciar la transferencia de conocimientos.
XX Permitir que otros/as reconozcan y respeten su acervo, as como los co-
nocimientos que existen dentro de su comunidad.
XX Proveer a otros/as ejemplos de un nuevo concepto y de una explicacin
sobre cmo las caractersticas principales se reflejan en una gama de
situaciones.
XX Reforzar la capacidad de raciocinio propia y ajena acerca de cundo co-
rresponde aplicar nuevos conocimientos.

15 Programa de las Naciones Unidas para el Desarrollo. (2002). Manual de seguimiento y evaluacin de resultados.
Estados Unidos: PNUD, Oficina de Evaluacin.

99
Monitoreo y evaluacin de polticas, programas y proyectos sociales

3.4 Herramientas para el monitoreo y la evaluacin

3.4.1 Instrumentos y tcnicas para construir evidencia


emprica

Como mencionamos previamente, la construccin de la evidencia empri-


ca supone recolectar informacin que nos permita responder las pre
guntas de la evaluacin y cumplir con los objetivos de la investigacin
evaluativa. Para eso, el/la evaluador/a tiene que seleccionar y disear los
instrumentos que utilizar para recolectar informacin sobre su objeto.
En esta instancia, existe un amplio abanico de instrumentos y tcnicas a
disposicin del/de la evaluador/a. Una de la claves es reconocer cul es
la ms apropiada.

Para la eleccin de los instrumentos y herramientas deben te-


nerse en cuenta los objetivos de la evaluacin, los recursos dis-
ponibles y los tiempos establecidos para su desarrollo. En este
sentido resulta til preguntarse:
Cul es el mejor instrumento de recoleccin para cada
indicador?
Cules de esos instrumentos son factibles de ser aplicados
en esta evaluacin particular?

FICHA A continuacin, se presenta una ficha que describe cada uno de los si-
guientes formatos: (1) encuestas; (2) entrevistas individuales; (3) grupos
focales; (4) datos secundarios; (5) observacin participante; (6) lista de
control con preguntas; (7) anlisis de las partes interesadas; (8) tcnica
Delphi/panel de expertos/as; (9) clculo de los costos reales del pro
grama; (10) clculo de la relacin Costo-Impacto (va ACE).

100
UNICEF - CIPPEC
acuerdo/
obtener informacin factual, valorar el
Ficha 1. desacuerdo respecto de una propuesta
la encu estad
o
o/a
ura del/d e
Encuestas conocer la post
respecto de un determinado juicio.
es
4) Aplicar el cuestionario. Para aplicarlo
Qu son y para qu se utilizan? necesario contar con un tiempo y un espa
cio
s
Las encuestas son un instrumento para apropiado para que los/as encuestados/a
recolectar informacin. Puede aplicarse
a puedan responderlo. Adems, se necesita
Fran co, tionario
cualquier tipo de evalu acin (Coh en y un/a aplicador/a que distribuya el cues
y tionarios
1988). Prop orcio na dato s cuan titati vos entre los/las encuestados/as. Los cues
ta la s de
permite su comparacin. Adems, facili pueden realizarse tambin en lnea, a trav
maci n prop orcio nada
sistematizaci n de la infor aplicaciones gratuitas.
, te,
por un gran nm ero de acto res. En este caso 5) Sistematizar los resultados. Finalmen
de el/la evaluador/a deber sistematizar los
el cuestionario cuenta con un nmero fijo
n.
preguntas y, muc has vece s, las resp uest as resultados para poder utilizar la informaci
deben ajustarse a una cantidad prefijada
de
de
Las herramientas en lnea que permiten
hacer
des
Cap. 3
opciones. Este facto r facilita la orga nizac in encuestas suelen incluir tambin modalida
rar que n de
la informacin, pero tambin puede gene para sistematizar la informacin y la opci
se pierdan de vista otras repuestas posib
les. sistematizar y descargar los resultados.

Pasos para disear e implementar Qu recursos se necesitan?


(European Comission, 2005)
una encuesta:
1) Esclarecer qu informacin se espe
ra
* Humanos
En caso de aplicar el cuestionario impr
eso,
obtener. un/a aplic ador /a
ser necesario contar con
2) Determinar quines sern los/as rio entre
que distribuya el cuestiona
encuestados/as. Para eso, es necesario ar el
El los/as encuestados/as. En caso de realiz
definir tanto el universo como la muestra. una plata form a web,
acto res cuestionario a travs de
universo es el conjunto de todos los pilar la lista de
stra es el simplemente se debe reco
que son objetivo de la encuesta; la mue do.
/a decide correos electrnicos a los que ser envia
pequeo grupo al que el/la evaluador tiona rio requ iere un
mue stra y La preparacin del cues
encuestar. En un grupo pequeo, la insum ir tiem po del/d e la
os gran des trabajo minucioso que
el universo son iguales. Pero en grup exist ir parti cular idad es
crite rios evaluador/a. En caso de
puede ser necesario elegir a partir de ser nece sario
rso culturales o de dialecto,
que garanticen que la totalidad del unive ar el
incorporar personal adecuado para aplic
estar representado.
r cuestionario.
3) Redactar el cuestionario. Puede tene
preguntas abier tas y/o cerradas. Las preg
desa
untas
rrollar
* Tecnolgicos
Existen aplicaciones que permiten realiz
ar
abier tas permiten al/la encuestado/a ero limita do de
una cuestionarios con un nm
sus opiniones; las cerradas habilitan
Una preguntas. Por ejemplo, Survey Monkey
cantidad limitada de respuestas posibles. solo
plo, para (www.surveymonkey.com). Para utilizarla,
pregunta cerrada se utiliza, por ejem

101
Monitoreo y evaluacin de polticas, programas y proyectos sociales

se ms
inar un entrevistas, y el proceso puede extender
hay que crear una cuenta gratuita y dest
cer las opcio nes que brinda de lo previsto.
tiempo mnimo a cono
la herramienta.
Preguntas tiles para revisar un
* Presupuestarios
En principio, la encuesta no requiere dem
asiada cuestionario
n lo
inversin presupuestaria . No obst ante , si el Una vez terminado el cuestionario, quie
cuestionario a aplicar se compone de un construya debe preguntarse:
la
nmero grande de preguntas o el nmero
de Las preguntas permitirn generar toda
de, ser nece sario contar informacin buscada?
encuestados/as es gran
con recursos para cont ratar aplic ador es/as que Son necesarias todas las preguntas del
stra, o paga r para usar cuestionario?
se ocupen de toda la mue
dern
las herramientas de las plata form as en lnea que Todos/as los/as encuestados/as compren
cues tiona rio no se aplic a cada una de las preguntas?
no eran gratuitas. Si el
macin
en lnea, deben considera rse los costo s logs ticos Los/as encuestados/as apor tarn infor
de traslado de los/as aplicadores/as. exacta?
uada para
La extensin del cuestionario es adec
los/as encuestados/as?
Encuestas o entrevistas?
Para redactar un cuestionario es necesario ar el
ser Sugerimos hacer una prueba piloto: aplic
conocer, al menos, el contexto en el cual r a los
nas de las hip tesis sobre cuestionario a actores con un perfil simila
implementado y algu ncial es
n que se dese a obte ner. de nuestra muestra para detectar pote
la potencial informaci
exto s explo rator ios obstculos o errores en su construccin.
En este sentido, en cont
de
se recomienda optar por la realizacin
res. La plan ificac in y Esta herramienta es til en todos los
entrevistas a los acto arse
encu esta insum e, en momentos de evaluacin y podra aplic
organizacin de una
las tambin durante el monitoreo.
general, mayor cantidad de tiempo que

102
UNICEF - CIPPEC
dor/a.
puntuales, predefinidas por el/la entrevista
Ficha 2. La evaluacin semidirigida, por su parte , cuen ta

Entrevistas individuales
entre vista , pero este
tambin con una gua de
to de
guin es flexible y est abier to al surgimien
as parte s. Esta gua
temas imprevistos en amb
Qu son y par a qu se utili zan ? puede complementarse tambin con preg
untas
encu entro s de los tema s que
La entrevista es una forma especial de aclaratorias o profundizadora
idere ms impo rtant es.
cara a cara entre el/la evaluador/a y el/la el/la entrevistador/a cons
tan requ iere mayo r
entrevistado/a. Es una herramienta no La entrevista semidirigida
dor/a,
com pleja , que requ iere recu rsos mod erad os. experiencia por parte del/de la entrevista
n entre vista do/a mien tras
Sin embargo, para obtener la informaci ya que debe guiar al/a la
ante s pued en profu ndiza r,
pretendida, es necesario interiorizarse reconoce los temas que se
. de la entre vista . El
sobre el tema y planificar el encuentro todo eso sin perder el foco
todos
A trav s de las entre vista s es posib le reca bar listado de preguntas est compuesto por
que se dese an abor dar
informacin cualitativa que recupere la los temas y las preguntas
perspectiva de los actores sobre distin
tiona rios: hech os espe cfico s,
tos
proc
tipos
esos,
durante la entrevista.
4) Aplicar las entrevistas. A la hora de
realizar Cap. 3
de cues
eras inars e un prim er
anlisis, propuestas, reacciones a las prim una entrevista, debe dest
entre
hip tesis de los/l as evalu ador es, entre otras. momento a la generacin de confianza
ya que do/a . All,
La entrevista es un instrumento flexible, entrevistador/a y entrevista
con su
el/la entre vista dor/a pued e inda gar sobr e varias el/la entrevistador/a puede compartir
cin de de la entre vista y el
reas problemticas a travs de la selec interlocutor/a los objetivos
sas, que cin. Si se dese a
informantes y mediante preguntas diver tiempo aproximado de dura
ipale s esen cial pedi r perm iso
se muevan de lo planificado. Las princ grabar la conversacin, es
el pelig ro ador . Lueg o, el/la
limitaciones de este mtodo radican en antes de encender el grab
con
de una elecc in sesg ada de infor man tes, que entrevistador/a comienza a preguntar,
s. flexib ilidad , seg n si se
atente contra la validez de los resultado mayor o menor nivel de
dirig ida o dirig ida.
plane una entrevista semi
un agra decim iento al/
Pasos para el diseo e La entrevista finaliza con
de la grab acin o las
la interlocutor/a. Adems
implementacin de una entrevista puede
ra notas de la entrevista, el/la entrevistador/a
1) Esclarecer qu informacin se espe e la situa cin de la
recolectar informacin sobr
obtener. e la inter locut or/a
que entrevista, reacciones del/d
2) Definir quines son los actores clave , etc.
no identificables a travs de la grabacin
brindarn la informacin que se necesita.
entrevista
3) Construir la gua de entrevista. La
puede ser dirigida o semidirigida. En el
primer Qu recursos son necesarios?
man era
caso, se aplica la gua de entrevista de (European Comission, 2005)
hace las preg untas
*
estri cta. El/la evalu ador /a Humanos
de una tiempo
una tras otra y no se pued en prop oner La preparacin de una entrevista requiere
tipo de vista dor/a .
u otra parte temas imprevistos. Este y previsin por parte del/de la entre
tiem po y dato s pued e
entrevista permite optimizar el uso del Adems, la sistematizacin de los
lizar a los/a s entre vista dos/ as en cues tiones
foca

103
Monitoreo y evaluacin de polticas, programas y proyectos sociales

demandar una dedicacin mayor. Hay


que tener Encuestas, entrevistas o grupos
en cuenta que el nmero de entre vista s que un/a focales?
s
entrevistador/a puede realizar en una jorna da A diferencia de la encuesta, las entrevista
rtant e que la pers pect iva de los acto res
de trabajo es limitado y que es impo permiten indagar
d de escu cha sidad de punt os de vista .
domine algunas tcnicas (capacida y recuperar la diver
de la entre vista , en la opci n ms adec uada si
y empata, control del desarrollo Adems, constituy
r cun do es tiene poco cono cimie nto sobr e
capacidad de atencin para sabe el/la evaluador/a
vista). con los grup os foca les,
necesario flexibilizar el guin de la entre el contexto. En cont raste
do,
la entrevista es personal y, en este senti
*Para
Tecnolgicos
registrar las entrevistas es necesario cont
ar permite abordar cues tione s confl ictiva s o menos
s de al. En algu nos caso s, se ve
con un grabador o celular con funcione explcitas a nivel grup
cidad de expr esin del/d e la
grabacin. limitada por la capa
entrevistado/a.
*Presupuestarios
Los gastos de la entrevista varan de acue
rdo
momentos
con el tiempo insumido por los/a s evalu ador es Esta herramienta es til en todos los
cons idera rse pued e aplic arse tamb in
en su realizacin. Adems, debe n de evaluacin y
de las o.
los costos del material para la grabacin durante el monitore
gast os para
entrevistas y, de ser pertinente,
traslados y desgrabacin.

104
UNICEF - CIPPEC
over
Las preguntas deben ser abier tas, prom
Ficha 3. la diversidad de opiniones y la justifi
Tamb
caci
in
n de
se
posturas para abrir la discusin.
Grupos focales pueden utilizar otros elemento s para moti var
enes , fragm ento s
el debate como videos, img
Qu son y par a qu se utili zan ? s fictic ias crea das
de documentos o situacione
que se
Es un tipo de entrevista particular en la ad hoc. Para la gua, se recomienda prev
er
o en simu ltne o. Se orga niza , lapso s en los que
trabaja con un grup momentos reactivos, es decir
un conju nto dete rmin ado tes reac cione n
la interaccin entre se espera que los/as participan
e un tema espe cfico de s por el/la
de personas y sobr frente a estmulos propuesto
sin es
inters para el/la evaluador/a. Esta discu moderador/a, y otros proactivos, en los
cuales
entre vista dor/a , ya que se busc a nes prom ueven un
guiada por el/la los/as participantes sern quie
maci n prod ucid a dura nte la do, la gua debe
recolectar la infor tema o discusin. En este senti
deba te, adem s de pers pect ivas ento s, siem pre
interaccin y el ser flexible y permitir estos mom
ales. Cuan do se agru pa a ante s.
y experiencias grup que sean pertinentes y relev
lita la
actores con posturas diferentes, se habi 4) Implementar el grupo focal. Durante
la
expresin y la posib ilidad de expli car los distin tos
implementacin se debe prev er un prim er Cap. 3
cin de
puntos de vista, y tambin la profundiza momento destinado a presentarles la activ
idad
din mica grup al es regis trada carle s su din mica
sus opiniones. Esta a los/las participantes y expli
zada para su anli sis. El grup o ento para realiz ar
y luego sistemati y objetivos; un segundo mom
herra mien ta que sirve para ento final para las
focal es la nica la discusin guiada y un mom
varios
analizar y confrontar la informacin con conclusiones y reflexiones finales.
o. l.
actores clave en simu ltne 5) Sistematizar la sesin de grupo foca

Pasos para el diseo e Qu recursos son necesarios para


implementacin de un grupo focal utilizarlas?
(European Comission, 2005)
1) Seleccionar el tema y los subtemas
que *LosHum anos
grupos focales son guiados por un/a
iniciarn y guiarn el grup o foca l. ina, a la
que moderador/a que gua al grupo y dom
2) Seleccionar y convocar a los actores vez, los tema s y obje tivos de la evalu acin . Si no
debe pres tar espe cial aten cin incorporar
participarn. Se cuenta con estas calificaciones, puede
que, si bien es reco men dabl e
a este punto ya a un actor local para que anime al grup
o. Las
parti cipan tes sea hom ogn eo en
que el grupo de tcnicas para guia r un grup o foca l pued en
gos cultu rales y cate gora socio ):
trminos de cdi resumirse del sigui ente mod o (APE IM, 1999
riencias
profesional, no es til tener muchas expe a) Cubrir todo s los tema s de la gua de
mien da que el grup o foca l se
parecidas. Se reco discusin, desplazndose de uno a otro
de
mnim o de ocho y un mxi mo de
organice con un manera natu ral.
tes, para que todo s/as pued an de las
quince participan b) Profundizar y certificar la veracidad
participar. opinione s.
3) Realizar una gua que oriente las c) Alentar la participacin, el intercambio
y la
intervenciones del/la moderador/a. Esta discusin.
s
gua es un listado de interrogantes o tema
a ser trata dos dura nte la discu sin.
problemticos

105
Monitoreo y evaluacin de polticas, programas y proyectos sociales

d) Manejar con sutileza los problemas que Grupos focales o entrevistas?


sy
puedan surgir en el curso de un grupo La principal diferencia entre las entrevista
idad de pers onas
(apata, desorden, pudor u otros). Evita
r herir los grupos focales es la cant
l no
sentimientos, ideas relig iosas , conv iccio nes, involucradas. No obstante, el grupo foca
s indiv idua les, sino que
actitudes o creencias cultu rales . es la suma de entrevista
, a parti r del cual
e) Analizar sobre la marcha el lenguaje
verbal se centra en un tema nico
car
y no verbal de los/as parti cipan tes y, a parti r se busca profundizar, confrontar y justifi
ular nuev as ideas.
de ello, generar nuev as hip tesis y preg unta s. posiciones, adems de estim
est pues to
Captar mensajes entr e lnea s o encu biert os. En esta herramienta, el foco
ecto
f) Flexibilizar y enriquecer la gua de discu
sin en la interaccin y el debate. Con resp
ir nuev os tema s a los actores principales, se reco mien da
grupo a grupo en caso de surg
hora
o inquietudes pertinent es para el estu dio. entrevistarlos en forma individual. A la
sobr e prob lema s
g) Mantener la objetividad y evitar influ
enciar de confrontar hiptesis
les pued en brind ar
las respuestas de los/a s parti cipan tes con relevantes, los grupos foca
. Sin emb argo , esta
preguntas demasiado directas. informacin muy relevante
ejemplo,
tcnica tiene algunas desventajas: por
* Tecnolgicos
Para registrar el intercambio debe prev
erse las discusiones pueden refle jar norm as sociales
isam ente
ita realiz ar ms que comportamientos reale s, prec
un grabador o celular que perm
estn resp ondi endo
grabaciones de audio. porque los participantes
en pblico.
* Presupuestarios
En caso de contratar un/a moderador/a,
ser
preciso abonar sus hono rario s. Tamb in es Esta herramienta es til en todos los
necesario considerar los costos de logs
tica momentos de evaluacin.
ador de audi o, de ser
o la compra de un grab
que tene r en cuen ta el
necesario. Adems, hay
caf y refrig erio para
costo de un servicio de
los/as participantes.

106
UNICEF - CIPPEC
2) Detectar el objetivo para el cual fue
Ficha 4. producida la informacin. Esto permite
entra
tener
de lo
Datos secundarios en cuenta cun cerc a o lejos se encu
que se busca.
er
3) Recolectar y, de ser necesario, volv
Qu son y par a qu se utili zan ? a sistematizar los dato s obte nido s para el
Los datos secundar ios son la fuen te ms objetivo que se busc a.
En este d de los
econmica para conseguir informacin. Se sugiere tener en cuenta la antigeda
maci n cons truid a por del anli sis. Es decir , si los datos
caso, se utiliza la infor datos y la escala
ados para el obje tivo os en el nivel nacio nal, regio nal,
otros. Al no estar dise fueron producid
dato s pued en resul tar , y cun to se acer can o aleja n
de la evaluacin, los provincial o local
ecua dos; sin emb argo , e se impl eme ntar el prog rama
insuficientes o inad de la escala dond
acercarse
muchas veces es la mejor opcin para a evaluar.
ral, las Particularmente para el caso argentino
a un tema con pocos recursos. En gene
fuentes secundarias son dato s cuan titati vos, (existen instrumentos equivalentes en otros
pero tambin pued e trata
tes
rse
secu
de
ndar
dato
ias
s
pued en ser
pases latinoamericanos), contamos con
amp lio alcan ce: la Encu
una
esta
Cap. 3
cualitativos. Las fuen herramienta de
de tres tipos: Permanente de Hogares (EPH). Es un
n mtica y
pero que no est programa nacional de produccin siste
* Datos que existen,
publicados. Muchos son reco lecta dos permanente de indic ador es socia les, realiz ado
nism os pbl icos y otros ad Naci onal de Esta dstic a y Cens os
regularmente por orga por el Instituto
o inves tigac in espe cfica . ite cono cer las cara cter stica s
hoc para un programa (INDEC), que perm
ser dato s reco lecta dos por y socio econ mic as de la
Por ejemplo, pueden sociodemogrficas
unitarios a
centros de salud, escuelas, centros com poblacin. La encuesta se realiza en form
otros . conjunta con las Direc cione s Prov incia les
o antroplogos, entre Para mayor
Informes publicados por agencias del de Estadstica (DPE). Su objetivo central
*
gobierno, organismos internacionales, es caracterizar la situacin social de
informacin
consultar la
de
universidades , organizaciones sin fines los individuos y familias de acuerdo ficha 1.
des de inser cin en la
lucro o empresas. con sus modalida
a
Informes previos del propio programa estructura socioeconmica. Proporciona
*
evaluar: informes del proy ecto , pero tamb in las tasas oficiales de actividad, empleo,
s de adores
otros documentos (com o artc ulos, acta desocupacin y subocupacin, los indic
prop sito de la revis in de la encia , y otros resul tado s
reuniones, etc.). El de pobreza e indig
com pren der mejo r la histo ria stica s socio econ mic as
documentacin es sobre las caracter
por
y la evolucin del proyecto. de la poblacin. La EPH es una encuesta
que para cono cer las diver sas
muestreo, es decir
Pasos para el correcto uso de dat os caractersticas del total de los hoga res se
ativa
secundarios encuesta una pequea fraccin represent
Toda s las mue stras pres enta n
1) Es necesario detectar, primero, qu
tipo de los mismos.
error es que se prod ucen porq ue
de datos estn disponibles y, entre ellos
, limitaciones o
rtes en luga r de a toda la
seleccionar los que ms se acercan a
la se observan reco
informacin que se busc a reco pilar .

107
Monitoreo y evaluacin de polticas, programas y proyectos sociales

para
el sitio programa de estadstica y conocimientos
poblacin. La EPH puede consultarse en
v.ar. procesarlos.
web del INDEC: www.indec.go
Otros datos secundarios de inters sobr
ntrar se en
e infancia
los sitios
* Presupuestarios
Como se mencion, es una estrategia econ
mica.
y adolescencia pueden enco en caso
meri cana de la Pueden considerarse costos de logstica,
web de la Organizacin Pana
al de ser necesario.
Salud y del Observatorio de la Deuda Soci
Argentina.
Datos secundarios o datos
Qu recursos son necesarios para primarios?
cuando
utilizarlos? Los datos secundarios resultan ptimos
recu rsos esca sos.
se trabaja en situaciones de
*Esta
Humanos
herramienta requiere una inversin de Si se cuenta con los recursos econ mic
ner
os
dato
y el
s
erta por tiempo necesario, es ms til obte
tiempo moderada, que puede ser cubi r a los obje tivos
primarios porque se ajustan mejo
el/la mismo/a evaluador/a.
de la evaluacin.
* Tecnolgicos
No se requiere ningn recurso en parti
cular, Para mayor
de traba jo con Esta herramienta es til para informacin
excepto en el caso especfico consultar las
bases de datos. Ah, ser nece sario cont ar con un la estimacin de la lnea de
base y la evaluacin ex ante . secciones 3.1
y 3.3.1 de este
manual.

108
UNICEF - CIPPEC
cidades
embargo, no se precisan demasiadas capa
Ficha 5. tcnicas para su desarrollo .

Observacin participante * Tecnolgicos


No se requiere ningn recurso en parti
cular, excepto
de dato s (grab ador de
los medios para el registro
Qu es y para qu se utiliza? audio o cmara de video).
modos
La observacin es uno de los primeros
de conocer y acercarse a una cues tin. Su * Presupuestarios
Es una estrategia econmica. Pueden cons
iderarse
sobr e lo que las de ser nece sario .
propsito es obtener informacin costos de logstica, en caso
as preg untas,
personas hacen, formularse nuev
Observaciones u otros instrumentos?
car dato sy
plantear hiptesis explicativas, verifi
an ser lueg o iere menos
priorizar cuestiones clave que pued La observacin es una tcnica que requ
s de entre vista s
profundizadas, por ejemplo, a trav tiempo y capacidades especficas que
otros
o grupos focales. En la evalu acin de e ser utiliz ada por cualq uier/a
instrume ntos . Pued
Para mayor las 3 P, la observacin participante se evaluador/a. Una de las principales vent
ajas es que
informacin enfoca en la implementacin de una
poltica, programa o proyecto dentro
se puede obtener informacin independ
ientemente
cidad y
Cap. 3
consultar las del deseo de proporcionarla y de la capa
fichas 2 y 3. de su contexto de aplicacin. veracidad de las personas que integran
el grupo o
Aunque uno de los beneficios se evitan
comunidad a estudiar. De esta manera,
ilidad de edimiento
principales de la observacin es la posib posibles distorsiones. Se trata de un proc
direc ta (y no a de una
acceder a los hechos de manera que permite estudiar los hechos dentro
res), es ciert o
travs del discurso de otros acto situacin contextual.
o siem pre
que la presencia de un agente extra Como contraparte, quien observa no es
una
nes y los asptica y
altera, en alguna medida, las interaccio mquina que regis tra de man era neut ra,
obse rvad os. su mirada.
comportamientos de los actores desapasionada todo lo que se pone bajo
cidad
Es necesario, entonces, adquirir la capa
Pasos para el dise o e imp lem ent aci n para distin guir entre los hech os obse rvad os y su
de esta
de una observacin directa interpretacin. Otra de las dificultades
observa
1) Definir el objeto a observar, as com
o el tcnica es la posible influencia de quien
tigacin.
momento propicio para realizar la obse
rvacin. sobre la situacin que es motivo de inves
2) Desarrollar una gua de observacin
que funcione Se recomienda que las observaciones sean
de
a modo de checklist e incluya una colum na que perm i- complementadas con otros instrumentos
hiptesis
ta realizar comentarios y desarrollar tema
s relevantes. recoleccin, tanto para corroborar las
epciones de
3) Pactar con los actores a observar los
tiempos realizadas como para contraponer perc
de la observacin. los actores a los hechos observados.
4) Realizar la sesin de observac in.
momentos
5) Sistematizar la informacin recabada
y Esta herramienta es til en todos los
in durante
elaborar conclusiones. de evaluacin y podra utilizarse tamb
el monitoreo.

Qu recursos se necesitan?
*Esta
Humanos
herramienta requiere una moderada inver
sin
/a. Sin
de tiempo por parte del/de la evaluador

109
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Pasos para la realizacin de una lista


Ficha 6. de control
Lista de control con
ados.
1) Detallar los tems que sern monitore
2) Redactar pregunta s que pued an ser
preguntas respondidas con s o no para cada uno
de
los tems.
Qu es y para qu se utiliza?
con
3) Consensuar los tems seleccionados
har n uso de la lista de
Una lista de control (por lo general, con todos los actores que
puede control.
preguntas) es un instrumento sencillo que
prc ticas
ser utilizado para apoyar la difusin de
de monitoreo estructuradas y estandariz
adas .
Qu recursos se necesitan?
utiliz adas y com para das
*
Dich as listas pued en ser Humanos
an un a
en mom ento s difer ente s y repre sent Esta herramienta requiere una moderad
po a ador/a.
instrumento prctico para ayudar al equi inversin de tiempo por parte del/la evalu
y, por as
familiarizarse con los temas del proyecto Sin embargo, no se necesitan demasiad
tivo. .
lo tanto , a volve rse ms rpid o y efec capacidades tcnicas para su desarrollo
Estas listas suelen ser diseadas seg n
nece sidad es espe cfica s, aunq ue pued en ser * Tecnolgicos
No se requiere ningn recurso en parti
cular.
ente s
adaptadas y usadas para proyectos difer
en cont exto s simil ares. En todo caso , debe *
n
Presupuestarios
Es una estrategia econmica.
arad as por pers onas con un profu ndo
ser prep
El equipo
conocimiento de los temas especficos.
e utiliz arlas com o una gua Por qu utilizar una lista de control?
ecto pued es
del proy
ione s infor males La principal ventaja de esta herramienta
las entre vista s o conv ersac utilizar.
para
restr icci n para su sencillez. Es fcil de confeccionar y
debe tene r ning n tipo de distintos
y no
inclu idos desde el Adems, si el monitoreo es realizado por
tigar o plan tear tema s no n y
inves
en prever actores, permite estandarizar la informaci
principio. Las listas de preguntas pued procesarla con mayor facilidad.
oa
respuestas a preguntas cerradas (s/no)
preguntas con respuestas abier tas. Esta herramienta es Para mayor
especfica para el monitoreo. informacin
consultar la
seccin 3.3.2
de este manual.

110
UNICEF - CIPPEC
del actor
columna implica destacar la capacidad
Ficha 7. para obstaculizar o vetar la ejecucin del proyecto

Anlisis de las partes


(Estvez, 1999).
isis de
3) Realizar inferencias a partir del anl
interesadas
cio socia l en
la matriz: cun complejo es el espa
prog rama o
el que se implementar la poltica,
poner los
proyecto?, qu dificultades podran inter
Qu es y cmo se utiliza? actores para su implementacin?, qu
cues tiones
e ser
El anlisis de las partes interesadas pued plir con las
iden tifica r a aque llos deben tenerse en cuenta para cum
fundamental a la hora de s?
ucra r en el proc eso de expectativas de los actores ms relevante
actores que se deban invol
r man era de form aliza r
M&E o para definir la mejo
la informacin relevada. Pued e ayud ar tamb in a Qu recursos se necesitan?
identificar los conflictos potenciales o en
ntarl os. Se
curso y
suele utilizar
*Esta
Humanos
herramienta requiere una moderada inver
sin
evidenciar las vas para enfre No se
ex ante ya que perm ite de tiempo por parte del/la evaluador/a.
en procesos de evaluacin
conocer el juego de actores en el que se ejecu tarn requieren demasiad as capa cidad es tcn icas para su
Cap. 3
pueden desarrollo.
las 3 P. Hay varias partes interesadas que
tener un papel important e en un
ecto
ejerc
,
icio
los/a s
de M&E,
titula res * Tecnolgicos
No se requiere ningn recurso en parti
cular.
entre ellas: el equipo del proy
o grup
los grup
os
os
meta
exclu
del
idos
proy
de
ecto
los
,
* Presupuestarios
Es una estrategia econmica.
Pueden encontrar
beneficios del proyecto,
Por qu realizar un anlisis de las
otras herramientas
los/as informantes clave,
que colaboran con
la identificacin y
los/as donantes, los/as partes interesadas?
funcionarios/as del gobierno instituciones
caracterizacin de los En toda decisin pblica hay grupos e
que operan en el rea, lderes eses , y capa cidad es polticas
actores en el manual con demandas, inter
locales y las elites locales encia das. Seg n el tema del
de Planificacin, y econmicas difer
interesadas en las actividades eses que se dirim an y cm o
seccin 3.2. que se trate, los inter
del proyecto. ione n los grup os inter esad os,
se organicen y relac
vez, 1999).
se producirn alianzas o conflictos (Est
Pasos para realizar el anlisis de las la evalu acin ex ante resul ta
Por eso, durante
sis de los acto res inter esad os.
fundamental el anli
partes interesadas o toda esqu ema tizac in, pued e
para Sin embargo, com
1) Utilizar las herramientas necesarias s. Por eso, cuan do se
e los acto res vinculados tener sesgos y limita cione
obtener informacin sobr triangular la
y expe ctati vas sobre la utiliza esta herramienta es importante
al proyecto, y sus intereses ente s las voce s de actores
ecto . Para eso, se pueden informacin: hace r pres
poltica, programa o proy vincu lacio nes e inter eses
inter venc in, entre vistas a diversos, con distin tas
utilizar documentos de la prog rama o proy ecto .
rvac ione s parti cipan tes. respecto de la polt ica,
actores relevantes u obse
e se inclu yan todo s
2) Realizar una matriz dond momentos de
su vincu laci n con las 3 P, Esta herramienta es til en todos los
los actores detectados, arse tamb in durante el
(exp lcita s o impl citas) evaluacin y podr a utiliz
sus intereses y expectati vas
pode r. Esta ltim a monitoreo.
y una jerarquizacin de su

111
Monitoreo y evaluacin de polticas, programas y proyectos sociales

tos)
evaluaciones cuantitativas e informes escri
Ficha 8. se provee, como retroalimentacin, a los/a s
sus
Tcnica Delphi/Panel de mismos/as expertos/as, quienes revalan
opiniones a la luz de esta nueva infor maci n.

expertos/as
cons enso de
En ese marco, tiende a emerger un
grupo.

Qu es y para qu se utiliza?
La tcnica Delphi o panel de expertos/
as Qu recursos se necesitan?
cues tiones o se mencion,
*los/a
busca respuestas cons ensu adas a Humanos: com
especficas, es decir que pote ncia la gene racin s expertos/as del panel debern ser
sional
de acuerdos entre diver sas subje tivid ades . independientes, tener experiencia profe
Los/as informantes debe n ser expe rtos/ as en y capacidad de trabajo en equipo.
ncia,
stero s, Tecnolgicos: si el panel se realiza a dista
*
los temas a indagar (Fern nde z Balle
icos para
1995). Por eso, la condicin sine qua non
para habr que contar con medios tecnolg
este proc eso es la calid ad s expe rtos/as se cont acte n entre s o
que se pueda realizar que los/a
y pertinencia de los/a s profe siona les que se enven los cuestionarios pertinentes.
en
Presupuestarios: los/as expertos/as pued
convoca.
*
cobrar honorarios, pero tambin pueden
hace r
s/as
Pasos para la realizacin de un panel
todo
el trabajo pro bono. En caso de que no
rtos/as habl en el mism o idiom a, ser
los/as expe
de expertos/as ccin.
el necesario considerar los costos de tradu
1) Seleccionar a los/as expertos/as. Es
paso que prcticam ente dete rmin a el xito
o el fracaso de la tcnica. Se sugiere que Tcnica Delphi u otros
an
los/as expertos/as convocados/as teng instrumentos?
rienc ia profe siona l, es
una combinacin de expe La principal ventaja de esta herramienta
ecto del prog rama que se va asoc iada
independencia resp la credibilidad de las conclusiones,
traba jo en equi po. El pero
a evaluar y capacidad de a la experiencia de los/as profesionales,
10 y 30,
nmero ideal de expertos/as oscila entre tambin su independencia con resp ecto al
pero puede realizarse tamb in con 5. , esta tcn ica
programa evaluado. Sin embargo
l. No
2) Pactar modelo de trabajo del pane tiende a omitir las opiniones mino ritari as y a
o de traba jo: pued e ser
existe un nico mod suavizar las conclusiones.
encia l o a dista ncia. Lo ms
presencial, semipres
meto dolo ga de traba jo sea Para mayor
importante es que la Esta herramienta es til para
los/a s parti cipan tes y informacin
acordada con todos/as todos los tipos de evaluacin,
cita a cada uno/ a. consultar la
presentada de man era expl especialmente para la
resum en de los seccin 3.3
3) Construir consenso s. El evaluacin ex ante.
as de de este manual.
juicios de los/as expertos/as (en las form

112
UNICEF - CIPPEC
s, se los
4) Una vez verificados los gastos reale
Ficha 9. puede cont rasta r con los estim ados dura nte la

Clculo de los costos planificacin de las 3 P.

reales del programa Qu recursos se necesitan?


*SeHum anos
requiere un/a profesional capaz de realiz
ar un
Qu es y para qu se utiliza? de las
El clculo de los costos reales del prog
rama flujo de costos. En general, en los equipos
encu entra al menos
permite evaluar si la relacin costo -ben eficio fue organizaciones ejecutoras se
utiliz ados un actor con este tipo de expe rienc ia.
eficiente. Es uno de los insumos ms
en el informe final de una poltica, prog rama o
*Para
Tecnolgicos
realizar la matriz de costos ser necesario
proyecto ya ejecutado. illa de
contar con una computadora con plan

Pasos para calcular los costos reales


clculo.

del programa (Cohen y Martnez, 2004). *Presupuestarios


Es una estrategia moderadamente econ
mica. Cap. 3
flujo de
1) Confeccionar un flujo de costos. El
los gast os de
costos es una matriz que incluye
r de los datos Por qu evaluar los costos reales
ejecucin de un programa. A parti
incluidos en la formulacin y prog rama cin, del programa?
rsos de
se ajustan los valores de acuerdo con la La eficiencia de la utilizacin de los recu
ecto es una de las
informacin real y actualizada a la fech
a del una poltica, programa o proy
su repli cabil idad
anlisis (considerar la fecha de la evalu acin caractersticas que permiten
de los
como punto de referencia). El flujo debe o escalabilidad. Adems, la estimacin
por distin tos
consignar todos los costos relevantes. costos reales suele ser solicitada
llos vincu lado s
2) Transformar los costos para el pero
do de un actores, en especial, por aque
in impl eme ntad a.
ao (anualizarlos). financieramente a la inter venc
s.
3) Construir la matriz de costos reale
Esta estrategia es especfica Para mayor
de la evaluacin ex post. informacin
consultar la
seccin 3.3.3
de este manual.

113
Monitoreo y evaluacin de polticas, programas y proyectos sociales

y
5) En caso de comparar costos estimados
Ficha 10. costos efectivos , ser necesario compara
r
con
el costo de cada actividad programada
Clculo de la relacin el costo de su ejecucin. La inter venc
in

Costo-Impacto (va ACE) sido eficie nte si ante pres tacio nes de
habr
les o
igual calidad, los costos reales fueron igua
El anlisis de la relacin costo -impacto
es til menores a los programados.
acin de las 3 P en sus distin tos
para la evalu
momento s. En una evalu acin ex ante , este Qu recursos se necesitan?
lidad de
instrumento permite acercarse a la viabi
las actividades de la inter vencin y cons
iderar *SeHum anos
requiere un/a profesional capaz de realiz
ar un
de las
otras alternativas posibles. En las evalu
aciones flujo de costos. En general, en los equipos
se encu entra al menos
concurrente y ex post, puede utilizarse
para organizaciones ejecutoras
costo -imp acto espe rada un actor con este tipo de expe rienc ia.
compara r la relac in

*
tiva. En el caso de que se anali ce Tecnolgicos
con la efec
dora con
un proyecto cuya evalu acin ex ante inclu y Ser necesario contar con una computa
diversas alter nativ as, tamb in se pued e planilla de clculo.
cto real
comparar el costo por unidad de impa
con las alter nativas. De esta man era, es posible * Presupuestarios
Es una estrategia econmica.
(con sus
establecer si la alternativa seleccionada
costos e impactos reales) es ptima. Clculos costo-impacto u otros
instrumentos?
Pasos para calcular la relacin Una de las principales desventajas de esta
nde
herramienta es que su sensibilidad depe
costo-impacto (SIEMPRO y UNESCO, 1999) e la evalu ador /a para
ica, de la minuciosidad del/d
1) Identificar las actividades de la polt s de la inter venc in.
registrar todos los costo
programa o proyecto a evaluar. se
Adems, su uso se dificulta cuando no
2) Identificar los distintos costos de las de costo s regis trado y
cada una dispone de un sistema
actividades identificadas; desagregar , si se realiz a de man era
ntes y actualizado. No obstante
de las actividades segn sus compone muy til a la hora de evalu ar
adecuada puede ser
costos respectivos. con igua l impa cto socia l,
distintas alternativas
3) Del costo total, extraer el costo por ).
es. pero distintos costos (Castao Yepes, 1997
beneficiario de cada una de las actividad
activ idad es
4) En caso de que existan varias tipo de
Esta estrategia es adecuada para todo
alternativas, comparar el costo por
idad evaluacin.
beneficiario de cada una de ellas: la activ
or costo y
ms eficiente ser la que tenga men
r calid ad.
brinde una prestacin de igual o mejo

114
UNICEF - CIPPEC
3.4.2 Cmo utilizar la informacin? Instrumentos para la
difusin y comunicacin de los resultados

Los resultados de una evaluacin o monitoreo son relevantes tanto para los ac-
tores involucrados en la poltica, programa o proyecto como para aquellos/as
interesados/as o implicados/as de formas menos directas.

La principal utilidad que tiene realizar actividades de monitoreo


y evaluacin es que la informacin que se produce puede ser
utilizada para aprender.

Existen muchos canales posibles para presentar los resultados de M&E.


Como en cualquier tipo de comunicacin, estos deben estar muy relacionados
Cap. 3
con las caractersticas de los/as destinatarios/as de la informacin.

Por tanto, a la hora de elaborar un informe de evaluacin es importante Al momento


definir: de elaborar
el informe de
XX A quin estar dirigido? Para algunas audiencias, un solo enfoque evaluacin es
puede ser suficiente. En otros casos, ser necesario elaborar distintos importante
informes para asegurar que el mensaje llegue a toda la audiencia objetivo. definir:
XX Cul es el objetivo de esta comunicacin? Los objetivos pueden ser:
informar, convencer, rendir cuentas o promover el aprendizaje y la dis- - A quin est
cusin entre los actores. De acuerdo con el/los objetivo/s, se disear el dirigido?
mensaje para que cumpla con alguna o varias de estas funciones: funcin
informativa; funcin preventiva y correctiva; funcin de autoevaluacin o - Cul es el
funcin de intercambio. objetivo de esta
XX Con qu recursos se cuenta? Es necesario considerar los recursos comunicacin?
disponibles: presupuesto, personas que pueden desempear la tarea y
tiempo para hacerlo. La comunicacin puede ser desarrollada por el per- - Con qu
sonal involucrado en la poltica, programa o proyecto o se puede hacer en recursos se
colaboracin con expertos/as externos/as. cuenta?

A partir de las respuestas a estas preguntas, ser preciso disear la di


fusin de los resultados de la investigacin.

115
Monitoreo y evaluacin de polticas, programas y proyectos sociales
FICHA
Los formatos ms utilizados para esta tarea son: (11) informes escritos;
(12) hojas de informacin; (13) diapositivas; (14) gacetillas de prensa;
(15) presentaciones orales (Adamchak y otros, 2001). A continuacin se
presentan fichas para describir cada uno de estos formatos:

Claves para la redaccin de un


Ficha 11. informe escrito
Informe escrito * Utilizar un formato estndar.
* El texto debe ser lo ms claro y conc
iso
claro y simp le en voz
posible: usar un lenguaje
Qu es y para qu se utiliza? activa.
do como
El informe escrito puede ser considera la
e del proc eso de * Debe ser breve y directo: incluir solo
el resultado ms impo rtant e la evalu acin y las
ral, cond ensa una informacin relevante sobr
evaluacin y, por lo gene rar el rend imien to
se recomendaciones para mejo
gran cantidad de informacin de la que
s com unica ciona les. futuro.
desprendern otras pieza al
r un pano rama claro * Se debe tener siempre en consideracin
Su objetivo es pres enta la evalu acin .
pblico al cual va dirigida
sobre el proyecto evaluado y brindar s,
e * Usar diseos atractivos e incluir ttulo
elementos tiles para la planificacin co.
as inter venc ione s. subttulos y espacios en blan
implementacin de futur y negrita
* Incluir cuadros, vietas, letra cursiva
para enfatizar los puntos impo rtantes.
Pasos para la redaccin de un * Utilizar citas , ancdotas y estudios de
caso
informe escrito para darle una cara humana a las estad stica s
estar las se
1) Organizar un ndice que permita cont que se presentan; ilustrar los punt os que no
iz de evalu acin. vos.
preguntas definidas en la matr puedan encapsular en trminos cuantitati
tado , inclu ir un resu men
2) En un primer apar
ejecutivo que contenga las principales Distintos informes para distintos
conclusiones y recomendaciones.
nte la momentos
3) Describir la metodologa usada dura una
men tos y los objetivos - El informe que se produce a partir de
fase de anlisis de los docu infor me de viab ilidad.
n y anli sis de datos. evaluacin ex ante es un
especficos de la reco lecci n que perm ite
de las cons tatac ione s All se condensa la informaci
4) Proveer evidenci as programa
fiabi lidad de los dato s determinar el grado de factibilidad del
formuladas e indic ar la
a implementar.
usados. ,
que - La evaluacin concurrente, por su parte
5) Presentar figuras, grficos y tablas imie nto o avan ce.
en el cuer po del texto. genera informes de segu
resuman lo presenta do
de toda s las refer encia s - La evaluacin ex post da lugar
6) Proveer las fuen tes Para mayor
a informes de conclusin o
incluidas en el infor me. informacin
incluya un cierre.
7) Presentar una estructura clara, que consultar la
ejecu tivo, un texto princ ipal,
ndice, un resumen seccin 3.3 de
men dacio nes y los anex os.
conclusiones, reco este manual.

116
UNICEF - CIPPEC
Pasos para elaborar una hoja de
Ficha 12. informacin
Hojas de informacin
re comunicar.
1) Resumir el contenido de lo que se quie
el contenido.
Incluir subttulos que permitan organizar
formato visual
2) Disear el contenido para lograr un
Qu son y para qu se utilizan? y claro.
ingls)
Las hojas de informacin (fact sheets, en
claro , brev e
son un comunicado consolidado,
y efectivo para presentar informac in a los/a s Ventajas y desventajas de la hoja de
encargados/as de formular polt icas o a otras informacin
plo, va
personas con poco tiempo para leer infor
macin + Su distribucin es econmica (por ejem
tamb in para correo electrnico).
extensa. Este formato se puede usar socializar
enviar por correo a todos/as los/a s inter esad os/as en + No requiere una reunin especfica para
la poltica, programa o proyecto. los resultados de la evaluacin.
herramientas
- Requiere diseo, es necesario manejar
informticas. Cap. 3

Ficha 13. Claves para realizar una presentacin


Diapositivas en diapositivas
* Usar
No usar ms de dos tipos diferentes de letras.

Qu son y para qu se utilizan? * que seunvea


cuerpo (tamao) de letra grande para
cuando se proyecta (mnimo, 24
Las presentaciones con diapositivas permiten puntos).
enfatizar los ejes esenciales, de manera
visual y dinmica. La propuesta radica en * Separar los grupos de ideas con espacios en
blanco.
una combinacin atractiva de
Para mayor texto e imagen. Por lo general, se * Tener un mximo de siete palabras por lnea.

informacin utilizan como complemento de las * Usar frases (no oraciones completas).

consultar la presentaciones orales. * No incluir ms de seis o siete lneas por


diapositiva.
ficha 15.
* Usar arte y grficos que dirijan la mirada hacia
adentro, es decir, hacia el contenido de la
Pasos para realizar una diapositiva y no hacia los bordes de la diapositiva.
presentacin en diapositivas
1) Organizar los ttulos principales sobre la base
* Usar cuadros y grficos para realzar la
interpretacin de los datos.
de los ejes centrales de la evaluacin.
2) Desarrollar cada eje en hasta tres diapositivas. Ventajas y desventajas de la
diapositiva
+ Permiten alcanzar un gran impacto visual.
+ Al incluir poco texto, logran transmitir un
mensaje claro.
- Su extensin no permite profundizar en todos los
puntos.

117
Monitoreo y evaluacin de polticas, programas y proyectos sociales

ttulo,
2) Incluir membrete de la organizacin,
Ficha 14. copete16 , ciudad, fecha y los datos de cont
amp
acto
liar la
de una o dos personas que puedan
Gacetilla de prensa informacin.

Qu es y para qu se utiliza?
Una gacetilla de prensa es un comunica
do con Ventajas y desventajas de la gacetilla
orien tado , por lo gene ral, a + Es una buena forma de compartir los
formato periodstico cin.
cin. resultados con los medios de comunica
los medios de comunica cto en med ios de pequ ea,
Puede tene r impa
o gran esca la.
Pasos para realizar una gacetilla de
mediana
s. Con
+/- Se requiere una buena base de dato
prensa (Secretara Nacional de la Niez y la buenos contactos la gacetilla funciona
. Con
Adolescencia de Paraguay, 2009) pocos o malo s cont acto s, la incid encia se
1) Organizar un texto breve, que sea claro dificulta.
os a
y conciso, es decir que se dirija sin rode - Genera requerimientos que es necesario
que se dese an difun dir. dos de
los ejes importantes atender (por ejemplo, consultas o pedi
el texto no supe re las dos
Se recomienda que mayor informacin).
conc epto s princ ipale s en
pginas y resaltar los
o debe resp onde r a las
bastardilla. El contenid
s: qu ?, qui n?, cm o?,
siguientes pregunta
cundo?, dnde?, por qu?
ampliac in del ttulo o
16 El copete es un prrafo breve que funciona como
como sntesis de la gacetill a.

Ficha 15. Pasos para realizar una presentacin


Presentacin oral oral
1) Organizar el primer momento de la argumen-
tacin: presentacin del objetivo de la evaluacin y
Qu es y para qu se utiliza? resumen del contenido de la presentacin.
La presentacin oral es, junto con el informe
2) Resumir y ordenar los ejes argumentativos
escrito, el modo ms habitual de presentar
de la presentacin: deben ser claros, concisos y
resultados de una evaluacin. Es una estrategia
seguir un orden lgico.
directa que debe organizarse previamente y
3) Cerrar la presentacin oral resaltando los
que se desarrolla en el marco de una reunin
puntos ms fuertes de la argumentacin y abrir
presencial con los/as destinatarios/as de la
un espacio de preguntas al pblico interesado.
informacin. En general, luego de la presentacin
se abre un espacio de intercambio
Para mayor y preguntas. La presentacin Ventajas y desventajas de la
informacin oral puede apoyarse en el uso de presentacin oral
consultar la diapositivas. + Admite preguntas; da lugar al intercambio.
ficha 13. - Requiere un adecuado manejo de la oratoria y de
los tiempos de la exposicin para que sea amena
e interesante.

118
UNICEF - CIPPEC
Bibliografa
Acua, C. y Repetto, F. (2009). Un aporte metodolgico para comprender
(y mejorar) la lgica poltico-institucional del combate a la pobreza en
Amrica Latina. En F. Mariez Navarro y V. Garza Cant (Coords.), Poltica
Pblica y Democracia en Amrica Latina. Del Anlisis a la Implementacin.
Mxico D.F.: EGAP y CERALE.
Adamchak, S. y otros. (2001). Manual de Monitoreo y Evaluacin. [s.l.]:
Organizacin Panamericana de la Salud.
Agoff, S. y otros. (2006). Evaluacin final del programa Atencin a nios y
adolescentes en riesgo PROAME II. Buenos Aires: Universidad Nacional
General Sarmiento.
Aguilar Villanueva, L. F. (1992). El estudio de las polticas pblicas. Mxico
D.F.: Miguel ngel Porra.
Aparicio, S. y otros. (2007).El trabajo infantil en la Argentina: Anlisis y desa-
fos para la poltica pblica. Buenos Aires: OIT.
APEIM. (1991). La investigacin cualitativa mediante la tcnica de focus
groups. Consultado el 30 de marzo de 2012, disponible en la web de la
Asociacin Peruana de Empresas de Investigacin de Mercados: http://
www.apeim.com.pe/images/Manual_invest_cualitativa.pdf
Ballart, X. (1992). Cmo evaluar programas y servicios pblicos?:
Aproximacin sistemtica y estudios de caso. Madrid: Ministerio para las
Administraciones Pblicas.
Banco Internacional de Reconstruccin y Fomento Banco Mundial. (2004).
Seguimiento, evaluacin: instrumentos, mtodos y enfoques. [s.l.]: Banco
Mundial.
Camou, A. y Di Virgilio, M. M. (2008). Participacin ciudadana, gestin social
y gobernabilidad: las especificidades del nivel local en el Conurbano bo-
naerense (Argentina). En M. Tanaka, Dilemas de la descentralizacin y de
la participacin en Amrica Latina. Lima, Per: IEP (En prensa).
Castao Yepes, R. (1997). Anlisis de costo-efectividad. Una herramienta
para la toma de decisiones de poltica en el sector salud. CES med, vol.
11, N 2.
Cerezo, L. y Fernndez Prieto, A. (2011). Manual de planificacin, monitoreo
y evaluacin. Programa Remediar. Buenos Aires: Ministerio de Salud de

119
Monitoreo y evaluacin de polticas, programas y proyectos sociales

la Nacin. Consultado el 14 de julio de 2012. Disponible en la Web de


Programa Remediar: http://remediar.gov.ar.pampa.avnam.net/files/ma-
nual%20Monitoreo.pdf
Cohen, E. y Franco, R. (1988). Evaluacin de proyectos sociales. Mxico:
Siglo Veintiuno.
Cohen, E. y Franco, R. (2005). Gestin Social. Cmo lograr eficiencia e im-
pacto en las polticas sociales. Mxico: CEPAL y Siglo Veintiuno.
Cohen, E. y Martnez, R. (2004). Manual de formulacin, evaluacin y monito-
reo de proyectos sociales. Buenos Aires: CEPAL.
Comitato Internazionale per lo Sviluppo dei Popoli. (2004). Manual de
Monitoreo y Evaluacin de las ONGs de Forum Solint. Roma.
Comunicado de UNICEF (7 de abril de 2011). Consultado el 14 de julio de
2012, disponible en Web de UNICEF Argentina: http://www.unicef.org/ar-
gentina/spanish/media_20230.htm
Chiara, M. y Di Virgilio, M. M. (2006). La Poltica social orientada al desarro-
llo: debates sobre su institucionalidad. Perfiles Latinoamericanos, N 28,
(213-230). Mxico D.F.: Facultad de Ciencias Sociales.
Chiara, M. y Di Virgilio, M. M. (2009). Gestin de la poltica social: conceptos
y herramientas. Buenos Aires: Prometeo Libros.
Chiara, M. y Di Virgilio, M.M. (2005). Gestin social y municipios: De los
escritorios del Banco Mundial a los barrios del Gran Buenos Aires. Los
Polvorines: Universidad Nacional de General Sarmiento.
Defensor del Pueblo de la Nacin (2011). Estudio sobre la Implementacin
del Sistema de Promocin y Proteccin de los Derechos de Nios, Nias
y Adolescentes en la Repblica Argentina. Informe final. Consultado el
18 de octubre de 2012, disponible en Web del Defensor del Pueblo de la
Nacin: www.dpn.gob.ar
Di Virgilio, M. M. (2009). Estrategias para el anlisis de las condiciones im
plementacin de las polticas educativas: el caso del programa escue
las plurilinges. Documento de trabajo N 31. Buenos Aires: Escuela de
Educacin, Universidad de San Andrs. Consultado el 13 de abril de
2012. Disponible en la Web de la Universidad de San Andrs: http://www.
udesa.edu.ar/files/ESCEDU/DT/DT31-DIVIRGILIO.PDF.
Diaz Daz, N. (2008). Material del Curso de Anlisis Institucional. Buenos
Aires: Maestra de Ciencia Poltica, Universidad de los Andes.
Diguez, A. J. y Reyes, M. C. (2002).Diseo y evaluacin de proyectos de
intervencin socioeducativa y trabajo social comunitario. Buenos Aires:
Espacio Editorial.

120
UNICEF - CIPPEC
Estvez, A. (1999). Construccin de una matriz de actores para polticas pbli-
cas y proyectos dentro de un contexto de reforma del Estado. Facultad de
Ciencias Sociales. Universidad de Buenos Aires. Consultado el 30 de marzo
de 2012. Disponible en la Web de Polticas Pblicas Participativas para el
Mejoramiento de la Calidad Democrtica: http://www.polipub.org/documen-
tos/matriz%20de%20actores.PDF
European Commission. (2005). Mtodos de Evaluacin. Europeaid, Co-
operation Office. Consultado el 30 de marzo de 2012. Disponible en la
Web de European Commission: http://ec.europa.eu/europeaid/evaluation/
methodology/
Fernndez Ballesteros, R. (Ed.) (1995). Evaluacin de programas: Una gua
prctica en mbitos sociales, educativos y de salud. Madrid: Sntesis.
Gasc Hernndez, M. (2002). Hacia una sistematizacin de la evaluacin de
programas y polticas pblicas. Gestin y anlisis de polticas pblicas, N
23, (55-65).
Hintze, S. y Coraggio, J. L. (1996).Polticas sociales: Contribucin al debate
teorico-metodologico. Buenos Aires: Programa Especial de Investigacin
Estado y Polticas Pblicas, Secretara de Ciencia y Tcnica de la
Universidad de Buenos Aires.
Instituto Nacional de Administracin Pblica. (1998). Evaluacin de la
Asistencia al Desarrollo: Manual para Evaluadores y Conductores de pro-
yectos segn el Enfoque de Marco Lgico (EML). Buenos Aires: Instituto
Nacional de la administracin pblica.
Instituto Nacional De Estadsticas y Censos de la Repblica Argentina. (2010).
Niveles de Gobierno: Gobiernos locales por categoras segn provincias.
Total del pas. Disponible en la Web del INDEC, http://www.indec.mecon.ar.
Isuani, F. (Coord.) (1997). Atencin a nios y adolescentes en riesgo. Proame
II. Buenos Aires: Universidad General Sarmiento y SIEMPRO.
Kliksberg, B. y Rivera, Q. M. (2007).El capital social movilizado contra la po-
breza: La experiencia del proyecto de comunidades especiales en Puerto
Rico. Buenos Aires: CLACSO.
Ley 898 de Obligatoriedad de la educacin hasta la finalizacin del nivel medio.
Maceira, D. y otros. (2010). El papel de los municipios en la inversin pblica
social en infancia y adolescencia. Resultados de una encuesta nacional a
municipios argentinos. Buenos Aires: CIPPEC y UNICEF.
Martnez Nogueira, R. (2004). La evaluacin para el anlisis y planificacin de
las organizaciones. Documento de Trabajo N 31: FORGES (Fortalecimiento
de la Organizacin y Gestin Econmica y Social). Consultado el 14 de ju-
lio de 2012. Disponible en la Web de la Facultad de Ciencias Econmicas

121
Monitoreo y evaluacin de polticas, programas y proyectos sociales

de la Universidad de Buenos Aires: http://www.econ.uba.ar/www/institu-


tos/admin/ceo/simposio99/mnogueira.htm.
Mokate, K. (2001).Eficacia, eficiencia, equidad y sostenibilidad: Que quere-
mos decir? Washington D.C.: Departamento de Integracin y Programas
Regionales, Instituto Interamericano para el Desarrollo Social, Banco
Interamericano de Desarrollo.
Navarro, H. (2005). Manual para la evaluacin de impacto de proyectos y pro-
gramas de lucha contra la pobreza. Santiago de Chile: rea de proyectos
y programacin de inversiones, Instituto Latinoamericano y del Caribe de
Planificacin Econmica y Social.
Neirotti, N. y Poggi, M. (2004). Alianzas e innovaciones en proyectos de desa-
rrollo educativo local. Buenos Aires: IIPE y UNESCO.
Nirenberg, O. (2009). Evaluacin y participacin: orientaciones concep-
tuales para una mejora de la gestin. En: M. Chiara, M.M. Di Virgilio e I.
Arriagada, Gestin de la poltica social: conceptos y herramientas. Buenos
Aires: Prometeo Libros.
Nirenberg, O., Brawerman, J. y Ruiz, V. (2000).Evaluar para la transforma-
cin: Innovaciones en la evaluacin de programas y proyectos sociales.
Buenos Aires: Paidos.
Olaviaga, S. y Marazzi, V. (2010). Inversin pblica social en infancia y ado-
lescencia. Un anlisis institucional y presupuestario para el municipio de
Morn. Buenos Aires: CIPPEC y UNICEF.
Organizacin Panamericana de la Salud. (1990). Evaluacin de un programa
de alimentacin escolar: El caso argentino. Washington D.C.: Organizacin
Panamericana de la Salud.
Ortegn, E., Pacheco, J. F. y Prieto, A. (2005). Metodologa del Marco Lgico
para la planificacin, el seguimiento, la evaluacin de proyectos y progra-
mas. Santiago de Chile: rea de proyectos y programacin de inversiones/
Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social.
Oszlak, O. y ODonnell, G. A. (1976).Estado y polticas estatales en Amrica
Latina: Hacia una estrategia de investigacin. Buenos Aires: CEDES.
Padrn, J. (2006). Bases del concepto de Investigacin Aplicada (o inves-
tigacin aplicativa o aplicaciones). Consultado el 13 de abril de 2012.
Disponible en la Web de Jos Padrn: http://padron.entretemas.com/
InvAplicada/index.htm.
Padrn, J. y Chacn M. (1996). Investigacin-Docencia, Temas para Seminario.
Caracas: Publicaciones del Decanato de Posgrado de la Universidad
Nacional Experimental Simn Rodrguez.

122
UNICEF - CIPPEC
Pascual, L. y Chiara, M. (2008). Gua para evaluacin de programas en edu-
cacin. Buenos Aires: DiNIECE, Ministerio de Educacin de la Nacin.
Pichardo Muiz, A. (1989).Evaluacin del impacto social: Una metodologa
alternativa para la evaluacin de proyectos. Costa Rica: Universidad de
Costa Rica.
Programa de las Naciones Unidas para el Desarrollo. (2002). Manual de segui-
miento y evaluacin de resultados. Nueva York: Colonial Communications
Corp.
Real Academia Espaola. (2001). Diccionario de la lengua espaola. Madrid:
Espasa Calpe.
Repetto, F. (2004). Capacidad estatal: requisito necesario para una mejor po-
ltica social en Amrica Latina. Documento de Trabajo N I-52. Washington
D.C.: Instituto Interamericano para el Desarrollo Social (INDES).
Secretara Nacional de la Niez y la Adolescencia de Paraguay. (2009). Cmo
hacer una gacetilla de prensa. Asesoramiento en comunicacin para el
proyecto de atencin Integral a la niez y a la adolescencia en sus comu-
nidades. Asuncin: Secretara Nacional de la Niez y la Adolescencia de
Paraguay.
SIEMPRO y UNESCO. (1999).Gestin integral de programas sociales orien-
tada a resultados: Manual metodolgico para la planificacin y evaluacin
de programas sociales. Buenos Aires: Fondo de Cultura Econmica.
Sitio Web de DevInfo. Consultado el 14 de julio de 2012. Disponible en:
http://www.devinfo.org.
Sitio Web de la Direccin Provincial de Planeamiento, Estadsticas y Censos
de Jujuy. Consultado el 14 de julio de 2012. Disponible en: http://www.
infojujuy-dippec.gov.ar.
Sitio Web de Save the Children. Programa Promocin del Buen Trato y
Erradicacin de la Violencia. Consultado el 3 de mayo de 2012. Disponible
en: http://www.savethechildren.es/tema_trabajo.php?idtema=6.
Sitio Web de Secretara de Poltica Econmica y Planificacin del
Desarrollo, Ministerio de Economa de la Nacin. Consultado el 27
de septiembre de 2012. Disponible en http://www.mecon.gov.ar/
desarrollo/?page_id=81&preview=true.
Sitio web Ministerio de Desarrollo Social de la Nacin. Consultado el 14 de julio
de 2012. Disponible en: www.desarrollosocial.gov.ar/planes/pa/default.asp.
Sotelo Maciel, A. J. (1997). Anlisis PROBES. Un mtodo para el anlisis si-
tuacional y la formulacin de estrategias. La Plata: Escuela Superior de
Trabajo Social, Universidad de La Plata.

123
Monitoreo y evaluacin de polticas, programas y proyectos sociales

Subirats, J. (1995). Los instrumentos de las polticas, del debate pblico y el


proceso de evaluacin. Gestin y Poltica Pblica. IV, 1, (5-23). Mxico:
Divisin de Administracin Pblica, Centro de Investigacin y Docencia
Econmica (CIDE).
Tamayo Sez, M. (1997). El anlisis de las polticas pblicas. En R. Ban
y E. Carrillo (Comp.), La nueva administracin pblica. Madrid: Alianza
Universidad.
UNICEF. (2010). Gasto Pblico Social dirigido a la niez en la Argentina.
Buenos Aires: UNICEF.
Waisgrais, S. (2007). El trabajo de nias, nios y adolescentes: conceptos,
metodologa y resultados. En: S. Aparicio y otros,El trabajo infantil en la
Argentina: Anlisis y desafos para la poltica pblica. Buenos Aires: OIT.

124
UNICEF - CIPPEC
Acerca de las autoras

Mara Mercedes Di Virgilio


Sociloga. Doctora en Ciencias Sociales (UBA). Investigadora Adjunta
CONICET. Obtuvo una beca posdoctoral externa del CONICET para inves-
tigar en la Universidad de Texas. Coordin el rea de Estudios Urbanos del
Instituto Gino Germani (UBA). Es profesora adjunta regular de la Facultad de
Ciencias Sociales (UBA). Se desempe como investigadora docente de la
Carrera de Polticas Sociales (Instituto del Conurbano, Universidad Nacional
de General Sarmiento). Cuenta con numerosas publicaciones sobre polticas
pblicas y la cuestin urbana en la Argentina y particip en diversos proyec-
tos de investigacin y programas de asistencia tcnica.

Romina Solano
Coordinadora de Proyectos del Programa de Salud de CIPPEC. Candidata a
Magister en Administracin y Polticas Pblicas (Universidad de San Andrs).
Licenciada en Ciencia Poltica (Universidad de Buenos Aires). Especialista en
Gestin Cultural (Universidad de San Martn). Previamente, se desempe
como analista de Desarrollo Institucional de CIPPEC.

La opinin de las autoras no refleja necesariamente la posicin de todos los miembros


de CIPPEC o UNICEF sobre el tema analizado.

Las publicaciones de CIPPEC son gratuitas y se pueden descargar desde www.cippec.org.

CIPPEC alienta el uso y divulgacin de sus producciones sin fines comerciales.

125
Queda hecho el depsito que menciona la Ley 11.723.
Esta edicin de 300 ejemplares se termin de imprimir en noviembre de 2012,
en VERLAP S.A., Calle Comandante Spurr 653, Avellaneda, Provincia de Buenos Aires.
MONITOREO Y EVALUACIN DE POLTICAS, PROGRAMAS Y PROYECTOS SOCIALES

Durante las ltimas dcadas, los gobiernos locales asumieron un rol protagnico en el diseo,
implementacin y evaluacin de las polticas pblicas.
Con el objetivo de fortalecer sus capacidades para gestionar polticas sociales, en particular las
destinadas a niez y adolescencia, CIPPEC y Unicef desarrollaron los siguientes manuales:
Planificacin de polticas, programas y proyectos sociales.
Monitoreo y evaluacin de polticas, programas y proyectos sociales.
Coordinacin de polticas, programas y proyectos sociales.
Los tres manuales, en conjunto y por separado, constituyen un instrumento de apoyo para quienes
trabajan en el territorio: el abordaje de los conceptos y la forma de sistematizar las herramientas
fueron especficamente diseados para ayudar a los actores locales a enfrentar los problemas
diarios de la gestin social.
El manual de monitoreo y evaluacin de polticas, programas y proyectos sociales presenta
metodologas y recursos tiles para facilitar la elaboracin y ejecucin de herramientas de mo-
nitoreo y evaluacin, difunde los beneficios y las oportunidades que se abren al incorporar este
tipo de instrumentos en la gestin local y comparte experiencias locales que surgieron de su
implementacin. Adems, incluye fichas descriptivas que servirn como gua al momento de
poner en prctica el monitoreo y la evaluacin en el mbito local.

CIPPEC (Centro de Implementacin de Polticas Pblicas para la Equidad y el Crecimiento) es una organizacin
independiente, apartidaria y sin fines de lucro que trabaja por un Estado justo, democrtico y eficiente que mejore
la vida de las personas. Para ello concentra sus esfuerzos en analizar y promover polticas pblicas que fomenten la
equidad y el crecimiento en la Argentina. Su desafo es traducir en acciones concretas las mejores ideas que surjan
en las reas de Desarrollo Social, Desarrollo Econmico e Instituciones y Gestin Pblica, a travs de los programas
de Educacin; Salud; Proteccin Social; Poltica Fiscal; Integracin Global; Justicia; Transparencia; Poltica y Gestin
de Gobierno; Incidencia, Monitoreo y Evaluacin; y Desarrollo Local.

También podría gustarte