// Manual de base para la Evaluacin

de Polticas Pblicas

Programa de
Evaluacin de Polticas Pblicas

Presidencia Jefatura de
de la Nacin Gabinete de Ministros
Autoridades

Presidenta de la Nacin
Dra. Cristina Fernndez de Kirchner

Jefe de Gabinete de Ministros

Cr. Dr. Anbal Domingo Fernndez

Secretaria de Gabinete
Dra. Silvina Elena Zabala

Subsecretario de Gestin y Empleo Pblico

Lic. Daniel Fihman

Secretario de Coordinacin Administrativa y Evaluacin Presupuestaria

Cr. Jos Lucas Gaincerain

Subsecretaria de Evaluacin del Presupuesto Nacional

Lic. Cristina Crescenzi

Subsecretario de Evaluacin de Proyectos con Financiamiento Externo

Lic. Federico Hernn Bekerman

1
Para citar este documento: Jefatura de Gabinete de Ministros (2015). Manual de base
para la evaluacin de polticas pblicas en Argentina versin preliminar-. Programa de
Evaluacin de Polticas Pblicas, Jefatura de Gabinete de Ministros de la Nacin.
Buenos Aires, Argentina. 44 p.

Versin web disponible en la pgina de la Jefatura de Gabinete de Ministros | Programa

de Evaluacin de Polticas Pblicas
www.jefatura.gob.ar/servicios_al_ciudadano

Publicacin de distribucin gratuita

Todos los derechos reservados. Esta publicacin no puede ser reproducida, registrada ni
transmitida, en todo ni en parte, por ninguna forma o medio, sea mecnico, electrnico,
magntico, ptico o fotocopia, sin previa autorizacin por escrito del editor.

Jefatura de Gabinete de Ministros

Av. Roque Senz Pena 511
CP C1035AAA / Ciudad Autnoma de Buenos Aires
Repblica Argentina
(54-11) 4343-9001
www.jefatura.gob.ar

Octubre de 2015

2
NDICE

PRESENTACIN ............................................................................................... 4

CAPTULO 1. CONCEPTO DE EVALUACIN .................................................. 7

1.1. Objetivos de la Evaluacin ........................................................................ 10
1.1.a. Evaluacin como concepto distinto de la auditora, el control y la
investigacin ..................................................................................................... 11
1.2. La Evaluacin en el ciclo de las Polticas Pblicas .................................... 12
1.2.a. Planificacin, monitoreo y evaluacin ..................................................... 13

CAPTULO 2. FUNDAMENTOS DE LA EVALUACIN. PARA QU

EVALUAR? ....................................................................................................... 15
2.1. La toma de decisiones, retroalimentacin y mejora continua de las
intervenciones pblicas .................................................................................... 15

CAPTULO 3. QU EVALUAR? ..................................................................... 16

3.1. Polticas, programas, proyectos y procesos .............................................. 16
3.2. Las preguntas de la evaluacin ................................................................. 17

CAPTULO 4. TIPOS DE EVALUACIN .......................................................... 21

4.1. Quines evalan ........................................................................................ 21
4.2. Perspectiva temporal o momento de la evaluacin ................................... 23
4.3. Contenido de la evaluacin ....................................................................... 24
4.4. Propsito de la evaluacin ......................................................................... 25

CAPTULO 5. METODOLOGAS ...................................................................... 27

5.1. Tcnicas cualitativas.................................................................................. 27
5.2. Tcnicas cuantitativas ............................................................................... 28
5.2.a. Evaluacin de impacto ............................................................................ 28
5.3. Triangulacin ............................................................................................. 33

CAPTULO 6. ETAPAS DE LA EVALUACIN ................................................. 35

6.1. Planificacin de la evaluacin .................................................................... 36
6.2. Implementacin ......................................................................................... 39
6.3. Garantizando la utilizacin de los resultados y difusin ............................. 41
6.4. Comunicacin ............................................................................................ 42

BIBLIOGRAFA ................................................................................................. 44

3
PRESENTACIN

La Argentina ha experimentado profundas transformaciones polticas, econmicas y sociales en los

ltimos aos que se enmarcan en el proyecto de construir un nuevo modelo de pas y, por lo tanto, de
Estado. La implementacin simultnea de una serie de medidas de carcter macroeconmico y el
desarrollo de lneas de poltica activa se tradujeron en la transformacin de la produccin, la creacin de
empleo, la mejora de los ingresos y el fortalecimiento de un Estado activo, regulador y presente.

Actualmente, el objetivo es profundizar y consolidar los logros alcanzados, haciendo hincapi en la

incorporacin de nuevas capacidades tcnicas, polticas y administrativas. En este contexto, la
institucionalizacin del proceso de evaluacin de polticas pblicas en la Administracin Pblica Nacional
(APN) cobra un nuevo sentido.

En la medida en que las polticas pblicas de un gobierno permiten transformar la realidad de una
sociedad, la evaluacin es la actividad sistemtica, fundada y socialmente legitimada que permite que
dichas polticas alcancen sus objetivos a travs de la medicin de sus impactos. Adems, la introduccin
de nuevas tecnologas y formas de gestionar estn produciendo una transformacin profunda en las
estructuras del Estado a fin de cumplir con las demandas sociales de eficiencia y transparencia.

Por ende, la evaluacin no solo es importante por la informacin que suministra a todos aquellos
interesados en conocer los resultados de una poltica, sino por su efecto de retroalimentacin en el
proceso de elaboracin de polticas y planes pblicos, dado que sus conclusiones y recomendaciones
sirven de base para planificaciones futuras en un intento de introducir racionalidad en la toma de
decisiones.

Pero la evaluacin no puede concebirse nicamente como un proceso tcnico. Esta tiene una significacin
poltica e institucional, ya que permite la introduccin del debate pblico para mejorar las estrategias
polticas de todos los sectores. Por ello, la evaluacin puede considerarse como una herramienta crtica al
establecer un juicio de valor sobre la accin estatal.

A estos aspectos debemos sumar la consideracin de que la evaluacin de las polticas pblicas en el
Estado argentino en los inicios del siglo XXI ha adquirido un lugar diferente a las perspectivas centradas en
el recorte de gasto y limitadas al control, y se posiciona como una herramienta para consolidar procesos
de aprendizaje y contribuir a la mejora constante de las intervenciones pblicas, en la profundizacin de
una agenda ms inclusiva e innovadora.

Trabajar en este horizonte fortaleciendo las capacidades del Estado para transformar la realidad y mejorar
la calidad de vida de los ciudadanos es el eje central que nos convoca y bajo el cual la evaluacin de
polticas pblicas tiene un papel central a desempear.

4
En esta lnea se ubica la tarea que la Jefatura de Gabinete de Ministros (JGM) viene implementando con
el objetivo de fortalecer y promover la institucionalizacin de la evaluacin de las polticas pblicas. Para
ello, en 2013, se ha creado el Programa de Evaluacin de Polticas Pblicas mediante la Resolucin de
la Jefatura de Gabinete de Ministros 416/2013.

Este programa tiene como finalidad la incorporacin del anlisis y evaluacin de polticas pblicas a la
agenda gubernamental y a los procesos de formacin de polticas pblicas de los organismos de la
Administracin Pblica Nacional con el objeto de generar un proceso de retroalimentacin entre el diseo
e implementacin y los resultados e impactos de las polticas a fin de permitir la obtencin de mejores
resultados en la gestin de los asuntos pblicos.

Sus objetivos especficos refieren a:

Promover la sensibilizacin, la consolidacin en agenda e institucionalizacin de la evaluacin de

las polticas pblicas en la APN.
Fomentar la investigacin aplicada, comparada y participativa, y disear metodologas y
herramientas de evaluacin de polticas pblicas susceptibles de ser aplicadas en los organismos
gubernamentales.
Desarrollar capacidades para el diseo e implementacin de diversos tipos de evaluacin de
programas y proyectos.
Evaluar programas, proyectos y/o polticas implementadas en el mbito de la APN, de manera
conjunta y en coordinacin con los organismos que ejecutan dichas intervenciones, y/o asistir
tcnicamente para su desarrollo.

El programa se ubica en la rbita de la Secretara de Gabinete de la JGM y para su desarrollo se ha

conformado una unidad ejecutora integrada por las tres subsecretaras con competencia en el tema: la
Subsecretara de Gestin y Empleo Pblico, la Subsecretara de Evaluacin del Presupuesto Nacional y la
Subsecretara de Proyectos con Financiamiento Externo.

Sus ejes de accin se encaminan a la consecucin de cuatro objetivos centrales: 1) evaluar las polticas
pblicas nacionales; 2) desarrollar capacidades para la realizacin de evaluaciones; 3) establecer
directrices y generar conocimientos en evaluacin; 4) sensibilizar, consolidar en la agenda e
institucionalizar la evaluacin de polticas pblicas en la Administracin Pblica Nacional.

Emplazado bajo los lineamientos de este programa, en la presente publicacin se plasman definiciones
bsicas para establecer consensos marco en la Administracin Pblica del pas relacionados con: Qu
entendemos por evaluacin? Para qu evaluar? Qu evaluar? Cules son los tipos de evaluacin y las
metodologas alternativas? Cules son las principales etapas para el desarrollo de un proceso
evaluativo?

5
 1
Los contenidos han sido realizados desde la Jefatura de Gabinete y fueron validados por diversas reas
de Evaluacin de Polticas Pblicas de la Administracin Pblica Nacional.

Como se ver, la finalidad de este manual consiste en establecer lineamientos comunes sobre evaluacin
de programas y polticas pblicas para las reas del Estado argentino (nacional, provincial y municipal), sin
desconocer los grandes debates en la materia. Especialmente, este material se orienta a fortalecer la
integracin de las reas de evaluacin de la Administracin Pblica Nacional que promovemos desde el
Programa de Evaluacin de Polticas Publicas con la finalidad de homogeneizar tcnicas, prcticas,
lenguajes y lneas de accin en evaluacin de polticas pblicas; posicionar la evaluacin en el mbito de
la Administracin Pblica; potenciar el aprendizaje mutuo, intercambiar prcticas y divulgar conocimientos;
fortalecer procesos de evaluacin de polticas pblicas en el Estado.

Su estructura est compuesta por seis captulos. El primer captulo establece qu entendemos por
evaluacin. El segundo captulo refiere a los propsitos y utilidad de la evaluacin. El tercer captulo se
concentra en qu evaluar y las preguntas de la evaluacin. El cuarto captulo explica los tipos de
evaluacin. El quinto captulo atiende a las metodologas cualitativas, cuantitativas y la importancia de su
triangulacin, siempre que sea posible. El sexto captulo aborda las etapas de la evaluacin, considerando
la planificacin, implementacin, uso de los resultados y difusin, as como la fase transversal al proceso
de la comunicacin.

Esperamos que este manual contribuya a la formulacin de evaluaciones en el Estado argentino.

Agradecemos especialmente el compromiso y la disposicin de las reas de evaluacin del Estado
nacional que, con sus valiosos aportes, posibilitaron el desarrollo de esta iniciativa.

1
Actualmente, esta instancia est integrada por las reas de evaluacin de los Ministerios de Salud; Ciencia y Tecnologa; Trabajo,
Empleo y Seguridad Social; y Educacin.
6
CAPTULO 1. CONCEPTO DE EVALUACIN
La evaluacin de polticas pblicas es un campo analtico y de estudio especfico, de continuo crecimiento
no solo en el mbito acadmico, sino tambin entre los tomadores de decisiones pblicas. Podemos
encontrar diversas definiciones de evaluacin que siguen la trayectoria de su evolucin en el tiempo. No
hay una nica definicin, y como seala Marvin Alkin (2004), las teoras de evaluacin pueden
clasificarse segn el grado en que se centran en los mtodos, usos o valoracin. Estos tres enfoques
constituyen las principales ramas del rbol de tradiciones en evaluacin y hay diversas definiciones de
evaluacin en relacin con cada una de ellas.

Ilustracin N. 1. Tradiciones en evaluacin

Fuente: Alkin, Marvin C., ed. (2004). Evaluation Roots: Tracing Theorists Views and Influences. Thousand Oaks, California: Sage.

Sin desconocer estos debates, consideramos relevante sentar ciertos marcos bsicos al momento de
evaluar polticas pblicas o programas en el Estado argentino. En trminos generales, evaluar implica
sealar el valor de algo o de alguien, como lo estipula la definicin en el diccionario de la Real Academia
Espaola cuando dice que evaluar es sealar el valor de una cosa.

La OCDE (2002: 21), en el glosario de trminos, seala que la evaluacin es la apreciacin sistemtica y
objetiva de un programa o poltica en curso o concluido, de su diseo, su puesta en prctica y sus
resultados. El objetivo es determinar la pertinencia y el logro de los objetivos, as como la eficiencia, la
eficacia, el impacto y la sostenibilidad para el desarrollo. Una evaluacin deber proporcionar informacin
creble y til, que permita incorporar las enseanzas aprendidas en el proceso de toma de decisiones. La
evaluacin tambin se refiere al proceso de determinar el valor o la significacin de una poltica o
programa. Se trata de una apreciacin, tan sistemtica y objetiva como sea posible, de una intervencin
para el desarrollo, planeada, en curso o concluida.
7
 2
A partir de ello y sobre la base de la bibliografa de referencia en la materia , aqu se entiende que

la evaluacin es una actividad programada que emite juicios valorativos, fundamentados

y comunicables, sobre la planificacin, la implementacin y/o los resultados de las
intervenciones pblicas (polticas, programas y/o proyectos), sustentados en
procedimientos sistemticos de recoleccin, anlisis e interpretacin de informacin y
comparaciones respecto de parmetros establecidos, para contribuir a la mejora de los
procesos de gestin y legitimar social y tcnicamente las polticas, con el fin de impactar
en la calidad de vida de la poblacin a travs del fortalecimiento de las capacidades de
intervencin del Estado.

En esta definicin se destacan algunos puntos que resulta pertinente precisar, sobre todo atendiendo a
una definicin de la evaluacin de polticas:

Consideracin de la evaluacin como proceso institucional y actividad programada, no espordica o

eventual. La evaluacin constituye una intervencin, deben preverse con anticipacin las
metodologas y tcnicas a aplicar y las actividades a llevar a cabo con fines evaluativos y se le deben
atribuir recursos especficos: personas idneas, momentos y lugares especficos, equipos adecuados,
insumos, dinero.
La evaluacin se propone mejorar las intervenciones pblicas, y no al control, ni la auditora, ni tiene
como fin la investigacin.
Aplicacin de la evaluacin a todas las fases del ciclo de la intervencin pblica.
nfasis en el entendimiento integral de las intervenciones: resultados, impactos, sin olvidar los
procesos y la teora que sustenta la intervencin.
De carcter pluralista y participativo de los actores implicados, siempre que sea posible.
Indispensable no eludir el juicio de valor fundamentado. El carcter distintivo de la evaluacin es
construir sus juicios valorativos fundamentados sobre los efectos de las intervenciones pblicas,
apoyndose en una metodologa que ofrezca las mayores garantas de credibilidad. Se debe
garantizar la fiabilidad de los datos, la solidez de los anlisis, la credibilidad de los hallazgos, la validez
de sus conclusiones y la utilidad de sus recomendaciones, as como cualquier otra cuestin de calidad
tcnica y metodolgica que reflejaran sus informes.
Consideracin metodolgica y procedimental como prolongacin (procedimientos sistemticos) que
aplica sistemticamente el mtodo cientfico para la recogida y anlisis de informacin.

2
OCDE (2002); AEVAL (2010); Nirenberg, Brawerman y Ruiz (2000); Tamayo Saez (1997).
8
 Combinar tcnicas cualitativas y cuantitativas, en lo posible, triangulando los resultados. Hoy en da no
se trata de contraponer mtodos cuantitativos y cualitativos, sino de complementarlos, para enriquecer
los hallazgos evaluativos.
Comparaciones respecto de parmetros definidos: Los juicios valorativos se emiten a travs de la
realizacin de comparaciones, con relacin a modelos o estndares deseables, o respecto de s
mismo en el transcurso del tiempo, o en comparacin con otros casos; en suma, respecto de la
direccionalidad o las metas que se habrn definido previamente. Se apunta a saber qu y cunto
cambi y a poder emitir un juicio acerca de si la situacin est mejor, peor o igual.
Debe incluir siempre recomendaciones para acciones futuras para la mejora de la intervencin pblica,
ya sea fortalecer lneas de accin o introducir cambios, y estas recomendaciones deben estar
fundamentadas y apuntalar procesos de aprendizaje. Para que dichas recomendaciones se conviertan
en mejoras reales en el diseo, la operacin y los resultados de un programa, los hallazgos deben ser
pertinentes, es decir, deben estar conectados con la lgica causal de la poltica pblica y no solo aludir
a aspectos secundarios. Las recomendaciones tienen que ser factibles y tienen que realizarse con
claridad y precisin, no ser genricas.
Comunicables y entendibles para los actores significativos y las audiencias identificadas, pues, de otro
modo, ser difcil que se apropien de las recomendaciones emergentes que permitan modificar la
accin. Involucra tambin considerar un conjunto de dispositivos diversos para comunicar los
resultados: publicaciones, informes, folletos, infografas, reuniones, talleres, medios de comunicacin,
etc.
Doble vertiente de utilidad: para la gestin y poltica para la mejora, y para diseo de acciones futuras.
Finalidad ltima: es la mejora de la calidad de vida de la poblacin a travs del fortalecimiento de las
capacidades de intervencin del Estado. La evaluacin busca promover un mayor conocimiento de las
intervenciones pblicas, ysuscitar un cambio de cultura para mejorar lo pblico. No persigue la
recriminacin o sancin como fin ltimo.

A estos aspectos se adicionan ciertos principios de evaluacin a considerar, los cuales sirven para guiar
los procesos de gestin de las evaluaciones:

9
 La evaluacin no se entiende tan solo como la ltima etapa del proceso
Transversalidad de planificacin, es un proceso transversal que integra todas las etapas
de una poltica pblica.

El proceso y los resultados de la evaluacin deben ser tiles tanto para

Utilidad los agentes involucrados en la evaluacin como para los destinatarios
de la poltica pblica.

La evaluacin debe vincular los aspectos de las polticas pblicas con la

gestin, la realizacin y los resultados, estableciendo las relaciones
Causalidad causales que existen entre estos aspectos, midiendo la eficacia y la
eficiencia de la implementacin de la decisin.

Debe garantizarse la transparencia del proceso de evaluacin,

Transparencia favorecindose la rendicin de cuentas y proporcionando la informacin
necesaria para los actores implicados en la poltica pblica.

Tiene que ser factible, es decir, suponer un esfuerzo razonable, debe ser
Factibilidad polticamente viable, como tambin atender a los antecedentes sociales,
polticos, culturales, de gnero, etc. de la situacin estudiada.

La evaluacin de las polticas pblicas tiene la finalidad de proporcionar la

Aprendizaje informacin necesaria para lograr mejores logros a travs de un
aprendizaje continuo.

Debe procurarse establecer los mecanismos de participacin necesarios

Participacin para que los agentes involucrados puedan valorar los aspectos objeto de
la evaluacin de una poltica pblica.

1.1. Objetivos de la evaluacin

La evaluacin es una herramienta que permite valorar lo que hace el Estado por medio de sus proyectos,
programas, polticas pblicas, y mejorar las intervenciones pblicas. La evaluacin permite identificar y
explicar los factores operantes y las razones de los xitos o fracasos en el logro de los propsitos de las
intervenciones, as como tambin los efectos no buscados. Asimismo, las evaluaciones generan
resultados, recomendaciones y lecciones aprendidas que contribuyen a aumentar la efectividad, la
eficiencia y la sostenibilidad del accionar pblico, tanto en la toma de decisiones polticas como en el
contexto de la gestin de un proyecto o programa especfico.

En trminos generales, se pueden distinguir dos objetivos de las evaluaciones:

1. Aprendizaje y mejora continua: Existen numerosos factores por los cuales el diseo y la ejecucin
de una intervencin no logran contribuir de manera ptima a la solucin del problema que dio lugar a
su implementacin. Se trate de deficiencias en el diseo, debilidades en cuanto a la estructura y los
procesos de ejecucin, hiptesis de impacto imprecisas o cambios sociopolticos en el contexto de la
intervencin, los desafos son numerosos y en parte imprevisibles. Por eso, una institucin del Estado
que implemente cualquier tipo de intervencin pblica debe disponer de instrumentos evaluativos que

10
 permitan analizar los aspectos mencionados, identificar las fortalezas y las debilidades y mejorar las
intervenciones en trminos de efectividad, eficiencia y sostenibilidad.
2. Rendicin de cuentas: Las evaluaciones permiten estimar la medida en que una intervencin est
logrando los efectos e impactos deseados sobre una poblacin meta. La informacin vlida y confiable
posibilita a las reas estatales contar con evidencia relacionada a la aplicacin de los recursos
pblicos, as como sobre el diseo, el desarrollo y los resultados de sus intervenciones.

1.1.a. Evaluacin como concepto distinto de la auditora, el control y la

investigacin
No debe confundirse la evaluacin con algunas prcticas complementarias pero diferentes como la
auditora, el control de gestin o contable, o la inspeccin. La extensin del uso del trmino de evaluacin
suele estar asociada a confusiones, ya que se le atribuye todo tipo de recoleccin de informacin o
investigacin en el sector pblico.

Control Auditora Inspeccin Evaluacin

El control consiste La auditora La inspeccin La evaluacin

en verificar el comprende una engloba varias busca promover
respeto a las parte del control actividades, un mayor
normas. En el de regularidad y ejercidas conocimiento de
control se miden de conformidad y separada o las intervenciones
las desviaciones una parte del conjuntamente, pblicas,
respecto a las control de eficacia que van desde el suscitando un
normas y se rinde bajo presupuestos control y la cambio de cultura
cuenta. de mejora. supervisin de para mejorar lo
actividades pblico. No
reglamentarias persigue la
hasta el anlisis y recriminacin o
cualificacin de sancin como fin
prcticas ltimo. Emite un
individuales o de juicio de valor
funcionamiento de fundamentado
sistemas. sobre las
intervenciones
pblicas.

Fuente: elaboracin propia

11
A menudo, tambin suele existir una confusin entre evaluacin e investigacin.

Aspectos distintivos entre evaluacin e investigacin:

Sus propsitos: la mayor distincin se produce en el punto de las recomendaciones
para la accin. La investigacin social pone el acento en incrementar el cuerpo del
conocimiento. Si bien la evaluacin tambin contribuye a este ltimo aspecto, su
propsito central busca transformar la accin.
Los plazos de tiempo, la retroinformacin y la utilizacin de los resultados adquieren
una importancia mayor en evaluacin que en investigacin acadmica.

Aspectos comunes entre evaluacin e investigacin:

Comparten mtodos y preocupacin por el rigor y la confiabilidad de sus
procedimientos y resultados.

1.2. La Evaluacin en el ciclo de las Polticas Pblicas

El ciclo de las polticas pblicas es un tipo ideal integrado por las fases de instalacin en agenda del
problema, diseo, implementacin y evaluacin. Estas fases estn estrechamente relacionadas, existiendo
una alta dependencia entre ellas. El ciclo, como en cualquier sistema, se cierra con un proceso de
retroalimentacin. La evaluacin es un proceso que constituye una parte fundamental del ciclo integrado
de la poltica pblica donde, junto con el seguimiento, retroalimenta el proceso de planificacin, al permitir
el incremento progresivo y continuo de la eficacia de las actuaciones pblicas.

Como seala Manuel Tamayo Sez (1997), la evaluacin es la ltima fase del proceso de la poltica
pblica y, como este es cclico, es tambin la primera, porque conduce a una revisin del estado del
problema. El fin es producir informacin para orientar los nuevos procesos de decisin, introducir
modificaciones a la poltica o su sucesin por una ms adecuada.

12
 Grfico N. 1. Ciclo de las polticas pblicas. Principales fases

Instalacin en
agenda del Diseo
problema

Implementa-
Evaluacin
cin

Fuente: elaboracin propia

Como se observa, en la ltima fase est la evaluacin. Asimismo, como veremos ms adelante, en cada
fase se desarrollan diversos tipos de evaluacin.

1.2.a. Planificacin, monitoreo y evaluacin

Existe una relacin directa entre planificacin, monitoreo y evaluacin de las polticas pblicas. La
evaluacin no puede concebirse como un hecho aislado y final, sino como una prctica continua que
acompaa a todo el proceso, desde el momento de la planificacin (evaluacin ex ante) hasta la fase de
implementacin (evaluacin de procesos) y a la verificacin de sus resultados y efectos finales (evaluacin
ex post o evaluacin de impacto). Esto se fundamenta en el hecho de que la evaluacin, adems de otras
consideraciones de inters, entraa un tipo de cultura poltico-administrativa que pretende potenciar el
saber en las organizaciones para cambiar, mejorar y resolver de la mejor manera los problemas del futuro.

Si en la planificacin/programacin no se formularon con precisin los objetivos y las metas a las cuales se
desea arribar (estas ltimas cuantificadas para un universo determinado en un perodo de tiempo dado y
en un territorio delimitado), se hace ms difcil evaluar; esta es una de las razones por las cuales se afirma
que los procesos de la planificacin/programacin estn tan estrechamente ligados a los de la evaluacin.

El sistema de monitoreo es un instrumento que acompaa a la gestin para la toma de decisiones

informadas mediante un conjunto de indicadores que permiten verificar el cumplimiento de los objetivos y
de sus expresiones cuantitativas: las metas.

Un esquema de monitoreo de desempeo permite dar cuenta de la medida en que una entidad acta
conforme a criterios, normas y directrices que guan la intervencin de las entidades y/u obtiene resultados

13
de conformidad con las metas o los planes establecidos en la planificacin (los productos, los resultados y
3
los impactos) .

La diferencia fundamental entre el monitoreo y la evaluacin radica en que el monitoreo ofrece informacin
sobre la situacin relativa al cumplimiento de los objetivos y los efectos de una poltica o programa. En
cambio, la evaluacin explica por qu esos objetivos o efectos se estn logrando (o se han logrado) o no,
y expone los cambios que se han producido en los beneficiarios y en la sociedad. La evaluacin, mediante
un proceso sistemtico de recoleccin y anlisis de informacin relevante, emite juicios sobre las causas y
las razones de los resultados, examina resultados no buscados, estudia el proceso seguido para
obtenerlos y proporciona recomendaciones para acciones futuras.

Los procesos de monitoreo y evaluacin son complementarios entre s, ya que el monitoreo permite
describir y calificar el cumplimiento del plan de trabajo y la evaluacin permite ver si dicho cumplimiento, a
su vez, ha conducido al cumplimiento de los objetivos que motivaron el diseo e inicio de la iniciativa. O,
visto al revs, en la medida en que la evaluacin revela un cumplimiento (o incumplimiento) de los
objetivos, el monitoreo genera valiosa informacin para analizar las relaciones causales entre las
actividades de la iniciativa que se evala y dicho cumplimiento (o incumplimiento).

El monitoreo es un elemento necesario del quehacer diario de las reas del Estado. No obstante, el
monitoreo sin la evaluacin solamente nos permitira juzgar la ejecucin de una iniciativa, sin poder
concluir nada al respecto, por ejemplo, de los resultados/impactos de la iniciativa y de la sensatez de
continuarla o suspenderla.

3
Garca Lpez, Roberto y Mauricio Garca Moreno (2010). La gestin para resultados en el desarrollo: avances y desafos en
Amrica Latina y el Caribe. BID, pg. 74.
14
CAPTULO 2. FUNDAMENTOS DE LA EVALUACIN. PARA QU
EVALUAR?

2.1. La toma de decisiones, retroalimentacin y mejora continua de las

intervenciones pblicas
Los propsitos de la evaluacin se orientan a:

Ayudar a tomar una decisin: por ejemplo, decisiones claves y/o otras correctivas de la
implementacin de un programa. Tambin pueden contribuir a la eleccin de la mejor versin de un
programa o a la seleccin del mejor diseo de un programa nuevo.
Contribuir al aprendizaje de la organizacin: por ejemplo, introducir alternativas y conceptos nuevos o
comprobar la veracidad de determinadas intuiciones.
Conocer bsicamente sobre las polticas pblicas: facilitar a las instituciones acadmicas el
conocimiento de las intervenciones pblicas.
Cumplir un requisito normativo: cumplir con la normativa que regula la intervencin pblica (ejemplo,
intervenciones pblicas en materia de subvenciones).
Rendir cuentas a la ciudadana: proporcionar una gestin ms eficaz y eficiente para una ciudadana
que exige cada vez ms transparencia en la gestin de los recursos pblicos.

Se seala que las funciones de la evaluacin son:

Funcin de aprendizaje continuo para la mejora del ejercicio del poder y la gestin pblica.
Funcin de responsabilizacin de los agentes involucrados en el planteamiento de polticas pblicas.
Funcin de rendicin de cuentas.
Funcin comunicativa al crear transparencia e infundir confianza respecto la gestin de las polticas
pblicas.

Tambin se remarca que la utilidad de la evaluacin refiere a que:

Proporciona informacin sobre actividades pasadas o en curso que pueden ser tiles para el
desarrollo futuro de la planificacin y la formulacin de polticas pblicas.
Facilita la toma de decisiones de inters pblico y sirve para centrar la atencin sobre los objetivos
perseguidos.
Provee mecanismos de control administrativo, de legalidad y financiero.
Contribuye en la deteccin y correccin de errores en polticas, programas o proyectos. Sirve como
herramienta para valorar la conveniencia de las actividades emprendidas y descubrir formas de mejora
de la eficacia en la ejecucin.

15
CAPTULO 3. QU EVALUAR?

3.1. Polticas, programas, proyectos y procesos4

El mtodo y la forma en que se realiza una evaluacin dependern, en primera instancia, de la naturaleza
del objeto de la evaluacin. Por lo tanto, es fundamental reconocer las caractersticas del objeto a evaluar
y basarse en ellas en el momento del diseo del proceso de evaluacin. Esta instancia asegura un diseo
ajustado a las necesidades bsicas que plantea el mismo objeto a evaluar.

Las Polticas Pblicas, los Programas y los Proyectos son algunos de los principales objetos que
componen el universo de la evaluacin. Si bien son conceptos que estn relacionados y se articulan entre
s, es importante reconocerlos e identificarlos como objetos diferenciados.

El Proyecto es la mnima unidad posible de asignacin de recursos que, a travs de un conjunto

articulado de procesos y actividades, se propone uno o varios objetivos especficos orientados a
transformar una situacin de la realidad, disminuyendo o eliminando un dficit, o solucionando un
problema (CEPAL).

Un proyecto debe cumplir las siguientes condiciones:

Definir el o los problemas a resolver (identificar cuantitativamente el problema).

Tener objetivos de impacto claramente definidos para poder ser evaluados.

Identificar poblacin objetivo del proyecto.

Determinar localizacin de los beneficiarios.

Fijar fechas de comienzo y de finalizacin.

Los proyectos sociales tienen como finalidad la produccin y/o distribucin de bienes o servicios que
satisfacen necesidades de grupos que no poseen recursos para satisfacerlas en forma autnoma.

El Programa es un conjunto de Proyectos que siguen objetivos comunes y que se distinguen por estar
destinados a diferentes poblaciones y/o utilizar distintas estrategias de intervencin. Un programa es
responsable por la definicin de prioridades de la intervencin, ya que organiza los proyectos, les da
sentido y define el marco institucional y, finalmente, asigna los recursos necesarios para la intervencin.

La Poltica es el conjunto de Programas y Proyectos que se proponen los mismos objetivos. La poltica
pblica se encarna y efectiviza en los Programas y Proyectos a partir de la asignacin de recursos. Es
responsable de dar la orientacin sobre los problemas a priorizar y, a la vez, definir las vas y/o lmites
para la intervencin que la poltica plantea. La poltica pblica es el conjunto de objetivos, decisiones y

4
Las definiciones expresadas en el presente captulo para los conceptos de Proyecto y Programa difieren de las que se utilizan
tcnicamente en materia presupuestaria (Ver: http://www.mecon.gov.ar/onp/html/manuales/el_sistema_presupuestario_publico.pdf).
16
acciones concretas que realiza el Estado con el fin de resolver problemas identificados como prioridades.
Dado que involucra un universo amplio de niveles, agentes, intereses de gobierno, la poltica pblica es el
resultado de un proceso poltico de discusin y formulacin.

Las polticas pblicas son herramientas para transformar la realidad y su mayor sentido se relaciona con
las consecuencias que estas polticas tienen para la sociedad. La evaluacin es una actividad sistemtica,
informada, fundada, socialmente legitimada, que es muy til para que las polticas alcancen los objetivos
que se proponen, para poder medir y comprender los impactos que tienen y para permitir la mejora
constante.

3.2. Las preguntas de la evaluacin

Las preguntas de la evaluacin permiten concentrar el trabajo en una cantidad limitada de puntos clave
con el fin de lograr una mejor reflexin sobre los criterios de juicio, una recoleccin de datos acotada, un
anlisis profundo y un informe til.

Delimitar la evaluacin a partir de algunas preguntas es necesario cuando el objeto a evaluar tiene
mltiples dimensiones. Si se intenta abordar en forma conjunta todas las dimensiones de la poltica o el
programa, se pone en riesgo la evaluacin misma, porque el trabajo sera muy costoso o, de otra forma,
resultara superficial al no profundizar en ningn aspecto.

Por su parte, la formulacin de estas preguntas permite controlar y delimitar los aspectos a comunicar en
los informes de evaluacin, ya que, de otra manera, se corre el riesgo de comunicar en forma sesgada a
partir de la informacin ms fcil de mostrar o de los intereses y prejuicios de los actores involucrados.

Es conveniente que las preguntas a responder por la evaluacin sean formuladas tomando en cuenta las
expectativas de los destinatarios del informe, dado que as se incrementan las posibilidades de
apropiacin y utilizacin del trabajo realizado.

Preguntas deducidas de la lgica de intervencin

La lgica de intervencin es el conjunto de supuestos para explicar de qu manera la intervencin

alcanzar sus objetivos y producir los efectos esperados. Los supuestos vinculan las actividades con los
productos y los resultados, y luego con varios niveles sucesivos de impactos esperados hasta llegar al
ms global (por ejemplo, la reduccin de la pobreza).

La lgica de la intervencin se reconstruye sobre la base de los objetivos que figuran en los documentos
oficiales (decretos, leyes, etc.) que han establecido la intervencin.

Cada vez que se enuncian los objetivos en trminos polticos poco precisos, se los traduce en forma de
efectos esperados de la manera ms concreta posible. Tambin se pueden tener en cuenta los efectos
esperados implcitamente.

17
Segn el grado de heterogeneidad de la intervencin, la cantidad de efectos esperados puede variar
desde unos pocos hasta ms de cien. La lgica de intervencin presenta los efectos esperados bajo una
de las siguientes formas:

Diagrama de efectos esperados (intervencin de dimensiones mltiples con una docena de

efectos esperados o ms).

Diagrama global y subdiagramas (intervencin con ms dimensiones).

Una vez que el equipo de evaluacin identific los efectos esperados y los supuestos de causalidad que
los vinculan, se puede entonces plantear todo tipo de preguntas del tipo:

En qu medida [la actividad A] ha contribuido a [generar el efecto X]?

En qu medida [las actividades A, B, C...] han contribuido a [generar el efecto X]?

En qu medida [las actividades A, B, C...] han contribuido a [generar los efectos X, Y, Z, ...]?

Estas preguntas derivan directamente de la lgica de intervencin en un formato estandarizado y

pertenecen a la familia de la eficacia (obtencin de uno o varios efectos esperados).

Otras preguntas

La evaluacin podra centrarse en otras preguntas que no requieren un examen previo de la lgica de
intervencin, porque se refieren a efectos no relacionados directamente con la intervencin. Por ejemplo,
las preguntas sobre los impactos inesperados:

En qu medida [la actividad A, el instrumento B, el procedimiento C] han generado efectos

inesperados? Y si es as, en beneficio o detrimento de quin?

Otro ejemplo son las preguntas sobre aspectos transversales, como el gnero, el ambiente, la buena
gobernanza o los derechos humanos:

En qu medida el Estado ha integrado [el aspecto transversal A] en el diseo y la puesta en

marcha de sus intervenciones?

18
SELECCIONAR LAS PREGUNTAS CLAVE
Existen lmites tcnicos que impiden tratar preguntas mltiples o, ms precisamente, aportar
respuestas de buena calidad si las preguntas son numerosas. Generalmente, se recomienda
seleccionar un mximo de diez preguntas clave.
Se deben seleccionar las preguntas en funcin de la utilidad probable de las respuestas a la
evaluacin, por ejemplo:
la respuesta permite realizar ajustes en el diseo del programa y/o le interesa a las personas
que deben disear una nueva intervencin para el prximo ciclo,
la respuesta probablemente permite aprender lecciones interesantes para otros sectores u
otros pases,
la respuesta sirve para alimentar un informe destinado a rendir cuentas,
la respuesta no se conoce de antemano,
la respuesta llega a tiempo.
Adems, se deben seleccionar las preguntas en funcin de su factibilidad (o evaluabilidad). Una
pregunta merece ser abandonada si se acumulan demasiadas dificultades, por ejemplo:
Los trminos esenciales de la pregunta no tienen estabilidad y no todos los comprenden de la
misma manera.
Las relaciones de causa-efecto no son claras y los expertos no las conocen bien.
La informacin disponible es muy pobre.
El acceso al terreno y la recoleccin de la nueva informacin plantearn dificultades mayores.
Si se debe abandonar una pregunta aunque corresponda a un pedido poltico, entonces conviene
argumentar con precisin las razones por las que es difcil o imposible tratar esta pregunta, lo que
puede formar parte de la utilidad de la evaluacin.

19
 REDACTAR UNA PREGUNTA
En el momento de redactar una pregunta, primero hay que comprobar que guarde relacin con la
evaluacin y no con la auditora o el seguimiento.
Conviene luego precisar:
El campo, es decir, lo que se juzga, por ejemplo: la intervencin en su conjunto, una actividad,
un instrumento, un procedimiento,
El o los efectos correspondientes,
La familia de criterios de evaluacin a la que pertenece la pregunta: pertinencia, eficacia,
eficiencia, sostenibilidad, impacto, valor agregado comunitario o
coherencia/complementariedad.
En esta etapa, hay que garantizar que la pregunta est redactada de manera clara y concisa.
El redactor puede aadir comentarios a ttulo indicativo sobre todos o algunos de los siguientes puntos:
Precisiones sobre el campo de la pregunta.
Definicin de los principales trminos utilizados.
Precisiones sobre el tipo de criterio.
Subpreguntas a tratar para responder a la pregunta.
Naturaleza de la utilizacin prevista.
Estudios y evaluaciones existentes que no deben ser duplicados.

Quin elige las preguntas? El responsable de la evaluacin define las principales reas
que la evaluacin habr de cubrir, precisa las preguntas y delimita su cantidad mxima.
Cuando son evaluaciones mixtas o externas, estos parmetros pueden figurar en el proyecto
de la evaluacin y/o trminos de referencia provisorios. Las preguntas son validadas en el
proceso de debate inicial y diseo de la evaluacin. Cuando se trata de evaluaciones
externas, adquieren un estatuto contractual y se las anexa a los trminos de referencia fijados
para la realizacin de la evaluacin, ya sea por parte de consultores y/o de instituciones.

20
CAPTULO 4. TIPOS DE EVALUACIN
Existen diferentes tipos de evaluacin, que en todos los casos refieren a distinciones entre formas,
modalidades, tipos, enfoques, perspectivas y expectativas de evaluacin. Generalmente, estos distintos
tipos de evaluacin surgen de la incorporacin, en la prctica misma de evaluar, de nuevos ncleos de
inters y de los diferentes nfasis que los mismos agentes evaluadores fueron agregando durante el
trabajo propiamente dicho. Algunos tipos de evaluacin surgen para superar restricciones existentes, otras
simplemente por las distintas necesidades que aparecen. En todo caso, se trata de tipologas no
excluyentes.

Los tipos ms difundidos y aplicados pueden representarse segn el siguiente criterio de diferenciacin:

Segn quin/es evalan: Interna o Externa.

Segn la perspectiva temporal o momento de la evaluacin: Ex-ante, Intermedia, Ex-post.

Segn el contenido de la evaluacin: conceptual o de diseo, de procesos, de resultados e

impacto.

Segn los propsitos: formativa, sumativa o de resumen, descriptiva o explicativa.

4.1. Quines evalan

En funcin de quin es el agente que evala, pueden distinguirse dos grandes categoras: la evaluacin
interna y la evaluacin externa. Sin embargo, respondiendo a nuevas necesidades, se distinguen tambin
la evaluacin mixta, la autoevaluacin y la evaluacin participativa.

La evaluacin interna es la que es realizada por agentes o grupos pertenecientes a la misma institucin
gestora del proyecto. No se trata de personas involucradas directamente en la ejecucin, ya que en ese
caso se tratara de una autoevaluacin realizada por los propios agentes gestores y ejecutores del
proyecto. Este tipo de distincin es relevante en el marco de organizaciones de tamao y complejidad
considerables. En este tipo de organizaciones, es factible que existan agentes o grupos de agentes
especficamente dedicados a la evaluacin en forma casi externa, es decir, por fuera del rea especfica
ejecutora del proyecto, programa o poltica. En cambio, en organizaciones pequeas o simples, en las que
las estructuras y funciones no son tan claramente diferenciables, la evaluacin interna equivale a una
autoevaluacin.

La evaluacin externa es la que realizan evaluadores que no pertenecen a la organizacin ejecutora o

gestora del proyecto evaluado. Generalmente, para este tipo de evaluacin,l as organizaciones recurren a
consultores o investigadores independientes, universidades o expertos internacionales en la materia. En
algunos casos, la decisin de realizar una evaluacin externa es tomada por el mismo grupo responsable

21
del proyecto, pero en otros, la decisin es tomada por la agencia que financia o por el organismo del cual
depende jerrquicamente el ejecutor. Segn cul sea la variante, es decir, desde dnde provenga la
decisin de realizar una evaluacin externa, sern la orientacin y la modalidad de la esta.

Asimismo, e independientemente a que sea interna o externa, la evaluacin tambin puede ser
participativa. Esta es una tipologa que apunta a designar un tipo de evaluacin que incluye tanto a los
destinatarios como a otros actores de los proyectos en los distintos momentos del proceso de evaluacin,
no solo como fuente de informacin, sino tambin como partcipes del diseo, ejecucin, conclusiones y
recomendaciones.

Por supuesto, existen diversas opiniones acerca de las ventajas y desventajas de cada tipo de evaluacin
de acuerdo al criterio de quin evala. Por un lado, una visin acuerda con el tipo de evaluacin interna
bajo el argumento de que no existe nadie mejor que el propio personal para conocer y comprender los
objetivos, metodologa, destinatarios y dinmica de la intervencin. Al ser los mismos agentes ejecutores
los que realicen la evaluacin se hace ms fcil el aprovechamiento de las conclusiones y la adopcin de
medidas de mejora. La principal dificultad reside en el riesgo de poca objetividad o sesgo contenido en el
proceso. Los intereses contrapuestos y los compromisos afectan directamente la posibilidad de cierta
imparcialidad requerida al momento de presentarse y evaluar el objeto en cuestin. Por otro lado, un
argumento en favor de la presencia de una institucin, agente o grupo evaluador externo es que permite
contar con mayor distancia del proceso de evaluacin, adems de traer a la organizacin experiencias y
conocimientos nuevos que de algn modo ayudan a crear objetividad. Pero esta condicin no es suficiente
para que la evaluacin externa no presente dificultades. Pueden aparecer ciertas tensiones entre el
evaluador y el evaluado que den lugar a interferencias, por ejemplo, en el acceso a la informacin acerca
del objeto de la evaluacin o en la resistencia del evaluado a aceptar los resultados de una evaluacin
que pudieran cuestionar sus objetivos, metas, procesos, etc. Finalmente, una institucin, agente o grupo
evaluador externo contratado por la organizacin puede incorporar una orientacin propia, ideologa,
teoras, etc.; sin embargo, tambin traen consigo compromisos reales con quienes los han contratado,
algo que puede incidir en la objetividad de la evaluacin.

Una solucin posible es coordinar una evaluacin mixta, armando equipos formados por evaluadores
externos e internos, con tareas independientes y en conjunto.

El problema de la resistencia a la propia prctica de la evaluacin y a las dificultades de aceptacin y uso

de los resultados es un tema central. Es usual que se realicen evaluaciones cuya implementacin y
proceso han sido aceptados por las organizaciones evaluadas, pero que, al momento de analizar los
resultados e implementar las recomendaciones, surjan resistencias y no se tengan en cuenta por parte de
los responsables y ejecutores. Los compromisos que estos tienen con las metas, objetivos o la poblacin
destinataria se presentan como barreras para la aceptacin de recomendaciones o cambios.

La evaluacin, durante del proceso de definiciones, debe incorporar todos los acuerdos y negociaciones
necesarios entre todos los agentes involucrados en el proceso, con relacin a los alcances, propsitos,
22
validez, acceso a la informacin y difusin de la evaluacin. De la misma manera, durante las diferentes
etapas de la evaluacin, se debe prever la incorporacin de mecanismos de discusin y distribucin de la
informacin que surja del proceso. As puede lograrse un cierto consenso previo que permita llevar
adelante una evaluacin participativa.

4.2. Perspectiva temporal o momento de la evaluacin

Esta distincin surge de la teora econmica y es adoptada por las ciencias sociales. La evaluacin ex
ante se emprende durante el diseo, antes de iniciar una poltica, programa o proyecto, con el propsito de
tomar decisiones acerca de si debe o no implementarse. La evaluacin ex ante intenta dar informacin
sobre la eficacia de la poltica a implementar. Se trata de analizar y establecer si las soluciones propuestas
son adecuadas a la realidad que se pretende transformar, es decir, su coherencia interna, tanto en
trminos de recursos, objetivos, metas y actividades, como de factibilidad respecto de la disponibilidad de
recursos y condiciones para desarrollar las acciones. Este tipo de evaluaciones suelen realizarlas los
organismos financiadores para decidir la aprobacin de un proyecto. Es til tanto para mejorar las
condiciones y diseo de una poltica existente, como para descartar y elegir posibles intervenciones.

La evaluacin ex post se concentra en los resultados obtenidos para evaluar en qu medida se alcanzaron
los objetivos planteados, los efectos atribuibles a la poltica respecto de la situacin que se pretenda
modificar, tambin la identificacin delos factores concretos ajenos o propios que contribuyeron a producir
los resultados. Uno de los conceptos clave en este tipo de evaluacin es el de lnea de base, que sirve
para contrastar los resultados con la situacin inicial. Si bien toda metodologa de planificacin de
proyectos, programas o polticas incluyen la fase de diagnstico, no es habitual que este se piense y
realice teniendo en cuenta que la instrumentacin posterior de una evaluacin.

La evaluacin ex post busca argumentos slidos que indiquen la adecuacin o no de la poltica en

cuestin, una base slida sobre la cual tomar decisiones acerca de si conviene o no continuar o
profundizar esa lnea de poltica.

De acuerdo a la importancia que se le da a la evaluacin como herramienta fundamental del ciclo de

poltica pblica y de gestin, se incorpora un tercer tipo de evaluacin respecto de una perspectiva
temporal: la evaluacin intermedia. Su objetivo radica en medir el cumplimiento del proyecto en marcha,
contrastando con las condiciones y propuestas iniciales. Produce datos sobre la direccionalidad del
proyecto y los compara con las metas formuladas al inicio y las modificaciones que vayan surgiendo.
Puede efectuarse para detectar rpidamente las deficiencias y desvos, las fortalezas y las oportunidades.
As, este tipo de evaluacin suma una instancia adicional e informacin relevante para tomar decisiones
en medio de un proyecto en marcha, ya que permite corregir y minimizar los desvos.

23
4.3. Contenido de la evaluacin
Existen, en general, tres grandes criterios de clasificacin respecto de los temas o aspectos de una
intervencin a evaluar:

El primero se basa en las etapas del ciclo de un proyecto, programa o poltica:

Diseo y conceptualizacin (evaluacin de necesidades, evaluacin de contexto, evaluacin del

diseo y programacin).

Desarrollo o implementacin (estructura, organizacin, recursos humanos, materiales y

econmicos, procedimientos, actividades, etc.).

Resultados (efectos, impacto, rendimiento, etc.).

Este criterio prcticamente coincide con la clasificacin en funcin de los momentos de la evaluacin, solo
difiere en que pone el acento en los contenidos y no en el momento en que se evala.

El segundo alude a los componentes relevantes de la medida:

Evaluacin de insumos: tiene por objeto describir y analizar los recursos humanos, materiales y
financieros con que cuenta la intervencin y la forma en que dichos recursos son procesados de
acuerdo con criterios de relevancia, factibilidad y economa en su uso.

Evaluacin de procesos: estudia los medios procesales (actividades, procedimientos,

prestaciones) que se utilizan para llevar a cabo la medida, tanto en su diseo como en el modo en
el que este se implementa. Se trata de emitir un juicio acerca de la capacidad y las estrategias de
procesamiento de insumos del sistema.

Evaluacin de productos: analiza el logro de metas propuestas que se expresan en trminos de

productos esperados. Emite un juicio sobre los resultados obtenidos en trminos de productividad,
concepto que vincula los productos alcanzados con los insumos utilizados para el desarrollo de las
actividades.

El tercer criterio pone el nfasis en los atributos de los programas o de sus componentes:

Pertinencia: se refiere a la adecuacin de un programa o proyecto para satisfacer necesidades y

demandas o para resolver una situacin.

Idoneidad o suficiencia: se refiere a la capacidad de un programa o proyecto para contribuir a los

objetivos y metas programados.

24
 Eficacia y efectividad: se refieren a la capacidad de un programa o proyecto para alcanzar los
objetivos programados que, como se ha mencionado, no son sino la expresin de los resultados
buscados.

Estas clasificaciones y tipos de evaluacin enfocan aspectos similares que interesan al evaluador, pero
desde perspectivas diversas ya que, en realidad, estn iluminando aspectos diferentes y utilizan el
andamiaje metodolgico de la evaluacin para responder preguntas distintas.

Como se ha dicho, las dificultades que plantearon en la prctica de la evaluacin fueron, en definitiva, los
insumos que contribuyeron a la diversificacin de las prcticas y al enriquecimiento mismo de la
evaluacin. Asimismo, la incorporacin de distintas perspectivas y actores, como funcionarios,
legisladores, financiadores, comunidad, ampli el campo de estudio de la evaluacin y de los aspectos a
considerar. Se considera a la evaluacin no como algo dado, sino como algo perfectible, sujeto a la mejora
continua, como un proceso ms y con posibilidad de incorporar actores diversos vinculados al proceso. Si
bien la evaluacin se dispara por ciertas condiciones o exigencias, lo conceptual y lo metodolgico se van
modificando a fin de otorgarle una visin integral.

4.4. Propsito de la evaluacin

Dependiendo de la ndole de las decisiones que se espera tomar en el futuro en funcin de los resultados
de la evaluacin, podemos clasificar las evaluaciones en formativas, sumativas o de resumen, descriptivas
o explicativas.

La evaluacin formativa hace referencia a los enfoques cuyo objetivo principal es retroalimentar al
proyecto, programa y/o poltica evaluado para generar los ajustes necesarios. Busca mejorar una
intervencin en un momento determinado y para un grupo especfico de personas, particularmente
aquellas involucradas en su ejecucin, y brinda informacin til para ayudar a su mejora. En este sentido,
contribuye a la toma de decisiones acerca del desarrollo e implementacin de las intervenciones pblicas.

La evaluacin sumativa o de resumen se centra en el examen de los efectos de la poltica, programa y/o
proyecto sobre los resultados e intenta determinar, desde algn enfoque, la relacin de causalidad entre
ambos. Se emprende con el propsito de tener un juicio global sobre el valor de alguna intervencin o
accin humana (proyecto, programa, poltica o servicio). Debe producir informacin acerca de su
efectividad y de las condiciones en las que puede ser eficaz en otras situaciones, momentos o lugares.

La evaluacin descriptiva se refiere a los estudios que tienen por objetivo pronunciarse respecto del xito o
fracaso de la intervencin a partir de la descripcin cuantitativa o cualitativa de sus actividades, procesos o
resultados y de su comparacin con algn objetivo, meta o estndar preestablecido.

25
La evaluacin explicativa se propone identificar los factores que explican situaciones de xito o fracaso de
los objetivos de un programa. Construye esquemas interpretativos de la multiplicidad de causas e
interdependencia de efectos a partir de marcos conceptuales y tericos preexistentes o de la formulacin
de hiptesis a verificar.

26
CAPTULO 5. METODOLOGAS
Uno de los puntos de discusin del abordaje metodolgico se da en torno a la utilizacin de mtodos
cuantitativos o cualitativos. Esta distincin atraviesa el campo de las ciencias sociales y llega al campo de
la evaluacin, tanto en lo conceptual como en la prctica. Es as que los abordajes metodolgicos
utilizados se adjetivan directamente con el mtodo de investigacin aplicado, llamando evaluacin
cualitativa o evaluacin cuantitativa, respectivamente y segn corresponda.

5.1. Tcnicas cualitativas

Una evaluacin cualitativa intenta recuperar contextos y dimensiones humanas del objeto o fenmeno
evaluado. Se realiza generalmente en lugares reales o naturales, como escuelas o vecindarios. El
evaluador es el elemento principal de recoleccin de datos. Analiza, enfatiza, describe, muestra patrones
de conducta y significados de la poblacin evaluada. Se orienta en procesos sociales y no se concentra
solamente en los resultados. Utiliza mltiples tcnicas de recoleccin de datos ms o menos
estandarizadas, lenguaje cotidiano y un enfoque inductivo.

Algunas de las tcnicas ms utilizadas por el mtodo cualitativo son:

5.1.a. Entrevistas: es una conversacin profesional y orientada a obtener informacin sobre el tema a
investigar. Incluye entrevistas estructuradas, en las que el entrevistador se ajusta a un cuestionario, y
entrevistas semiestructuradas, en las que se sigue una gua de temas y el entrevistador puede ampliar
preguntas de la forma que crea conveniente para obtener informacin que considere necesaria. La
entrevista es una tcnica que permite obtener informacin diversa y tambin permite profundizar,
corroborar e interpretar datos obtenidos por otras tcnicas (observacin, estadstica, encuestas, etc.).
Puede existir un solo entrevistador y uno o varios entrevistados. Es recomendable el formato
semiestructurado, porque posibilita ir incorporando preguntas durante la entrevista, y tambin la grabacin
para registrar exactamente todas las respuestas y realizar posteriormente un informe sin perder tiempo en
anotaciones.

En general, hay dos tipos de entrevistas:

Entrevistas a informantes clave: un informante clave es el que puede hablar por un conjunto de
personas acerca del tema en cuestin. Es el caso de los tomadores de decisiones a nivel poltico,
responsables de programas, lderes, etc. Esta entrevista se realiza cuando se necesita la opinin
de una o pocas personas y no es conveniente su inclusin en una entrevista grupal. Adems, se
utiliza como complemento de la tcnica de encuestas a la poblacin y de datos obtenidos por otras
tcnicas secundarias de recoleccin. Es conveniente, de todas maneras, seguir una gua para
realizar una entrevista estructurada.

27
 Entrevista grupal: esta tcnica se utiliza para recolectar distintos puntos de vista de diferentes
actores a partir de una sola entrevista. Los entrevistados dan sus opiniones y juicios valorativos
acerca de los temas propuestos y son orientados por el entrevistador que modera el grupo.
Permite profundizar temas en forma rpida y con bajo costo. Adems permite la expresin de
individuos que no se pronunciaran en forma individual. Tambin puede ser complemento de
informacin obtenida por encuestas a la poblacin o de datos estadsticos del proyecto evaluado.

5.1.b. Observacin en terreno: es la observacin directa del fenmeno y de los aspectos, que permite
conocer, por ejemplo, comportamientos, ejecucin de obras, existencia y adecuacin de equipamiento
adquirido, de procedimientos institucionales e interacciones de los distintos actores. Se utilizan guas
orientadoras y se capacita a los observadores, debido a que los puntos de vista y los intereses modifican
las percepciones y conclusiones conceptuales sobre lo observado. Esta tcnica se utiliza
complementariamente de las encuestas y entrevistas. La informacin relevada a partir de una observacin
directa debe ser muy exhaustiva, detallada y descriptiva, de modo que pueda permitir a cualquier individuo
entender lo que el observador vio, tal como se le presentaron las cosas al observar.

5.1.c. Grupos focales: estudia las opiniones de un pblico reducido. Se trata de un grupo de entre 6 y 15
personas moderadas por un evaluador encargado de realizar las preguntas y estructurar la discusin. La
funcin del moderador se basa en procurar que la discusin no se aleje del tema de estudio, es decir, del
foco. La actitud de los participantes debe ser relajada y amena para poder responder y expresar sus
opiniones. La duracin de la reunin de los grupos focales es de alrededor de dos horas.

5.2. Tcnicas cuantitativas

Una evaluacin cuantitativa es afn a cierto paradigma positivista de las ciencias y se identifica con el
mtodo hipottico deductivo. Se basa en la verificacin de hiptesis concretas a travs de una prueba
emprica y busca explicaciones de los fenmenos desde un punto de vista objetivo del evaluador. Se
utilizan diseos experimentales o cuasiexperimentales y se pone especial importancia en la cuestin de la
estandarizacin de datos, precisin, objetividad y confiabilidad del mtodo de medicin, as como la
generalizacin de los resultados obtenidos o verificados. Obviamente, utiliza mtodos de anlisis
estadstico, usa y produce datos numricos adecuados a pruebas estadsticas.

5.2.a. Evaluacin de impacto

Las evaluaciones de impacto forman parte de un programa ms amplio de formulacin de polticas
basadas en evidencias (PBE). El enfoque de las PBE ayuda a las personas a tomar decisiones
informadas sobre polticas, programas y proyectos, al colocar la mejor evidencia posible de las

28
investigaciones en el centro del desarrollo e implementacin de las polticas (Davies, 2004: 3). Este
enfoque seala que las decisiones de poltica pblica deben estar basadas en la mejor evidencia
disponible. Es un cambio de perspectiva, de los insumos a los resultados, fundamentado en y orientado a
brindar informacin a los administradores de programas, que cada vez necesitan conocer los resultados
obtenidos para rendir cuentas, corregir u orientar las decisiones.

Usualmente, la evaluacin de polticas pblicas se ha focalizado en los insumos y productos, o sea, en los
recursos y en lo que el programa produce. Sin embargo, y a modo de ejemplo, el incremento en la
cantidad de policas en las calles no brinda demasiada informacin sobre el cambio en la tasa de delito.

Asimismo, la evaluacin de impacto puede presentar evidencias slidas sobre el desempeo del programa
y, lo que es fundamental, explicitar si el programa ha alcanzado los objetivos planteados esperados. Es
una evaluacin que se realiza ex post, es decir, a posteriori de la ejecucin del programa o poltica, debido
a que se necesita un plazo de tiempo determinado para que los impactos sean visibles. Adems, tiene un
alcance ms profundo que la evaluacin de resultados, ya que examina en qu medida la intervencin
gener efectos ms all de los resultados esperados. Busca determinar la capacidad de las medidas
instrumentadas en solucionar los problemas de la sociedad. Por ejemplo, un aumento del impuesto al
consumo de tabaco realmente promueve la disminucin del consumo de cigarrillos? La capacitacin de
posgrado aumenta el salario en el mediano plazo? En otras palabras, la evaluacin de impacto responder
sies un programa efectivo comparado con la ausencia del este.

En trminos ms precisos, y como define la Gua Metodolgica SINERGIA, la evaluacin de impacto

permite:

Atribuir impactos a un programa y examinar si est generando los efectos deseados.

Tener evidencia concluyente para la toma de decisiones de poltica, as como en la priorizacin y

justificacin en el uso de los recursos.

Estudiar aspectos de una intervencin para cambiar su diseo y mejorar su efectividad.

Comparar el impacto de un mismo proyecto, programa o poltica para diferentes tipos de poblacin
o diferentes contextos.

Identificar efectos no previstos en los beneficiarios, ya sean positivos o negativos.

Para lo cual responde, entre otras, a las siguientes preguntas:

Qu le habra pasado a los beneficiarios de la intervencin si la poltica, programa y/o proyecto

no hubiese existido?

Cunto de los efectos sobre los beneficiarios se le pueden atribuir a la medida y cunto a otros
factores?

29
 Qu tan efectiva fue la intervencin en lograr sus objetivos? Hubo cambios, y de qu magnitud,
en los problemas atacados por la poltica, programa y/o proyecto?

Se justifican los costos?

Se podra modificar el diseo de la poltica para mejorar sus efectos?

Hubo efectos inesperados?

Inferencia causal y la utilizacin de contrafactuales

La evaluacin de impacto busca responder una pregunta eminentemente de inferencia causal. Es decir, el
impacto de una intervencin (o tratamiento) sobre una serie de resultados, comparndola con la situacin
sin intervencin. Para intentar obtener este impacto, se tiene que comparar la situacin de un individuo
beneficiario del programa respecto la situacin del mismo individuo sin haber recibido el programa o
tratamiento. Entonces, para obtener el impacto de una intervencin, es necesario observar al individuo con
y sin tratamiento. Sin embargo, es imposible observar a una persona en dos estados diferentes. Este es el
principal problema de la construccin del contrafactual: cmo medir lo que hubiera prevalecido en otra
circunstancia?

En esta situacin se recurre al grupo de control. A travs de esta herramienta, la evaluacin de impacto
busca definir dos grupos de forma clara, de manera de poder comparar el grupo de tratamiento
(beneficiarios) con un grupo sin tratamiento (de control).

El grupo de tratamiento o beneficiarios de la intervencin son aquellas personas, hogares, instituciones o

algn tipo de colectivo que forman parte de la poblacin objetivo de la poltica pblica, programa o
proyecto a evaluar. En este grupo se espera que el programa genere un impacto.

El grupo sin tratamiento o de control es el grupo de personas, hogares, instituciones u otro colectivo que
no participan del programa, pero que, sin embargo, tienen todas las caractersticas como para poder
recibir el tratamiento. Por lo tanto, la nica diferencia con el primer grupo es el mismo tratamiento. De
alguna manera, indican qu habra ocurrido si el participante no hubiese formado parte del programa.

En trminos prcticos, puede resultar relativamente sencillo obtener el resultado del tratamiento sobre los
participantes del programa. Sin embargo, medir qu habra ocurrido si el participante no formaba parte del
programa es sustancialmente ms complicado. Para completar esta informacin, debe estimarse el grupo
contrafactual.

Estimacin del contrafactual

La evaluacin produce resultados fiables si el grupo de control es igual al grupo de tratamiento en todas
las caractersticas, tanto observables como no observables, salvo en una: su exposicin a la poltica,
programa o proyecto. De esta manera, cualquier diferencia entre los grupos luego de la intervencin se le
puede atribuir a esta, ya que en su ausencia los dos grupos seran iguales.

30
Si suponemos que la poltica, programa o proyecto debe tener un resultado sobre la variable Y, el impacto
de la intervencin puede expresarse en trminos de la diferencia entre dos nmeros:

I = Y1-Y0

donde Y1 es el resultado que se ha logrado con la intervencin, e Y0 es el resultado que se habra dado sin
la intervencin.

En trminos generales, Y1 es un valor relativamente fcil de estimar. Utilizando registros administrativos,

mediante una encuesta o con alguna otra tcnica de observacin, es posible estimar qu pas con el
resultado de la aplicacin de la poltica estudiada. Por ejemplo, en un programa de capacitacin de
jvenes, es sencillo conocer cuntos consiguieron empleo luego de participar en l.

Estimar Y0, en cambio, es ms complejo. Encontrar un contrafactual vlido no es una tarea fcil,
sencillamente porque el mundo no puede encontrarse en dos estados al mismo tiempo. Si el programa
comienza a ejecutarse, nunca se podr saber qu habra pasado si no se ejecutaba. Por lo tanto, si la
estimacin de Y1 surge de medida basada en una observacin de la realidad, Y0 siempre es una
declaracin hipottica de lo que suponemos hubiese ocurrido sin la implementacin de la poltica.

Grfico N 2

Fuente: elaboracin propia

El Grfico N 2 muestra el ejemplo de un programa de capacitacin laboral para facilitar la insercin

laboral de los jvenes. Se basa en que en ausencia del programa, la tasa de desempleo del grupo objetivo

31
hubiese continuado con su crecimiento natural. La lnea punteada indica la evolucin de la tasa de
desempleo del grupo de control luego de iniciarse las actividades del programa en 2013 que, en este caso
y a efectos prcticos, es creciente en el tiempo. Luego de 2013, la tasa de desempleo del grupo de
jvenes que formaron parte del programa, indicada con la lnea de trazo grueso, disminuy
sustancialmente respecto a la presente en 2013 y, lo central en este ejemplo, es menor que la que
presenta el grupo de control. Como se indic anteriormente, el impacto del programa, medido como Y1-
Y0, en este ejemplo es positivo.

Diseo del modelo de evaluacin

La evaluacin de impacto tiene que estar vinculada al contexto en el cual se desarrolla el programa a
evaluar, la forma de intervencin y los actores involucrados.

Los mtodos que se emplean en la evaluacin de impacto difieren entre s en funcin del procedimiento
utilizado para definir el grupo de individuos, que se denomina contrafactual.

Entre los mtodos cuantitativos, se encuentran los diseos experimentales, que se consideran la solucin
ptima, y los diseos cuasiexperimentales, que brinda resultados confiables dependiendo de la
metodologa aplicada.

Diseos experimentales

Este mtodo asigna aleatoriamente a la poblacin elegible al tratamiento. La asignacin aleatoria del
tratamiento se puede llevar a cabo, por ejemplo, mediante un sorteo en el que se elige quien participa del
programa entre una poblacin de individuos con igual derecho a participar. De esta forma, se logra obtener
una estimacin robusta del contrafactual.

Por medio de la asignacin aleatoria, se generan grupos de tratamiento y grupos de control en los que no
existen diferencias sistemticas en las caractersticas de ambos grupos previamente al inicio del programa
(Walkup, 1979). Por lo tanto, si luego de comenzar a ejecutar el programa se observa algn tipo de
resultado en el grupo de tratamiento, se deduce que solo se puede deber a la exposicin al tratamiento, ya
que los grupos eran idnticos y estaban expuestos a los mismos factores externos. De esta forma, se
puede confiar en que la diferencia en el resultado en ambos grupos se debe a la participacin del grupo de
tratamiento en el programa.

Diseos cuasiexperimentales

Este tipo de diseos de evaluacin de impacto se utiliza cuando no es posible generar un grupo de control
de manera aleatoria. La utilizacin de tcnicas estadsticas permite generar un grupo de control lo ms
similar posible al grupo de tratamiento en trminos de las caractersticas observables.

Por este motivo, los diseos cuasiexperimentales son menos robustos (la seleccin no es aleatoria),
generan sesgos (los grupos podran diferir por caractersticas no observadas), pero son ms flexibles (con
un adecuado diseo y buena informacin se obtienen resultados confiables).

32
Estos diseos son los generalmente usados en las evaluaciones de impacto realizadas en el sector
pblico.

Para el anlisis de datos, en los diseos cuasiexperimentales, se utilizan, principalmente, cuatro

aproximaciones:

mtodo de emparejamiento o correspondencia (matching).

mtodo de regresin discontinua.

mtodo de la doble diferencia (difference in difference).

mtodo de variables instrumentales.

5.3. Triangulacin
Una estrategia distinta que asegura el rigor y modera la cuestin de la subjetividad es la triangulacin.
Esta metodologa pretende utilizar distintas tcnicas y fuentes para evaluar los mismos fenmenos a
travs de operaciones convergentes y complementarias metodolgicamente. Una evaluacin por
triangulacin es, por ejemplo, la que pueda realizar un grupo en el que se cruzan los criterios y puntos de
vista de cada uno de los evaluadores. Con esto se adquiere una mayor confiabilidad en los datos
obtenidos, mejor comprensin de los fenmenos evaluados, se mitigan los sesgos y desvos de cada
tcnica independiente y se validan las conclusiones y apreciaciones de la evaluacin.

A modo de conclusin:
El xito y rigurosidad de una evaluacin no se limita a la eleccin de tcnicas o a determinar la
preponderancia de uno u otro mtodo (cualitativo o cuantitativo), sino que es el resultado de la calidad de
las decisiones y conductas que los evaluadores adoptan a lo largo de las diferentes etapas del proceso de
evaluacin:

definicin del problema a evaluar.

eleccin del marco conceptual.

hiptesis.

tcnicas a utilizar.

trabajo de campo.

procesamiento, anlisis e interpretacin de datos y resultados.

33
Todas estas decisiones tienen peso e influyen en la rigurosidad de los juicios realizados, de las
aceptaciones o rechazos de las hiptesis de trabajo, de la comprensin del objeto evaluado y, finalmente,
de las posibilidades reales de intervencin que permita modificar la situacin evaluada.

Evaluacin Cuantitativa Evaluacin Cualitativa

Paradigma Positivista/Emprico Paradigma Fenomenolgico/Constructivista

Predominio de la deduccin Predominio de la induccin, comprensin e

interpretacin

Diseos experimentales o Investigacin naturalista

cuasiexperimentales

Perspectiva desde afuera Perspectiva desde adentro

(Punto de vista del observador) (Punto de vista de los actores)

Lenguaje numrico Lenguaje verbal

nfasis en aspectos objetivos, observables, nfasis en aspectos subjetivos: comprensin de

cuantificables actitudes, conductas, valores y motivaciones
internas

Anlisis estadstico Anlisis de contenido, estudio de casos

Resultados generalizables Resultados limitados en su generalizacin

Fuente: elaboracin propia

34
CAPTULO 6. ETAPAS DE LA EVALUACIN
Es importante que el proceso de una evaluacin se planifique de una manera integral. Como se observa
en la ilustracin, dicho proceso consiste bsicamente en cuatros etapas: 1) planificacin de la evaluacin,
2) implementacin del estudio evaluativo, 3) utilizacin y difusin de resultados de la evaluacin, y 4)
comunicacin de la evaluacin (transversal).

Grfico N. 3. Etapas de la evaluacin

Etapa I: Planificacin de Etapa III: Utilizacin de

Etapa II: Implementacin
la evaluacin resultados y difusin

Identificacin de la Seleccionar los evaluadores Plantear la comunicacin: Qu

intervencin a evaluar y
actores a involucrar. Anlisis
de viabilidad de la evaluacin
Diseo de la evaluacin y de
las estrategias de
implementacin
Presupuesto y cronograma
Formulacin de Trminos de
Referencia - TdR- (caso de
evaluacin extrena o mixta)
(caso evaluacin externa o
mixta)
Revisin del Plan de Trabajo y
entregables
Desarrollo del estudio de
evaluacin: recogida de los
datos/informacin. Trabajo de
campo, etc.
Anlisis de resultados
Redaccin de Informes de
avance y finales
voy a comunicar? A quin y
cmo voy a comunicar los
resultados?
Difusin de resultados
Compartir la experiencia
adquirida
Acordar cambios a realizar a
partir de los resultados de la
evaluacin
Informe de seguimiento de
recomendaciones

Etapa IV (transversal): Comunicacin

Fuente: elaboracin propia

5
A continuacin se profundiza el anlisis de cada etapa .

5
Esta seccin se realiza sobre la base de los siguientes Manuales: Sistema Nacional de Evaluacin-SINE (2012). Manual
Gerencial para el Diseo y Ejecucin de Evaluaciones Estratgicas de Gobierno. -Costa Rica; Gobierno Vasco. (2013). Gua de
Evaluacin de Polticas Pblicas del Gobierno Vasco. Direccin de Coordinacin y Direccin de Innovacin y Administracin
Electrnica de la Presidencia del Gobierno Vasco.
35
6.1. Planificacin de la evaluacin
Diversas actividades estn involucradas en el proceso de planificacin de la evaluacin (ver ilustracin).

Grfico N. 4. Actividades de la planificacin de la evaluacin

1. Identificar la
intervencin a evaluar.
6. Definir la logistica,
Involucrar a los actores.
costos, cronograma y
Discutir escenarios de
canales de comunicacin
utilidad de la evaluacin y
el papel del evaluador

5. Definir procedimientos
2. Describir la intervencin
ticos y otros que
y los propsitos de la
garanticen la calidad de la
evaluacin
evaluacin

3. Preguntas evaluativas,
4. Definir y disear las
abordaje de la evaluacin
dimensiones, los
y definir patrones de
instrumentos e indicadores
juzgamiento

Fuente: elaboracin propia

Bsicamente, el inicio de todo proceso evaluativo tiene lugar en el momento del diseo de la poltica,
programa o proyecto. No obstante, sabemos bien que no siempre es esta la pauta en las administraciones
pblicas de inicios del siglo XXI. Esto no quita que los procesos evaluativos sean susceptibles de ser
llevados a cabo en cualquier momento del desarrollo de la poltica. Por el contrario, debe promoverse
continuamente su desarrollo, ms all de lo considerado ideal.

En este sentido, el desarrollo de una evaluacin puede iniciarse cuando se avanza en la identificacin de
la intervencin a evaluar en un rea y/o ministerio, sea del mbito nacional, provincial o municipal. En
dicho momento es fundamental considerar la viabilidad de evaluacin de la poltica, programa y/o proyecto
en sus diversos sentidos poltica, presupuestaria, familiarizarse con la intervencin a evaluar,
promover diversas acciones para que sea susceptible de realizarse, identificar los actores a involucrar, as
como definir qu se espera de la evaluacin, entre otras acciones. A partir de all o tambin en el caso que
se est diseando la poltica, programa y/o proyecto, se inicia el proceso de planificacin de la evaluacin.

El diseo de la evaluacin conlleva dar respuesta a una serie de preguntas clave.

36
 Al momento de diseo de la poltica, las principales preguntas son:
Por qu evaluar? Qu va a ser evaluado y qu informacin queremos obtener?
Cmo se va a evaluar? Quin va a evaluar? Qu tcnicas se adaptan a
nuestro modelo de evaluacin? Para quin se evala? Qu recursos
econmicos, humanos y logsticos requiere la evaluacin? Cundo se evala?

A continuacin se desarrollan estos aspectos.

Por qu evaluar? Definir la motivacin en el diseo implica identificar los propsitos, funciones y utilidad
relacionados con la evaluacin. En este momento, deben atenderse las motivaciones de todos los
destinatarios de la evaluacin, considerando que un proceso evaluativo puede dar respuesta a mltiples y
complejas finalidades. Los motivos que pueden promover la evaluacin de una poltica pblica son
diversos, como la necesidad de disponer de informacin sobre los resultados alcanzados, el cumplimiento
de la obligacin de evaluar, la voluntad de mejora de los procesos de planificacin, el planteamiento de
continuidad de una poltica pblica, entre otros.

Es necesario comprender claramente qu justifica la evaluacin, dado que este aspecto es fundamental
para delimitar el alcance de los trabajos de evaluacin. Dar respuesta a esta cuestin de partida conlleva
identificar el punto de partida de la evaluacin, conocer los propsitos generales de la evaluacin y definir
los usos y usuarios de la evaluacin.

Qu va a ser evaluado? Qu informacin queremos obtener? Quines son los destinatarios de la

evaluacin? Esta fase del diseo comprende los siguientes pasos:

Definir el objeto de evaluacin. Se va evaluar una poltica, un programa, un proyecto, etc.? En

qu nivel de actuacin? En qu contexto organizacional? En los procesos de trabajo? En los
efectos? Cules efectos? Cules son las teoras que sustentan la intervencin?
Identificar los actores clave, aclarar cules son los intereses puestos en la evaluacin y para quin
se evala. Una evaluacin puede tener diversos destinatarios. Este aspecto debe tenerse en
cuenta en el diseo de la evaluacin, conocer las expectativas de los distintos actores implicados
respecto a los futuros resultados de la evaluacin, sus necesidades, as como las diferentes
consideraciones sobre la didctica a emplear para transmitir la informacin generada. Es
importante delimitar formalmente quines son los destinatarios de la evaluacin, establecer en qu
forma es ms adecuada presentar la informacin obtenida y plantear como se va a hacer entrega
de la informacin obtenida.
Definir los objetivos de evaluacin a travs de las motivaciones de los actores clave.
Establecer la cobertura de la evaluacin, el perodo y las preguntas de evaluacin.
Acotar las preguntas de evaluacin y priorizar las preguntas de evaluacin clave.
37
Todos estos aspectos debern definirse entre los distintos actores involucrados. Quienes solicitan la
evaluacin podrn hacer sugerencias para tratar cuestiones o temas de evaluacin de especial inters o
relevancia para ellos.

Cmo se va a evaluar y qu necesitamos? En esta etapa se debe escoger el tipo de evaluacin entre las
posibilidades existentes. La eleccin viene determinada por el contexto, el momento, la disponibilidad
presupuestaria, etc. Tambin es importante tener en cuenta el objeto, los objetivos, los destinatarios y las
preguntas de evaluacin que se hayan establecido.

Esta fase conlleva:

1. Determinar el tipo de evaluacin que se va a ejecutar.

2. Definir quin va a evaluar.

3. Especificar tcnicas, herramientas, etc.

4. Definir los criterios de evaluacin.

5. Realizar un presupuesto del costo estimado de la evaluacin, recursos humanos y logsticos necesarios.

6. Determinar los plazos en los que se va a desarrollar la evaluacin.

Es importante considerar la viabilidad de la evaluacin. Atender a que las limitaciones de informacin,

tiempo y presupuesto pueden influir en la delimitacin del alcance de la evaluacin. En estos casos,
centrar la evaluacin en los aspectos de las polticas pblicas donde existe mayor necesidad de obtencin
de informacin o hacia las intervenciones en las que se prev una necesidad prxima de toma de
decisiones polticas.

38
Estos aspectos involucran dar respuesta a los siguientes interrogantes:

Quin va a evaluar?

A menudo, se plantea la necesidad de decidir si la evaluacin la realizar

una unidad de evaluacin interna o un evaluador externo. Hay ventajas y
desventajas asociadas a ambos enfoques. En el caso de un equipo externo
es recomendable nombrar un comit de seleccin para analizar y valorar las
diferentes propuestas recibidas. Para su determinacin es conveniente
establecer un catlogo de los recursos propios disponibles, valorar la
necesidad de contar con personal externo, decidir la composicin del equipo
de evaluacin, entre otros aspectos.

Qu tcnicas se adaptan a nuestro modelo de

evaluacin?

En funcin del tipo de evaluacin se definen las tcnicas y herramientas que

van a utilizarse para recoger y analizar la informacin. Para decidir el tipo de
tcnicas y herramientas es necesario plantear las posibles tcnicas a utilizar
segn la disposicin de informacin previa, determinar las tcnicas y
herramientas necesarias para conseguir la informacin esperada, delimitar
las tcnicas y herramientas que se van a utilizar, definir la matriz evaluativa:
dimensiones, indicadores, etc.

Qu recursos econmicos, humanos y logsticos se

requieren?

La planificacin es incompleta si no se detalla y dimensiona el presupuesto

requerido, los perfiles de los recursos humanos necesarios para efectuar la
evaluacin, as como otras necesidades de carcter logstico.

Cundo se evala?

El diseo de la evaluacin debe contemplar una previsin de cundo se van

a realizar las distintas tareas implcitas en la evaluacin. Aunque el
cronograma definitivo se establece en la elaboracin del Plan de Trabajo
junto con el equipo de evaluacin, en esta fase inicial se tendrn en cuenta
los plazos ms relevantes. Hay que establecer un cronograma inicial en el
cual se detecten los principales hitos y el responsable de cada proceso.

6.2. Implementacin
Una vez diseada la evaluacin, la siguiente etapa corresponde al desarrollo del estudio de evaluacin. El
rol y tareas a realizar por la institucin pblica promotora de la evaluacin diferirn segn se trate de una
evaluacin interna, externa o mixta. Ms all de ello, las tareas que debe realizar como gestor de la
evaluacin se pueden dividir en dos etapas: 1) establecer el Plan de Trabajo definitivo; 2) supervisar su
puesta en prctica y/o ejecutarla.
39
En este momento, podr acotarse en mayor grado la planificacin que se va a llevar a cabo para el
desarrollo del estudio de evaluacin.

En caso de ser una evaluacin externa y/o mixta, en esta instancia se incorpora el equipo de evaluacin
seleccionado. Se revisa, de forma conjunta entre los evaluadores seleccionados y funcionarios, el diseo
de la evaluacin, actualizando los aspectos que puedan sufrir alguna variacin o que no tenan el grado de
desarrollo oportuno. Tambin, se revisa el plan de trabajo. Bsicamente, se volvern a considerar los
siguientes aspectos: alcance de la evaluacin, eleccin de tcnicas y herramientas segn el modelo
metodolgico del equipo evaluador, modificacin de la planificacin temporal inicialmente prevista,
determinacin de los entregables y establecimiento de fechas de entrega.

A continuacin, se presenta una propuesta de estructura de un modelo de Plan de Trabajo, en el que se

incluyen ejemplos de los entregables a elaborar:

Introduccin: Presentacin del proyecto de evaluacin. Organizacin y lanzamiento.

Texto principal: Anlisis: objetivos principales, herramientas principales a utilizar, actores implicados,
etc. Diseo y elaboracin del Plan. Modelo de ejecucin. Control y seguimiento. Asesoramiento y
apoyo.
Documentacin a desarrollar | entregables: Informe de diagnstico. Informe de seleccin del equipo de
evaluacin. Plan de Comunicacin. Informes intermedios de evaluacin. Informe final de evaluacin.
Material de difusin. Programa de mejora.
Anexos: Documentos utilizados. Trminos de referencia.

Una vez concretado el Plan de Trabajo, se desarrollar el estudio de evaluacin segn el cronograma
previsto y las tareas asignadas a los agentes involucrados en esta etapa. Aqu lo central es gestionar la
evaluacin, lo que implica garantizar que esta se realice bajo los principios de la eficacia y la eficiencia.

Hay funciones de gestin bsicas atribuidas al personal evaluador y al personal gestor de la evaluacin:

Personal evaluador: Anlisis documental anterior al trabajo de campo: anlisis de fuentes primarias y
de fuentes secundarias. Realizacin del sistema de indicadores. Diseo de herramientas y tcnicas
para la recogida de datos. Recogida de datos. Anlisis y tratamiento de la informacin recogida.
Retorno de la informacin recopilada.
Personal gestor: Garantizar la funcionalidad de la evaluacin. Acordar con el equipo de evaluacin la
actualizacin del diseo de la evaluacin para concretarla en el Plan de Trabajo y supervisar su
ejecucin. Recoger y revisar la calidad de los resultados parciales y finales de la evaluacin. Asesorar
al equipo de evaluacin. Representar los intereses de los distintos agentes implicados en el proceso
de evaluacin. Comunicar los resultados y conclusiones.

40
6.3. Garantizando la utilizacin de los resultados y difusin
El proceso de la evaluacin no termina con la entrega de un informe de evaluacin. La mera existencia de
recomendaciones puntuales derivadas de una evaluacin no significa que sern utilizadas por la poltica,
programa y/o proyecto. Existe una larga serie de obstculos para convertir los resultados de una
evaluacin en acciones de mejora en los programas de gobierno. En este sentido, es importante
considerar cules sern las estrategias para garantizar el uso y difusin de los resultados de la evaluacin.

Existen distintas herramientas y es necesario establecer:

Programa de mejora/Acuerdo de compromisos de mejora: al finalizar la evaluacin, es recomendable

incluir compromisos de mejora derivados de informes y evaluaciones.
Mecanismo para el seguimiento a los aspectos susceptibles de mejora.
Premios: algunas instituciones estatales convocan a Premios para los programas comprometidos con
el proceso de evaluacin y apuntan a valorar el compromiso de las reas del Estado con el uso de la
evaluacin.
Comunicacin de resultados a los distintos destinatarios y a travs de diversos soportes/medios:

Intereses segn tipo de destinatario:

o Cargos polticos: depositan su inters en la informacin sobre los resultados de la intervencin

que puedan ayudarlos a tomar futuras decisiones y orientar sus decisiones estratgicas.
o Planificadores: necesitan informacin general sobre las fortalezas y debilidades del diseo.
o Gestores: la evaluacin les permite establecer nuevos mecanismos de mejora de la gestin
del proyecto, programa o poltica pblica.
o Destinatarios de las intervenciones: la evaluacin incrementa la transparencia de la gestin y
reciben la devolucin de su posible participacin en el proceso evaluativo.

41
 Soportes y canales de comunicacin:

o Publicaciones: folletos, cartas, boletines de noticias, revistas, libros, informes, etc.

o Seminarios o jornadas: la comunicacin oral es especialmente til para presentar los
resultados a determinados receptores. Este medio se puede utilizar en cualquier momento de
la evaluacin y puede servir para transmitir los resultados a los actores que disponen de
tiempo limitado para leer un informe extenso.
o Reuniones de trabajo o talleres: la presentacin de resultados puede ofrecer una perspectiva
metodolgica participativa, este tipo de presentacin de resultados es eficaz cuando se
requiere una dimensin altamente pedaggica.
o Informacin a travs de las TIC: las nuevas tecnologas son canales de gran capacidad de
difusin y de costo reducido que pueden servir para informar y comunicar resultados.

6.4. Comunicacin
La comunicacin es transversal a este proceso. El planteamiento de la comunicacin en un proceso
evaluativo es especialmente importante, por lo cual toda evaluacin debe incluir un Plan de Comunicacin
que proporcione la satisfaccin de todas las demandas de informacin surgidas durante el proceso de
evaluacin.

Consideraciones que deben tenerse en cuenta para la elaboracin de un Plan de

Comunicacin:

Cul es el objetivo principal del Plan de Comunicacin? Qu alcance va a tener?

Qu informacin se va a transmitir y quines son los receptores de la informacin?
Qu soportes y canales se pueden utilizar? Qu vamos a comunicar en cada
momento?

El Plan de Comunicacin estar orientado a difundir, de forma clara y ordenada, la informacin ms

relevante referente a la evaluacin. Un Plan de Comunicacin no solo incluye la comunicacin de
resultados, sino que enfatizar las informaciones que deban trasladarse durante las distintas etapas de la
evaluacin.

Es necesario delimitar el alcance del Plan de Comunicacin. Para ello debe atenderse a tres tipos de
comunicaciones diferenciales segn los destinatarios :

42
 1. Comunicacin interna: se dan a conocer los objetivos y la motivacin de la evaluacin a los
participantes para promover su participacin.
2. Comunicacin externa: se dan a conocer los objetivos y la motivacin para la realizacin de la
evaluacin a los principales usuarios y beneficiarios de la intervencin.
3. Relaciones institucionales: se dan a conocer los objetivos y la motivacin para la realizacin
de la evaluacin a otros sectores de la Administracin Pblica y a la opinin pblica en
general, a fin de crear el reconocimiento y valoracin del trabajo realizado.

Es necesario definir claramente qu se quiere comunicar a los diversos pblicos objetivos del proyecto,
programa o poltica. Aunque algunos de los mensajes no se podrn establecer hasta la obtencin de los
resultados de la evaluacin, puede ser conveniente saber en qu momento y cmo se van a comunicar los
resultados. Sin duda, la comunicacin de estos mensajes estar en relacin con quines sern los
receptores de dicha informacin. En este sentido, hay que identificar quines sern los receptores. En la
evaluacin de polticas pblicas, se identificarn los siguientes receptores de informacin claves: cargos
polticos, planificadores, gestores, destinatarios de la poltica, en el mbito nacional, provincial y/o
municipal.

Seguidamente, segn quines sean los receptores claves de la informacin generada, se definen y eligen
cules sern los soportes y canales a utilizar. La planificacin de este aspecto conlleva identificar los
canales y mensajes necesarios con relacin al pblico objetivo de la evaluacin. A continuacin, se incluye
una breve referencia de posibles soportes y canales para la informacin:

Publicaciones: folletos, cartas, boletines de noticias, revistas, informes, etc.

Seminarios o jornadas.
Reuniones de trabajo o talleres.
Informacin a travs de las TIC.

Otro aspecto centrar es planificar qu vamos a comunicar en cada momento. Basado en la informacin
analizada, debe establecerse un plan detallado para cada uno de los mensajes, destinatarios y canales
que se utilizarn en el Plan de Comunicacin. De forma general, se deber elaborar un calendario con las
actividades comunicativas a transmitir en cada una de estas tres fases:

Fase 1: Difusin inicial del propsito de evaluacin corresponde a la difusin inicial de la

evaluacin, se da a conocer a los actores implicados el inicio del proceso de evaluacin por medio
de los procedimientos de comunicacin interna establecidos.
Fase 2: Ejecucin y seguimiento de la evaluacin dirigida a la comunicacin de los resultados
intermedios y del estado de ejecucin de los trabajos. Se trata de un proceso de comunicacin
interna.
Fase 3: Comunicacin de resultados y de las conclusiones obtenidas a travs de la informacin.
Se trata de un proceso de comunicacin interna y externa.

43
BIBLIOGRAFA
- AEVAL (2010). Fundamentos de evaluacin de polticas pblicas. Madrid: AEVAL. En lnea.
- Alkin, M., (ed.) (2004). Evaluation Roots: Tracing Theorists Views and Influences, Thousand Oaks,
California: Sage.

- Catalunia, Espaa, Institut Catala dAvaluaci de Poltiques Pbliques. (2009). Gua Prctica 5
Evaluacin de Impacto, Coleccin Ivalua de guas prcticas sobre evaluacin de polticas pblicas.
Recuperado de www.observatorio.pt/download.php?id=567 .
- Colombia, Departamento Nacional de Planeamiento (2012). Gua Metodolgica SINERGIA. Gua para
la evaluacin de polticas pblicas. Recuperado de
https://sinergia.dnp.gov.co/Sinergia/Archivos/c40a73d3-baf9-4a26-8aad-
81e3baa23bf5/Gu%C3%ADas%20Tipos%20de%20Evaluaci%C3%B3n.pdf
- Duflo, E., Glennerster, R., and Kremer, M. (2007). "Using Randomization in Development Economics
Research: A Toolkit." Handbook of Development Economics.
- Gertler, P., Martinez, S., Premand, P., Rawlings, L. y Vermeersch, C. (2011). La evaluacin de impacto
en la prctica. World Bank
- Imbens, G.and Lemieux, T. (2008). "Regression Discontinuity Designs: A Guide to Practice." Journal of
Econometrics.
- Imbens, G., and Wooldridge, J. (2009). "Recent Developments in the Econometrics of Program
Evaluation." Journal of Economic Literature.
- Nirenberg, O.; Brawerman, J. y Ruiz, V. (2000). Evaluar para la Transformacin: innovaciones en la
evaluacin de programas y proyectos sociales. Vol. 8. Buenos Aires: Editorial Paids.
- OCDE (Organizacin para la Cooperacin y el Desarrollo Econmicos) (2002). Glosario de trminos
sobre evaluacin y gestin de la Organizacin para la Cooperacin y el Desarrollo Econmicos. Pars:
OCDE.
- Real Academia de la Lengua (1992). Diccionario de la Lengua Espaola, 21a. edicin, Madrid: Espasa
Calpe, S.A.
- Sistema Nacional de Evaluacin- SINE - Costa Rica (2012). Manual Gerencial para el Diseo y
Ejecucin de Evaluaciones Estratgicas de Gobierno. Sistema Nacional de Evaluacin- SINE - Costa
Rica Ministerio de Planificacin Nacional y Poltica Econmica- rea de Evaluacin y Seguimiento:
Costa Rica.
- Tamayo Saez, M. (1997). El Anlisis de las Polticas Pblicas. En Ban R. y Carrillo E. (comps). La
Nueva Administracin Pblica. Madrid: Alianza Universidad Textos.
- Walkup, D. W. (1979). On the expected value of a random assignment problem. SIAM Journal on
Computing.

44