Cardona-Rivas, Dora. Tendencias y Fundamentos en la Evaluacin de Polticas Pblicas.
Curso Polticas Pblicas y Salud. Facultad Nacional de Salud Pblica. Universidad de Antioquia. Medelln, 2011.
___________________________________________________________________
Tendencias y Fundamen-
tos en la Evaluacin de
Polticas Pblicas
Dora Cardona Rivas
Universidad Autnoma de Manizales
No hay un factor que con mayor fuerza afecte
el curso del desarrollo de un pas que la
calidad de su gobernanza. Donde el gobierno es
abierto, responsable y eficaz, y
donde la poltica pblica promueve la innova-
cin y la equidad en una economa viva, el
desarrollo tiene mayor probabilidad de servir a
los intereses del pueblo. Informar a la buena
gobernanza describe esta urgente objetivo de
desarrollo de la investigacin para descubrir,
reunir y comunicar el conocimiento
necesarios para el desarrollo sostenible y de-
mocrtico
(Carol Weiss IDRC, 2009).
Introduccin.
En este captulo se presentaran las pers-
pectivas de anlisis y evaluacin de polti-
cas pblicas, pero, antes de su exposicin
es importante anotar que dado que las
polticas, finalmente, se operativizan en
planes y programas en varios momentos,
al nombrarlas, lo haremos utilizando las
siglas de Polticas/Planes/Programas (PPP).
Hecha esta precisin entremos en materia.
A lo largo de los aos el anlisis/evaluacin
de una PPP ha sido considerado (a), de
alguna manera punitiva en tanto su fun-
cin ha sido sancionatoria, realizada por
imposicin, amenazante y poco til para la
toma de decisiones sobre la continuidad o
no de un PPP. Este es el primer obstculo a
superar ya que la evaluacin, como la en-
tendemos hoy, es un proceso de aprendi-
zaje orientado a la toma de decisiones de-
bidamente informadas, en tanto las polti-
cas pblicas se entienden como un conjun-
to de lineamientos, programas y activida-
des que el Estado -en relacin con otros
actores sociales- a travs del gobierno y la
administracin, disea e implementa, con
el propsito de satisfacer necesidades so-
ciales determinadas
Sin embargo la evaluacin de polticas,
demandada con mucha fuerza hoy por
parte de los actores sociales, se relaciona
con las maneras como ha sido conceptuali-
zada la evaluacin, como ha evolucionado.
Por esa razn se incluirn aspectos relati-
vos a los conceptos de evaluacin, a su uso
y a los tipos de evaluacin ms reconocidos
en el campo de las polticas, los planes y
programas.
1 Antecedentes
1.1 Conceptos de evaluacin y utilidad
de la evaluacin
La nocin de evaluacin tiene una larga
historia y ha sido definida y comprendida
de diversas maneras. Ha sido sinnimo de
pruebas, descripciones, documentos de-
pendiendo del campo de conocimiento y
accin, siendo ms reconocida en el campo
de la educacin. Sin embargo en las lti-
mas dcadas ha ganado en importancia al
ser considerada como un proceso orienta-
do a la generacin de conocimiento con el
propsito de fortalecer la toma de decisio-
nes informadas. Por ejemplo: para la edu-
cacin de acuerdo con el JOIN Commitee
on Standards for Educational Evaluation
(1994) 1 la evaluacin: es una investiga-
cin sistemtica del valor o mrito de un
objeto: procedimiento, proceso, proyecto,
producto (subrayado en el original) que
tiene como propsito proveer informa-
cin y especialmente argumentos para la
toma de decisiones.
Par la OCDE (1998) es una valoracin sis-
temtica y objetiva de polticas, planes y
programas e incluye su diseo, implemen-
tacin y resultados. En Rossi (1999) la eva-
luacin usa procedimientos cientficos para
sistemticamente investigar la efectividad
de las Polticas, Planes y Programas (PPP).
Refirindose a la planificacin sanitaria,
Pineault (2001) la presenta como un proce-
so que se realiza antes, durante y despus
de realizar la planificacin y su operaciona-
lizacin en planes de desarrollo y progra-
mas. Para la UNESCO (2007) la evaluacin
es un proceso sistemtico y objetivo que
hace parte de una poltica.
Estos conceptos permiten sealar que la
evaluacin de polticas es un proceso inhe-
rente a la poltica misma como parte del
ciclo de la poltica, es decir que hace parte
de todo el proceso que va desde el diag-
nstico de la situacin problemtica que se
pretende resolver con la poltica e incluye
el anlisis interno de su formulacin, sus
enunciados, actores, estructuras, procesos
de implementacin, seguimiento, monito-
reo y valoracin. Su caracterstica es ser
sistemtica y usar procedimientos cientfi-
cos para establecer, segn niveles, los re-
sultados y efectos de al poltica.
1
Frechtling, J. The 2002 User Friendly Hand-
book for Project Evaluation. The National Sci-
ence Foundation. Directorate for Education &
Human Resources. Division of Research, Eval-
uation, and Communication, 2002
En cuanto a los objetivos de la evaluacin,
segn alcance, se han referido a la descrip-
cin de los procesos de formulacin de las
polticas; la explicacin y comprensin de
los logros de las polticas con un objetivo
evidente: proveer informacin til y creble
para incorporarla a la toma de decisio-
nes(OECD); estudiar y comprender la con-
ceptualizacin, el diagnstico, el diseo, la
administracin y los resultados como en
Rossi y proveer informacin sobre la rele-
vancia, la eficiencia, la efectividad, el im-
pacto y la sostenibilidad de las intervencio-
nes segn lo plantea la UNESCO.
Aspecto importante a resaltar es que los
resultados de la evaluacin estn debida-
mente argumentados y ser lo suficiente-
mente crebles como para influir en la to-
ma de decisiones de los diferentes actores,
sobre la base de las lecciones aprendidas.
Y eso porque la evaluacin de las polticas
es de hecho un proceso poltico tal como lo
es el proceso de formular las polticas, su
desarrollo y difusin a travs del uso del
poder.
Respecto a la utilidad de la evaluacin en
general, Segone2, seala que la evaluacin
contribuye a:
La resolucin de problemas y toma de
decisiones. La evaluacin es una exce-
lente herramienta de gestin en tanto
genera conocimiento para entender
por qu un PPP, logr o no logro sus
objetivos y porqu. Los datos y la in-
formacin recopilada son fundamenta-
les para poner de relieve los puntos cr-
ticos del proceso que pueden afectar
negativamente la poltica/ plan/ pro-
grama/ proyecto, su rendimiento y en
consecuencias los resultados de su im-
plementacin.
La rendicin de cuentas y la excelen-
cia. El objetivo de la rendicin de cuen-
tas consiste en detectar problemas y
2
Segone, M. The oversight and M&E function.
Evaluation working papers. Unicef Regional
Office for CEE/CIS and IPEN ISSUE 2005 no 5
(2006) New Trends in Development Evaluation
 proponer soluciones para mejorar la
relacin eficiencia, eficacia, pertinencia
y sostenibilidad. Para OCDE se trata
de la obligacin de demostrar que se
ha efectuado el trabajo cumpliendo con
las reglas y normas acordadas o de de-
clarar de manera precisa e imparcial
los resultados obtenidos en compara-
cin con las funciones y/o planes en-
comendados (13)3.
La construccin de conocimiento y
creacin de capacidad. A partir de los
dos principales objetivos de la evalua-
cin: 1) la produccin de conocimiento
que se puede utilizar en la toma de de-
cisiones estratgicas y planificacin, y,
2) el fortalecimiento de la capacidad de
evaluacin a travs del proceso evalua-
tivo, el principal resultado es extraer
las lecciones aprendidas de la expe-
riencia de tal manera que puedan ser
utilizados, no slo para resolver los
problemas de la intervencin (PPP)
evaluada, sino tambin para mejorar el
rendimiento de proyectos similares y
aportar insumos para planificaciones
futuras.
El aprendizaje organizacional, el cam-
bio, y la planificacin estratgica. Tan-
to la evaluacin como una funcin de
aprendizaje de la organizacin como la
planificacin estratgica que esta favo-
rece est siendo aceptada tanto a nivel
de agencias de desarrollo como en el
nivel acadmico, segn lo expresado
por Segone citando a Preskill y Torres,
1997; Lysyk, 1997; Cousins, 1995.
La Promocin, recaudacin de fondos
y estrategias de comunicacin. Los re-
sultados de la evaluacin se pueden
utilizar para fortalecer la posicin de
una organizacin respecto de sus es-
trategias, resultados, impactos, uso de
recursos y comunicacin eficaz del
mensaje de la organizacin
3
OECD- Development Assistance Comittee
(DAC). Glosario de los principales trminos
sobre evaluacin y gestin basada en resultados.
www.oecd.org/dac/evaluation.
Pero aceptar la evaluacin no es proceso
ingenuo y espontneo que emerge natu-
ralmente, es tambin un proceso poltico,
que exige la consideracin de criterios im-
portantes que tienen que ver con la fun-
cin de las polticas. De ese tema habla-
remos a continuacin.
1.2 Origen y Enfoques de la Evaluacin de
las Polticas Pblicas
La formulacin y diseo de polticas que
respondan a las necesidades de los pueblos
ha sido una preocupacin central a nivel
internacional y nacional en las ltimas d-
cadas y ello porque a principios del siglo XX
se plante la idea de que el gobierno po-
dra resolver problemas sociales concretos
a travs de polticas pblicas. Y es en res-
puesta a esa preocupacin que el anlisis
y/o evaluacin de polticas pblicas cuenta
hoy con un espacio importante en la medi-
da que estas se estn empezando a posi-
cionar como instrumentos que proveen
informacin acerca de la pertinencia, rele-
vancia, eficiencia y valor de las polticas
pblicas para resolver los problemas de la
sociedad.
Dicho anlisis se empieza a dar, a partir de
la obra de Harold Lasswell, (publicada en
1951). La disciplina de las ciencias polticas
comenz a ocuparse de explicar los proce-
sos de formulacin y ejecucin de las pol-
ticas, aportando la informacin (cuantitati-
va y cualitativa) necesaria para abordar la
problemtica. Para Lasswell, es propsito
de las ciencias polticas pblicas alcanzar
la dignidad humana y segn Parsons (2007)
el analista de polticas, debe generar la
informacin adecuada sobre los problemas
fundamentales de la sociedad.
Cuadro 1. Variedades de anlisis de polticas pblicas

1. Anlisis de las polticas 2. Anlisis para las polticas 3. Anlisis en el proceso de

pblicas polticas pblicas
1.1 Anlisis de determinacin 2.1 Informacin para las pol- 3.1 Diseo y gestin de pol-
de las polticas pblicas (qu, ticas pblicas: a los fines de ticas: introduccin de herra-
para quin, cmo, cuando, alimentar el proceso mientas a fin de buscar la
dnde) mejor opcin de polticas
pblica e implementarla
1.2 Anlisis del contenido de 2.2 Defensa de las polticas
las polticas pblicas: descrip- pblicas: argumentacin para
cin de las polticas y su pro- incidir en la agenda
ceso.
1.3 Seguimiento y evaluacin
de las polticas pblicas:
examina el desempeo de la
poltica pblica

Fuente: tomado y adaptado de Parsons (2007) y Gordon (1977). En: Merlo, I. Indeterminacin
de las polticas pblicas: una metodologa para su superacin. Universidad Catlica de Crdo-
ba. Maestra en Gestin Polticas. Proyecto de tesis.

As, desde los orgenes de las ciencias de
polticas existe una orientacin hacia el
conocimiento del proceso de polticas y
otra que privilegia el conocimiento en el
proceso de polticas. Estas tendencias se
expresan:
En el anlisis de las polticas pblicas
desde perspectivas que pretenden lo-
grar descripciones, clasificaciones, de-
finiciones y explicaciones de los proce-
sos de decisiones polticas sobre asun-
tos de orden pblico, para generar co-
nocimiento en para las polticas y
En el anlisis de los procesos para pro-
veer conocimiento e informacin para
mejorar las opciones de poltica.
Segn Parsons, como resultante de estas
dos orientaciones, se encuentran cinco
variedades de anlisis de polticas pblicas4
(Cuadro 1)
En los aos cincuenta y setenta fue eviden-
te la presencia de dos enfoques de anlisis
de polticas que fueron denominadas si-
npticas y antisinpticas (Cuadro 2) (tr-
mino prestado de Charles Lindblom). Estos
enfoques responden a diferentes concep-
ciones sobre la manera como se construye
el conocimiento en el campo de las cien-
cias.
La primera responde a la idea de funda-
mentar los asuntos pblicos en bases ra-
cionales que apareci en el siglo XVIII du-
rante la ilustracin y se fortaleci en el
siglo XIX, con el advenimiento del positi-
vismo (dominio de las ciencias naturales y
sociales). Predomina la orientacin tecno-
crtica-positivista de las ciencias sociales
de evidente corte instrumental. Lo ante-
rior en razn del perfeccionamiento del
mtodo cuantitativo que desarrollaron las
ciencias sociales.

4
Merlo, I. Indeterminacin de las polticas pblicas:
una metodologa para su superacin. Universidad
Catlica de Crdoba. Maestra en Gestin Polticas.
Proyecto de tesis.
Cuadro2. Enfoques de anlisis de polticas segn Garson (1994)

Sinptico/Orientacin emprico analtica Antisinptico/orientacin neopluralista

Visin global de fondo, condensada en el Imposibilidad del conocimiento racional para

anlisis de sistemas abarcar sistemas enteros de accin
Anlisis de sistemas como meta teora Pluralismo como meta teora
Empirismo estadstico como metodologa Anlisis contextual y de casos como metodo-
loga
Optimizacin de valores como decisin Racionalidad social (integracin de intereses)
como criterio de decisin.
Prob ser til en la administracin pblica y Lleg a ser dominante en la ciencia poltica en
el anlisis de polticas. general.
Recibi apoyo de la revolucin conductista de Intrusin de las cuestiones de valor en el
las ciencias sociales proceso de elaboracin de poltica
nfasis interdisciplinario y bsqueda de preci- La eleccin de poltica incluye cuatro tipos de
sin cuantitativa en general decisiones jerarqua, poliarqua, negociacin
y mercados
xito de los economistas favoreci esta pers- La teora de la Eleccin Pblica se volvi pro-
pectiva minente en los aos setenta: reclamaba exis-
tencia de procesos de decisin similares al
mercado en la poltica pblica
Anlisis costo beneficio y de evaluacin de A partir de la propuesta de Fry y Tomkins, se
programas fue sinnimo de anlisis de polti- plantea que se requieren, al menos, seis di-
cas mensiones para mapear el alcance real del
anlisis de polticas como disciplina emergen-
te: procedimiento, nivel, funcin, secuencia,
contexto y criterios normativos.
Adopcin del sistema de planeacin y presu- La referencia a tales dimensiones muestra el
puestacin por programa (Kennedy y John- debate entre tradicin emprico-analtica y la
son) neo pluralista.
Dominacin de las orientaciones emprico- Ascher seala que la orientacin debe ser
analticas en los programas norteamericanos hacia los problemas y su solucin, su referen-
de polticas pblicas. cia al mundo real.
Se defiende la objetividad de las ciencias
sociales al estilo de las ciencias naturales en
donde lo observable, medible y confiable son
rasgos centrales y clave de la evaluacin.

Elaboracin propia a partir de Garson, D. De la ciencia de polticas al anlisis de polticas. En:

Aguilar, LF. El estudio de las polticas pblicas. Mxico: Miguel Angel Porra (editor). 1994

La segunda obedecera, principalmente, a demanda su entendimiento y una profunda

la importancia del conocimiento de la so-
ciedad. Para Taylor (1973:13 citado por
Trogerson)5 el estudio de la vida social
5
Torgerson, D. Entre el conocimiento y la pol-
tica. En Aguilar, LF. El estudio de las polticas
pblicas. Mxico: Miguel Angel Porra (editor).
1994: 197-238
.
comprensin de los significados comparti-
dos de la realidad. Se da aqu una orienta-
cin post-positivista hacia un proyecto
participativo: se trata del compromiso de
promover procesos de decisin poltica que
impulse y promueva la participacin ciuda-
dana (Torgerson citando a Taylor
1973:13)6.
Desde el enfoque neopluralista se insina
una perspectiva de anlisis que se interesa
en el conocimiento del proceso de decisin
y en el proceso de decisincon el fin de
contribuir a la creacin de una teora y una
prctica confiables para la solucin de pro-
blemas en el marco del inters pblico
(Laswell, 1994:117) a partir del concepto
de ciencias de poltica que propuso en
1951.
Para Garson, Laswell se interes no slo
por las preocupaciones racional-empricas
de los procedimientos, sino tambin de
todos los niveles de anlisis, desde el sis-
tema hasta el individuo, en la comparacin
por funcin, contexto y normas.
1. Evaluacin de Polticas Pblicas
2.1 Definiciones
Ms recientemente en el anlisis de polti-
cas ha sido incluido un concepto ms ope-
rativo que es el de Evaluacin y que como
se vera posteriormente mantiene y pro-
fundiza las diferencias entre la perspectiva
emprica y la neopluralista. Segn Unesco
(2007) desde el punto de vista terico la
evaluacin como parte esencial del desa-
rrollo de una poltica provee informacin
acerca de la relevancia, eficiencia, efectivi-
dad, impacto y sostenibilidad de las inter-
venciones. En la perspectiva planteada en
Magenta Book7 la evaluacin de las polti-
cas se ocupa de la manera como fueron
diseadas, ejecutadas y de los resultados
obtenidos.
O sea, que adems de los aspectos relati-
vos a su formulacin, la evaluacin de
polticas, incluye la implementacin e im-
pactos con el fin de poder establecer los
6
Torgerson, D. Entre el conocimiento y la poltica.
En Aguilar, LF. El estudio de las polticas pblicas.
Mxico: Miguel Angel Porum (editor). 1994: 197-
238
7
HM Treasury. Guidance for evaluation. 2011
efectos, el costo y beneficios obtenidos de
su realizacin. Los resultados de la evalua-
cin proveen informacin acerca de lo que
funciona, los problemas que emergen, la
identificacin de buenas prcticas y conse-
cuencias no deseadas, los recursos econ-
micos y otros que sean necesarios para
realimentar procesos de decisin futuros.
A este respecto La OECD (1998) indica que
la evaluacin es una valoracin tan siste-
mtica y objetiva como sea posible de un
proyecto, programa o poltica que se est
desarrollando o se ha completado, su dise-
o, implementacin y resultados. La eva-
luacin debera brindar informacin que es
creble y til, posibilitando la incorporacin
de las lecciones aprendidas en el proceso
de toma de decisiones.
Segn la UNESCO la evaluacin:
Provee informacin acerca de lo que
funciona, y porque funciona, sobre los
resultados esperados y no esperados y
proporciona lecciones estratgicas pa-
ra guiar a los tomadores de decisiones
e informar a los grupos de inters.
Provee informacin basada en la evi-
dencia que es creble, confiable y til
permitiendo la incorporacin de los ha-
llazgos, recomendaciones y lecciones.
Realimenta los procesos de toma de
decisiones como componente clave pa-
ra el logro de los resultados.
Informa sobre las diferentes fases de
planeacin, programacin, implemen-
tacin y valoracin de un proyecto.
Optimiza el uso de los recursos y ma-
ximiza el impacto de las actividades.
Implica un proceso riguroso y sistem-
tico en el diseo, anlisis, interpreta-
cin de informacin para responder
preguntas especficas, basadas en cri-
terios y consensos entre pares y grupos
de inters (Unesco, 2007).
Proporciona argumentos, a quienes
hacen las polticas, para demostrar que
una determinada intervencin ha de-
mostrado ser efectiva
2.2 Evolucin de la Evaluacin

Si bien en polticas Canadian Health Servi-
ces Research Foundation (CHSR), seala
que desde hace 200 aos se viene inten-
tando poner en evidencia si las polticas
pblicas influyen en lo pblico, en la pers-
pectiva concreta de la evaluacin, en gene-
ral, se diferencian tres tendencias que re-
flejan el espritu y demandas de cada mo-
mento histrico.
La primera generacin de la evaluacin se
dio entre los aos 1950 a 1970, su enfoque
fue la medicin/comparacin entre los
resultados de las intervenciones sociales.
La segunda generacin (1980) se interesa
por la transparencia y la rendicin de cuen-
tas y la tercera generacin, a partir de
1990, se orienta a la comprensin/ apren-
dizaje/rendicin de cuentas/ y su nfasis
est en el proceso y en los resultados.
El problema bsico de los enfoques, pre-
vios a 1990, es que se reconocan resulta-
dos pero no se estaba aprendiendo sobre
qu resultados se estn logrando, ni la
forma en que se est logrando y menos lo
que se est logrando que se encuentre
fuera de la matriz de resultados diseada
previamente. Esta perspectiva no permite
a los gobiernos aprender sobre los proce-
sos de cambio para poder construir sobre
las fortalezas de la innovacin y para repli-
car el xito.
Por eso la respuesta metodolgica actual
se centra en analizar los procesos de cam-
bio y los contextos: los puntos de resisten-
cia al cambio, la manera cmo las organi-
zaciones limitan las posibilidades de cam-
bio, los aspectos relativos a posibles cam-
bios que pueden ser transferibles a otros
contextos. La pregunta es sobre cmo
obtener la informacin sobre las innova-
ciones que influencian las estructuras so-
ciales y polticas, la gente y cmo realmen-
te hacer (o no) el cambio de patrones de
comportamiento?
La pregunta es acerca de las polticas y
planes nacionales que, por su complejidad,
requieren de un enfoque sistmico de la
evaluacin, de modo que las decisiones
polticas puedan ser informados por el
conocimiento que resulta del anlisis con-
tinuo, realizado a travs del Monitoreo
que integrado a los sistemas de Evalua-
cin. Se trata de conocimientos que in-
forman para la toma de decisiones clave a
fin de garantizar los resultados8.
Sin embargo, esto no es suficiente. Segone
citando a Kusek, Rist y White, seala que
para asegurar la pertinencia y por lo tanto
el uso del conocimiento evaluativo, es fun-
damental el fortalecimiento de una cultura
a favor de la evaluacin dentro de las so-
ciedades y organizaciones, reconociendo
el hecho de que cualquier proceso de eva-
luacin es, inevitablemente, un proceso
poltico. Y como tal est sujeto a los in-
tereses econmicos, polticos que detentan
los grupos de poder, especialmente, en los
pases cuya democracia es dbil.
La esperanza en el fortalecimiento/ crea-
cin de una cultura evaluativa orientada a
la toma de decisiones implica un incre-
mento en la competencia, la fuerza y la
credibilidad de la evaluacin y que segn
Bickel9 se viene logrando con los avances
intelectuales en el campo y el posiciona-
miento de la rendicin de cuentas (cuadro
2)
8
Segone, M. Why Evaluate? The evolution of the evalua-
tion function. In: Evaluation working papers. Unicef Re-
gional Office for CEE/CIS and IPEN ISSUE 2005 no 5
(2006) New Trends in Development Evaluation
9
Bickel, S. The status of the evaluation on function world-
wide. In: Evaluation working papers. Unicef Regional
Office for CEE/CIS and IPEN ISSUE 2005 no 5 (2006)
New Trends in Development Evaluation
Cuadro 2. Aspectos que inciden en la construccin de una cultura evaluativa

Evaluaciones con un mayor conocimiento de base sobre los aspectos con-

Avances inte- ceptuales e innovaciones prcticas en los mtodos y enfoques de evalua-
lectuales cin:
a) Mejor teora sobre el papel de la evaluacin
b) Una perspectiva de la evaluacin en funcin del aprendizaje y no
de la auditoria e inspeccin.
c) La inclusin de la evaluacin a todo el ciclo de la formulacin de
polticas, planes, programas.
d) La Valoracin de la evaluacin formativa. Esto es de aquella que
permita ir optimizando los procesos de la poltica.
e) La Disminucin del inters en la atribucin a un determinado ac-
tor de los resultados.
f) La inclusin de la evaluacin de desempeo con base en el se-
guimiento y la interaccin
g) Los avances en los enfoques, mtodos e instrumentos en todas
las reas de frontera de la programacin.
h) El Inters por profundizar en los espacios sociales para hacer fren-
te a la exclusin incorporando la consulta a los interesados.

Rendicin de Se refiere a la evaluacin como conocimiento requerido para garantizar

cuentas la calidad de lo que se hace. Es el caso de la:

a) Tendencia a entender la evaluacin de las polticas como un

asunto pblico, realizado con fondos pblicos y utilizados para
mejorar el bienestar pblico y disponible a la opinin pblica.
b) Tendencia mundial hacia una mayor responsabilidad de los go-
biernos y agencias de desarrollo con lo pblico.
c) Tendencia a usar los resultados para emprender el debate sobre
las polticas pblicas y privadas.

Es evidente que los debates sobre el papel de la evaluacin demandan un

nuevo liderazgo y pensamiento acerca de la evaluacin. Por ejemplo fue
la poltica de los grupos de reflexin y evaluadores, que se dio en Brasil,
que evalu el impacto de los subsidios agrcolas en el sur, como los ingre-
sos, los presupuestos pblicos y las estructuras econmicas.

.
Si bien tales motivaciones contribuyen al
posicionamiento, en la sociedad, de la eva-
luacin de Polticas/Planes/Programas, los
aspectos de orden estratgico tambin son
muy relevantes. Para Trochim una cultura
de la evaluacin para el siglo XXI se carac-
teriza por ser (estar):
Orientada a la accin. La evalua-
cin debe ser un instrumento es-
tratgico que facilita y apoya el uso
de la informacin y los conocimien-
tos adquiridos durante el proceso
de evaluacin, con el objetivo de
fortalecer el desempeo del pro-
grama.
Interdisciplinaria y holstica. La
evaluacin no es la disciplina de un
sector que se injerta en otros m-
bitos sectoriales. La funcin de
evaluacin debe estar completa-
mente integrada y profundamente
arraigada en la estructura organi-
 zativa y no se ve como una funcin
paralela.
Incluyente, participativa y no je-
rrquica. La evaluacin no es una
disciplina tcnica restringido a per-
sonal especializado y tcnico. El
seguimiento y la evaluacin debe
ser responsabilidad de todos los
actores comprometidos en los pro-
cesos.
tica, en bsqueda de la verdad,
abierta y justa. La evaluacin es un
instrumento tcnico y poltico, por
tanto, cuestiones polticas y el va-
lor son una parte integral de una
evaluacin. Prcticamente todas
las fases del proceso de evaluacin
tienen implicaciones polticas como
ha sido sealado por Kellogg,
(1997).
Dirigida al futuro. La funcin de
evaluacin debe ser necesariamen-
te prospectiva, anticipando las ne-
cesidades y los resultados de la
evaluacin. La planificacin de un
control sencillo y de un sistema de
evaluacin debe ser una parte in-
tegral del proceso de planificacin
de cada proyecto y programa, por
lo que el proceso de evaluacin se
pueden beneficiar del programa
durante su ejecucin y no slo en
el final del programa.
2. Tipos de evaluacin
En el marco de la planificacin sanitaria,
Pineault (2001) seala que la evaluacin es
fundamentalmente una mirada a las dife-
rentes etapas del proceso de planificacin,
no solamente sobre los componentes del
programa, sino de las etapas previas y con-
secutivas a la programacin (Grfica 1). En
sentido similar son consideradas en el Libro
Verde donde se denominan ROAMEFcon
base en el ciclo de la poltica. ROAMEF se
refiere a la racionalidad (razn fundamen-
tal), objetivos, implementacin, monitoreo,
evaluacin y realimentacin (feedback).
Aunque la evaluacin, en el ciclo, se mues-
tra despus de la implementacin, en
realidad debe realizarse en todo momento
y las decisiones respecto de la evaluacin
se realizan paralelamente a la formulacin
de la poltica.
El esquema 1 muestra diferentes tipos de
evaluacin, de acuerdo a los momentos
del proceso, segn Pineault. Este modelo
aunque proviene de la planificacin sanita-
ria puede ser igualmente vlido para otra
clase de polticas.
En este contexto las evaluaciones pueden
ser diseadas para responder a una amplia
gama de preguntas sobre temas tales como
la forma en que la poltica es implementa-
da, si se puede mejorar y si los beneficios
justifican los costos. Preguntas como las
siguientes tienen cabida en diferentes
momentos del ciclo de la poltica.
Hay correspondencia entre la poltica, tal
y como fue concebido y las prioridades?
Responde a problemas importantes desde
el punto de vista de la sociedad y est
encaminado en la direccin esperada?
Han sido alcanzados los objetivos espec-
ficos de la poltica?
Los planes y programas desarrollados son
apropiadas?
Los recursos movilizados eran adecuados
en trminos de cantidad y calidad?
Se corresponden los objetivos del pro-
grama con los problemas definidos y con
las prioridades que se han establecido para
esta poblacin? (resultados, impacto)
Cul puede ser la contribucin del pro-
grama a la solucin de los problemas iden-
tificados? (pertinencia terica y real).
Han sido alcanzados los objetivos operati-
vos?
En general, estas preguntas pueden ser
contestadas por tres tipos principales de
evaluacin: de proceso, de impacto y eco-
nmica.
 Esquema 1. La evaluacin en la Planificacin sanitaria
Elaboracin propia a partir de Pineault, 1989.
2.1 Evaluacin de proceso.
Las evaluaciones del proceso tienen como
objetivo determinar si una poltica se est
llevando a cabo segn lo previsto y lo que,
en la prctica, permite establecer las cuali-
dades del trabajo y las razones de ello.
Lograr la comprensin sobre el por qu
una intervencin funciona de una manera
determinada y tuvo el efecto esperado
requiere de enfoques de bsqueda de
informacin y de anlisis propios de los
diferentes tipos de evaluacin. Las evalua-
ciones de proceso pueden emplear una
amplia gama de recoleccin de datos y
tcnicas de anlisis, que abarca varios te-
mas y participantes, adaptado a los proce-
sos especficos de la poltica en cuestin.
Las evaluaciones de proceso a menudo
incluyen la recoleccin de datos cualitati-
vos y cuantitativos de las diferentes partes
interesadas y pueden cubrir aspectos sub-
jetivos (como la percepcin de cmo ha
operado una poltica) u objetivos (detalles
fcticos/empricos de cmo una poltica ha
funcionado).
Aunque esencialmente descriptivo, este
tipo de informacin puede ser vital para la
medicin al inicio de una intervencin as
como los resultados; de all la relacin
prctica entre las evaluaciones de proceso
e impacto, que a menudo implican la nece-
sidad de considerarlas juntas.
3.2 Evaluacin de impacto
.
A travs de las valuaciones de impacto se
intenta proporcionar una prueba objetiva
sobre los cambios que se producen y la
medida en que estos se pueden atribuir a
la poltica.
El inters de la evaluacin de impacto es:
Cules fueron los resultados de las polti-
cas, estaban all los cambios observados, y
que se puede decir respecto a la atribucin
de la poltica en contraposicin a otros
factores?
La poltica puede lograr los objetivos pro-
puestos?
Cmo varan los cambios entre diferentes
personas, actores, organizaciones de la
sociedad y as sucesivamente, y cmo se
comparan con lo que se esperaba?
Alguno de los resultados de ocurrencia
que no se asignaron originalmente, y si es
as, qu y lo importante que eran?
La evaluacin de impacto trata de poner a
prueba el grado en que la poltica fue res-
ponsable del cambio a travs del anlisis
de datos cuantitativos (proceso a menudo
muy tcnico) sobre la base de la compara-
cin de los resultados entre dos poblacio-
nes que se diferencian por la exposicin a
la poltica. Uno de los grupos la recibe y el
otro no. Sin embargo los resultados pue-
den ser afectados por mltiples aspectos,
dada la complejidad de los factores socia-
les que pueden estar implicados, adems
de los relacionados con los procesos de
asignacin de los grupos. Metodolgica-
mente este es el aspecto ms controverti-
do dado que la atribucin causal exige
condiciones que solo se logran a nivel de
laboratorio.
La eleccin del mtodo de evaluacin debe
basarse en una declaracin de la funda-
mentacin de la poltica, o la teora de la
lgica y los objetivos establecidos. Se trata
de dilucidar como la poltica tienen efecto
en sus resultados. Cuanto ms compleja
sea la lgica subyacente habr que tener
en cuenta ms factores que podran afectar
el resultado.
Estos diseos (contrafactual) se realizan
asegurando que hay algunos individuos,
grupos o reas geogrficas no expuestas a
la poltica en algn momento de su imple-
mentacin, que pueden compararse con
aquellos que si han estado expuestos a la
poltica. Si se observa diferencia en los
resultados observados entre los
dos grupos, tericamente, se puede supo-
ner que la diferencia puede ser debida a la
poltica (en este caso tratamiento).
Hay dos limitaciones importantes a la hora
de elegir este diseo:
Las diferencias entre los grupos a
los que se aplica y los que no se
aplica la poltica. El supuesto que
fundamenta esta comparacin es
que lo nico que diferencia los dos
grupos es la intervencin y eso no
es factible. Eso limita la decisin
de si las diferencias se deben a la
poltica o a las diferencias subya-
centes. Por ejemplo, una poltica
social no tiende a ser administrada
al grupo objetivo de manera alea-
toria, como lo exige el diseo, sin
tener en cuenta la necesidad per-
cibida, la justificacin y as sucesi-
vamente. As que no hay en gene-
ral una asignacin que garantice
que las diferencias se deban a la in-
tervencin.
Para las intervenciones que son innovado-
res, experimentales o asociadas a un alto
grado de incertidumbre, el pilotaje, es un
mtodo recomendado y utilizado con fre-
cuencia para introducir la poltica. Sin em-
bargo por las caractersticas de la asigna-
cin es poco probable que cumpla con las
condiciones requeridas para la compara-
cin.
El mtodo que ofrece el mayor grado de
impacto de la poltica es la asignacin alea-
toria, a menudo en una forma conocida
como un ensayo controlado aleatorio
(ECA). En un ensayo de este tipo, la asigna-
cin de los individuos, grupos o reas loca-
les para recibir la intervencin se determi-
na por sorteo o algn otro mecanismo
aleatorio llevado a cabo cuidadosamente.
Este tipo de ensayo proporciona la eviden-
cia ms clara de si una intervencin ha
tenido un efecto en aquellos que reciben
tratamiento.
Sin embargo no es probable que sea ade-
cuado para evaluar el impacto de los cam-
bios en las polticas universales (como con-
sumo de licor)
Si una poltica se debe introducir en todas
partes al mismo tiempo, entonces no
siempre ser posible obtener una estima-
cin del impacto de la poltica por comple-
to. Sin embargo, algunas modificaciones en
la exposicin podran permitir una esti-
macin del impacto sobre la efectividad de
los cambios o la intensidad de la poltica,
siempre que no sean realizadas por el in-
teresado en las modificaciones que se lo-
gren a travs de la poltica.
3.3 Evaluacin econmica.
En la evaluacin econmica se comparan
los beneficios de la poltica con sus costos
ya que uuna evaluacin de impacto confia-
ble podra ser capaz de demostrar y cuanti-
ficar los resultados generados por una pol-
tica, pero no demostrar si los resultados
justifican la poltica. La evaluacin econ-
mica se ocupa de estas cuestiones, incluso
si los costos de la poltica han sido supera-
dos por los beneficios. Los tipos de evalua-
cin econmica aplicables a la evaluacin
de polticas son:
Anlisis costo-efectividad (ACE).
Que valora los costos de imple-
mentacin
para producir un costo por unidad
de resultado
Anlisis costo-beneficio (ACB).
Puede determinar la justificacin
de la poltica as como comparar
polticas con diferentes resultados.
ACB puede cuantificar, incluso, los
beneficios sociales y los impactos
ambientales.
La evaluacin econmica es necesaria ya
que aunque la evaluacin de resultados o
impacto puede generar informacin intere-
sante y vlida en s misma, puede no ser
compatible con un marco de costo-
beneficio.
Adems de estas evaluaciones y dado que
la perspectiva actual es incluir todo el ciclo
de la poltica es til sealar otros tres
momentos de la evaluacin especficos:
La valoracin inicial que se produce
despus de que la justificacin y
los objetivos de la poltica han sido
formulado. El propsito es identifi-
car la mejor manera de entregar la
poltica antes a la implementacin.
El Monitoreo que busca compro-
bar el progreso respecto de los ob-
jetivos planteados y se puede de-
finir como los informes sobre los
procesos y los productos que se
han desarrollado con xito.
La evaluacin de la eficacia y de la
eficiencia durante y
despus de la implementacin. Se
trata de medir los resultados e im-
pactos con el fin de evaluar si los
beneficios previstos se han cumpli-
do.
La comprensin de estos aspectos sugiere
la necesidad de usar diferentes enfoques y
mtodos de evaluacin que deben ser pla-
neados y diseados al mismo tiempo. Se
considera, entonces que la evaluacin es
una herramienta fundamental para ilumi-
nar la toma de decisiones en las diferentes
fases de formulacin de polticas, ejecucin
de los programas e intervenciones, desde
su concepcin y diseo hasta su posterior
valoracin en trminos de logros e impac-
tos.
Adems de estas evaluaciones se recono-
cen otras como las que se presentan, so-
meramente, a continuacin.
3.4 Evaluacin basada en la teora10
Este tipo de evaluacin parte de la teora
que sustenta una intervencin para identi-
ficar el nexo entre la intervencin y los
impactos previstos. Estas conexiones se
pueden explorar mediante mtodos (cuan-
titativos y cualitativos) utilizados en la eva-
luacin del impacto.
10 Bamberger, M., Rugh, J., Mabry, L. Reald
World Evaluation. California: Sage Publications,
2006.
Davidson identifica nueve tipos de eviden-
cia que pueden ser obtenidos con base en
los modelos tericos de evaluacin que se
basan en diferentes tipos de inferencia que
incluyen: la analoga entre eventos, la
coherencia, la fuerza de la asociacin, la
precedencia temporal, la cadena de resul-
tados que alude a la manera de operar el
PPP, la inferencia causal

3.5 Metaevaluacin y metaanlisis

A travs de tcnicas cuantitativas o cualita-

tivas se rene una serie de evaluaciones
relacionadas para obtener un panorama
general o resumen de la conclusin de sus
resultados.

Lo anterior se expresa en una ruta o se-

cuencia de pasos (cuadro 3)11 que se sugie-
re sean tenidos en cuenta cuando se pla-
nea la evaluacin de una polti-
ca/plan/programa.

3. Etapas para la planeacin de la

Evaluacin de Polticas Pblicas.

El proceso de planificar la evaluacin de las

polticas pblicas se inicia desde el momen-
to que antecede a su formulacin y se pro-
pone que cubre todo el ciclo de la poltica.
Para ello se requieren una serie de pasos
que permiten ir generando las preguntas
que se espera responder con la evaluacin
y sealando los recursos que se requieren
para ejecutarla.
Segn el libro Magenta, los pasos de la
poltica deben estar dirigidos por preguntas
especficas que permiten ir delimitando
alcances, mtodos, procedimientos, recur-
sos y dems requeridos segn el tipo de
evaluacin, el contexto, la poltica etc. El
cuadro 3 presenta tales pasos.

11
HM Treasury. The Magenta book. What
practical issues need to be taken into ac-
count when designing an evaluation. 2011
 Cuadro 3. Pasos en la planeacin de la evaluacin

Pasos Preguntas orientadoras en cada paso

La definicin de los Cul es la lgica del programa o de la teora acerca de cmo se

objetivos de la poltica presentan los productos, resultados e impactos, de la poltica, en
y los resultados espe- el contexto particular?
rados

Con base en las impli- Qu ajustes a la implementacin de la polticas podra mejorar la

caciones de la poltica viabilidad de la evaluacin y seguir siendo coherente con los obje-
disear la evaluacin tivos de la poltica general?
de factibilidad

Definir la audiencia de Quines sern los principales usuarios de los resultados y cmo
la evaluacin sern usados?

Identificacin de los Qu necesitan saber los encargados de formular polticas acerca

objetivos de la evalua- de lo que diferencia el programa hecho, y / o la forma en que fue
cin y las respectivas desarrollado?
preguntas de investiga-
cin

Seleccin del mtodo Es necesaria una evaluacin de impacto, proceso o combinada?

de evaluacin
Se requiere una evaluacin econmica?
Qu tan extensa es la evaluacin?
Qu nivel de solidez se requiere?

Identificacin de las A partir de qu momento se mide el impacto?

necesidades de los Qu datos se requieren?
datos Est disponible lo que estn recogiendo?
Qu informacin adicional se necesita recopilar?
Quin ser el responsable de la recopilacin de datos y proce-
sos que hay que realizar?

Identificar los recursos Qu tan alto es el perfil de la poltica, y cual es el nivel propor-
necesarios cional de recursos disponibles para la evaluacin?
y acuerdos de gober- Qu presupuesto se va a utilizar para la evaluacin y es este
nanza compatible con los requisitos de evaluacin?
Quin sern los integrantes del equipo de evaluacin? y
Cules sern los procesos de aseguramiento de la calidad de la
evaluacin?
 Realizacin de la eva- La evaluacin externa se llev a cabo por encargo o en casa?
luacin Quin ser responsable del desarrollo de las especificaciones,
de licitacin, gestin de proyectos y control de calidad?
Cuando se hace recopilacin de datos primarios
Es necesario un piloto o pruebas cognitivas de los instrumentos
de investigacin
necesario?
Cundo empieza la evaluacin y el final?

Aprovechamiento y Qu resultados se van a utilizar, y qu decisiones se van a tomar?

difusin de Cmo se distribuyen y difunden las conclusiones?
resultados de la eva- Cmo se alimentan los resultados en el ciclo de ROAMEF?
luacin

Traduccin personal de: HM Treassury. The stages of an evaluation. Magenta Book: Guidance for
evaluation. 2011

Cualquier evaluacin requiere un aporte
significativo de los analistas y de los encar-
gados de formular polticas para asegurar
que se ha diseado e implementado con
xito. Por eso la planeacin incluye recur-
sos: financieros, director de proyecto, so-
porte analtico (investigadores, estadsti-
cos, etc.), avances de informes, participa-
cin amplia de grupos de inters y revisin
por pares12.
res, los cambios realizados en las variables
intervenidas, por ejemplo, nivel de ingre-
sos, tasas de desempleo. Los segundos
permiten la descripcin e interpretacin
(discursiva) de los procesos que tuvieron
lugar en el ciclo de la poltica e incluso
brindan la posibilidad de analizar otros
aspectos como la participacin, el empode-
ramiento de los grupos a los que va dirigida
la poltica.

4. Mtodos de evaluacin Una clasificacin de los tipos de diseo

Los mtodos empleados para la evaluacin
pueden ser mltiples dependiendo de las
preguntas que interesa responder en el
proceso de evaluacin, y esto se relaciona,
obviamente, con la perspectiva de quienes
formulan las polticas y sus intereses. Los
Mtodos de evaluacin deben ser selec-
cionados para proporcionar la informacin
requerida por los diferentes actores y de-
ben adaptarse a los principales usuarios,
los usos, y las preguntas.
Por la amplitud de lo que puede, en un
momento dado, considerarse pertinente
para realizar una evaluacin los mtodos
pueden ser cuantitativos o cualitativos. Los
primeros se usan para medir, con indicado-
incluye los diseos experimentales, cuasi-
experimentales y observacionales, Ningn
diseo es mejor que otro en todas las cir-
cunstancias. Los diseos experimentales
utilizan la asignacin aleatoria para compa-
rar el efecto de una intervencin con gru-
pos de otra manera equivalente. Los m-
todos cuasi-experimentales comparan gru-
pos no equivalentes por ejemplo, los que
pertenecen a un programa y los que an
no pertenecen al programa. Los mtodos
de observacin comparan, dentro de un
grupo, las caractersticas nicas de sus
miembros. Sin embargo varios cuestiona-
mientos relacionados con los criterios de
validez interna y externa deben ser tenidos
en cuentas al decidir el diseo que va a
utilizarse en la evaluacin.

12
The magenta Book. HM Treasury. 2011
En cuanto a los instrumentos o herramien-
tas para la recoleccin de la informacin,
que dependen de las fuentes de informa-
cin, pueden incluir las encuestas infor-
males y formales, la observacin directa y
participativa, las entrevistas en comunida-
des, los grupos de control, la opinin de
expertos, los estudios de casos y la investi-
gacin bibliogrfica.
Se reconocen como herramientas analticas
los mtodos empleados para procesar e
interpretar informacin durante una eva-
luacin.
ca, antes de la formulacin, durante el
proceso de implementacin mostrando los
cambios que se van logrando, o los referi-
dos a los efectos econmicos o sociales
atribuibles sin la influencia de otro factor o
impactos.
Por la dificultad para atribuir, a un efecto
una PPP, viene tomando relevancia el mo-
nitoreo (seguimiento) y la evaluacin, las
cuales se diferencian claramente entre si
(cuadro 4).

Cuadro 4. Caractersticas del Seguimiento

4.1 Indicadores en la evaluacin de y la Evaluacin
PPP
Seguimiento
La respuesta a las preguntas sobre resulta-
dos e impacto de los programas implican la
definicin de los indicadores y estos res- Continuo Peridico en
ponden a lo que se est evaluando en la
poltica.
Observa la evolucin, supervisa, analiza y Anlisis a f
Se considera como resultado el estado de documenta los procesos registrados cin con los
la poblacin objetivo o las condiciones
sociales, que se espera, han sido modifica-
Se centra en los insumos, actividades, produc- Se centra e
das a travs de un PPP:
tos, procesos de implementacin, continuidad los insumos
de la pertinencia, resultados probables a nivel del costo,
Se trata de las caractersticas ob-
de efectos directos. general, la s
servables de la poblacin o condi-
ciones sociales, que no hacen rela-
cin, exactamente, a las acciones
desarrolladas por el programa. Responde que actividades se realizaron y que Responde p
Se refieren a los beneficios de resultados se obtuvieron. los resultad
aquellos productos o servicios que cin de teor
se han puesto a disposicin de los
participantes, no simplemente a su
recepcin. Alerta a los administradores sobre los pro- Brinda a los
blemas y la adopcin de medidas de cambio. estrategia y
El concepto de resultado, como es defini-
do, no significa que el objetivo del progra-
ma haya sido logrado. Adicionalmente Autoevaluacin de los administradores, su- Anlisis inte
puede haber cambios en la direccin pervisores, interesados locales y donantes. tradores, int
opuesta. De otro lado el resultado puedo
ser obtenido por otros factores diferentes
Fuentes, UNICEF 1991
al programa.

Los resultados pueden corresponder a dife-

rentes momentos de los PPP, por ejemplo, Hay acuerdos entre comunidad internacio-
el estado de la situacin objeto de la polti- nal sobre lo estratgico de la informacin
que se obtiene a travs del monitoreo y
evaluacin de una PPP para los tomadores
de decisiones. El objetivo es mejorar la
relevancia, eficiencia y efectividad de las
reformas polticas y eso en funcin de que
se formulen polticas basadas en la eviden-
cia13.
Esta propuesta enfatiza la necesidad de
que en el centro de las decisiones polticas
se coloque la mejor evidencia disponible ya
que los gobiernos necesitan mejorar la
calidad de sus decisiones.
La utilizacin de los resultados de la eva-
luacin en el mbito de las polticas pbli-
cas, puede ser:
Instrumental. Cuando se usa en la
toma de decisiones en las polticas
y en su prctica.
Conceptual. Aunque los hacedores
de polticas no puedan usar los ha-
llazgos de la evaluacin pueden uti-
lizar el conocimiento generado pa-
ra modificar su comprensin de las
situaciones, de los contextos y de
nuevas maneras de abordar las
problemticas de las que se ocupa
la poltica.
De soporte. El conocimiento gene-
rado a travs de la evaluacin pue-
de ser usado como instrumento de
polticas para legitimar o no de-
terminados cursos de accin.
El auge de estos procesos se viene dando
desde la declaracin de Pars (2005) dado
el inters de los pases en ayudar a la re-
duccin de la pobreza.
5. Nuevas Perspectivas14
13Segone, M. Evidence-based policy making and
the role of monitoring an evaluation within the
new aid environment. Bridging de gap. The role
of monitoring and evaluation in evidence-based
policy making. Unicef. The evaluation working
papers. Issue 8. 2008.
14
Guijt, I., Brouwers, J., Kusters, C.,
Prins, E., Zeynalova, B. Evaluation Re-
visited. Improving the Quality of Evalua-
Los enfoques experimentales y la compa-
racin no son suficientes para decidir sobre
la bondad de una poltica. Gujit et al, sea-
lan, respecto de las polticas, programas,
estrategias u otros Cmo sabemos que
funciona? Qu clase de informacin es
convincente y porqu? Qu es lo suficien-
te para decidir y actuar?
El debate hoy se centra entre el rigor de la
medicin del impacto de un PPP segn las
diferencias estadsticamente significativas
que se encuentren entre un grupo con
intervencin y otro sin intervencin y una
que determine los efectos positivos y nega-
tivos primarios y secundarios producidos a
largo plazo, tanto de los propuestos como
de los no propuestos como plantea la
OECD/DAC 2002.
El enfoque basado en mtodos experimen-
tales y mediciones antes y despus, con y
sin diferencia, ha privilegiado el concepto
de validez interna, para definir el rigor. En
esta perspectiva otros factores relaciona-
dos con el rigor tales como validez externa,
credibilidad, confiabilidad tienden a desa-
parecer y a ser reemplazados por datos
duros, basados en la evidencia, cientficos,
tcnicamente ms sofisticados, inteligen-
tes, revolucionarios que implican una je-
rarqua que es vlida, permisible y legtima.
El resto es, por defecto, inadecuado. Las
diseos de evaluacin alternativos son
deslegitimados e ignorados e incluso acu-
sados de no estar interesados en estable-
cer la verdad. Estas palabras implican una
tive Practice by Embracing Complexity.
Conference Report. Center for Devel-
opment Research. 2011
cierta clase de rigor superior en unos m-
todos que en otros.
En esta perspectiva los mtodos han llega-
do a ser ms importantes que las pregun-
tas acerca de la calidad, cuando en realidad
un mtodo solo puede responder un tipo
de preguntas. Existen muchos tipos de
preguntas que deben ser respondidas y por
lo tanto existen muchas clases de evalua-
cin. Para muchas preguntas y contextos
los mtodos experimentales no seran
solamente rigurosos sino intiles. Segn
Schwant (1981) referenciado por Guijk el
rigor depende del contexto y la pregunta y
no del mtodo y el rigor de uso.
Los nuevos interrogantes surgen del reco-
nocimiento de que las polticas son deci-
siones orientadas al logro del Desarrollo y
ste se concibe como un proceso de trans-
formacin social para el que las interven-
ciones orientadas a este objetivo involu-
cran mltiples actores, lo cual no garantiza
que los resultados sean ms la norma que
el error. Despus de dcadas de concebir el
desarrollo como un cambio tcnico o eco-
nmico, se reconoce la naturaleza trans-
formadora del Desarrollo y el Desarrollo
efectivo esta siendo entendido como un
proceso centrado en las personas y en la
transformacin de las instituciones. Esto
hace que sea complejo, no lineal, emergen-
te e impredecible.
Dada la complejidad del contexto, las in-
tervenciones y los lmites de los estudios
aleatorizados, cules son las opciones
para una prctica evaluativa que con base
en la complejidad de la transformacin
social cumple con los estndares requeri-
dos?
La comprensin del cambio, la ruta hacia el
impacto y el impacto mismo requieren no
slo una evaluacin, o monitoreo de resul-
tados o innovacin adaptativa o evaluacin
de impacto, es preciso saber que esta su-
cediendo y aprender de ello y usarlo para
mejorar las acciones, el comportamiento y
el pensamiento para la transformacin
social.
En la conferencia sobre evaluacin de los
conceptos que emergen para sustituir o
complementar la validez interna y externa
se han sugerido estndares y valores. Las
preguntas, de la evaluacin, son entonces:
por los valores y estndares que
se requieren dentro de una prcti-
ca evaluativa para comprender o
influenciar los procesos de cam-
bio.
Por las fortalezas y debilidades de
una prctica innovativa que hagan
justicia a la complejidad del cam-
bio.
Con base en Joint Committee on Standards
for Educational Evaluation15, los estndares
sugeridos por Centers for Disease Control
and Prevention (CDC) son la utilidad, la
viabilidad, la propiedad, y la exactitud.
Entre los estndares de la utilidad se en-
cuentran:
La identificacin de las personas
implicadas o afectadas por la eva-
luacin.
La credibilidad de los evaluadores.
El alcance de la informacin y su
respectiva seleccin para abordar
la informacin pertinente a la PPP
especificadas
Los valores de las perspectivas y
fundamentos que van a ser usados
para interpretar los resultados.
La claridad del informe respecto a
la PPP evaluada.
La oportunidad en la difusin de
los resultados a los usuarios.
La evaluacin del impacto.
En cuanto a los estndares de viabilidad se
encuentran:
15 Joint Committee on Standards for
Educational Evaluation. Program eval-
uation standards: how to assess evalu-
ations of educational programs. 2nd ed.
Thousand Oaks, CA: Sage Publica-
tions, 1994.
 Las caractersticas prcticas de los
procedimientos.
Las Polticas de viabilidad con base
en la posicin de los diferentes
grupos de inters a fin de obtener
su cooperacin.
El costo-efectividad de la evalua-
cin que consiste en la eficiencia y
la produccin de informacin valio-
sa para justificar el uso de los re-
cursos.
Los estndares de propiedad propuestos
son: la orientacin al servicio, los acuerdos
entre los participantes, el reconocimiento
y proteccin de los derechos humanos, las
interacciones entre los participantes, la
evaluacin completa y justa, la divulgacin
de los resultados, la transparencia respecto
de los conflictos de inters y la responsabi-
lidad fiscal.
Los estndares de precisin demandan que
la informacin sea tcnicamente adecuada
y responda a las caractersticas de las PPP.
Se incluyen:
La documentacin del programa
Anlisis del contexto.
La descripcin de los propsitos y
procedimientos describen los pro-
psitos y procedimientos.
Fuentes de informacin idneas.
Informacin vlida y confiable.
Informacin sistemtica.
Informacin cuantitativa analizada.
Informacin cualitativa analizada.
Procedimientos de recoleccin de
informacin vlidos.
Conclusiones justificadas.
Informes imparciales.
La metaevaluacin, evaluacin de
la evaluacin a fin de conocer las
fortalezas y debilidades respecto a
los grupos de inters.
El centro de los estndares que se plantean
implica la transparencia metodolgica, la
garanta de los argumentos y el razona-
miento slido. Por eso la evaluacin debe
ser sistemtica, emprica, escptica y tcni-
camente competente. Eso significa que
todos los evaluadores deben contar con
herramientas que van desde las ms sofis-
ticadas, estadsticamente, hasta la carto-
grafa participativa, cuya eleccin depende
del contexto particular de evaluacin.
Las preguntas, en consecuencia, se refieren
a lo que constituye "una evaluacin slida"
para la transformacin social, en trminos
de valores y normas de calidad. Y en esta
lnea se propone promover discursos alter-
nativos que enfatizan la importancia de la
historia y el contexto y hacer hincapi en la
rendicin de cuentas de los actores que
participan en las polticas.
Conclusin
El anlisis/evaluacin de las polticas pbli-
cas ha sido un proceso que responde a la
historia de las ciencias polticas y a la ma-
nera como se han venido transformando
las maneras de entender como se genera
conocimiento. Por eso dicho anlisis ha
pasado por diferentes momentos.
Si bien, con Laswell, la idea era
fundamentar los asuntos pblicos
en bases racionales, con el positi-
vismo, la orientacin tecnocrtica
de las polticas se interesa por la
eficiencia econmica y considera
que la mejor poltica es la que arro-
ja mayores beneficios netos. Des-
de este enfoque al privilegiar la uti-
lidad o beneficio social neto se ig-
noran los problemas de distribu-
cin tanto en los beneficios como
en los costos.
A esta postura sigue la que plantea
que el anlisis de polticas implica
el conocimiento de la sociedad sino
tambin un conocimiento en so-
ciedad. Se da aqu una orientacin
post-positivista hacia un proyecto
participativo que promueva el
compromiso con procesos de deci-
sin poltica a travs de la partici-
pacin ciudadana, desde una pers-
pectiva pluralista.
 La ltima perspectiva es prctica;
lo central es la participacin ciuda-
dana en la evaluacin del desarro- Esquema 2. Pasos a seguir en la Evalua-
llo econmico, social y poltico y se cin de las PPP con la participacin de los
promueve un foro para la discusin grupos de inters
de lo pblico. Se trata de un senti-
do de la poltica en la que se haya
una discusin abierta y racional de
los asuntos pblicos16.

Y ese es el llamado hoy sobre la manera de Asegurese de usar y

difundir las lecciones
Describ
Focalice
aprendidas
abordar los procesos de evaluacin de pol- (pregun
Elija el

ticas pblicas dada la complejidad de los

procesos sociales, econmicos, culturales
que afectan la implementacin de las pol- Precisin Utilidad
ticas. Pero adems la evaluacin es un
proceso continuo que va desde antes de la
formulacin por todo el ciclo aportando,
mediante el seguimiento y la evaluacin, Propiedad Factibilidad
conocimientos (para este caso tambin
Aplique las Disee
herramientas) que permitan explicar y herramientas de recolec
anlisis y elabore las informa
comprender el xito o fracaso de una de- conclusiones Obteng

terminada poltica con base en los contex-

tos sociales y culturales en la que esta se
despliega.
Tanto la complejidad de los contextos,
como de los procesos implicados en la pol-
ticas sealan que desde el punto de vista
del mtodo de evaluacin no hay un mto-
do ms apropiado que otro. Ms bien se
estara hablando del pluralismo metodol-
gico cuya complementariedad promueve
una perspectiva ms holstica, e integral de
la poltica tanto de sus objetos como de los
momentos que transcurren en el ciclo. La
eleccin depender de la pregunta de eva-
luacin. Igualmente se tienen en cuenta
los valores y estndares que le subyacen a
la prctica evaluativa
Traducido y modificado de Robert L. Mil-
stein, M.P.H., Scott F. Wetterhall, M.D.,
M.P.H. Centers for Disease Control and
Prevention. Office of Program Planning and
Evaluation. MMWR. Recomendations and
Reports. September 17, 1999 / 48(RR11);
1-40 con fines acadmicos. Noviembre de
2011
Control and Prevention. Office of Program
Planning and Evaluation. MMWR.
Recomendations and Reports. September
17, 1999 / 48(RR11);1-40

Un referente para un anlisis, aproxima-

damente complejo, de la evaluacin y
propuesto para la Salud Pblica17 se mues-
tra en el esquema 2.

16
Torgerson, D. Entre el conocimiento y la
poltica. En Aguilar, LF. El estudio de las
polticas pblicas. Mxico: Miguel Angel
Porum (editor). 1994: 197-238
.
17
Robert L. Milstein, M.P.H., Scott F. Wet-
terhall, M.D., M.P.H. Centers for Disease
Finalmente habra que sealar que el co-
nocimiento proporcionado a travs de la
evaluacin no garantiza que este sea to-
mado en cuenta por los tomadores de de-
cisiones. La incidencia de dicho conoci-
miento en las polticas pblicas pasa, nece-
sariamente, por el proceso de asegurar
que los tomadores de decisiones integren
la experiencia, la experticia y el juicio a la
informacin que proveen:

Los datos proporcionados por la

evaluacin
La argumentacin que contextuali-
za los datos
La inclusin de las perspectivas de
los grupos de inters.

Ya que evaluar y tomar decisiones, con

base en los resultados de la evaluacin, son
asuntos polticos y que es posible que otras
fuerzas sean ms exitosas en su incidencia
en las polticas pblicas. Eso hace necesa-
rio otros procesos que nos trataran en este
captulo y que aluden al Monitoreo y la
Incidencia de la Evaluacin en las Polticas
Pblicas.