DEINSTRUMENTO

"LA EVALUABILIDAD:
ESTRATGICA
A HERRAMIENTA
DEGESTIN
PBLICAS"
NT POLTICAS
ENLA EVALUACIN
Autora: MARSAMERINO
Agencia de Evaluaciny Galidad

PAPELES7 I 2OO7

Papeles
de Evaluacin

LA EVALUABILIDAD: DE INSTRUMENTO DE
GESTIN A HERRAMIENTA ESTRATGICA EN LA
EVALUACIN DE POLTICAS PBLICAS
Autora: MARISA MERINO
Agencia de Evaluacin y Calidad
PAPELES 7/ 2007

Catlogo general de publicaciones oficiales:

http:www.060.es

Edita: MINISTERIO DE ADMINISTRACIONES PBLICAS.

Agencia Estatal de Evaluacin de las Polticas Pblicas
y la Calidad de los Servicios
ISSN:1887-1178
NIPO: 331-07-018-6

LA EVALUABILIDAD: DE INSTRUMENTO DE GESTIN A HERRAMIENTA

ESTRATGICA EN LA EVALUACIN DE POLTICAS PBLICAS
Marisa Merino
NDICE

INTRODUCCIN.. 1
1. LA EVALUABILIDAD COMO INSTRUMENTO DE LA GESTIN.. 9
1.1.
1.2.
1.3.
1.4.
1.5.
1.6.
1.7.
1.8.

El objetivo de la evaluabilidad . 10
Las preguntas eje de la evaluabilidad... 11
La evolucin de evaluabilidad. Orgenes y enfoques.. 11
La evaluabilidad: Ms all de verificar si el programa o
poltica es evaluable 12
La evaluabilidad en la actualidad: estado de la cuestin... 17
La evaluacin de evaluabilidad en Espaa. Metodologas.. 20
Cmo entender hoy la evaluabilidad?............................... 22
La razn de ser de la evaluabilidad: no todo es evaluable 22

2. LA EVALUABILIDAD, HERRAMIENTA ESTRATGICA PARA LA

EVALUACIN DE POLTICAS PBLICAS: 29
2.1.
2.2.
2.3.

Por su lgica de responsabilidad y transparencia 29

Por su valor estratgico 30
Por su contribucin al fortalecimiento de la cultura
evaluadora 34

3. EL INFORME DE EVALUABILIDAD

38

4. PROPUESTA METODOLGICA...

38

5. CONCLUSIONES..

40

BIBLIOGRAFA

43

MANUALES ,GUAS, PAPERS, RAPPORTS, HERRAMIENTAS.

46

LA EVALUABILIDAD: DE INSTRUMENTO DE GESTIN A HERRAMIENTA

ESTRATGICA EN LA EVALUACIN DE POLTICAS PBLICAS

Marisa Merino
Evaluadora
Agencia de Evaluacin y Calidad

Este artculo se centra en la evaluacin de evaluabilidad que surgi en los

aos 70 como instrumento para la gestin de programas, pero cuyo mayor
potencial se vislumbra como herramienta estratgica en el campo de las
polticas pblicas y en el fomento de la cultura evaluadora. Se abre con una
introduccin que pretende situar el estudio dentro los objetivos metodolgicos
encomendados a la recin creada Agencia de Evaluacin de las Polticas
Publicas y la Calidad de los Servicios. Estudia la evolucin de la evaluabilidad
hasta nuestros das, en los que es recomendada por la mayor parte de los
Organismos Internacionales, a fin de determinar la conveniencia o no de
realizar una evaluacin de mayor envergadura. Analiza sus objetivos y sus
lmites, examina algunas controversias recientes y justifica las razones por las
que resulta un instrumento idneo para legitimar la decisin de evaluar: 1)
aporta responsabilidad y transparencia sobre la accin poltica y 2) facilita el
fortalecimiento de un tipo de cultura administrativa de carcter relacional.

INTRODUCCIN
La instauracin de un sistema pblico de evaluacin de las polticas pblicas,
impulsado en Espaa por el actual gobierno de la nacin, ha supuesto, para los
implicados en el proyecto, una capacitacin intensa en este campo, con la
finalidad de brindar a la sociedad los mejores resultados frente a un cometido
que a todos ilusiona por lo que tiene de compromiso social y contribucin a la
modernizacin de nuestra Administracin Pblica 1
El sujeto plural del prrafo anterior, utilizado a propsito como voz colectiva,
alude, metafricamente, al equipo de evaluacin 2 , que estar presente a lo
largo de esta reflexin, porque creemos que la evaluacin no encaja bien con
el individualismo propio de nuestra idiosincrasia obstculo nada desdeable
que deber superar nuestra administracin. La lgica evaluadora, adems de
1

El proceso de creacin de la Agencia de Evaluacin de las Polticas Pblicas y la Calidad de los

Servicios se inici en Mayo de 2004. Para los detalles del proceso ver www.aeval.es
Sobre el primer proceso de modernizacin de la Administracin espaola ver: Reflexiones para la
Modernizacin de la Administracin del Estado, presentadas por el Ministro J. Almunia, 1990
donde se propone adoptar mecanismos de seguimiento y control de la actuacin de los aparatos
administrativos que entiende han de ir dirigidos a la evaluacin del grado de realizacin de los
objetivos programados y la eficiencia de la gestin en sus distintas vertientes (financiera,
organizacional y procedimental).
2
Formar equipo multidisciplinar es mucho ms que reunir enfoques de diversas disciplinas,
requiere dilogo frtil y la capacidad de interpenetrar las diferentes visiones.

investigadora, tcnica o gerencial, es prctica multidisciplinar y socializadora,

ya que su verdadera prueba es la utilidad social. 3
La evaluacin de las polticas pblicas es desde hace aos una preocupacin
central de los gobiernos de los pases industrializados. Espaa, por su peculiar
trayectoria democrtica, se ha incorporado con retraso al campo de la
evaluacin 4 , entendida como valor aadido a tcnicas afines como el control, la
auditoria y el seguimiento, que han cosechado, desde hace tiempo, xitos
reconocidos en nuestra gestin pblica, pero cuyo punto de vista al examinar
la accin poltica persigue finalidades distintas de las que se propone la
evaluacin.
La mayor diferencia frente a esas tcnicas de mejora gerencialista, enfocadas,
prioritariamente, al control econmico y al cumplimiento normativo, es que la
evaluacin, en el actual contexto poltico, aparece ligada a aspectos sociales y
de transparencia democrtica, en estrecha relacin con la publicidad de sus
informes y la participacin plural de los actores que entran en juego.
La evaluacin no es slo una comprobacin de conformidad de la accin
pblica, sino que expresa un juicio de valor sobre el xito de los resultados y
los impactos deseados o no- de las polticas pblicas.
Para llevar a cabo el compromiso adquirido en su programa, el gobierno
espaol nombr una Comisin de expertos que propuso, en sus conclusiones 5 ,
las lneas estratgicas para la implantacin de un sistema pblico de
evaluacin a travs de la creacin de un ente independiente que lo impulse y lo
lleve a cabo: La Agencia de Evaluacin de las Polticas Pblicas y la Calidad de
los Servicios.
La denominacin dada al ente orienta sobre la doble finalidad evaluadora que
se persigue: una primera, vincula la evaluacin a los temas del rea de
gobierno (teora, diseo, implementacin, resultados e impactos de una
poltica pblica o de su conjunto) y la segunda, se liga a los temas propios de
las reas de gestin (la calidad de los servicios pblicos). El primer tipo se
sita en el nivel estratgico de la Administracin pblica y el segundo, en el
nivel operativo de los que habla el profesor Subirats. 6

Une valuation lpreuve de son utilit social . Rapport dactivit 2000-2002. Conseil National
de lvaluation. France.
4
Del mismo retraso se lamentaron otros pases europeos antes que nosotros: Francia, Blgica,
Italia, los informes institucionales de esos pases estn plagados de la misma queja.
5
Puede consultarse el Informe de la Comisin de expertos en la web de la Agencia: www.aeval.es
6
Subirats, Joan. Podemos utilizar los instrumentos de evaluacin como palanca de gobierno del
Sector Pblico Subsecretara de la Gestin Pblica. Secretara General de la Gobernacin.
Gobierno de la provincia de Buenos Aires, 2004.
http:/www.gestionpublica.sg.gba.gov.ar./html/biblioteca/subirats.doc.

El sistema pblico de evaluacin espaol se propone utilizar esta herramienta

gubernamental con un doble objetivo: optimizar el uso de los recursos pblicos
y rendir cuentas a los ciudadanos.
Esto sita el enfoque espaol en el nivel al que alude Eric Monnier 7 , cuando
dice que, hablando de institucionalizacin de la evaluacin, podemos
considerar: un nivel bajo, en el que se hallan los pases que interpretan la
evaluacin como deber reglamentario, un nivel medio, en el que estaran los
que usan la evaluacin como instrumento de management pblico y el nivel
ms alto, en el que se sitan aquellos pases para los que la evaluacin es un
acto poltico y forma parte del debate pblico.

Hacia una utilizacin poltica de la evaluacin

Poltica

Reglamentaria

Gerencialista

Monnier, 2000

Si la democracia es la conquista de una complejidad social 8 , eso significa no

slo actividad crtica y control del control estatal por los controlados; sino,
tambin, impulso de mejora y rendicin de responsabilidades sobre la accin y
la inaccin; en ese nivel habr que situar la responsabilidad (accountability) 9
que reclama la evaluacin. Si la democracia sufre procesos de desgaste,
causados por el predominio de decisiones tcnicas, crpticas y opacas para
los ciudadanos; sobre ese punto pretende la evaluacin aportar transparencia.
En un mundo en perpetuo cambio, los poderes pblicos necesitan aprehender
los problemas complejos, difusos y contradictorios que tratan de resolver sus
polticas. 10 Esta cuestin exige lgicas comprehensivas frente a los anlisis
7

Monnier, Eric.- De Sville Edimbourgue: Qualit en hausse accountability sans grand

changement , Quatrime Confrence Europenne sur lvaluation des fonds structurels.
Edimbourg, 18-19/09/2000
8
Morin, Edgar.- Podemos reformar la administracin pblica?.IX Congreso Internacional del
CLAD sobre la Reforma del Estado y la Administracin Pblica, pg. 3. Madrid. 2-5 Nov, 2004.
9
Se prescindir al mximo en este texto de los trminos en ingls por fuerte compromiso con
nuestra lengua. Nos parece la primera innovacin que podemos aportar a la evaluacin frente a la
colonizacin lingstica.
10
OECD (1995), La gestion publique en mutation. Les rformes dans les pays de lOCDE ,
Conclusions du Comit de la gestion publique.

atomizados y descontextualizados de los controles administrativos

tradicionales. Esa bsqueda de un mayor sentido holstico, traducida en una
lgica ms integral, es la aspiracin de la evaluacin.
Se mantiene la preocupacin por la mejora gerencial de la Administracin
Pblica, sin la que no podra darse este nuevo impulso, pero con una
orientacin diferente a la de los aos 90, que privilegiaba el enfoque
tecnocrtico, invocando criterios racionalizadores 11 para competir en una lgica
de mercado. La racionalidad que ahora persigue el Estado pretende recuperar
su idiosincrasia, respondiendo con su propia lgica de interdependencia e
interrelacin ante el conjunto de los actores sociales; todo ello, en sintona con
el nuevo rol que se exige de un Estado descentralizado y de las reglas del
marco europeo. 12
Lo que est en juego en la base de la institucionalizacin de la evaluacin, en
las democracias modernas, es reducir el cuestionamiento de los ciudadanos
frente a las instituciones, recuperar la legitimidad de los gobiernos, la
transparencia de sus acciones, la comprehensin de la accin pblica en la red
de interconexiones gubernamentales, as como la revitalizacin del propio
sistema democrtico.
El proceso de puesta en marcha en nuestro pas de un sistema pblico de
evaluacin se ha visto marcado por el ritmo acelerado que imponen los
tiempos, enfrentndonos a un doble aprendizaje: la tradicin pasada y las
tendencias actuales dentro del marco de la globalidad.
La conclusin es que algunas cuestiones importantes del pasado no se han
desarrollado en todo su potencial, lo veremos en el campo de la evaluabilidad,
ncleo fundamental de este trabajo. Hemos comprobado, tambin, que la
evaluacin seala hoy hacia vectores diversos y divergentes con infinidad de
tendencias 13 .
El panorama ofrece un campo complejo, con innumerables prcticas muy poco
homogneas, con
estratos superpuestos, no siempre distinguibles, que
corresponden a distintos niveles de su evolucin, a diferentes enfoques y
finalidades y con desigual desarrollo en cada pas y en los sectores polticos
de intervencin. 14 Todo ello se desarrolla, adems, en un intrincado laberinto
de paradigmas alternativos, unos emergentes y otros dominantes, difcil de
11

Sobre la distincin entre racionalidad/ racionalizacin ver Morin, E.- Los siete saberes necesarios
para la educacin del futuro. Ediciones Paidos Ibrica, SA, Barcelona, 2001, pg. 29-31.
12
El Ministro de Administraciones Pblicas, Jordi Sevilla, defina como cogobernanza el marco de
esta interrelacin en el Seminario Un nuevo contrato con la ciudadana , celebrado en el INAP el
27 de febrero de 2006.
13
Sigue siendo de gran inters el mapa que trazaron Furobo, J-E, Rist, R& Shandahl, R (eds),
International atlas of evaluation, New Brunswick & London, Transaction Publishers, 2002.
14
Para una visin general de los sectores polticos de los que se ocupa la evaluacin en Europa,
ver: Volumen III de las Guas Means. Por lo que se refiere a Espaa Juan Andrs Ligero seala
que la mayor parte de las evaluaciones se realizan sobre las llamadas polticas blandas:
Ponencia del X Congreso Internacional del CLAD, Santiago de Chile, 18-21 de octubre 2005.

desentraar. Nos enfrentamos con el gran problema de la informacin en la

sociedad de la globalizacin: metabolizar.
Valoramos la riqueza que suponen las variadas experiencias del panorama
actual, pero sabemos que ser necesaria una sntesis fructfera que ayude a
diferenciar la retrica, el fast-food, la repeticin y la invencin.
A simple vista, tres grandes sectores dominan la industria de la evaluacin y
marcan muchas de sus reglas: el sector de ayuda al desarrollo, en los
organismos internacionales, el de los Fondos Europeos, en la UE 15 y el de la
evaluacin interna de cada pas.
Adems de los dos grandes promotores internacionales en evaluacin, el
tercer bloque ofrece un abanico de experiencias nacionales que recorre un
amplio arco, desde la
evaluacin como monitoreo o seguimiento,
la
evaluacin como herramienta de mejora al servicio del new management,
encaminada a dotar de poder a la
hasta la evaluacin democrtica 16 ,
colectividad y de la que se habla en Europa, desde luego, pero an con mayor
fuerza en las Organizaciones Internacionales y en Amrica latina, porque all lo
que est en juego no es slo la modernizacin administrativa y la revitalizacin
del sistema democrtico, sino
su reforzamiento. 17 Cada una de estas
organizaciones tiene puntos de vista muy distintos sobre el tipo de evaluacin
a utilizar en funcin de sus fines.
Espaa llega con retraso al escenario evaluador, reconozcmoslo, pero con la
pretensin de transformar esa desventaja en ventaja, al tener en consideracin
las experiencias precedentes, encajando los objetivos de su quehacer en el
contexto actual: ayuda a la solucin de problemas y toma de decisiones,
responsabilidad democrtica positiva (superando la exclusivamente contable o
de cumplimiento normativo), bsqueda de excelencia, construccin de
conocimiento y capacitacin, aprendizaje organizacional,
planificacin
estratgica e impulso del cambio institucional.
Admitimos que nuestro mayor problema puede ser la falta de cultura
evaluativa que suponamos ya conquistada por otros pases, aunque, parece
igualarnos el hecho de que un gran nmero de autores informan que, por el
momento, la evaluacin es ms una conquista nominal que una prctica
asentada y que existe un desfase entre la necesidad-bondad que se le
reconoce y su implantacin real 18 . El gran agujero negro de la evaluacin es su
15

Si en los aos 60 se habl, en EEUU, de la industria de la evaluacin, bien podramos hablar

en la actualidad de la industria evaluadora de las Instituciones Internacionales.
16
Segone, M. Evaluacin democrtica. Documento de Trabajo n 3. Oficina Regional para
Amrica Latina y el Caribe. UNICEF. Mayo, 1998.
17
Segone, M.- obra citada.
18
La conclusin se ha extrado de varios autores e instituciones: Jean Claude Thoening, El
Gobierno del Futuro, OCDE, Madrid, 2003 pg. 251; Subirats, J.- Podemos utilizar los
instrumentos de evaluacin como palanca de Gobierno del Sector Pblico, pg. 47 ; Perret, B:
Lvaluation des politiques publiques. Ed. La Decouverte. Paris, 2002 ; Petit Guide de lvaluation
des politiques publiques ; Steve Jacob & Frderic Varone. : Linstutionnalisation de lvaluation

cultura. UNICEF, en uno de sus documentos recapitulativos, declara que la

implantacin de la evaluacin como cultura es uno de los escollos que ms
estn frenando su xito 19 .
Estamos convencidos que la evaluacin apoyar el aprendizaje institucional y
alentar la lgica del dilogo y las reglas de transparencia democrtica, pero
habr que contar tambin con los obstculos, las resistencias y los frenos que
implican los cambios culturales de mayor calado. Nada puede iluminar ms el
futuro que considerar los escollos con los que nos vamos a encontrar.
Conviene recordar que el desarrollo de la evaluacin es tributario del tipo de
Estado en el que surge y de la naturaleza de las elites que tienen la
responsabilidad de ponerla en marcha 20 . La implantacin de un sistema de
evaluacin requiere una fuerte voluntad poltica que la impulse y eso ha
quedado demostrado en el caso espaol, pero el ritmo del proceso depender,
en gran medida, de las motivaciones y resistencias de los diferentes actores
pblicos y de la mentalidad administrativa del pas. El problema no es slo el
diseo de instrumentos, sino su aplicacin.
Los pases han encontrado
diversos cuellos de botella a la hora de implantar sistemas de evaluacin. Se
han detectado resistencias profundas, ms o menos conscientes, ligadas a la
voluntad de preservar zonas de opacidad en la accin pblica, que los
funcionarios perciben como un grado de autonoma 21 que se resisten a perder.
El cambio de cultura administrativa que supone esta medida modernizadora
deber ser una de las estrategias a considerar para comprender las
consideraciones sobre el fracaso o xito del sistema, porque, si hay barreras a
la evaluacin no son tanto tcnicas o profesionales, sino culturales.
Una precisin ms, la mayor parte de las experiencias evaluadoras de todo
ese panorama complejo estn enfocadas a la evaluacin de programas y
mucho menos a las polticas pblicas 22 ya sean sectoriales o en su conjuntopor lo que, existiendo infinidad de prcticas a nuestra disposicin, son menos
las que nos servirn como modelo respecto a la finalidad que persigue el ms
alto nivel que se ha trazado la Agencia: la evaluacin de las polticas pblicas.
Otra consideracin que no podemos obviar es que el entorno dominante
europeo en particular la UE- acta bajo la influencia de los pases de
tradicin anglosajona, que han orientado sus intervenciones sobre el binomio:
evaluacin de programas y evaluacin de fondos europeos, lo que equivale a
evaluacin de resultados y evaluacin al servicio del management 23 ,
bordeando, a menudo, ms el control y la auditoria
que la verdadera
des politiques publiques : expriences trangres et scnarios pour la Belgique (France, Suisse et
Hollande) , 2002. Informe de UNICEF cit. Furobo, Rist y otros, obra citada.
19
Segone, M.- Obra citada.
20
Segone, M. Obra citada.
21
Petit guide de lvaluation des politiques publiques. Commisariat General du Plan. La
Documentatin franaise. Paris, 1996
22
Excepcin del caso francs. Perret, Bernard, obra citada.
23
Volumen I.Guas Means.

evaluacin 24 en su dimensin poltica, cultural, transformadora y de

aprendizaje organizativo . 25 Algunas voces se han alzado ya sobre la
burocratizacin de la evaluacin de los Fondos europeos y la ambigedad en
materia de evaluacin 26 , auque nadie niegue el avance que supone su control.
La pregunta que cabra hacerse, al igual que otros pases del entorno, es
cmo encontrar el propio sello nacional en evaluacin dentro de los marcos
que impone la UE? 27 se es un desafo que est por ver.
El recorrido anterior trata de poner en evidencia, sucintamente, las
consideraciones que hemos tenido en cuenta en nuestro proyecto. Nos
incorporamos tarde, pero con plena consciencia del escenario en el que
tendremos que desarrollar nuestra labor. Hemos de suponer que responder,
fundamentalmente, a dos grandes demandas: una interna, la del Gobierno de
la nacin, con las expectativas puestas en comprobar la contribucin a la
modernizacin del sistema pblico de evaluacin; la otra externa, impulsada
por los mandatos de la UE, con reglas de juego y
finalidades ms en
consonancia con el nivel gestor que con el poltico. Caben otras demandas
distintas a las anteriores que dependern del buen hacer y el prestigio que se
gane la Agencia.
A lo largo de nuestro intenso recorrido, hemos contado con los estudios de los
acadmicos, intelectuales y expertos que nos precedieron y a los que
reconocemos sus aportaciones, en especial, el rigor y la sistematizacin
cientfica con la que han nutrido la pragmtica visin gerencialista.
Trataremos de mantener, con la mayor sensatez, el equilibrio entre
consideraciones epistemolgicas y pragmticas dada la realidad administrativa
en que nos movemos, por la sencilla razn de que, cuanto ms afianzada y
reconocida est una prctica ms fuerte es su teora. 28 Esta disciplina puede
presumir de que los tericos ms autorizados han sido, a la vez, excelentes
prcticos.
Paralelamente al desarrollo del proyecto de creacin de la Agencia de
Evaluacin se vinieron formando los primeros equipos multidisciplinares, que
trabajaron en una doble lnea: en el campo terico, clarificando conceptos y
revisando metodologa y participando, en paralelo, en unas primeras prcticas
24

Estaramos ante lo que Sttufebleam califica de cuasi-evaluaciones..Stufflebeam, D. L &

Shinkfield, A.J..- Evaluacin sistemtica. Gua terica y prctica. Temas de Educacin. Ediciones
Paids Ibrica, Barcelona,1987.
25
No es una crtica exenta de lo positivo que resulta el impulso evaluador de la UE, slo trata de
llamar la atencin sobre un patrocinio que retrotrae la evaluacin al nivel gestor del control de
cuentas ms que a esa otra dimensin ms amplia de accountability o responsabilidad poltica.
26
Monnier, Degeorges, O y Spenleahauer, V. Lvaluation comme outil de lgitimation : le cas des
grandes organisations internationales . Poltiques et Management public, dcembre 1990, vol. 8,
n4. Los autores comparan las prcticas de la Unin Europea, la ONU y el Banco Mundial.
27
Jourdain, Laurence. Lvaluation des politiques communautaires: lgitimation et apprentissages
nationaux .
28
Sartori, G. La poltica. Lgica y Mtodos en las Ciencias Sociales. Fondo de Cultura Econmica,
Mexico, 1984.

evaluadoras: el Programa Nacional de Reformas de Espaa, tareas asignadas

al pequeo embrin que formara la futura Agencia de evaluacin. 29
A la vista de las primeras prcticas se plante la necesidad de indagar en el
arsenal que ofrece la evaluacin en su equipamiento instrumental: enfoques,
tipologas, metodologas, tcnicas. Indagar supuso repensar lo que podra
sernos til, manteniendo como foco de nuestra accin los cinco ejes que
deberan orientar cualquier accin sensata: qu, cmo, con qu, para qu y
para quien evaluar.
El qu, sera el objeto particular de cada encargo; el cmo, se adaptara al
proceder ms riguroso segn el campo de estudio; con qu, aplicara en cada
caso las tcnicas adecuadas a la metodologa elegida y al enfoque que
concebimos pluralista en la medida de lo posible y participativo cuando el
objeto de estudio lo requiera- para qu, cumplira con una doble finalidad,
transformar la gestin, sirvindose de instrumentos de mejora, y transformar
la vida democrtica, aportando a la sociedad responsabilidad y transparencia
de las acciones pblicas; para quin, sin lugar a dudas, para la ciudadana.
Bajo esos presupuestos, se fue perfilando el ncleo de este estudio, a caballo
entre las dos funciones que la Comisin de expertos seala como propias de
la Agencia: la primera, ligada al impulso de la cultura de evaluacin en el
sector pblico y la segunda, vinculada al establecimiento de directrices,
indicadores y metodologas. Esperemos que el presente trabajo contribuya
humildemente a uno y otro cometido.
Partimos de la base de buscar instrumentos y estudios acordes al mbito de la
evaluacin de las polticas pblicas y, en especial, para su nivel estratgico,
esa complejidad de acciones de gran envergadura que requera una orientacin
distinta de la evaluacin de programas y que est ms necesitada de
herramientas, metodologa y prctica especfica. En tiempos de incertidumbre
y vertiginosos cambios, la gestin pblica se desarrolla en terrenos muy
complejos, donde los problemas dejan de ser procedimentales para trasladarse
al mbito de los objetivos y de las estrategias, estableciendo prioridades y
proporcionando las mejores vas para alcanzarlas. 30
La dimensin de algunas polticas (educacin, salud, empleo) podra hacer
deseable institucionalizar procedimientos sistemticos de evaluacin en
sectores clave en los que el coste de recopilacin de datos es elevado y las
informaciones limitadas. Pero, an considerando el valor de los largos
proyectos evaluativos, se siente cada vez ms la necesidad de obtener
evaluaciones ms rpidas y eficaces en cuanto a resultados, para impedir que
29

Programa Nacional de Reformas (PRN). Los equipos pioneros de puesta en marcha de la

Agencia dependan, en origen, de la Direccin General de Inspeccin, Evaluacin y Calidad de los
Sevicios del Ministerio de Administraciones Pblicas.
30
Sobre los nuevos modelos de gestin ver: Gom, R y Brugu Q, R. Nuevos modelos de gestin
y organizacin pblica. Autonomies. Revista Catalana de Derecho Pblico. Generalitat de
Catalunya, n18. separata, julio 1994.

se transformen en formalidades burocrticas que proporcionen resultados

demasiado tardos.
1. LA EVALUABILIDAD COMO INSTRUMENTO DE LA GESTIN
Reflexionando sobre la necesidad de acortar tiempos en la evaluacin y
optimizar sus resultados, hallamos una tipologa muy valorada por la mayor
parte de los enfoques, pero que no siempre se ha aprovechado en su mximo
potencial. En general, se ha visto confinada al nivel de la gestin de
programas, cuando presenta excepcionales ventajas para su aplicacin en el
mbito de la evaluacin de polticas pblicas y de fortalecimiento de una
cultura evaluadora, cuestin que tratar de probar este trabajo. Algunos
autores denominan pre-evaluacin o evaluacin previa a una tipologa
encaminada a diagnosticar y decidir si es conveniente o no realizar una
evaluacin de ms amplio alcance. La idea es simple, pero aplicada con rigor
garantiza un alto grado de utilizacin y aprendizaje, legitimando la decisin de
evaluar.
La ventaja de poder contar con una tipologa de naturaleza prescriptiva antes
de entrar en mayores complejidades
se present como una de las
contribuciones de mayor sentido comn para optimizar la decisin misma de
evaluar. De igual manera que en Medicina a nadie se le ocurrira operar sin un
diagnstico previo, en el campo de la evaluacin nos parece recomendable
empezar por
diagnosticar antes de lanzarse a complejas experiencias
evaluativas de mayor calado. Por qu este proceder no se ha convertido en lo
habitual a pesar de que los organismos internacionales no dejen de
recomendarlo? Algunas sugerencias se aportarn al final del trabajo.
Pronto descubrimos que estaba a nuestra disposicin un instrumento
privilegiado para el diagnstico en evaluacin que fue mostrndose como una
herramienta cada vez ms ventajosa para las evaluaciones de polticas
pblicas y, por ello, nos propusimos desarrollarla al mximo.
La primera conclusin es que an siendo valiosa la herramienta se hallaba
encallada en la concepcin gerencialista estadounidense de los aos 70,
sirviendo slo al nivel operativo de la gestin y no al estratgico y menos an
al gubernamental. Vislumbramos la posibilidad de reactualizar esta tipologa
de la misma forma que se haba reactualizado la evaluacin en su conjunto a lo
largo de los aos, hablamos de la evaluacin de evaluabilidad:
La evaluacin de evaluabilidad 31 es una tipologa previa que trata de aportar
un juicio de valor 32 para llevar a cabo una evaluacin de mayor envergadura.
31

Una imprecisin terminolgica reductora y nada beneficiosa tanto para la evaluacin en general
como para la evaluabilidad en particular, es la utilizacin de anlisis y evaluacin como sinnimos
y de anlisis de evaluabilidad por evaluacin de evaluabilidad.
Convendra distinguir entre el lenguaje comn y el que requiere la evaluacin como disciplina y
especializacin, diferenciando bien entre anlisis y evaluacin. La evaluacin comprende diversos
anlisis, pero va ms all de stos al emitir un juicio de valor que los engloba. Mientras que el

Algunos autores, como Vedung, hablan de la evaluabilidad como de una

obertura, aplicada antes de decidir un proceso evaluador de ms hondo
calado.

Esquema de intervencin de una Evaluacin de Evaluabilidad

Idea de EVALUAR
PROGRAMA DE GRAN
EVERGADURA
POLTICA

1 Merece la pena evaluar?

Previamente
Informe de
evaluabilidad

Evaluacin de
Evaluabilidad
- Propuesta de
tipologa
conveniente

2 Con qu

1.1.

Ev. de resultados
Ev de impactos
instrumento?
Ev. costebeneficios

Legitima la toma de
decisin
Garantiza el modo de
proceder
Proporciona
asesoramiento
experto

El objetivo de la evaluabilidad

Si las evaluaciones tienen por objeto mejorar la informacin y reducir las

incertidumbres de la toma de decisin, la evaluabilidad va dirigida a mejorar y
reducir la incertidumbre sobre la decisin misma de evaluar.
El objetivo de la evaluabilidad es mejorar la toma de decisiones, asegurar la
buena adjudicacin de recursos y rendir cuenta sobre la decisin de evaluar. La

anlisis disecciona las partes para examinarlas en unidades fragmentadas, el propsito de la

evaluacin es recomponer y aglutinar los resultados del anlisis para dar sentido y significado al
conjunto.
32
Sin juicio de valor no podemos hablar exactamente de evaluacin. El juicio de valor es la esencia
medular de su valor aadido. para aprender, es preciso que se formulen juicios. (J.C Thoening,
La evaluacin, fuente de conocimientos aplicables a las reformas de la gestin pblica. MAP,
2003, pg. 257)

10

evaluabilidad debe entenderse como un pre-requisito de un proceso evaluativo

de ms profundo y largo alcance.
1.2.

Las preguntas eje de la evaluabilidad

Como toda evaluacin, la de evaluabilidad se impulsa a travs de una unidad

bsica: la pregunta. El eje principal sobre el que pivota la evaluacin de
evaluabilidad engloba dos preguntas concatenadas: merece la pena evaluar?
Y en caso afirmativo, con qu instrumento conviene hacerlo?, es decir, qu
tipologa sera la conveniente?
La primera cuestin tratar de descubrir qu cosa era en su origen un
programa o poltica pblica y en qu se ha convertido tras la implementacin.
Tratar de descubrir cules eran los objetivos perseguidos, cmo se alcanzan
en la actualidad, cules son los medios utilizados y su uso y,
fundamentalmente, cul es la teora de la poltica o programa.
La segunda cuestin trata de decidir cmo se podra analizar el programa o
poltica, cmo medirlo y cul sera el diseo ms apropiado para evaluarlo.
1.3.

La evolucin de la evaluabilidad. Orgenes y enfoques

El concepto evaluability assessment fue introducido en los aos 70 por J.

Wholey que ser el autor que ms aportaciones har sobre el tema hasta
nuestros das. Junto a l hay que sealar a sus seguidores: Horst, Nay, Scalon,
Rutman.
En su origen, la evaluabilidad se orient al estudio de programas de gran
envergadura, tratando de determinar si eran evaluables.
La evaluacin de evaluabilidad es un medio que nos sirve para asegurar usos
ms prudentes con los escasos medios humanos y materiales disponibles (as
como) para ayudar con este tipo de pre-evaluacin a conseguir evaluaciones
tcnicamente ms factibles que logren sus objetivos con mayor
probabilidad.(Rutman, 1980)
A partir de esta definicin y otras afines concebimos la tesis de este trabajo
que tratar de evidenciar que su mayor potencial est en el campo de la
evaluacin de las polticas pblicas.
Entre los
sinnimos de evaluabilidad podran considerarse: viabilidad y
factibilidad, aunque la evaluabilidad, como veremos, es mucho ms.
Pero, por qu surge la evaluacin de evaluabilidad? a qu necesidad
responde?

11

Wholey afirma que ms del 50% de las intervenciones no son

evaluables y seala las causas:
1. Problemas del propio programa (o polticas)
2. Problemas de los administradores que los han implementado.
3. Inadecuacin entre el coste, los recursos y el tiempo respecto a lo
que se quiere conseguir.
La razn de ser de la evaluabilidad es que la evaluacin es costosa, requiere
esfuerzos, energas y recursos, el evaluador ha de procurar que sea eficaz y lo
ms til posible, por lo que la evaluabilidad se plantea como garanta de la
decisin a tomar.
Una gran ventaja de la evaluabilidad es el tiempo que emplea, entre tres y
seis meses, segn los autores, dependiendo de la envergadura del encargo.
En el origen, su utilidad iba dirigida a los gestores y administradores de
programas, estableciendo las bases de su enfoque criterios tcnicos y
funcionales, hoy aadiramos tambin, legitimadores.
Antes de continuar, conviene advertir que no se debe confundir la
evaluabilidad con otras evaluaciones pre-interventivas a un programa o
poltica pblica, en cuyo caso estaramos hablando de evaluacin de
necesidades aplicable en la fase de planificacin.
La evaluabilidad es una evaluacin previa a otra evaluacin y no previa
a una poltica o programa que se pretende implementar. La
evaluabilidad
diagnostica
sobre
programas
o
polticas
ya
implementados. Se trata de una post-intervencin y se considera idnea
cuando se va a requerir demasiado tiempo, esfuerzo y recursos,
especialmente, antes de realizar una evaluacin de impactos o de costebeneficio o cuando hay demasiadas dudas sobre lo que se va a obtener.
1.4.

La evaluabilidad: Ms all de verificar si el programa o poltica

es evaluable

Wohely expres con una definicin sinttica y polmica su concepto de

evaluabilidad: evaluabilidad es la comprobacin de que un programa es
evaluable. Esto result para algunos autores excesivamente ingenuo y
ocasion interpretaciones limitadas sobre sus posibilidades :
Todos los programas son evaluables y si faltasen objetivos claros en la Teora
del programa, el evaluador debera tratar de reconstruirlos (Chelimsky, 1998)
La autora, en parte, tiene razn. Es verdad que el evaluador debe ser flexible
respecto a los objetivos, si fuera muy exigente, la mayor parte de las veces, no
se realizara la evaluacin. Pero, tal vez, Chelimsky fue excesivamente literal

12

interpretando la posicin de Wholey que, ms all de definiciones minimalistas,

pretenda poner al descubierto las reas problemticas que maximizaban la
inoperancia de los programas: 1) falta de definicin; 2) falta de base terica
del programa; 3) falta de claridad de los propsitos de la evaluacin; y 4)
falta de claridad en las prioridades de la evaluacin.
En un buen nmero de evaluaciones no est claro lo que se pretende obtener,
de ah que Wholey plantee que la evaluabilidad es una oportunidad para
implicar a las partes en un esfuerzo de imaginacin sobre cual podra ser una
teora del programa que identificara los recursos (...), las actividades y
resultados esperados y (especficos) y la cadena de relaciones que ligan todo
ello a los objetivos ltimos.
Como lo habitual es encontrarse a menudo en ausencia de tal teora, el autor
considera que es necesario: ...implicar a los polticos claves, a los directivos,
al staff para desarrollar y clarificar la teora del programa, para intentar
ponerla a punto, para decidir sobre los cambios en la actividad y en los
objetivos del programa que puedan aumentar el rendimiento y para decidir la
prioridad de la evaluacin y los usos esperados de la informacin que sta se
plantea (Wholey, 1987-46).
Con el tiempo, los objetivos de los programas, como dice Stern (1996), se han
ido haciendo cada vez ms intangibles y esto ha planteado cada vez ms
problemas a los evaluadores. Es cierto que estos tiene que clarificar, a
menudo, parte de los objetivos, -Patton considera que el evaluador debe ser
activo, reactivo, adaptativo, y aadiramos, creativo-, pero no sera
conveniente que acabara reconstruyendo por completo los objetivos como
sugiere Chelimsky, ya que, en tal caso, acabara suplantando al planificador,
cuestin siempre sensible que a tantos preocupa. Un equilibrio entre una
posicin y otra parece lo ms acertado.
En todo caso, la polmica entre Wholey y Chelimsky introdujo nuevos criterios
de evaluabilidad, conceptuales y polticos, que enriquecieron el tema y que han
inspirado esta reflexin.
Wholey ya haba salido al paso de las crticas en 1994, justificando con
mayores argumentos sus planteamientos: La evaluacin de evaluabilidad no
muestra slo si un programa puede ser significativamente evaluado
(admitiendo que todos los programas pueden serlo) , sino que contribuye a
clarificar si la evaluacin aportar mejoras sobre el rendimiento del programa.
Y concluye aos ms tarde: La evaluabilidad no debera considerarse un
conjunto rgido de pasos procedimentales, sino como un determinado espritu y
un determinado mtodo encaminados a una gestin orientada a los resultados
a travs de los siguientes criterios:

13

1.- Involucrar a los destinatarios usuarios de la informacin

2.- Clarificar los destinatarios del programa desde la perspectiva de los
directores de las polticas y administradores del programa, considerando, a la
vez, a los involucrados en el servicio ofrecido y a otros actores implicados
3.- Explorar la realidad del programa, incluyendo lo factible y mensurable de
sus objetivos
4.- Lograr poner en relacin las necesidades de cambios identificadas en el
programa con las actividades y los objetivos.
5.-Explorar diseos alternativos de evaluacin.
6.-Acordar prioridades de evaluacin y usos destinados de informacin sobre
los rendimientos del programa
(Wholey 2004)

Volviendo a la ltima definicin retendremos algunas de las caractersticas de

la evaluabilidad: un determinado espritu, un proceder metodolgico,
pero no rgido 33 y una finalidad orientada a los resultados y la gestin.
Nos quedaremos, por lo que a este trabajo conviene con las dos primeras
caractersticas inspiradoras y prescindiremos del exclusivo enfoque
gerencialista que es lo que nos proponemos transcender. Tendremos en
cuenta, tambin, el planteamiento poltico sobre evaluabilidad que introduce
Chelimsky que nos parece de gran inters para la tesis que defendemos.
La evaluacin de evaluabilidad introducida en los 70 se fue perfeccionando por
Wholey y sus seguidores y acab introducindose en las Instituciones
Internacionales y en algunos pases, especialmente, en los organismos
federales y estatales de Canad
(Rutman, 1977, 1980, Smith, 1989),
abarcando los ms complejos programas. 34 . No obstante, la evaluabilidad no
lleg nunca a implantarse de manera generalizada como veremos en las
pginas siguientes.
Pero, quiz, la mayor diferencia de la evaluabilidad con otras tipologas de
evaluacin sea ese espritu que apunta Wholey, que podramos enlazar con
la metfora de Vedung (1996), que considera la evaluabilidad como una serie
sucesiva de pinceladas impresionistas de recopilacin de datos, que se lleva a
cabo para averiguar qu aspectos del programa (o poltica) 35 deberan
considerarse en una evaluacin a gran escala. Ese espritu, esa pintura de
factura suelta, se refiere a que hay que investigar con seriedad, s, pero slo
lo esencial, y en el menor tiempo posible, convirtiendo la evaluabilidad en un
arte que nos permita obtener una visin de conjunto sobre la estrategia a
33

Es interesante la referencia de Wholey al diseo flexible frente a los diseos rgidos propios de
la concepcin experimentalista y positivista. Aunque, el autor apunta ms hacia la corriente
postpositivista que a la ruptura radical que plantean los constructivistas.
34
En la pgina Web de la Agencia Canadiense de Desarrollo Internacional LACDI: www.acdeicida.gc.ca/index.htm, 25 abril 2006, pudimos consultar un caso de evaluabilidad aplicado a un
programa de torturas.
35
El parntesis es nuestro.

14

seguir. Quiz sea esta la caracterstica ms moderna de la evaluabilidad en un

tiempo en el que el mayor reproche a la evaluacin es el largo tiempo que
lleva.
El propio Vedung seala donde poner el foco: en el anlisis del programa
y en el anlisis de viabilidad, en el que incluye razones metodolgicas,
polticas y sociales; cuestin que vuelve a ampliar el campo del estudio de la
evaluabilidad.
En la dialctica de su propio devenir, la evaluacin de evaluabilidad fue
enriquecindose, con criterios como la identificacin clara de stakeholders y su
papel en el proceso de evaluabilidad, la prospeccin sobre unidades medibles,
y lo que es un paso ms, la aportacin de alternativas y la estrategia sobre los
usos de la informacin.
Otros autores, reelaboraron los planteamientos de Wholey con fines
pragmticos Muscatello (1988) 36 . Con el fin de ayudar al evaluador en la
verificacin de tareas, elabor un listado de cuestiones, a modo de agenda de
trabajo, en el que recoge los criterios esenciales de los que se ocupa la
evaluabilidad: tiempo de evaluacin, costes materiales, costes de personal,
obstculos de la evaluacin, propsitos del programa, definicin de objetivos,
implantacin, posibilidades de utilizar medidas vlidas y fiables, potenciales
caractersticas administrativas, polticas y legales.
La experiencia muestra que las evaluaciones son costosas y demasiado largas
en relacin al uso que se hace de sus resultados. Las ventajas de la
evaluabilidad deberan aportar informacin sobre los costes de la evaluacin a
realizar y sus limitaciones, ponderando si lo que se obtiene merece lo que se
emplea.
Como vemos, la sencilla definicin sobre evaluabilidad se fue cargando de
una acumulacin de pruebas, estudios y datos que le han dado, cada vez ms,
justificacin y profundidad.
Como peculiaridades de estudio, la evaluabilidad se ocupa de la teora del
programa o polticas, de su coherencia, claridad de objetivos, de los
indicadores esenciales y de la seleccin las actividades de la poltica o
programa que seran ms significativas a la hora de evaluar.
A estas alturas estamos en disposicin de resumir algunas de las
caractersticas esenciales de la
evaluacin de evaluabilidad de
programas:

36

Muscatello, L (1988) Developing an Agenda that Works. En J.A. McLaughlin et al. (eds)
Evaluation Utilization. New Directions for Program Evaluation. San Francisco: Jossey Bass.

15

CARACTERSTICAS DE LA EVALUABILIDAD
Saca la luz la calidad de la conceptualizacin del programa en la fase de
planificacin, analizando su diseo, necesidades y objetivos.
Cuanto mayor rigor haya observado el diseador del programa en la fase de
planificacin ms fcil ser comprobar su evaluabilidad.
Responde a una lgica sistemtica de abajo arriba, que ir reconstruyendo
un proceso desde las acciones concretas del programa y sus resultados hasta su
fundamento y objetivos especficos.
Verifica la existencia y la accesibilidad a la informacin necesaria, en calidad y
cantidad, que permitira llevar a cabo la evaluacin. Si no hay datos suficientes o
los que hay no resultan relevantes la evaluabilidad desaconsejar la evaluacin.
Informa sobre la implicacin y disposicin del entorno gestor y responsable
frente a la posible evaluacin, constatando sus resistencias o colaboracin. En
definitiva, uno de los objetivos perseguidos con el anlisis de evaluabilidad es crear
un clima favorable, de cooperacin e interaccin entre evaluados y evaluadores
para facilitar la evaluacin.
Analiza la dotacin de recursos con los que se cuenta para la evaluacin.

Todo esto aporta gran validez a la evaluabilidad como herramienta de

diagnstico y planificacin, la limitacin seguira estando en concebirla slo
dentro de los lmites de la gestin de programas 37 , pues su mayor valor es
poltico, al reforzar la decisin de movilizar recursos para evaluar y al
responder de ello.
Respecto al juicio de valor, Palumbo (1987) 38 dice que las distintas fases del
ciclo de intervencin se nutren de informacin procedente de distintos tipos de
evaluacin y de cada una de ellas se derivan diversos juicios valorativos. La
evaluabilidad emite un juicio que es la suma de varios anlisis.

37

Esto es debido a que el campo evaluativo de los Organismos internacionales se ocupa

esencialmente de proyectos y programas ms que de polticas pblicas.
38
Palumbo. Il proceso di valutazione. Decidere, programmare, valutare. Franco Angeli. Milano,
2001.

16

EL JUICIO DE VALOR EN LA EVALUACIN DE EVALUABILIDAD

TIPOS DE EVALUACIN

EVALUACIN
NECESIDADES

JUICIOS

EVALUABILIDAD

PERTINENCIA

ANLISIS DE OBJETIVOS
SUFICIENCIA
ANLISIS DEL PROGRAMA

Suma de todos
los anlisis.
Alternativas y
Propuesta

ANLISIS DE LA
IMPLANTACIN
PROGRESO
EVALUACIN
DE PROCESO

___________________
EVALUACIN DE
RESULTADOS

EVALUACIN DE
IMPACTOS

_____________________

___________________

EFECTIVIDAD
EFICACIA
EFICIENCIA

IMPACTOS:
ESPERADOS
INESPERADOS

La evaluabilidad ha acabado por convertirse en un criterio central de la

evaluacin actual y, al menos nominalmente, la encontramos en todas las
instituciones internacionales.
1.5.

La evaluabilidad en la actualidad: estado de la cuestin

Hoy da, la evaluabilidad se encuentra recogida en todas las instituciones

internacionales con recomendaciones especiales sobre su uso. Lejos de
considerarla un mero instrumento de gestin para comprobar si el programa
es evaluable, se han introducido nuevos criterios que apuntan finalidades en
consonancia con el nivel poltico de la nueva gobernanza. Naciones Unidas la
propone como diagnstico que verifique la independencia en el proceso
evaluador y el BID la incluye como instrumento estratgico en los retos del
Nuevo Milenio para fomentar la transparencia y la rendicin de cuentas de los
gobiernos.
Al igual que la evaluacin en su conjunto, la evaluabilidad responde en la
actualidad a una necesidad de racionalidad y tambin de transparencia, qu
puede ser ms responsable para un decisor pblico que conocer las
consecuencias de su accin a fin de asumir plenamente las consecuencias que
se deriven de ella?

17

Recogemos a continuacin algunas de las definiciones de evaluabilidad de las

Instituciones con mayor peso en el campo internacional.

Naciones Unidas
Normas de Evaluacin. Punto 7. N7- Evaluabilidad
Antes de emprender una evaluacin de envergadura que requiera una inversin
significativa de recursos, puede ser til llevar a cabo un ejercicio de evaluabilidad.
ste consistira en verificar si existe claridad en la intencionalidad de la
intervencin que ser evaluada, indicadores mensurables suficientes, fuentes de
informacin evaluables y fiables y ningn factor significativo que interfiera con un
proceso de evaluacin imparcial.
(Normas de evaluacin en el sistema de las Naciones Unidas, abril, 2005)
BID: Objetivos de Desarrollo del Milenio:
En materia de desarrollo, el nfasis renovado sobre la efectividad de programas
lleva al BID a aumentar los retos en cuanto a sistemas de evaluacin y partes
interesadas, especialmente, en lo que concierne a la mejora de la evaluabilidad y
diagnstico de eficacia de los programas financiados por el Banco a fin de
promover la transparencia y la rendicin de cuentas.
UNICEF
Sita la evaluabilidad a
evaluacin.

la cabeza de

los procesos de institucionalizacin de la

Determinacin de la
evaluabilidad
Institucionalizacin del proceso
y de la prctica de evaluacin

Anlisis del proceso institucional

de toma de decisiones y de
usuarios de la evaluacin

Divulgacin y utilizacin de
resultados y
recomendaciones

Creacin de la capacidad para disear

e implementar la evaluacin.

UNICEF
Anlisis de la informacin
y preparacin de informe

Planificacin de la evaluacin
Identificacin del proceso

Recopilacin y proceso de datos

18

Unin Europea
Guas Means: Volumen 6. Glosario.
Evaluabilidad
Parte tcnica de la preevaluacin que considera el conocimiento disponible y
evala si las condiciones tcnicas e institucionales son suficientes para ofrecer
respuestas fiables y crebles a las preguntas planteadas. De forma ms concreta
consiste en una comprobacin sobre s un evaluador, utilizando mtodos y tcnicas
de evaluacin adecuados, en el tiempo estipulado y a un coste compatible con las
restricciones existentes, ser capaz de responder a las preguntas de evaluacin con
una alta probabilidad de alcanzar conclusiones tiles.
En algunas formulaciones esto tambin incluye una evaluacin de la probabilidad
de que la informacin que ofrezca la evaluacin sea utilizada. Est estrechamente
vinculada con el anlisis de la teora del programa y la lgica del programa en la
medida en que la evaluabilidad depende de la coherencia de la lgica del programa
y la verosimilitud de sus cadenas de intervencin y ejecucin.
A la vista de lo anterior, podemos recoger nuevos criterios de evaluabilidad
que apuntan a funciones estratgicas y poltico-democrticas, as como al
impulso de la cultura evaluadora, al lado de la funcin ms tradicional de
mejora de la gestin que prima en la Unin Europea.
CRITERIOS
Garanta de mejora de
gestin
Garanta de imparcialidad
Transparencia
Rendicin de cuentas
Impulso
institucionalizacin
evaluacin en general
Eficiencia y Eficacia
sobre utilidad y
utilizacin

FINALIDAD

INSTITUCIONES

Control gestor
Control democrtico

Naciones Unidas

Buena gobernanza
Proceso de cultura e
institucionalizacin de la
evaluacin
Gerencialista
(management)

BID

UNICEF

UE

19

1.6.

La evaluacin de evaluabilidad en Espaa. Metodologas

Entre los estudiosos espaoles que se han ocupado del tema de la

evaluabilidad, destaca, en primer lugar, el profesor Alvira que le dedica, ya en
la dcada de los 90, un apartado especial en sus Cuadernos de
Metodologa(1991). Sigue a Wholey y a la corriente gerencialista americana y
sustenta su trabajo metodolgico en los tres modelos de los que habla
Rutman. El primero, trata de reconstruir la teora del programa; el segundo,
proporciona datos sobre actores implicados, finalidad pretendida, actitudes
frente a la evaluacin, resistencias y obstculos, adems de otros sobre la
observacin in situ de las actividades del programa; y el tercero, tras analizar
las alternativas y el ajuste posible propone las conclusiones sobre el

modelo aplicar.
Los Modelos
Anlisis terico y emprico

Anlisis terico

Mod. Retrico
Mod. Evaluable

1
Anlisis
Conceptual y
Anlisis de
Necesidades

2
Anlisis
Actividades
Intervencin
Mod. A evaluar

Lo que
es
posible

Propuesta
Evaluacin

El planteamiento metodolgico de Alvira ha inspirado el presente trabajo.

Dejando al margen, con ser de inters, enfoques positivistas o constructivistas,
sostenemos que, en cuanto a metodologa, el trabajo de Alvira, con la
elaboracin de los tres mapas de informacin: 1) sobre teora del programa, 2)
sobre la recogida de informacin in situ, 3) el estudio de alternativas y toma
de decisin, proporciona rigor y sistematicidad para no hacer de la diagnosis
de evaluabilidad un juicio aproximativo o intuido, garantizando con el modo
de proceder el mayor grado de racionalidad respecto a dicho juicio.

20

Otras Propuestas metodolgicas.

Otros autores espaoles se han ocupado del tema, como Roco FernndezBallesteros 39 , que entiende por evaluabilidad: La factibilidad de la evaluacin
de un programa y la facilidad con la que tal evaluacin podra ser llevada a
cabo, con el fin de llegar a determinar la magnitud del esfuerzo y el coste que
supondr la evaluacin.
Dicha autora propone un Listado de cuestiones relevantes en evaluacin de
programas (LCREP) que considera de inters seguir antes de comenzar un
proceso de evaluacin. La herramienta, presentada como Cuaderno de
instrucciones, en la lnea de Muscatello, trata de juzgar la evaluabilidad del
programa en base a la calidad del proceso de planificacin e implantacin, as
como las barreras que puede encontrar el evaluador al realizar su trabajo.
Consideramos valiosa la herramienta que ofrece esta autora a la que, adems,
ha otorgado una serie de indicadores para demostrar sus
propiedades
psicomtricas. Ahora bien, se echa en falta un mtodo global del proceso de
evaluabilidad que supone ir ms all de aplicar el listado de cuestiones. Hay
otra serie de problemas, tanto previas como posteriores a la recogida de esos
datos, que no se recogen en su propuesta, desde el propio diseo de la
evaluabilidad, al tratamiento de mapas comparativos y las alternativas
posibles, esenciales para completar y avalar el informe de evaluabilidad, a fin
de que aporten valor aadido y sustente el juicio de valor con la propuesta
tcnica a aplicar.
Concebimos el diseo de la evaluabilidad como un diseo flexible pero slido.
Siguiendo el consejo de la Comisin de expertos habremos de huir de
sofisticadas y complejas metodologas 40 , pero sin que eso quiera decir que
debamos prescindir de la calidad metodolgica que requiere cualquier
evaluacin para garantizar su credibilidad y su uso. Se considera que el modelo
de las check- lists debilita hasta cierto punto la concepcin global del diseo
de evaluabilidad.
En este supuesto, por imperativos de costes y tiempos, no cabe la utilizacin
de mtodos complejos o experimentales: es preferible medir lo correcto de
forma aproximada que lo errneo de forma precisa 41 pero tendremos que
encontrar
un
equilibrio
entre
las
consideraciones
pragmticas
y
epistemolgicas.
Una buena preparacin de las evaluaciones es una de las condiciones mayores
de su xito, y la evaluabilidad no es una excepcin. La planificacin cuidadosa
39

Fernndez-Ballesteros, R.- Evaluacin de Programas. Una gua prctica en mbitos sociales,

educativos y de salud. Ed. Sntesis S.A, Madrid, 1996.
40
Informe de la Comisin para el estudio y creacin de la Agencia Estatal de Evaluacin de la
Calidad de los Servicios y de las Polticas Pblicas, INAP, abril, 2005, pag.80.
41
Informe de la Comisin, obra citada, pgina 80

21

de la evaluacin contribuye a un mayor xito en su implementacin y a la

calidad de sus resultados. Facilita adems la
revisin de su calidad
(metaevalucin). Desde esta perspectiva, la evaluabilidad no slo es una
herramienta de diagnstico, sino avance de la planificacin que la evaluacin
en profundidad podra llevar a cabo. Si ese trabajo previo lo hacemos bien, la
evaluabilidad se convertir en un avance para la evaluacin posterior.
1.7.

Cmo entender hoy la evaluabilidad?

Los procesos de cambio de la propia evaluacin, la fuerza que estn cobrando

los contexto, los actores implicados, los fracasos de ciertos experimentos y la
necesidad de que la evaluacin ayude al nivel ms alto y complejo de accin
pblica nos lleva a plantear que la evaluabilidad se debe entender hoy en dos
niveles: el operativo, de la gestin de programas y el estratgico, de la
evaluacin de polticas pblicas.
El coste que supone toda evaluacin, cobra mayor sentido, si cabe, en las
polticas ms complejas, pues su gran entramado puede disparar los recursos
necesarios para llevar a cabo una evaluacin.
En conclusin, la tesis que aqu se defiende es que la evaluabilidad sigue
siendo vlida desde la visin de aplicacin a programas: comprobacin de
factibilidad y utilidad de procesos de evaluacin; valoracin de las premisas y
coherencia de la teora del programa, y estudio de las sus caractersticas ms
destacadas que permitan diagnosticar la mejor forma de evaluarlo. Pero su
mayor inters reside en su aplicacin a las polticas pblicas como trataremos
de argumentar.
1.8.

La razn de ser de la evaluabilidad: no todo es evaluable

Antes de ofrecer al lector las conclusiones de este trabajo, merece la pena

examinar un artculo de reciente aparicin del Presidente de la Sociedad
Europea de Evaluacin que trata sobre el tema que nos ocupa. 42 Lo hacemos,
de una parte, para no sustraer planteamientos contrarios a los que aqu se
sostienen y de otra, porque consideramos de inters mostrar las distintas
corrientes evaluadoras a travs de un debate constructivo.
El artculo del sr. Dhaler-Larsen plantea como tesis fundamental que en
evaluacin se ha pasado de una poca, que denomina estimacin de la
evaluabilidad a otra que califica de cultura de la evaluacin. Parte, adems,
de una pregunta medular: Debemos evaluarlo todo?, que remite a la
pregunta origen de la evaluabilidad. El artculo ofrece tambin algunas ideas

42

Peter Dahler-Larsen. Debemos evaluar todo? O de la estimacin de la evaluabilidad a la

cultura de la evaluacin. ICE. Evaluacin de Polticas Pblicas. Mayo-Junio, 2007. N 836

22

sugerentes sobre aspectos de la evaluacin en general, que se han dejado al

margen para centrarnos en el tema que nos ocupa.
El sr. Dhaler-Larsen considera que vivimos en la era de la evaluacin,
cuestin que, desde una realidad como la espaola, vislumbramos con el
entusiasmo declarado al inicio, pero templado con moderacin.
Tal vez, en algunos pases, la evaluacin ha alcanzado esa edad de madurez
de la que vienen hablando algunos, 43 pero no se puede obviar que cualquier
estrategia de modernizacin necesita adaptarse a la situacin de cada pas, a
su contexto, necesidades y circunstancias concretas. En Espaa, a pesar del
reciente impulso a la evaluacin, como instrumento de modernizacin y
mejora, se est muy lejos de esa cultura evaluadora consolidada de la que
habla el Presidente de la Sociedad Europea de Evaluacin. Entre el discurso
poltico y su implantacin hay una gran brecha que cubrir, sealaba
recientemente el Presidente de la Agencia de Evaluacin. 44 Sin embargo, no
slo se trata de Espaa. En un texto tan significativo como La modernizacin
del estado: el camino a seguir 45 , publicado por la Secretara General de la
OCDE, 2006, no aparece, en la panormica de futuro, la ms mnima
referencia a la evaluacin.
La experiencia de los procesos de reforma en los pases de la OCDE muestra,
bien al contrario, como los mismos instrumentos de reforma pueden funcionar
de manera diferente y producir resultados distintos dependiendo del contexto
nacional.
Habr que esperar para verificar si el fenmeno evaluador, tanto a nivel
nacional como internacional, pasa de ser una moda pasajera como en
anteriores oleadas evaluadoras o generar de una vez por todas esa verdadera
cultura de evaluacin de la que habla el sr. Dahler-Larsen.
De gran inters es la pregunta que se hace el autor sobre si debemos evaluarlo
todo. No es slo una de las cuestiones medulares sobre las que se interroga la
evaluabilidad y la evaluacin en general, sino un requisito de responsabilidad
frente a la ciudadana.
La respuesta del Sr. Dhaler-Larsen, al considerar la excelencia de la evaluacin
per se, llega a afirmar que las objeciones metodolgicas, que se plantearon los
evaluadores del pasado al interrogarse sobre esta cuestin, pertenecen a una
fase superada de la evaluacin, que denomina era de la estimacin de la
evaluabilidad (calificada de concepcin modesta de la evaluacin) y que
opone a la poca autosuficiente de la cultura de evaluacin actual. No
43

Tenzer, N.- Lvaluation: lge de la maturit , La documentation franaise, Paris, 1999, pp117-134.
44
Garde Roca, JA.- V Conferencia Bienal Sociedad Espaola de Evaluacin. Funcin Pblica y
Evaluacin. Santiago de Compostela, 24 de septiembre de 2007.
45
Publicado en francs con el ttulo: Moderniser ltat: la route suivre, y en ingls: Modernising
Government; The way forward.

23

obstante, es el propio autor quien aade, ms adelante, matizaciones y

relativismos que evidencian que esa cultura de evaluacin autosuficiente no es,
por el momento, un fenmeno homogneo, que presenta infinidad de
variedades sobre las que ponerse de acuerdo 46 y que de su observacin slo
sacamos: intentos para hacer de la evaluacin algo aceptado e
institucionalizado. Matizaciones todas ellas
sobre las que estamos de
acuerdo, pero que consideramos por el momento intentos.
En evaluacin, nos hallamos an muy lejos de ponernos de acuerdo, no slo
sobre los conceptos premisa indispensable para entenderse- sino sobre la
infinidad de concepciones que subyacen en cada discurso.
Respecto a los conceptos, habra que sealar que la evaluabilidad no ha sido
nunca una dominante evaluadora, ni mucho menos una era que caracterice a
un perodo de la evaluacin. El propio autor seala: no hay razn para pensar
que la evaluabilidad general de las intervenciones pblicas se haya
incrementado automticamente con el paso del tiempo. En muchas situaciones
lo opuesto puede ser el caso. La conclusin pone en entredicho que la
evaluabilidad haya tenido una aplicacin generalizada ni que haya marcado
una era.
La evaluabilidad se us y nunca con demasiada frecuencia- a partir de los
70, como una tipologa ms de evaluacin que resultaba recomendable en
programas de gran envergadura, cuando resultaba dudoso si lo que se
pretenda obtener con una evaluacin de mayor profundidad compensara los
recursos a aplicar o se enfrentara con grandes obstculos. Es decir, la
evaluabilidad trata de aplicar criterios de eficacia y eficiencia a la propia
evaluacin.
Debe recordarse la evolucin que ha sufrido la evaluabilidad a lo largo del
tiempo. Y tampoco debe olvidarse algo an mayor, explicitado desde su
origen: de ser recomendable la evaluacin en profundidad, cual sera la
tipologa ms adecuada para hacerlo?. La evaluabilidad no se plantea slo la
sensatez y la utilidad de evaluar, sino otra cuestin fundamental que no se
ha tratado en el artculo citado. En el supuesto de ser recomendable la
evaluacin en profundidad, la evaluabilidad aportar en su informe cul ser
el mejor abordaje para llevarla a cabo.
Desde el momento que la evaluabilidad es una tipologa ms dentro del
abanico evaluativo, no podemos estar de acuerdo con la disyuntiva que
propone el sr. Larsen a lo largo de todo su artculo entre los partidarios de la
evaluabilidad y los de la evaluacin. No vemos ms causa que la ltima, de la
que la primera sera una herramienta (aos 70) y una estrategia (momento
actual).
46

Peter Dhaler-Larsen: Algunas discusiones que tienen lugar sobre la evaluacin implican
confusiones, quiz porque no se clarifican las perspectivas diferentes que estn debajo de cada
enfoque. ICE.Evaluacin de Polticas Pblicas. Mayo-Junio, 2007. N836, pg. 94

24

La evaluabilidad es un tipo de evaluacin ms al servicio de la cultura de

evaluacin. Y si
para
generar cultura evaluadora se deben desarrollar
especficas estrategias, consideramos la evaluabilidad como una de las ms
favorables segn se tratar de demostrar en las conclusiones de este trabajo.
Pero, merece la pena desentraar otra disyuntiva que plantea el autor al
distinguir entre la perspectiva prescriptiva y la descriptiva en evaluacin,
adjudicando a la evaluabilidad la primera y no la segunda. La evaluabilidad no
slo prescribe sobre la conveniencia o no de evaluar en profundidad una
intervencin pblica, sino que propone, a la vez, la forma de hacerlo,
aunando la perspectiva prescriptiva y la descriptiva. De haberse tenido ms en
cuenta las dos preguntas esenciales de la evaluabilidad, se habran eliminado a
nuestro juicio las tensiones que el autor confiesa que le produce la polaridad
entre una y otra.
No obstante, el meollo de la cuestin sigue estando en la pregunta esencial de
si todo es evaluable, que retrotrae la polmica a la de Wholey y Chelimisky,
pero que el sr. Dhaler-Larsen resuelve en un nivel distinto al metodolgico.
Concluye con un argumento: evaluar es bueno en s mismo porque su prctica
habitual crea cultura evaluadora.
Si la argumentacin de Chelimisky frente a Wholey estaba en el plano
metodolgico, al considerar que el evaluador debe ser capaz, si es necesario,
de reconstruir la lgica de una poltica o programa, contribuyendo con ello al
propio trabajo evaluador, la conclusin del sr Dhaler-Larsen apunta en otra
direccin: la de construir cultura evaluadora, evaluando, cuestin que
aceptamos con matizaciones.
Si bien la realizacin de evaluaciones puede generar cultura evaluadora y se
debera ser uno de sus principales cometidos, no nos parece que la evaluacin
per se baste para generar esa cultura. Ya exponamos anteriormente la duda
de que pueda responder slo a una moda o a intervenciones puntuales que
no transformen y mejoren las instituciones y el conocimiento sobre las polticas
pblicas. Para generar cultura evaluadora se requiere evaluar, s, pero
generando particulares estrategias.
El hecho de que la evaluacin es a menudo recomendada de manera general
en nuestra era incluso bajo circunstancias no evaluables (que no era el caso en
la era de la estimacin de la evaluabilidad) es una indicacin para el sr.
Dahler-Larsen- de que el mundo que nos ocupa ha ganado ms confianza en s
mismo.
Cabra preguntarse si dichas afirmaciones tranquilizaran a muchos decisores
pblicos
que debern responder sobre la decisin de evaluar. Cabra
preguntarse, an ms, si tranquilizaran a los ciudadanos que son el objetivo
ltimo al que debe servir la evaluacin. Reconocemos lo provocador de su
planteamiento y el valor que puede tener desde el punto de vista investigativo,
pero como decisin responsable entrara en colisin con la base racional que la

25

evaluacin pretende aportar a la valoracin de las polticas pblicas. Afirma

adems el sr. Larsen:
Las ideas dominantes sobre la evaluacin de nuestra era no insisten ya en
que sea necesario razonar lgicamente el valor de cada una de las
evaluaciones. Podemos por tanto hacer la hiptesis de que la evaluacin ser
utilizada en ciertas situaciones en donde la probabilidad de que sea usada
instrumentalmente en la mejora de la situacin sea baja.
Sera interesante conocer cuntos trabajos, fuera del mbito investigador,
pueden ser encarados bajo tales presupuestos?
Se podra argumentar que algunos van cuando otros vuelven y volver a
insistir en que no existe una prctica uniforme-, pero, en cualquier caso, la
prctica evaluadora -hablando de polticas pblicas- debiera ser tan selectiva y
responsable como cualquier otra accin
de los poderes pblicos. Si las
reformas administrativas y la evaluacin como una herramienta a su servicio,
nacen de la desconfianza de los ciudadanos frente a la opacidad e
irracionalidad de los poderes pblicos, qu aportara la tesis del sr. Larsen?
La evaluacin, recordmoslo, no es ms que un instrumento entre otros
muchos de los que disponen los gobiernos y las Administraciones Pblicas que
debern utilizar con responsabilidad y compromiso social. La innovacin en
este campo requerir tanto riesgos y cautelas como en cualquier otro, pero,
adems, presupuestos calculados y buenos diagnsticos para no derivar por
vas caprichosas que desdibujen la funcin de rendicin de la accin pblica
ante la sociedad que es una de las funciones esenciales en la estructura de
legitimidad de las sociedades democrticas 47
El sr. Dahler-Larsen no niega que las intervenciones pblicas son cada vez
ms complejas, con impacto en varios niveles de gobierno y que se componen
de paquetes de instrumentos difciles de evaluar (al menos sin previamente
realizar un esfuerzo extraordinario en clarificar la intervencin, la teora del
programa, los objetivos, las necesidades de informacin, y las opciones para la
mejora del programa). De hecho, acepta que algunos evaluadores hablen de
intervenciones tan complejas que no admiten su evaluacin.
Nosotros
aadiramos que, otras, tampoco mereceran tal despliegue por lo simple de
su cometido o lo inapropiadas para esta tcnica. Sin embargo, se decanta por
evaluar que algo bueno quedar. Concede a la evaluacin un papel
constructor de cultura que genera por s mismo comportamientos, valores y
normas distintas de las que existiran en un mundo sin evaluacin, olvidando
los fracasos que la evaluacin ha sufrido hasta el momento y la dificultad de
transformar la refractaria cultura administrativa. Porque para hablar de cultura
evaluativa sta ha de ser un proceso cotidiano que involucre a las instituciones
en sus distintos niveles y no slo al personal tcnico o especializado y a unos
pocos decisores comprometidos.
47

Informe de la Comisin de expertos, obra citada, pg, 22.

26

Que la evaluacin es una prctica inestimable, de acuerdo nuestro

entusiasmo qued expuesto desde las primeras lneas- pero que no es una
panacea, tambin. Que debe ser selectiva la evaluacin? Lo afirmamos sin
ninguna duda. Es ms, creemos que parte de su descrdito puede derivar de
una aplicacin indiscriminada y unas expectativas poco realistas sobre lo que
puede conseguir.
Aadiremos un pequeo detalle que suele quedar al margen de ciertas
disquisiciones sobre evaluacin, como si sta se financiara a travs de
instituciones filantrpicas: la evaluacin de las polticas pblicas absorbe
recursos pblicos. Por consiguiente, debe responder ante los ciudadanos de los
criterios con los que ejerce su actividad. No se trata de un nuevo kit para
burcratas ni tendra la menor utilidad como mero entretenimiento de
investigacin social. Para que justifique el coste de su realizacin tiene que ser
capaz de ofrecer resultados que merezcan la pena. 48
Sin tener en cuenta estas consideraciones podra darse el caso de alcanzar
niveles satisfactorios de capacidad evaluadora que no estuvieran sumando
mejoras al sistema democrtico, sino multiplicando algunas de sus
perversiones, como la burocratizacin, la racionalizacin encubierta, o el desvo
de rditos sociales a intereses particulares y no colectivos.
Por eso sostenemos que si la evaluabilidad es una tipologa ms de
evaluacin 49 , y resulta indicada, tanto para la prescripcin como para la
descripcin de problemas de evaluacin complejos, no solamente no es distinta
de la propia cultura evaluadora, sino que podra ser uno de sus generadores de
mayor xito y garanta.
La cuestin que podra plantearse, es, entonces, por qu no se usa, como
recomiendan las instituciones internacionales?
La respuesta la aporta el sr Larsen, no como propia, sino a travs de voces que
no duda en calificar: Una visin un tanto ms cnica es la de que el concepto
de estimacin de la evaluabilidad se ha desvanecido entre los evaluadores,
porque es comercialmente perjudicial renunciar a los honorarios, cosa que ser
obligada si el resultado de la estimacin resultara negativa (Shadish, Cook y
Leviton, 1991:237). En vez de enfrentarse con un conjunto de criterios
estrictos para juzgar si una evaluacin puede ser vendida, los consultores
adoptan ahora el enfoque de vender no solamente una evaluacin, sino una
cultura de evaluacin, sin discutir mucho sobre su legitimidad.
Desde nuestro punto de vista tener en consideracin las cuestiones que
apuntan los autores citados no tiene por qu responder a una visin cnica o
malintencionada, sino a las distintas realidades que conforman la realidad
48
49

Entre ellos, el de haber generado cultura y no intervencin sin ms huella.

Y difcil ser probar en la literatura de evaluacin otra cosa.

27

evaluativa. Recordemos que el escenario investigador no es el escenario

poltico y si el primero puede substraerse a la accountability el segundo no
debiera eludirla.
El compromiso pblico en evaluacin plantea perspectivas muy diversas a las
que se plantean en el mercado. Los recursos que la evaluacin detrae de los
presupuestos pblicos y los que obtiene el mercado al prestar servicios
externos a las administraciones pblicas estn en campos de inters opuestos
y sera ingenuo olvidarlo. La evaluacin pblica no puede eludir la discusin
sobre su legitimidad.
La misma tensin se percibe entre el binomio racionalidad-transparencia que
afecta ms a la accin pblica que a la investigadora. Perspectiva, esta ltima,
en la que el autor basa sus planteamientos:Como investigador,
constantemente veo la necesidad de describir procesos de evaluacin
complicados en marcos institucionales complejos sin imponer supuestos de
racionalidad ni en el nivel micro ni en el nivel macro.
Que la gobernanza haya puesto en cuestin lo inapropiado de la racionalidad
sustantiva frente a los nuevos problemas de nuestro tiempo, no quiere decir
que no propugne una nueva racionalidad procedimental, relevante,
especialmente cuando los resultados de las polticas dependen de la interaccin
entre niveles de gobierno y entre el sector pblico y el privado.
El autor considera que si la evaluabilidad ha ido decayendo ha sido, en parte,
por un afn desaforado de demostrar la racionalidad a la hora de evaluar,
esas condiciones
convenientes que determinarn la evaluacin en
profundidad. Y concluye que el valor de la evaluacin, en general, ha
sobrepasado las caractersticas y circunstancias convenientes en las que debe
aplicarse. La rplica a este planteamiento est en repetir de nuevo que la
evaluabilidad no se preocupa ya, desde hace aos, slo de las circunstancias
convenientes, sino de avanzar las estrategias de cmo se debera abordar la
evaluacin en profundidad.
Porque lo que mantenemos aqu es que la evaluabilidad no slo genera cultura
evaluadora, sino que es una herramienta estratgica de primer orden en el
campo de las polticas pblicas, que permite entrar en terrenos refractarios a la
evaluacin en profundidad sin levantar las resistencias que sta provoca. Y es,
adems, una de las evaluaciones que tiene ms garantizada la utilizacin de
sus resultados.
La evaluabilidad se compromete con un principio de evaluacin ineludible: No
todo es evaluable. Entindase, en un sentido de responsabilidad poltica y no
slo metodolgico. La evaluacin es til pero no a cualquier precio para la
sociedad. La evaluabilidad, precisamente, vendra a garantizar la eficacia y la
eficiencia de un uso indiscriminado de la evaluacin por parte de los poderes
pblicos, como tratan de justificar las conclusiones que se avanzan a
continuacin.

28

2. LA EVALUABILIDAD, HERRAMIENTA ESTRATGICA DE LA

EVALUACIN DE POLTICAS PBLICAS
2.1.
2.2.
2.3.

Por su lgica de responsabilidad y

transparencia
Por su valor estratgico
Por su contribucin al fortalecimiento de la
cultura evaluadora

Necesitamos considerar la evaluacin como una empresa eclctica, con un

conjunto de abundantes herramientas y muchas perspectivas legtimas,
propsitos, preguntas y usos (Chelimsky, 1997). Todo esto habr de estar
ligado al establecimiento de
estndares compartidos y principios ticos
respetados. No todo vale, como encubre tantas veces el relativismo
pragmtico. La actividad de evaluacin tiene tanto de ciencia como de trabajo
artesanal, de tica de responsabilidad pblica como de estrategia en la
transformacin de la cultura administrativa.
Desde esta consideracin la evaluabilidad es una herramienta estratgica de la
evaluacin de las polticas pblicas por las siguientes razones:
2.1. Por su lgica de responsabilidad y transparencia

Por la legitimidad y responsabilizacin que supone su uso

Si la gestin pblica es asuncin de la responsabilidad por los resultados del

funcionamiento de un sistema (Metcalfe y Richards, 1978:37) bastara esta
razn para que la evaluabilidad tuviera asegurado su puesto en el ciclo de
intervencin de las polticas pblicas, pues tiende a reducir riesgos y acumula
evidencia justificada sobre la conveniencia de evaluar.
Los problemas relativos a la legitimidad del sector pblico y la necesidad de
responsabilizar cada vez ms a los gobiernos de sus acciones exigen nuevos
mecanismos de control entre los que se encuentra la evaluacin. La evaluacin
legitima las acciones gubernamentales a travs de la responsabilizacin 50 .

Por su aportacin a la transparencia de las acciones pblicas

Si la evaluacin aspira a la transparencia democrtica de las acciones de

gobierno, la publicidad de los informes de evaluabilidad parece un requisito
indispensable que favorecer la comprensin de la decisin de evaluar ante el
conjunto social. A mayor transparencia ms elementos para evaluar a un
50

El trmino se ha ido introduciendo en los ltimos tiempos, especialmente en los Congresos del
CLAD, como traduccin al castellano del original, responsabilty, aunque nos parece poco
satisfactorio.

29

gobierno, ms informacin para crear una opinin pblica rigurosa y ms

elementos para crear un vnculo legtimo y productivo entre el gobierno y la
sociedad.
2.2.

Por su valor estratgico

La evaluacin, en general, se encamina a obtener resultados sobre la poltica o

programa objeto de estudio, pero siempre con una incertidumbre sobre el
provecho de lo que va a hallar. La evaluabilidad trata de reducir al mximo esa
incertidumbre para no encallar en arduos trabajos ms propios de la
investigacin que del campo de la accin pblica, intentando evitar gastos
innecesarios
La evaluabilidad proporcionar informacin de utilidad a la planificacin
estratgica en cuanto a la calidad de la teora y diseo de las polticas o
programas.
La eleccin del momento en que se va a evaluar es un asunto decisivo que
tiene que contemplar la evaluabilidad. Es preciso poder contar con los
resultados en el momento que sean tiles para la toma de decisin. Valorar
todo esto es difcil porque la toma de decisiones no siempre es previsible. En
este sentido, la evaluabilidad debe aportar en su informe, tanto la pertinencia
del momento para llevar a cabo la evaluacin como el tiempo en el que se
dispondr de los resultados y los costes previsibles. Pero, adems, debe
proponer alternativas competitivas 51 y justificar la pertinencia.

Por su relacin con el presupuesto

Raras veces el nexo entre

evaluacin y decisin presupuestaria est
directamente ligado, aunque, entre las alternativas de fortalecimiento de la
evaluacin que propone el Banco Mundial aparece la vinculacin de la
evaluacin a los presupuestos 52 . No se trata tanto de condicionar la evaluacin
a un clculo estricto de coste-beneficio, sino de iluminar, aunque sea
parcialmente, elecciones complejas.
Para respaldar una concepcin de la evaluacin como proceso continuo de
mejora, sera preciso destinar a las polticas pblicas las partidas
presupuestarias correspondientes a su evaluacin.
Las restricciones presupuestarias y la crisis de legitimidad de la accin pblica
hacen necesaria una justificacin slidamente argumentada de las
intervenciones y gastos pblicos y la evaluacin es un gasto ms a considerar,
que se acepta por definicin como un instrumento de eficiencia y eficacia para
la modernizacin pblica.
51

Stake.- The Art of Case Study Research. SAGE Publications. California, 19

Fortalecimiento de la Capacidad de Evaluacin. Gua para el diagnstico y marco para la accin.
Departamento de Evaluacin de Operaciones del Banco Mundial, 1999.
52

30

Si se considera el presupuesto como un acuerdo de concesin de recursos y

autonoma a cambio de aumentar la eficiencia en la gestin, la aplicacin de la
evaluabilidad vendra a justificar presupuestariamente la eficiencia de evaluar
polticas y programas nunca antes evaluados. El informe de evaluabilidad sera
la justificacin razonada del gasto que supondra emprender una evaluacin en
profundidad.
Sera conveniente atribuir a las polticas y programas pblicos el presupuesto
para su evaluacin orientado a un cudruple objetivo:
Evaluacin ex ante, para la exploracin de programas y polticas
an no implementados, apoyando el proceso de la planificacin
Evaluabilidad para polticas y programas ya implementados que
se pretendan evaluar por primera vez , especialmente los que supongan
gran coste y envergadura de medios.
Evaluacin de resultados, impactos, coste-beneficio, en el
caso de polticas ya evaluadas o diagnosticadas
Metaevaluaciones, que proporcionen conocimiento sobre la
calidad de las evaluaciones realizadas. No se trata de evaluar porque la
evaluacin est de moda, sino porque la evaluacin proporcione valor
aadido.

Por su credibilidad

La falta de credibilidad es uno de los riesgos que compromete la utilidad de los

resultados de la evaluacin. La competencia y la credibilidad del evaluador
dependen en gran medida de la existencia de un clima de confianza mutuo
entre evaluador y actores implicados, as como de los procesos de difusin de
los resultados. La evaluabilidad proporciona la generacin de un espacio de
confianza antes de iniciar una evaluacin de ms largo alcance.
Las normas profesionales y ticas as como la calidad metodolgica de la
evaluacin, determinada por diferentes factores: criterios pertinentes, datos e
informacin adecuados, conclusiones fiables y claramente expuestas, pueden
influir en la credibilidad de la evaluacin. Asegurar la calidad y un dilogo
franco son la mejor manera de obtener credibilidad. Para generar buenas
relaciones entre las partes
se requiere su tiempo y una implantacin
respetuosa y delicada. Creemos que la evaluabilidad posee las caractersticas
ms convenientes para el aterrizaje en una organizacin.
Un aspecto que confiere especial credibilidad a la evaluacin es la rigurosidad
de su metodologa. De ah que procuremos consolidar al mximo el diseo y la
metodologa de evaluabilidad, para evitar las felices ideas y las intuiciones sin
mtodo.
La mayor garanta de credibilidad de la evaluabilidad est en la posibilidad que
tiene de desaconsejar la evaluacin posterior, recomendando, tal vez, mejoras

31

previas o la aplicacin de otras tcnicas de control ms adecuadas a los fines

que persigue el decisor en funcin de criterios de eficacia.

Por lo que se refiere a la envergadura de su objeto de

estudio

Si la evaluabilidad se apuntaba en su origen como idnea para programas de

gran envergadura, la evaluacin de las polticas pblicas supone el campo ms
complejo con el que se puede enfrentar el evaluador. El entramado de niveles
de gobierno y de polticas transversales que se entrecruzan no puede ser ms
apropiado para la calificacin de temas de gran envergadura, pero, por lo
mismo, el cmo abordarlo resulta muchas veces descorazonador.
Comprender velozmente la naturaleza del problema evaluativo; el contexto
poltico e institucional, la identificacin de los stakeholder; el enfoque
metodolgico ms adecuado para el correcto desarrollo, la seleccin de las
tcnicas ms oportunas en relacin al presupuesto y al tiempo disponible,
significa una rpida realizacin en las condiciones dadas usualmente difcilesen contextos cambiantes, a veces conflictivos, y la necesidad de proveer a los
comitentes, en el menor tiempo posible, del informe de evaluabilidad con las
recomendaciones y pertinencia de llevar a cabo una evaluacin posterior en
profundidad.
Una prescripcin previa de los problemas y una descripcin minuciosa de su
abordaje parece fuera de todo cuestionamiento.

Por el tiempo que emplea

La mayor parte de los decisores desconfan de la evaluacin a causa del tiempo

que lleva y justifican a menudo su escepticismo por el hecho de estar
enfrentados a cambios a corto plazo y a la necesidad de tomar decisiones que
no pueden esperar largos estudios.
Un mejor dominio del tiempo en la toma de decisin dar a la evaluacin todo
su sentido y toda su utilidad, por eso creemos que la evaluabilidad presenta
entre sus ventajas
la corta duracin. La evaluacin de evaluabilidad
proporciona rigor y sistematizacin en sus resultados, sin llegar a ser una de
esas evaluaciones rpidas 53 calificadas de productos fast-food- que tanto
abundan en el mercado y que contribuyen a desprestigiar la evaluacin en
general.
La evaluabilidad es corta en el tiempo, pero no tiene porqu ser precipitada.
Su particularidad est en la seleccin de lo que se estudia. La recogida de
informacin y la metodologa seguida deben aplicarse con la mayor rigurosidad
y esmero. Obliga al evaluador a un ejercicio de esencialidad. Menos

53

El trmino evaluacin rpida se debe tambin a Wholey.

32

informacin, pero bien seleccionada y siempre con un comportamiento tico

que no altere los resultados por cuestiones de tiempo.
Todo ello exige del evaluador un arte de equilibrios para hallar aquella
informacin relevante y esencial que le permita diagnosticar en el menor
tiempo posible y con las mayores garantas.

Por la importancia de los contextos en la explicacin de las

polticas pblicas

Si el contexto era especialmente considerado en los programas de mayor

envergadura, con el fin de explicar parte de los agujeros negros de la
evaluacin, en el mbito de las polticas pblicas, por pura obviedad, el estudio
del contexto resulta un requisito bsico.
La evaluacin se transforma en una actividad que es realizada en un contexto
poltico, los programas a evaluar son propuestos, definidos, debatidos,
realizados y financiados a travs de procesos polticos, incluso la propia
evaluacin es en s misma de naturaleza poltica, ya que realiza afirmaciones
implcitas sobre temas tales como la legitimidad de objetivos de programas y
estrategias de proyectos y la inutilidad de ciertas estrategias para ponerlos en
prctica. (Carlsson, Khlin y Ekbom 1994: 176)
Las polticas se superponen unas a otras, se entrecruzan en diferentes niveles
de gobierno, a menudo, entran en conflicto, pero, de lo que no hay duda, es
que estn integradas en un contexto que las condiciona y las modifica que es
necesario tener en cuenta. Es ms, un buen estudio de evaluabilidad debe
considerar dos tipos de contexto: el del momento en que surgi el
programa o poltica y el momento en el que se decide evaluar. Con el
paso del tiempo las necesidades pueden haber cambiado y es posible que se
requiera reformular los objetivos o bien considerar la receptividad del contexto
actual para evaluar, cuestin que influir en el criterio de pertinencia
En los contextos d se encuentran las claves para observar el enfoque del
planificador y para comparar alternativas. El juicio de valor, sin contar con los
contextos, no sera ms que una opinin, por cualificada que sea, lanzada al
espacio de lo opinable.
El anlisis de los contextos llevara tambin al estudio de prcticas comparadas
que deber conocer el evaluador para enriquecer las conclusiones del informe
de evaluabilidad.

Por el mayor papel de los actores crticos

Wholey tuvo muy en cuenta el papel de los actores crticos, pero, en su

enfoque, los actores principales eran los gestores y administradores de
programas. El cambio que ha supuesto la evaluacin participativa y el papel

33

que hoy se reconoce a los actores sociales (beneficiarios y grupos afectados

por la evaluacin) supone un giro respecto a la utilidad de la evaluabilidad. Si
se quiere servir a la sociedad, el destinatario primero de la evaluacin no
puede ser el gestor o administrador del programa, ni tan siquiera el
responsable poltico para los que la evaluabilidad seguir aportando mejora en
los resultados de sus decisiones, sino el conjunto social. No negamos el
provecho que puede llegar a suponer la mejora de la gestin de nuestras
administraciones, pero la mayor aportacin est en la responsabilidad
democrtica y la dacin de cuenta de las acciones de los responsables pblicos.
Todo esto conlleva que la gestin pblica debe resituarse en redes ms
complejas de relaciones interoganizativas en que puedan
desarrollarse
actitudes de negociacin, coordinacin y promocin con una finalidad ltima de
inters comn. La evaluabilidad potencia la gestin de influencia, en la que
los responsables pblicos tienen un nuevo papel por desarrollar.
2.3.

Por su contribucin al fortalecimiento de la cultura evaluadora

La modernizacin de la Administracin Pblica requiere comprender y conocer

la naturaleza y dinmicas de la Administracin, como sistema y como parte de
la sociedad. Cada sistema administrativo tiene una dinmica, equilibrios y
riesgos particulares, que reflejan su propia experiencia histrica, cultura y
organizacin institucional. Para implantar una cultura de evaluacin es
necesario conocer bien las dinmicas del propio sistema y disear estrategias
en consonancia con stas y con los riesgos.
La evaluacin debe contribuir a fomentar nuevos marcos de referencia, pero su
cultura no aparecer de un da para otro, ni ser homognea por mucho
tiempo. Entre las medidas que pueden impulsarla creemos que la evaluabilidad
puede jugar un papel significativo, ya que sufre menos penalizaciones que las
que afectan a la evaluacin en general por el tiempo que emplea, por su
enfoque, su finalidad y el juicio de valor que emite su informe. Adems, su
propia accin prepara el terreno para la evaluacin en profundidad y ayuda a
compartir lenguaje comn entre las partes.
Uno de los factores ms importantes sobre el escepticismo de la evaluacin es
la dificultad que supone en las Administraciones aceptar cambios y generar
buen clima para introducir mejoras. La evaluabilidad permite entrar en
contacto con la organizacin en la que se va a evaluar, generando menos
suspicacia que las que provocara una evaluacin en profundidad. Lo que
intenta revelar la evaluabilidad tiene que ver ms con la eficacia y eficiencia de
la futura evaluacin que con las deficiencias halladas, aunque estas sean un
subproducto nada desdeable que el evaluador deber presentar
equilibradamente con los logros.
La evaluabilidad tiene su mayor atributo de identidad cultural en el fomento
de la capacidad de generar cultura compartida entre las partes, propiciando la
integracin en un nuevo tipo de cultura administrativa, de carcter relacional

34

y comprensiva con los errores, que cohabitar

jurdica, la gestora y las del control tradicional.

con otras culturas como la

Si esto no se consigue, probablemente, la evaluacin terminar en un largo

proceso, sin resultados relevantes respecto a los medios puestos en marcha.

Por el papel potenciador de negociacin y dilogo

Como avanzbamos, la evaluabilidad es el primer laboratorio de prueba de la

capacidad de dilogo y negociacin entre las partes, tratando de implicarlas en
el establecimiento de criterios compartidos para
obtener el mximo de
credibilidad sobre los resultados. No olvidemos que la finalidad primordial de
toda evaluacin es su utilizacin, lo que tiene garantizado la evaluabilidad en
mayor medida que otras evaluaciones.
El diseo flexible quiere decir capacidad de escuchar el entorno y actuar en
consecuencia, fomentando
redes de relaciones colaboradoras frente a
competitivas.
La evaluabilidad es una herramienta dinamizadora de la cultura negociadora.
La necesidad de sustituir las certezas de las decisiones por procesos de
negociacin trasladando los puntos de decisin a reas de influencia
articulados a travs de nuevos canales de comunicacin-informacin para
mejorar la capacidad de entender los problemas, mantener la funcin de
direccin y aprovechar las oportunidades de cada momento.

Por los obstculos que detecta

Esta es una de las caractersticas ms destacada de la evaluabilidad: su

provecho para detectar obstculos y resistencias a una evaluacin posterior.
Un ambiente organizativo totalmente en contra o refractario podra llegar a ser
determinante para establecer la no pertinencia de realizar una evaluacin en
profundidad. Si esto es importante respecto a los programas, lo es ms an en
el terreno de las polticas pblicas, donde interactan Ministerios y niveles de
gobierno muy diverso que por razones de conflictividad unos con otros, podran
bloquear la evaluacin. La evaluabilidad trata de detectar esto mucho antes de
haber adquirido mayores compromisos.
En algunos organismos internacionales Naciones Unidas- hemos visto como
los obstculos que persigue la evaluabilidad son de tipo democrtico,
subrayando impedimentos que pudieran comprometer la independencia de la
evaluacin. Los obstculos tendrn un dimensin u otra dependiendo del
campo en el que se acte, pero, en cualquier caso, es necesario detectarlos
para resolverlos.

35

Porque construye conocimiento y aprendizaje

La evaluabilidad construye como toda evaluacin conocimiento y aprendizaje,

especialmente, sobre la teora de las polticas o programas que acaba
convirtindose en enseanza para todos los que participan en el proceso. Este
es un valor aadido para los decisores que slo busquen en la evaluabilidad
asesoramiento en su decisin de evaluar.
El aprendizaje es un proceso permanente y organizado al cual la evaluacin y
la evaluabilidad pueden aportar enseanzas decisivas.
El informe de evaluabilidad debe dejar al comitente productos aadidos sobre
la teora del programa, alternativas posibles y puntos de mejora. El comitente
no pagar slo por asegurarse de su decisin, sino que recibir aportaciones
sobre mejoras y conocimientos tcnicos de la poltica en cuestin, participando
en un proceso ms importante para el futuro de su organizacin que es entrar
a formar parte de administraciones que son capaces de aprender.

Por su valor metodolgico y tcnico

El mercado de la evaluacin del sector pblico est conociendo un auge

importante que requiere mayor atencin al aspecto metodolgico, si no
queremos encontrarnos con productos que pueden ser cualquier tipo de
estudio pero no evaluaciones.
Decamos al inicio que la mayor parte de los pases industrializados recurren
cada vez ms a la prctica evaluativa, pero se reconoce que las bases
metodolgicas sobre las que se basan son todava muy dbiles 54 . En este
sentido, tambin, la evaluacin de evaluabilidad supone un beneficioso
laboratorio metodolgico, al combinar en su accin lgicas, mtodos y
herramientas muy variadas: la lgica heurstica para desentraar los textos
que sostienen la teora de las polticas pblicas, la racional conductista para
sealar la relacin medios/fines en aquellos casos que puedan quedar
probados, la participativa, en el proceso negociador y la relacional, como
impulso al cambio de cultura. Todo ello bajo un enfoque pragmtico enfocado a
ser til a la decisin, con las mayores garantas en su proceder y reduciendo
los tiempos al mximo sin perder calidad.
Las conclusiones del informe de evaluabilidad deben tener por base las
observaciones extradas de los datos y las recomendaciones deben
fundamentarse en las conclusiones.
Es preciso indicar abiertamente las hiptesis de trabajo, las dudas y los lmites
metodolgicos de la evaluabilidad, en un compromiso entre el mayor rigor
cientfico y la utilidad de la evaluacin.

54

Gua de mejores prcticas de la OCDE

36

No podemos olvidar que la calidad de la metodologa tiene un efecto

considerable sobre su utilizacin.

Por su utilidad y utilizacin

La gran cuestin en evaluacin es su utilizacin. La evaluacin debe ser til,

pero eso no basta si adems no se utiliza. Hay que conseguir que las
evaluaciones se utilicen si no queremos que pasen a convertirse en una
formalidad burocrtica ms, aunque es difcil saber en qu consiste su
utilizacin. Algunos distinguen entre el uso instrumental y el conceptual.
Respecto al primero, la evaluacin tendra una aplicacin directa y sus
conclusiones se pondran inmediatamente en marcha. Por lo que se refiere al
segundo uso, se tomara en consideracin el informe, aunque no pueda
probarse su uso inmediato. Cabe, y en muchos casos que se las
recomendaciones se tengan en cuenta en el futuro.
Nos atrevemos a decir, que en el caso de la evaluabilidad su uso instrumental
estara altamente optimizado. Si lo que solicita el decisor es actuar convencido
de que la evaluacin posterior dar frutos, el informe positivo de evaluabilidad
servir para impulsar la toma de decisin sin tanta incertidumbre. En el caso
contrario, si la recomendacin es no evaluar, parece razonable que el decisor
no se embarque en una aventura arriesgada. El informe de evaluabilidad
cuestionara, de alguna manera, la decisin de movilizar recursos para una
accin no recomendada. Por lo que, si el responsable insiste en llevarla a cabo,
tendr que llenarse de otras razones de peso.
Por todo lo anterior, la evaluabilidad tiene un plus de utilidad y uso que no
alcanza otros tipos de evaluacin.

Por los subproductos que deja

La evaluabilidad deja productos que van ms all de la recomendacin de

evaluar y con qu hacerlo. El mayor subproducto de la evaluabilidad es el
conocimiento del diseo de la Teora de la poltica o programa. En el supuesto
de que el comitente decidiera no evaluar siempre obtendra mayor
conocimiento de la poltica o programa que tiene a cargo.

Por lo que se refiere al evaluador

La evaluabilidad ayuda a desarrollar en el evaluador ese espritu del que

hablaba Wholey, que podra compararse con el ojo clnico del mdico, que
investiga aquello que le dar la clave para orientar la intervencin.
Algunos autores se atreven a hablar de especialistas en evaluabilidad, como
habra otros en metaevaluacin o en evaluaciones de resultados e impactos.
Cada una de ellas tiene sus peculiaridades y quien propone la especializacin
entre una y otra, apunta a que se requieren ciertas dotes distintas para

37

dominarlas. As como en literatura el dominio de un gnero no garantiza el

dominio de los otros, se podra comparar la evaluabilidad y la evaluacin de
profundidad a la diferente perspectiva que hay entre el relato y la novela. En
esta ltima, el evaluador se puede permitir meandros que en el relato no
caben, pues ste trata de alcanzar la diana en la trayectoria ms corta,
sostenido en la esencialidad y condicionado por el tiempo. Precisamente, la
evaluabilidad afina la esencialidad del evaluador en la bsqueda de los datos y
su interpretacin.
3.

EL INFORME DE EVALUABILIDAD

La elaboracin formal del informe de evaluabilidad habr de guardar las

mismas consideraciones que cualquier tipo de evaluacin: estructura clara y
argumentaciones inteligibles, con un resumen de los puntos esenciales.
Las peculiaridades del informe de evaluabilidad derivan de su contenido. Para
que sea til la evaluabilidad debera aportar varios tipos de evidencias que
fundamenten la evaluacin de futuro: a) estudio lo ms completo de la Teora
del programa; b) justificacin de la pertinencia de llevar a cabo la evaluacin
en ese momento; c) alternativas posibles y d) propuesta tipolgica. En
definitiva deber concluir que la evaluacin en profundidad podr aportar
informaciones tiles sobre la poltica o el programa y reducir la incertidumbre
sobre la conveniencia de evaluar.
En el caso de la evaluabilidad las recomendaciones son un requisito de su
propia naturaleza. Recordemos que la segunda pregunta a la que quiere dar
respuesta la evaluabilidad es, cul sera la mejor manera de evaluar si
llegamos a la conclusin de que es conveniente? La recomendacin sobre la
tipologa que se propone es un requisito intrnseco a las conclusiones de
evaluabilidad.
4.

PROPUESTA METODOLGICA

Como complemento a la tesis que mantiene este trabajo, participamos del

inters que muestran aquellos que desean contribuir al cmo hacer, una de
las lagunas que la evaluacin comparte con el conjunto de las ciencias sociales.
La mayora de los textos no se ocupa en realidad del mtodo lgico, sino, en su
mayor parte, de tcnicas de investigacin y de tratamiento de datos. No es que
la metodologa sea ms importante que las tcnicas, ni viceversa, la estructura
evaluadora cojeara sin alguna de ellas, lo que resulta inadmisible es que las
tcnicas se afanen en lo que no son: metodologa. Las tcnicas responden a
con qu se va a hacer y no al cmo 55 .
Consideramos que por la propia envergadura y complejidad de las polticas
pblicas, la metodologa de evaluabilidad no puede quedar reducida al
55

La aclaracin parecer obvia, pero responde a la percepcin de un error comn en esferas que
no sera previsible. En evaluacin, a menudo lo ms sencillo es lo que ms nos complica.

38

L.C.R.E.P. que aconseja Fernndez-Ballesteros, que consideramos ms una

herramienta gua para unos pasos concretos que una visin completa del cmo
proceder durante todo el proceso de evaluabilidad. Para ello, sin desdear su
valiosa aportacin, la integraramos en el diseo de los tres modelos que
apunta Alvira en sus Cuadernos Metodolgicos. Creemos que de esa forma
podramos ofrecer al evaluador un modo de proceder integrador, que le facilite
la ordenacin y comprensin del proceso en su conjunto. Diseo flexible no
quiere decir ausencia de modo de proceder, por lo que tratamos de combinar
rigor y sistematizacin en la toma de informacin con la libertad para modificar
las cuestiones que motiven los actores implicados.
Desde un enfoque constructivista, de diseo abierto y flexible, nuestra
propuesta metodolgica se inclinara por combinar las dos herramientas:
checklist y modelos, aadiendo, claro est, algunas aportaciones personales.
El objetivo de nuestra propuesta estara en poder llevar al evaluador paso a
paso hasta el juicio de valor de la evaluabilidad y siempre con el propsito de
este trabajo: no slo su aplicacin a programas, sino a polticas pblicas. Por
todo lo anterior, sin desdear el anlisis causal para aquellas situaciones donde
su lgica permita aplicarlo, lo consideramos uno ms junto a otras lgicas
heursticas, negociadoras, participativas, interpretativas, narrativas... que se
superponen en toda evaluacin y que juegan un papel considerable.
Creemos con Vedung,
que la evaluabilidad
es un tipo de evaluacin
cualitativa que permite tomar decisiones sobre la conveniencia o no de llevar a
cabo, en su caso, evaluaciones ms costosas y de larga duracin (que podrn
ser cualitativas o cuantitativas).

Cuaderno de evaluabilidad

Nuestra propuesta requiere an de discusin y elaboracin y no estar lista

hasta un prximo futuro, pero se concibe ya en tres partes: teora,
metodologa y formulario-herramienta o Cuaderno del evaluador, que se
incluira, tambin, las tcnicas.
El Cuaderno del evaluador est concebido como multiherramienta que
combinara y desarrollara la construccin de modelos defendida por algunos
autores y las checklist por las que se decantan otros 56 . Su objetivo sera
ayudar a sistematizar y recoger con rigor la informacin, normalizando un
proceder que no tiene por qu ser reinventado cada da.
A menudo se oye decir que en evaluacin no sirven las frmulas, que no hay
recetas, estamos de acuerdo, pero convendra que eso se aplicara, con la
mayor sensatez, a lo nico que no puede ser reducido a formulas: el problema,
las preguntas y el modo de resolver.
56

Si hablamos de evaluabilidad de polticas pblicas el uso de checklist puede estar justificado

como gua para el evaluador en ciertas cuestiones, pero no constituye un cuerpo slido como
diseo de evaluacin.

39

Sin embargo, el procedimiento bien puede ser normalizado, debiendo aspirar

la Agencia de Evaluacin a aportar en este campo su propio marchamo.
Lo que tratara de resaltar nuestra propuesta es que este tipo de evaluacin
no es un ojeo intuitivo sobre el objeto de estudio (aunque reconocemos que
el ojo clnico de cada profesional sirve, como sirve el del mdico), sino que la
evaluabilidad es una autntica evaluacin aunque tenga sus particularidades.
Vista as, la evaluabilidad es una evaluacin que mantiene todos los requisitos
de rigor y sistematicidad que la disciplina requiere para no autoliquidarse con
acciones limtrofes cuando no adulteradas- que no mantienen ni los criterios
de la evaluacin, ni su visin global, aunque se hagan pasar por evaluativas 57 .
Supone una garanta de credibilidad para el comitente, ya que le ofrece un
informe razonado sobre acciones evaluadoras sucesivas y, adems,
proporciona subproductos aprovechables ms all de los requeridos para el
informe, tanto para el cliente como para el propio evaluador en el caso de que
siga adelante con el encargo. En cuyo caso, la evaluabilidad nunca habr sido
una prdida de tiempo, pues habr preparado el terreno y nos habr
familiarizado con el objeto de estudio que exige el inicio de toda evaluacin.
Adems, nos habr proporcionado certezas sobre objetivos e indicadores que
acelerarn los trabajos de la segunda fase de la intervencin evaluadora.
5.

CONCLUSIONES

Resulta evidente que la evaluabilidad es un modelo ideal para acercarnos a los

encargos que plantean las polticas pblicas, ya hemos visto las ventajas que
ofrece y como la recomiendan las organizaciones internacionales, pero,
entonces, por qu no se usa con ms frecuencia?
Si resulta difcil probar las razones de implantacin y uso de la evaluacin en
general, el campo especfico de la evaluabilidad ha sido an menos estudiado.
Una de las razones es que la mayor parte de las instituciones sitan la
evaluabilidad en el grado de lo recomendable. Ante esto pueden darse las
siguientes situaciones:
Si la evaluacin es obligatoria (como la mayora de los supuestos

de la UE), la mayor parte de los evaluadores se olvidar de la

recomendacin de aplicar la evaluabilidad y acometer directamente la
evaluacin en profundidad. Ya hemos comentado que la naturaleza de
esas evaluaciones obligadas estn ms cerca del seguimiento y del
control de gastos que de la evaluacin, desaprovechan, a nuestro juicio,
su carcter transformador y, en cierto, sentido, desnaturalizan su mayor
capacidad.

57

Cuasi-evaluaciones.

40

Si la evaluacin es solicitada

En este supuesto, por cuanto que nada est regulado

obligatoriamente cabra distinguir entre las evaluaciones realizadas
por parte de evaluadores del sector del mercado o de instituciones
pblicas.
a) Evaluacin realizada por evaluadores sin vnculos con la funcin
pblica.
Si la evaluacin es externa y nadie ha especificado en los Trminos
de Referencia la obligatoriedad de una evaluabilidad previa, lo ms
probable es que el equipo de evaluacin tienda a acometer desde el
inicio el cometido ms ambicioso, sin ofrecer al comitente un
diagnstico de evaluabilidad. Por la propia dinmica competitiva del
mercado se tratar de agarrar el encargo en sus lmites mximos.
Esto sera como lanzarse a una obra sin presupuesto, o a una
operacin quirrgica sin chequeo previo, pero lo curioso es que en
este campo la evaluacin resulta admisible y no discutida.
b) Evaluacin realizada por evaluadores vinculados a la funcin
pblica.
En el caso de que los encargos se realicen por instituciones pblicas,
se considera que el compromiso es mayor y no puede ser eludida una
evaluacin previa frente a encargos de gran envergadura en los que
queden comprometidos grandes recursos econmicos.
Si, como venimos sosteniendo, la legitimidad de la accin evaluadora
debe ser buscada en la rendicin de cuenta a los ciudadanos, las
instituciones pblicas que realicen evaluacin deberan garantizar la
eficacia y la eficiencia de sus acciones evaluativas, tratando siempre
de potenciar con cada una de ellas cultura evaluadora y capacidad
institucional. Sera aconsejable incluir en sus contratos la necesidad
de la evaluabilidad antes de acometer evaluaciones ms profundas.
Quiz lo ms destacado de la evaluabilidad sea ese espritu del que hablan
algunos autores, que aligera el quehacer evaluador sin robarle la esencia. En
tiempos en los que los decisores se quejan del tiempo que emplea la
evaluacin, puede resultar muy inspiradora la evaluabilidad para indagar en
nuevos proyectos, siempre que se aplique la herramienta en su mayor
potencial y no como un cors rgido con un enfoque estrictamente
metodolgico.
En sntesis, la evaluabilidad legitima la toma de decisin de evaluar, aporta
responsabilidad positiva y excelencia al proporcionar un diagnstico

41

fundamentado para las decisiones posteriores que se puedan tomar, facilita el

desarrollo institucional de una cultura evaluadora, proporcionando una
experiencia inicial, breve en el tiempo y que no levanta tantas suspicacias
como la evaluacin de resultados o de impacto, facilita la transformacin de
una cultura administrativa tendente a la desconfianza y a la verificacin
contable y normativa hacia otra relacional que, sostenida en lo anterior,
impulsara la mejora, posibilitara a las partes construccin de conocimiento,
lenguaje comn y participacin, servira a la planificacin estratgica y tendra
garantizada su utilidad, por lo que, en mayor medida, aumentara su
credibilidad y su posibilidad de uso.

MARISA MERINO
Octubre de 2007

42

BIBLIOGRAFA
ALVIRA, F.- Metodologa de la evaluacin de programas. CIS. Cuadernos
Metodolgicos Madrid, 2002.
ALVIRA y alt. El anlisis de la realidad social. Mtodos y tcnicas de investigacin.
Alianza Editorial Madrid, 2003. (3)
ALVIRA. F. La evaluacin en el sector pblico. Ekonomiaz, n26. Departamento de
Economa y Hacienda del Gobierno Vasco. Eusko Jaurlaritza. 1993
AMAYA, P. La evaluacin de la gestin Pblica integrada a los procesos de
planificacin: su potencial como fortalecedora de la institucionalidad democrtica. IV
Conferencia de la Sociedad Espaola de evaluacin: Evaluacin y Gobierno. Madrid,
7-8 julio 2005
BALLART, X.- Cmo evaluar programas y servicios pblicos? MAP. Madrid, 1992.
BALLART, X.- Modelos tericos para la prctica de la evaluacin de programas.
Lecturas de Gestin Pblica. Madrid, 1996, pp. 323-349.
BAN i MARTINEZ, R.- La evaluacin de la accin y de las polticas pblicas. Ed. Daz
de Santos, 2003.
BEZZI. C.- Il disegno della ricerca valutativa. Associazione Italiana di Valutazione.
Franco Angeli. Milano, 2002 (2)
BROWN, P. La evaluacin de los proyectos de desarrollo comunitario Gestin y
Anlisis de Polticas Pblicas. INAP. Madrid, enero-agosto, 1998, n 11-12, pp. 131140.
BUSTELO, M.- Diferencias entre evaluacin e investigacin en Revista Espaola de
Desarrollo y Cooperacin, n 4, primavera-verano, 1999.
BUSTELO, M.- Deontologa de la evaluacin: el modelo de los cdigos ticos
anglosajones en Gestin y Anlisis de Polticas Pblicas, n 11-12. enero-agosto, 1998
pp. 141-156.
CALERO, J.- Anlisis coste-beneficio. Instituto de Estudios Fiscales. Ministerio de
Hacienda. Madrid, 1995.
CAMPBELL, D. Diseos experimentales y cuasiexperimentales en la investigacin social.
Amorrortu editores. Buenos Aires, 1966. (7, 1995)
CEA DANCONA.- Metodologa cuantitativa: estrategias y tcnicas de investigacin
social. Ed. Sntesis, Madrid, 1996.
COOK & REICHARDT. Mtodos cualitativos y cuantitativos en investigacin evaluativa.
Morata. Madrid, 2000 (4)
COHEN, E y FRANCO, R.- Evaluacin de proyectos sociales. S. XXI. Madrid, 1993.
CHANU, V Lvaluation: affaire dtat ou question dorganisation. Politiques et
Management Public, Paris, 2002, pp. 1-32
CHELIMSKY, E & SHADIS, W.- Evaluation for the 21 century. Thousand Oaks. SAGE
Publications, 1997.
DELGADO, J M y GUTIERREZ, J (coord).- Mtodos y Tcnicas Cualitativas de
Investigacin en Ciencias Sociales. Ed. Sntesis. Madrid, 1995.
DERLIEN, H-U. Una comparacin internacional en la evaluacin de las polticas
pblicas. Gestin y Anlisis de Polticas Pblicas. INAP. Madrid. Enero-agosto, 1998, n
11-12, pp. 13-22.
DHALER-LARSEN, P. Debemos evaluar todo? O de la estimacin de la evaluacin a la
cultura de la evaluacin. ICE. Evaluacin de Polticas Pblicas. Mayo-Junio, 2007. n
836.
DIAZ, L F. y ROSALES, R.- Metaevaluacin. Agora. EUNED, Costa Rica, 2003
ECHEVARRA, K y alt. Responsabilizacin y responsabilidad gerencial: Instituciones
antes que instrumentos. En Responsabilizacin y evaluacin de la gestin pblica.
CLAD (libro), ACECI/MAP/FIIAPP, Caracas, 2005.
FETTERMAN, David M. Empowerment evaluation. SAGE Publications. California, 1996

43

FERNNDEZ-BALLESTEROS, R- Evaluacin de programas. Una gua prctica en mbitos

Sociales, Educativo y de Salud. Sntesis Psicologa. Madrid, 2001(2)
FURUBO, SENDAHL, & RIST. The evaluation Atlas: seventeen country profiles.
Transaction, 2002.
GALLE, B y MONNIER, E. Une aproche pluraliste et participative : coproduire
lvaluation avec la socit civile.Revue Informations sociales ; sept, 2003, n 110.
GARDE ROCA, J A y VERA, F. La institucionalizacin de la evaluacin de las polticas
pblicas en Espaa. Economistas., Madrid, n 105, julio, 2005.
GARDE ROCA, J A. La evaluacin de polticas pblicas y su institucionalizacin en
Espaa. Gestin y Anlisis de Polticas Pblicas. (n 30/31: Mayo-Diciembre de
2004), editada por el INAP y publicada en 2007
GOMEZ SERRA, M.- Evaluacin de los servicios sociales. Ed. Gedisa. Barcelona, 2004
GUASCH, O.- Observacin Participante. Cuadernos Metodolgicos, n 20. CISS, Madrid,
1997.
GUBA & LINCOLN. Fourth Generation Evaluation. SAGE Publications. California, 1989
HESPEL, V. Lavenir institutionel de lvaluation des politiques publiques Politiques et
Management Public, Paris, 2002, pp 51.65.
HINTZE, J. Instrumentos de evaluacin de la gestin del valor pblico en
Responsabilizacin y evaluacin de la gestin pblica. CLAD. AECI/MAP/FIIAPP.
Caracas, 2005.
HOUSE, E. R.- Professional evaluation. SAGE Publications. California, 1993.
HOUSE. E. R. Evaluacin, tica y poder, Morata. Madrid, 1997.
JOURDAIN, L. Lvaluation des politiques communautaires : lgitimation et
apprentissages nationaux. Cultures et Conflits, n 28, 1997 ; pp 147-169.
LEONE, L. Riconstruzione della Teoria del Programa nella valutazione di progetti.
Studio
CEVAS,
Roma,
aprile,
2002.
(disponible
en
red:
http://.cevas.it/imparare/lezioni_e_slide/index.htm)
LOFFLER, E.- La Modernizacin del Sector Pblico desde una Perspectiva Comparativa.
Conceptos y Mtodos para Evaluar y Premiar. La calidad en el Sector Pblico en los
Pases de la OCDE. Documentos INAP. Madrid, 1996.
LARR RAMOS, J. M.- Empoderamiento y participacin en la evaluacin de acciones
de cooperacin al desarrollo: del discurso terico a la prctica espaola. Disponible en
CEDOC www. cedoc.net/linea_evaluacin_art.htm-GK.
LINCOLN & GUBA. Naturalistic Inquiry. SAGE Publications. California, 1985
LOPEZ DE CEVALLOS, P.- Un mtodo para la investigacin-accin participativa. Ed
Popular. Madrid, 1989.
MAXIM, P. Mtodos cuantitativos aplicados a las ciencias sociales. Ed. Oxford
University Press. Mxico, 2002.
MOLOSA, J. Qu hemos aprendido de la evaluacin de programas? Fundacin Carles
Pi i Sunyer DEstudis Autonomics i Locals. Barcelona, 2004, pp. 17-20.
MONNIER, E.- Evaluacin de la accin de los poderes pblicos. Instituto de Estudios
Fiscales. Ministerio de Economa y Hacienda. Madrid, 1995.
MONNIER. E. De Seville Edimbuourg: Qualit en hausse accountability sans
grand changement . Quatrime Conference Europeenne sur lvaluation des fonds
structurels. Edimbourg, 18-19 de sept, 2000.
MORIN, E. Podemos reformar la administracin pblica? IX Congreso Internacional
del CLAD sobre la Reforma del Estado y la Administracin Pblica. Madrid, 2-5 nov,
2004.
NIRENBERG, O y alt. Evaluar para la transformacin. Paids. Buenos Aires, 2000.
ORTI, A. La apertura y el enfoque cualitativo o estructural: la entrevista abierta
semidirectiva y la Discusin de Grupo. En El Anlisis de la Realidad Social. Mtodos y
tcnicas de investigacin. Ed. Alianza Universidad, Madrid, 2003 (3)

44

OSUNA, J.L.- Nuevas instituciones y prcticas de evaluacin para la administracin

pblica IIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la
Administracin Pblica, Madrid. 2-5 nov, 2004.
PALUMBO, D.- Il proceso di valutazione. Decidere, programmare, valutare. Franco
Angeli. Milano. 2001.
PATTON. M Q.- Utilization Focused Evaluation. SAGE Publications. California, 1997.
PATTON, M Q. How to use qualitative methods in evaluation. SAGE Publications.
International Educational and Professional Publisher. California, 1987.
PATTON.M Q. Desarrollo Organizacional y Evaluacin The Canadian Journal of
Program Evaluation, 1999. Disponible en la red (traducido por PREVAL, septiembre,
2004)
PERRET, B.- Lvaluation des politiques publiques. La Decouverte. Collection Repres.
Paris. 2001.
PERRET, B. Reflexions sur les diffrents modles dvaluation . En Lvaluation en
question Revue franaise dAdministration Publique, avril-juin, 1993, n 66, pp.227240.
PICHARDO, A.- Evaluacin del impacto social. Ed. Lumen Humanitas. Buenos Aires,
1997.
RODRGUEZ OSUNA, J.- Mtodos de Muestreo. Cuadernos metodolgicos, n1. CISS.
Madrid, 1991.
RODRGUEZ OSUNA, J.- Mtodos de Muestreo. Casos Prcticos. Cuadernos
metodolgicos, n 6. CIS. Madrid, 1993.
ROSSI & FREEMAN.- Evaluacin. Un enfoque para programas sociales. Ed. Trillas.
Mexico, 1989.
SARTORI, G. La Poltica. Lgica y Mtodos en las Ciencias Sociales. Fondo de Cultura
Econmico, Mxico, 1984.
STAME, N. Lesperienza della valutazione. Edizioni SEAM,2000
SUBIRATS, J.- Anlisis de polticas pblicas y eficacia de la Administracin. MAP.
Madrid, 1992.
SUBIRATS, J. Qu gestin pblica para qu sociedad? Una mirada prospectiva sobre
el ejercicio de la Gestin Pblica en las sociedades europeas actualesInstituto de
Gobierno y Polticas Pblicas UAB. Disponible en la red: Biblioteca Virtual sobre Gestin
Pblica TOP, 2003.
SUBIRATS, J. Incertidumbres y complejidades en la evaluacin de polticas de inclusin
social: una mirada desde la Unin Europea. X Congreso Internacional del CLAD sobre
la Reforma del Estado y la Administracin Pblica. Santiago de Chile, 18-21 oct, 2005.
SUBIRATS, J. Podemos utilizar los instrumentos de evaluacin como palanca de
gobierno del sector pblico? en Responsabilizacin y evaluacin de la gestin pblica.
CLAD. AECI/MAP/FIIAPP. Caracas, 2005.
SCRIVEN.- Evaluation Thesaurus. SAGE Publications. California 1991
SHADISH, Jr. & COOK & LEVITON. Foundations of program Evaluation. SAGE
Publications. California, 1991
SEGONE, M. Evaluacin democrtica. UNIFEC. Oficina Regional para Amrica Latina y
el Caribe. Doc n 3; mayo 1998.
STAKE. R.E.- The Art of Case Study Research. SAGE Publications. California, 1995
STUFFLEBEAM & SHINKFIELD. Evaluacin sistemtica. Gua terica y prctica. Paidos.
Barcelona, 1995.
TRINIDAD REQUENA, A (coord.) Evaluacin y calidad en las organizaciones pblicas.
INAP, Madrid, 2000.
THOENIG, J C. Las polticas pblicas. Ed. Ariel. Barcelona, 1992.
THOENIG, J C. La evaluacin, fuente de conocimientos aplicables a las reformas de la
gestin pblica. INAP,

45

THOENIG, J C. Lvaluation, source de connaissances applicables aux rformes de la

gestin publique . Revue Franaise dAdministration Publique, octobre-dcembre,
1999, n92. pp. 681-693.
VALLLES, M. S.- Tcnicas cualitativas de investigacin social. Ed. Sntesis. Madrid,
2003. (3)
VIAS, Vernica E.- La evaluacin de los proyectos de ayuda al desarrollo. Lecciones
de la experiencia.- REGAP. Revista Galega de Administracin Pblica, 1997
(separata).
VIAS, Vernica E.- El uso de las tcnicas cualitativas en la evaluacin de programas
REIS, 95/01 pp. 155-177.
VEDUNG. Evaluacin de polticas pblicas y programas: INSS. Ministerio de Trabajo y
Asuntos Sociales, Madrid, 1996.
WEISS, C.- Evaluation . Ed. Upper Saddle River (NJ) Prentice Hall, 1998.( 2)
WEISNER, E. Funcin de evaluacin de planes, programas, estrategias y proyectos,
CEPAL, NACIONES UNIDAS. Santiago de Chile. Mayo, 2000.
ZAPICO, E. La integracin de la evaluacin de polticas pblicas en el proceso
presupuestario.Gestin y Anlisis de Polticas Pblicas. INAP. Enero-agosto, 1998,
n11-12, pp 53-59.
ZAPICO, E. Desarrollo integrado de la evaluacin y el presupuesto por resultados: un
camino largo y pedregoso con destino incierto. En Responsabilizacin y evaluacin de
la gestin pblica. CLAD (libro), ACECI/MAP/FIIAPP, Caracas, 2005.

MANUALES ,GUAS, PAPERS, RAPPORTS, HERRAMIENTAS

ABDALA, E.- Manual para la evaluacin del impacto en programas de Formacin para
jvenes. Oficina Internacional del Trabajo. Montevideo, 2004.
BALSA, C. La Better regulation Papeles de evaluacin 1. INAP. Madrid, 2006.
COMMENT FAIRE UNE EVALUATION.- Les prliminaires. Agence Candanienne de
Dveloppement International. Qubec, 2000.
Comisin EUROPEA. Gestin del ciclo de un proyecto. Enfoque integrado y margo
lgico. Serie Mtodos e instrumentos para la gestin del ciclo de un proyecto, n1.
Unidad de Evaluacin EuropAid, Bruselas, 1993.
COSUDE. Indicadores y preguntas claves. Agencia Suiza para el Desarrollo y la
Cooperacin. Berna, 1999.
COSTAS, A. Regulacin y calidad de los servicios pblicos liberalizados Papeles de
Evaluacin 2. INAP. Madrid, 2006
INFORME EJECUTIVO SOBRE METODOLOGA DE EVALUACIN DE LA COOPERACIN AL
DESARRALLO ESPAOLA. Instituto Universitario de Desarrollo y Cooperacin.
Universidad Complutense de Madrid. Enero, 1998.
GUIA DE LA EVALUACIN DE LA ACDI (Agencia Canadiense Desarrollo Internacional),
Divisin de Evaluacin, Ottawa, 2004.
GUA PARA LA EVALUACIN DE POLTICAS PBLICAS. Instituto de Desarrollo
Regional, Fundacin Universitaria. Sevilla.

46

GUA PARA EL DIAGNSTICO Y MARCO PARA LA ACCIN. Fortalecimiento de la

capacidad de evaluacin. OED. Departamento De evaluacin de Operaciones del Banco
Mundial. Doc. 6, enero 1999.
EVALUACIONES INFLUYENTES. BANCO MUNDIAL (OEDPK), Washington, 2004.
INFORME de la Comisin de Expertos para el estudio y creacin de la Agencia Estatal
de Evaluacin de la Calidad de los Servicios y de las Polticas Pblicas, INAP. Octubre,
2004
MEANS (GUAS) editadas por la Comisin de la Unin Europea. Bruxelas, 1999
MERINO, M. La evaluabilidad: de instrumento de gestin a herramienta estratgica en
la evaluacin de polticas pblicas. Papeles de Evaluacin 3. INAP (publicacin segundo
semestre, 2006)
METODOLOGA DE EVALUACIN Y COOPERACN ESPAOLA II. Ministerio de Asuntos
Exteriores. Madrid, 2001.
NORAD. Evaluacin de proyectos de ayuda al desarrollo. Manual para evaluadores y
gestores. IUDE- CEDEAL., Toledo, 1997.
OCDE. Vers de meilleures pratiques de lvaluation. Guide. Paris, 1999.
OCDE. La gestion publique en mutation. Les reformes dans le pays de lOCDE.
Conclusions du Comit de la gestion publique.
PEDONE, C.- El trabajo de campo y los mtodos cualitativos.- Scritpa Nova. Revista
electrnica de Geografa y Ciencias Sociales.- Universidad de Barcelona, n 57. Febrero,
2000.
PETIT GUIDE DE LEVALUATION DEL POLITIQUES PUBLIQUES.- Commissariat Gnral
du Plan. Rapports dvaluation, Conseil scientifique de levaluation. Le Plan.
UNICEF. Evaluacin democrtica. Oficina Regional para Amrica Latina y el Caribe. Doc
3. Mayo, 1998
RAPPORT VIVERET, P. L valuation des politiques et des actions publiques, La
Documentation franaise. Paris. 1989
RAPPORT ANNUEL.- L valuation au service de lavenir. Conseil National de
lvaluation. France. 1999.
RAPPORT D INFORMATION .- Les enjeux du dveloppement de lvaluation des
politiques publiques. Snat. France., 2003-2004.
UNICEF. EVALUACIN DEMOCRTICA. Documento de trabajo n 3. Oficina Regional
para Amrica Latina y el Caribe. Mayo, 1998.

47

"PAPELES
y estudios
pretendeser unacoleccinde documentos,
artculos
DE EVALUACIN"
que permitanla transferencia
referidosa las diversas
e intercambiode conocimientos
polticas
pblicas
y
y
la
calidadde los servicios,
la
de evaluacin
de
dimensiones contenidos
de
La coleccinprocurarla seleccinde textosque permitanuna gestindel conocimiento
de manera
colectivamente
o a enriquecerlos
sus contenidosencaminadaa compartirlos
de los textoscuyas
constructiva.
Parasu publicacin,
se atenderal intersy oportunidad
provisionales
podrnser en su caso publicadaspor los autoresen
versiones,
o definitivas,
y el debate
la reflexin
Lostextosdeberncontribuir
a enriquecer
otrasinstancias
o editoriales.
pblicoy darn a conocertanto opinionesy trabajostericosindividuales
como aquella
que
produccinemprica
se estimerelevanteen las materiascitadas,no huyndosede
propuestas
que pudierangenerarcontroversia
en la medidaque las mismasse orientena las
finalidades
de estapublicacin,
la Agenciade Evaluacin
de las PolticasPblicasy la Calidadde los
Institucionalmente,
aqu
en los documentos
las opinionesmanifestadas
Serviciosno compartenecesariamente
responsabilidad
de susautores.
difundidos,
cuyoscontenidos
sernde la exclusiva

aqencla

d evaluacin
y calidad
\ M^tv.aeval.es
Pblicasv la Calidadde los Servicios
Estatalde Evaluacin
de las Polticas