Está en la página 1de 12

24 ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS e-valuacin

Algunos puntos sobre evaluacin


de polticas pblicas con especial
referencia al caso de las polticas
sociales1
Joan Subirats Humet. Instituto de Gobierno y Polticas Pblicas-Universidad
Autnoma de Barcelona

1. Podemos utilizar los instrumentos de evaluacin administraciones pblicas es que siguen partiendo
como palanca de gobierno del sector pblico?. del paradigma que administracin y empresa se
Parecera absurdo plantearse una pregunta de parecen. Hay una parte de verdad en todo ello: si en
este tenor si no se quisiera simplemente enfatizar ambos casos existen objetivos, tienen que manejar
retricamente la respuesta. La respuesta lgica recursos, dirigen y son dirigidas por personas,
y razonable y que compartimos es: sin duda. Y trabajan mediante procesos,..., por qu no acercar
esa es la respuesta lgica y razonable porque los mtodos de funcionamiento, organizacin y control?.
parmetros dominantes en las labores de anlisis Pero ello no es suficiente. Despus de unos cuantos
crtico del funcionamiento de las administraciones aos de predominio de ese modelo de cambio en las
pblicas ponen precisamente el acento en la falta administraciones pblicas, y despus de constatar
de incorporacin de instrumentos de evaluacin en sus positivos impactos en la mentalidad y la filosofa
sus prcticas habituales de gestin y gobierno, lo de actuacin de algunas administraciones pblicas
que dificulta, se dice, su capacidad para mejorar la (no tan significativamente en otras, como el caso de
actuacin de esas mismas administraciones. Lo curioso las espaolas2), es hora de darnos cuentas tambin
es que la doctrina acadmica, las aportaciones del de las diferencias. Como afirma Metcalfe3, ha llegado
mundo de la consultora y la propia reflexin interna el momento en que ya no basta imitar, es necesario
de los gestores pblicos parecen estar de acuerdo en innovar.
la necesidad-bondad de incorporar instrumentos de
evaluacin en las labores de gobierno y gestin de Uno de los elementos centrales en la estrategia
las polticas y las administraciones pblicas, pero se empresarial es la capacidad de competir. Una
avanza muy poco en el tema. Una vez ms, tenemos empresa competitiva es una empresa eficaz y
un notable gap entre consenso terico y prctica eficiente. En las administraciones pblicas la lgica de
poltico-administrativa. En esta ponencia se pretende actuacin se basa ms en la capacidad de trabajar en
profundizar precisamente en ese gap, en los la interdependencia que en la capacidad de competir.
motivos que explicaran-justificaran ese desajuste Son excepcin las actuaciones administrativas
entre teora y prctica, y proponer algunas vas de que puedan desarrollarse en plena independencia
avance. de otros servicios u otras administraciones. Los
procedimientos formales o informales de cooperacin,
2. Desde nuestro punto de vista, uno de los los procedimientos explcitos o implcitos de
problemas centrales con los que nos enfrentamos en coordinacin son determinantes para asegurar una
las estrategias dominantes de modernizacin de las gestin eficaz. Como bien sabemos, es precisamente

1
Este texto reproduce parcialmente otros textos previos del mismo autor.

2
Para un balance del proceso de cambio en las administraciones pblicas espaolas ver: Gallego,R. Subirats,J., 1998, Podremos
sostenernos en Europa con una administracin sin renovar?, en Informe Espaa 1997, Fundacin Encuentro, pp. 269-334.

3
Les Metcalfe, 1993, Public Management: From Imitation to Innovation, en Kooiman (ed.), Modern Governance, SAGE, pp.173-
190.

SEE. Nmero 2 Noviembre 2006


e-valuacin ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS 25

de la constatacin de las
constantes interdependencias
en la gestin pblica de dnde
surgi toda la literatura que
puso de relieve las limitaciones
de la teora de la decisin
racional en su aplicacin al
contexto de las administraciones
pblicas (Lindblom, Wildavsky,
Landau,...). Las administraciones
pblicas trabajan en campos y
en sectores que les vienen en
muchos casos predeterminados
normativamente. No escogen los
mejores nichos de actividad.
Actan muchas veces de forma
contradictoria, ya que sirven a
intereses y clientelas tambin
contradictorias. Su labor, lejos
del ideal que expresa el concepto
de intereses generales 4 , se
enmarca en un entramado de
gran complejidad, lleno de actores, algunos de ellos
3. Ahora bien, al margen de estos primeros
elementos de reflexin, uno de los elementos
muy potentes, que manejan intereses contrapuestos.
centrales que deberamos tener en cuenta al introducir
En ese contexto, las administraciones pblicas no
mecanismos de evaluacin y de rendicin de cuentas
pueden jugar con la relativa facilidad que da el
en el funcionamiento de las administraciones pblicas
hecho de tener una orientacin inequvoca a una
es el saber si estamos tratando de evaluar temas que
nica cuenta de resultados basada en la obtencin
son propios del rea de gobierno o temas que son
de beneficios. Si en la empresa mercantil, eficacia
propios del rea de gestin. Sabemos perfectamente
y eficiencia tienden a confundirse, en el mundo de
que no hay nada ms difcil que disntingur con
las administraciones pblicas, no siempre ocurre as.
precisin ambas esferas, pero sabemos tambin
Equivocarse en ello significa muchas veces contribuir
que si confundimos absolutamente esos campos, se
a los bien conocidos fenmenos de la llamada
nos complicar muchsimo cualquier va de mejora e
seleccin adversa de la cual tenemos buenos
innovacin. Proponemos que se distinga, al menos
ejemplos en sanidad y educacin.
analticamente, entre lo que llamaramos tareas
de gestin y tareas de gobierno, y que se crucen
A pesar de todo, sabemos que no podemos esas tareas con los distintos mbitos de actuacin
admitir que exista una insuperable colusin entre de las administraciones, unos de mayor contenido
los principios de eficacia y legalidad, y por tanto operacional, otros de mayor contenido estratgico
hemos de trabajar de manera innovadora para ir (vid cuadro 1).
construyendo categoras que nos permitan atender
los valores que expresan ambos requerimientos,
Cuadro 1. Tareas y mbitos de actuacin de las
asegurando siempre la capacidad de rendir cuentas,
administraciones pblicas
la capacidad de mantener abiertos los controles que
Operacional Estratgico
eviten los abusos de poder. Una organizacin (aqu s,
pblica o no pblica) que mantenga su capacidad de Gestin 1 2
rendir cuentas, de ser transparente en su gestin, de Gobierno 3 4
evaluar su quehacer, ser una organizacin capaz de Fuente: elaboracin a partir de Metcalfe, L. Accountability
aprender tanto de sus aciertos como de sus errores. and effectiveness, Venice, 1998, mimeo

4
Vase Crozier, M.,1995, La posicin del Estado ante los otros actores, Gestin y Anlisis de Polticas Pblicas, nmero 2, pp.
93-100.

Noviembre 2006 SEE. Nmero 2


26 ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS e-valuacin

El cruce entre tareas de gestin, de carcter ms del campo estrictamente operacional en el que
interno, y mbito operacional (casilla 1), podramos ha acostumbrado a refugiarse el New Public
decir que genera el espacio tpico de los anlisis Management. Los mecanismos de control, de
preocupados por los valores de economa y eficiencia. rendicin de cuentas podran contribuir a ir llenando
Es ese el espacio en el que opera la clsica labor de la de contenido ese componente estratgico de la
intervencin en muchas administraciones de nuestro gobernacin de los asuntos y la gestin pblicas.
entorno, y es tambin el mbito en el que con Muchas de los interrogantes que el NPM plantea
mayor intensidad se han movido las reformas que (es bueno o no separar contratador y proveedor?,
se han nucleado en torno al concepto de new public es mejor crear agencias o mantener sistemas
management. El espacio de gestin de contenido centralizados de provisin de servicios?, ventajas e
ms estratgico (casilla 2), sera quel en el que inconvenientes del uso de contratos e indicadores?,
las variables que cuentan son las de la eficacia y la es posible insistir en eficiencia sin erosionar la
gestin del cambio. Usando los conceptos puestas en equidad o provocar fenmenos de seleccin adversa?,
circulacin por Osborne y Gaebler, no se tratara slo deben generalizarse los mecanismos de copago?...),
de remar (casilla 1) sino de timonear (casilla 2). podran encontrar vas de respuesta ms integrada
Las labores emblemticas seran las de adaptar las si se plantean en un contexto no slo operacional,
operaciones a los problemas, anticipando desajustes sino tambin estratgico y de gobernacin general
de la gestin. Sera este un campo que en nuestro del sistema. Y para ello puede ser muy importante
pas han venido ocupando o bien gestores con distinguir entre distintos tipos de organizacin,
capacidad directiva probada, o bien polticos que han distintos tipos de tareas y distintos tipos de usuario.
jugado y juegan ms en el campo de la gestin que
en el propio de la poltica y del gobierno.
Por mucho que las tendencias encuadradas en la
nueva gestin pblica hayan generado efectos
El entorno de tareas de gobierno es un terreno positivos usando el trmino cliente como
en el que se lidia sobre todo con el exterior de la contrapunto radical a las tradicionales definiciones
organizacin, dnde se juegan las grandes cuestiones de administrado o sbdito, lo cierto es que
de la legitimacin poltica y social. Si esa labor se la generalizacin de ese concepto de cliente y
cruza con el mbito ms estrictamente operacional lo que lleva aparejado sin tener en cuenta las
(casilla 3), nos encontraremos con lo que podramos distintas relaciones y estructuras de poder que
denominar labores de contramaestre, gobierno conllevan los disntintos marcos de actuacin de las
de operaciones, y con funciones como contraste, administraciones pblicas, puede acabar produciendo
supervisin, control del gasto y de los recursos, ms confusin y efectos contraproducentes que
cautelas para evitar fraudes o corruptelas, etc. Es resultados positivos.
este el terreno en el que acostumbramos a encontrar
los rganos de control de legalidad presupuestaria
Las distintas administraciones pblicas intervienen en
y contable. El terreno menos explorado es el que
muy distintos campos y prestan multitud de servicios
entrecruza gobierno y mbito estratgico (casilla 4).
de muy diverso tipo. Esas interacciones generan
Siguiendo la parbola martima que hemos venido
relaciones entre las partes que se acercaran a lo que
utilizando, sera el campo propio de la navegacin,
podramos calificar como diversos tipos ideales (ver
de las labores de capitana. Es aqu dnde debera
Cuadro 2).
determinarse lo importante y significativo para cada
organizacin. Es ah donde se juega la legitimidad
de los objetivos de las administraciones pblicas. Cuadro 2. Tipos de relacin y tipos de poder en juego
Sin llenar ese espacio faltan criterios de consistencia en distintas formas de interaccin administracin-
ciudadanos
para poder emprender una labor evaluadora seria.
Sin carta de navegacin, ni remar ni timonear tiene Sujeto Usuario Cliente Ciudadano
demasiado sentido, y el control de los controladores Administrador Proveedor Profesional Representacin
pierde significacin. Influencia
Jerarqua Intercambio Expertise
legitimacin

4. Siguiendo esa lnea de reflexin iniciada,


Fuente: elaboracin a partir de Metcalfe, L.
effectiveness, Venice, 1998, mimeo
Accountability and

podemos suponer que sera posible ir ms all

SEE. Nmero 2 Noviembre 2006


e-valuacin ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS 27

En unos casos predomina la


clsica relacin administracin-
sujeto (tpica de una
administracin bsicamente
reguladora, inspectora y
sancionadora); en otros casos
esa relacin se acerca a la que
se da en la esfera mercantil entre
usuario y proveedor (cuando
la administracin simplemente
suple o acta como prestadora
de servicios o bienes que podran
tener como protagonistas
tambin a empresas y usuarios);
encontramos asimismo la relacin
caracterstica que se da entre
clientes y profesionales (esencial
en servicios como sanidad
y educacin); y finalmente
detectamos la que ms se
acerca al mundo de la poltica
y la democracia representativa: valores que se esconden en otros tipos de relacin
la que se da entre ciudadanos en general y sus tambin presentes (las propias de la corporacin
representantes polticos (cuando estos ltimos de profesores, o las especficas de la universidad
canalizan intereses o valores). como institucin representativa y ciudadana), las
tensiones y distorsiones que provocaremos sern
monumentales.
En cada una de esas relaciones podemos afirmar que
se dan relaciones de poder o de influencia que tienen
caractersticas especficas. Jerarqua, intercambio No podemos pues simplificar, ni tratar de reducir la
mercantil, expertise, o influencia-legitimacin, complejidad presente en la actuacin de la mayora
se dan en cada caso de manera predominante. de administraciones pblicas, usando como nico
Deberemos ir con sumo cuidado para evitar aplicar parmetro de evaluacin y de mecanismos de
de manera indiferenciada unos mismos parmetros rendicin de cuentas el que encierra la lgica de
de control o unos mismos mecanismos de rendicin intercambio, competencia y eficiencia, que tan
de cuentas a interrelaciones basadas en lgicas buenos resultados ha dado en el mundo de la
muy distintas. O simplemente acabar confundiendo iniciativa mercantil, dnde la complejidad ha sido
esas distintas relaciones y esas distintas posiciones hasta ahora mucho menor5. Es absurdo buscar
de poder o de influencia con indicadores no relaciones de cliente dnde no las hay, cmo es
pensados especficamente para recoger los distintos absurdo tratar de construir sistemas de concurrencia
valores que se encierran en cada situacin. Si, por dando alternativas de exit a los ciudadanos cuando
ejemplo, en una universidad (dnde podramos quizs lo que se busca es hacer ms operativa e
encontrar los cuatro tipos de relacin y de poder influyente la opcin voice (usando las conocidas
mencionados) primamos de manera casi exclusiva expresiones de Hirschman6).
el control y la evaluacin de resultados desde una
lgica, por ejemplo, mercantil o de intercambio,
5. Si lo que nos interesa es examinar la eficacia
y marginamos o ignoramos en la prctica otros
de las organizaciones pblicas, deberamos poner

5
Lo cierto es que tambin en el mundo de las empresas privadas se da una creciente importancia a cuestiones como los balances
ecolgicos, los balances sociales, como forma de complementar y aumentar el valor aadido de unas empresas que tendan slo
a ser vistas como productoras de plusvala. Pero, a pesar de ello, contina siendo cierto que ser la cuenta de resultados la que
acabar determinando finalmente la buena o mala marcha de la entidad.

6
Hirschman, A.O., 1970, Exit, Voice and Loyalty, Harvard University Press, Cambridge (Ma)

Noviembre 2006 SEE. Nmero 2


28 ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS e-valuacin

atencin en el tipo y la calidad de las interrelaciones liberal), el de evitar extralimitaciones en la accin


entre esas organizaciones pblicas y el exterior de pblica, la estructuracin y operacionalizacin de
las mismas, ya que si slo nos dedicamos a examinar mecanismos de control se ha hecho sistemtica y
las componentes internas del funcionamiento de concienzudamente, no ha ocurrido lo mismo en el
tales organizaciones, lo mximo que conseguiremos segundo de los campos mencionado (el que deriva
ser avanzar en la evaluacin de su eficiencia de una lgica ms socializadora). Y si no existen o
y del grado de cumplimiento de las previsiones no se han construido criterios claros de eficacia que
procedimentales. recojan ambos supuestos, lo que ocurre es que existe
informacin sesgda (estrictamente sobre la legalidad
en la actuacin administrativa), desorientacin sobre
Hemos de ser conscientes que sin mecanismos
si se sigue el camino constitucionalmente previsto, y
potentes de rendicin de cuentas la legitimidad de
no se reciben seales consistentes sobre los logros
las administraciones pblicas no ser posible, y
polticos y sociales conseguidos.
ello deteriora la base misma de existencia de esas
administraciones. Las administraciones pblicas
ostentan poder, tienen capacidad de accin, en 6. Diferentes tipos de organizacin, con diferentes
tanto y en cuanto mantienen su capacidad de rendir tipos de relacin y de poder en su seno, deberan
cuentas, de ser accountables frente a la ciudadana, generar diferentes tipos de control estructural (ver
de seguir siendo legtimas. cuadro 3). En determinados casos (por ejemplo,
en las organizaciones ms basadas en las reglas
del intercambio y de la influencia), se dar mucha
Hace unas dcadas las administraciones pblicas
ms importancia a la capacidad de dar respuesta
estaban sometidas al escrutinio pblico desde una
a las demandas externas a la propia organizacin,
base o desde unos parmetros que respondan
que cuando se trate de otro tipo de organizaciones
esencialmente a la voluntad de evitar deslizamientos
ms orientadas hacia el interior (las basadas, por
o abusos de poder. El nfasis se situaba en el impedir
ejemplo, en la expertise o incluso en la jerarqua).
o reducir las posibilidades de tales excesos. Todo
aquello que implicara apartarse del camino previsto,
de lo definido previamente, era interpretado como Por tanto, desde mi punto de vista no se trata
una puerta abierta a posibles extralimitaciones. En tanto de ofrecer pautas generales y universales de
estos momentos, junto con el mantenimiento de la rendicin de cuentas y de evaluacin, sino ms bien
demanda de evitar esos posibles abusos, existe una el entender y diferenciar las diferentes perspectivas
clara preocupacin (expresada constitucionalmente que pueden existir entre organizaciones, o en una
en Espaa por el artculo 9.2, y por su habilitacin misma organizacin, y segmentar y establecer
intervencionista7) para que las administraciones parmetros adecuados de evaluacin y de control.
pblicas sean eficaces, consigan resultados, trabajen
para construir polticas que favorezcan la plena
Hasta ahora, en las administraciones pblicas se
igualdad y libertad. El problema es que si bien en
ha restringido mucho esa lgica diferenciadora
el primero de los supuestos (el ms clsicamente

Cuadro 3. Tipos de organizacin, tipos de poder y tipos de control


Autoridad Intercambio Autoridad basada en Influencia
jerrquica expertise
Valores y Ejercicio de Inters propio, ganancias Compromiso profesional Consenso, solidaridad y participacin
normas responsabilidad mutuas con el cliente
administrativa
Controles Apelacin a Competencia entre Evaluacin del Control democrtico de los
estructurales autoridades proveedores rendimiento basada en representan-tes
externas los pares
Fuente: elaboracin a partir de Metcalfe, L. Accountability and effectiveness, Venice, 1998, mimeo

7
Corresponde a los poderes pblicos promover las condiciones para que la libertad y la igualdad del individuo y de los grupos en
los que se integra sean reales y efectivas; remover los obstculos que impiden o dificultan su plenitud y facilitar la participacin
de todos los ciudadanos en la vida poltica, econmica, cultural y social. Art.9.2 Constitucin Espaola 1979.

SEE. Nmero 2 Noviembre 2006


e-valuacin ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS 29

La riqueza y pluralidad de
perspectivas y valores que hemos
querido presentar, exigen, desde
nuestro punto de vista, tratar de
responder a la pregunta que abre
esta texto desde una perspectiva
plural. La respuesta sigue siendo
positiva. Los instrumentos de
evaluacin pueden ser usados
como palancas de gobierno, con la
condicin de que esos instrumentos
de evaluacin sepan recoger la
riqueza de matices y de perspectivas
que toda accin de gobierno
genera. Una de esas perspectivas
es la legal. La que examina si
la accin gubernamental se ha
desarrollado segn lo previsto por
las previsiones legales al respecto.
que, entiendo, sera capaz de revelar muchas ms Pero deberamos ser capaces de
dimensiones de valor. Ha primado siempre la lgica responder a otras preguntas. Podra haberlo hecho
ms fundacional, la clsica visin liberal, en la que de manera ms eficiente y eficaz una organizacin
lo primaba por encima de todo el cumplimiento de la no pblica?. Se perderan con ello valores que no
legalidad. Hemos de recordar que esa visin parta se recogen en un simple anlisis coste-beneficio?.
de una profunda desconfianza sobre la actuacin de Pero, asimismo, podramos preguntarnos si la
los poderes pblicos, sobre los que pesaba la pesada labor desempeada responde a los parmetros
sospecha de su constante tendencia a extralimitarse corporativos y profesionales que estn en la base
en el ejercicio de sus poderes. No pretendemos de ese servicio o prestacin. La calidad del servicio
decir que esa perspectiva no sea importante. se calibra aqu no slo en base a las previsiones
Tratamos simplemente de sealar que existen otras normativas o a la relacin coste-beneficio, sino en
perspectivas tan significativas como esta, y que aquellos indicadores que el conunto deprofesionales
la propia (nueva) legalidad constitucional recoge de ese mbito entiende como bsicos para poder
(como hemos visto en el caso de Espaa en nuestra refereirse al servicio como de calidad.
referencia al artculo 9.2 CE).

Pero, las administraciones pblicas democraticas no


En este sentido, los Tribunales de Cuentas (o pueden nunca olvidar que su poder esta condicionado,
Controloras), que han ejercido hasta ahora una labor es indirecto. Su capacidad de actuacin, su propia
positiva desde una perspectiva analtica determinada, razn de ser deriva de que logren mantener su
o bien deberan trabajar (con los cambios legitimidad, su influencia sobre el conjunto de la
institucionales y de personal necesarios) para ir ciudadania. Una ciudadana que siga entendiendo que
ofreciendo instrumentos de control y evaluacin que esas administraciones son sus administraciones. Y
permitiera a los organismos representativos de que para ello los valores que inspiran esa capacidad de
dependen el disponer de parmetros fiables para influencia son (muchas veces) distintos de los que
cada tipo de organizacin y de prestacin especfico, influyen para decir que una organizacin es eficiente
o bien su labor debera ser complementada con otros o competitiva. El hecho que la actuacin de unas
organismos o mecanismos que permitiera recoger administraciones sea solidaria con aquellos sectores
la medicin de valor obtenido por la labor de las o mbitos territoriales que no disponen de recursos
administraciones pblicas que no puede ser reducido suficientes para alcanzar una calidad de vida digna;
simplemente a cumplimiento de legalidad. No darse el hecho que los individuos y los grupos en que
cuenta de ello slo ir produciendo confusin y se integran (art. 9.2 CE) puedan participar de
frustracin, ya que se demandarn resultados manera efectiva en el diseo y puesta en prctica
a la labor de esos organismos que no estan en de las decisiones y polticas pblicas, acaba sin duda
condiciones de dar. influyendo en la percepcin sobre la legitimidad de la
actuacin de unos poderes pblicos que han situado a

Noviembre 2006 SEE. Nmero 2


30 ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS e-valuacin

En definitiva, el debate sobre el


papel y los resultados de la accin
pblica no se sita hoy ya slo en
el cmo hacer las cosas, sino que
exige contar con instrumentos que
permitan responder asimismo a las
preguntas de qu deben ocuparse
los poderes pblicos y de quin
mejor puede ofrecer resultados
eficaces y eficientes a esas
demandas sociales canalizadas por
esos poderes representativos.

7. Sirve todo lo que hemos


dicho hasta aqu para cualquier
poltica pblica?. Sirve para las
polticas sociales?. Cada poltica
pblica tiene caractersticas
especficas, y un buen proceso de
evaluacin debera tener en cuenta
la participacin democrtica entre uno de sus valores esas especificidades. Pero, en el
fundamentales; o la sensacin que las decisiones del caso de las polticas sociales, ello es especialmente
ejecutivo responden mayoritariamente a la voluntad significativo. No creo que sea necesario dedicar
de la ciudadana (y no totalmente al contrario, como un gran espacio para argumentar y justificar las
ocurri hace pocos meses en el caso de Espaa y la especiales dificultades que genera la evaluacin de
posicin de su gobierno ante el conflicto de Irak); polticas sociales y ms en concreto la evaluacin de
son todos ellos parmetros que sin duda influyen polticas de lucha contra la pobreza y a favor de la
en la evaluacin de la actuacin de los poderes inclusin social.
pblicos, y que hemos de reconocer que quedan
lejos de parmetros estrictamente de eficiencia o de
En esta parte del artculo trataremos de explorar
cumplimiento de la legalidad.
las aproximaciones que permitan evaluar el grado de
consecucin en los objetivos de inclusin social de
Es por tanto poco eficiente tratar de reducir el las polticas que se han ido poniendo en marcha en
debate sobre la evaluacin de las administraciones Espaa y Europa. Como sabemos8, la exclusin social
pblicas a un mero ejercicio tcnico sobre cules tiene componentes de multidimensionalidad y de
son los indicadores oportunos, o cual debera ser trayectorias personales y colectivas muy especficas.
el rgano tcnicamente ms adecuado para realizar Ello aumenta la complejidad presente en toda
esa labor. No podemos pues reducir la complejidad evaluacin de resultados y de consecucin de valor
de la actuacin de los poderes pblicos y su amplia por parte de la actuacin de los poderes pblicos y
gama de criterios sobre los que basar la calidad otros agentes. La puesta en marcha de planes de
(y calidez) de su actuacin a un problema de inclusin social desde el 2001 en toda Europa, puede
traslacin de las dinmicas que han funcionado y permitir un primer balance crtico.
en parte siguen funcionando en el mbito mercantil
cuando se trata de evaluar su actuacin. Hemos de
Como avanzbamos, las polticas sociales
trabajar en esa complejidad y pluralizar mtodos y
acostumbran a ser polticas mucho ms complicadas
protagonismos.
de evaluar que otras. De entrada, porque tienen
perfiles, normalmente, poco concretos. Es

8
Ver al respecto el volumen que recoge el trabajo colectivo del IGOP en el tema, Pobreza y Exclusin social.Un anlisis de
la realidad espaola y europea, Joan Subirats (dir.), Estudios Sociales n.16, Fundacin La Caixa, Barcelona, 2004, disponible
totalmente en PDF en www.estudios.lacaixa.es, estudios sociales n.16., y la bibliografa que lo acompaa.

SEE. Nmero 2 Noviembre 2006


e-valuacin ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS 31

decir, la definicin de objetivos acostumbra a cambios en los elementos conceptuales, sustantivos


ser relativamente abstracta, acostumbra a ser y operativos con que esa poltica ha de desarrollarse,
relativamente ambigua, ya que, por otro lado, este y evidentemente evaluarse.
tipo de ambigedad y de generalidad en la definicin
de objetivos favorece la obtencin de consenso
en relacin con estas polticas. Por lo tanto, no se
8. Por otro lado, la evaluacin de polticas
de inclusin, choca con otros elementos ms
trata de vituperar o menospreciar la forma en que
generales. Como sabemos, a la propia dificultad
estas polticas definen sus objetivos, sino tratar
en definir este tipo de polticas, cabe aadir la
de comprender el marco cognitivo, el entramado
multiplicidad de objetivos que acostumbran a
institucional y social que rodea la formulacin de
rodear este tipo de decisiones. Objetivos mltiples
estas polticas, para entender as su complejidad
(por ejemplo: mejorar la formacin acadmica, las
y las dificultades que puede generar su evaluacin
condiciones de salud, la integracin familiar, las
desde las distintas perspectivas de las instituciones
redes relacionales,...), a veces contradictorios (por
implicadas, los beneficiarios reales y potenciales y el
ejemplo: incrementar el nivel formativo sin dejar
resto de actores implicados en la poltica o actuacin
fuera a nadie; conseguir empleo para todos pero
en concreto. Adems, la propia Unin Europea en su
mejorando al mismo tiempo la competitividad,...),
afn, probablemente correcto, de buscar no tanto el
y por tanto difcilmente evaluables con una misma
medio comn denominador de las polticas que se
gama de parmetros. Por otro lado, muchas veces
llevan a cabo en los distintos pases miembros, sino
las instituciones financiadoras estn muy imbudas
el incentivar procesos de innovacin en un campo
de una lgica econmica que tiende a considerar
tan complejo como el de las polticas de inclusin,
como unvocos conceptos como coste o beneficio.
ha introducido nuevos factores de complejidad en la
Y, como sabemos, coste y beneficio son conceptos
evaluacin de tales iniciativas. En efecto, no es fcil
que estn sujetos (o deberan estar sujetos) a un
encontrar parmetros relativamente estndares,
intenso debate social y poltico, desde las distintas
probados anteriormente, para evaluar estas
perspectivas, situaciones y posicin en la distribucin
polticas, cuando lo que predomina es un proceso
de recursos.
de coordinacin abierta que quiere ser respetuoso
con la diversidad de situaciones de partida de cada
pas en materia social (desde la tradicin sueca Tambin es importante resear la contradiccin
hasta la mediterrnea, por poner un ejemplo), y existente entre los motivos que impulsaron la
con las grandes diferencias entre pases en cuanto a creacin de la poltica, motivos que tienden a ser
prioridades y situaciones de exclusin9. complejos y fruto de un proceso para nada lineal, y
la necesidad de contar con indicadores sencillos que
rpidamente den respuesta sobre los resultados y
Pongamos un ejemplo derivado de las polticas de
los impactos conseguidos (a costa muchas veces de
desarrollo econmico local que se llevaron a cabo hace
reducir las complejidades inherentes a la formulacin
unos aos en la Unin Europea, basadas en la nueva
de la poltica, sin que exista adems tradicin
idea de los yacimientos de empleo. Con ello se pona
consolidada sobre como evaluar este tipo de
el nfasis en la necesidad de encontrar nuevos filones
nuevas polticas). Es decir, podemos tener polticas
o vetas de ocupacin que hasta entonces hubieran
innovadoras, relativamente complejas tanto en su
sido poco explotadas. Ese nuevo concepto precisaba
formulacin como en su articulacin (con diversidad
ser comprendido por parte de los distintos actores
y multiplicidad de objetivos), e indicadores y
institucionales, los agentes sociales, los consultores
procesos de evaluacin relativamente pobres,
y los gestores pblicos. Y, lgicamente se necesitaba
muy condicionados por dinmicas de justificacin
ms tiempo an para construir indicadores que
del gasto y de explicitacin de resultados, sujetos
lograran distinguir entre lo que es un yacimiento
adems a calendarios polticos y administrativos no
real, de lo que es simplemente una nueva forma de
siempre coincidentes con el ciclo de vida y desarrollo
subvencionar a los sin empleo. Por tanto, no existe
de las polticas.
una total automaticidad entre innovacin en polticas
y capacidad de evaluar esas mismas polticas, ya
que toda poltica realmente innovadora implica

9
Slo recientemente se habla de empezar a sincronizar las polticas sociales de los distintos pases miembros.

Noviembre 2006 SEE. Nmero 2


32 ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS e-valuacin

Se ha de tener en cuenta
asimismo que muchas veces
en los procesos de evaluacin
coinciden distintos objetivos
o metas. Por un lado
encontramos la necesidad
por parte de los actores en
el territorio de responder
a lo que las exigencias
de la Comisin Europea u
otra instancia financiadora
plantea. Es decir, se han de
rendir cuentas, y se ha de
hacer de una cierta forma.
Y por otro lado, la necesidad
de avanzar en procesos
de aprendizaje del propio
territorio y de los actores
implicados en relacin a
esas polticas que son en
muchos casos innovadoras.
Ya que plantean procesos
Por todo ello, no es inhabitual que los indicadores de colaboracin entre
acostumbren a ser relativamente insuficientes o actores de distintos niveles de gobierno y de diverso
excesivamente simples en relacin a la complejidad estatuto formal, donde no hay costumbre ni tradicin
de la poltica. Lo cual nos indica ya la necesidad de de hacerlo. Por ello no deberamos confundir la
combinar metodologas hard y soft en el abordaje relativa pobreza de ciertos resultados de los
de los procesos de evaluacin de las polticas procesos de evaluacin que llegan, por ejemplo,
de inclusin social. Ya que si utilizamos slo a Bruselas, despus de un proceso de evaluacin
aproximaciones cuantitativas conseguiremos un hecho de abajo a arriba, pero realizado para cumplir
resultado que tender a ser claramente ms pobre los parmetros necesarios de accountability que
que el que obtendramos asumiendo el principio que estn reglamentariamente previstos, con la posible
en polticas complejas, evaluaciones complejas. riqueza de desarrollo de una evaluacin ms real
y ms til que muchas veces puede llegar a
producirse en el territorio. Dnde ponemos el
9. Por otro lado, hemos de ser conscientes que nfasis, en el anlisis del cumplimiento formal, o
la visin desde el territorio afectado por la en el proceso de aprendizaje?. La mejor respuesta
intervencin pblica, tanto sobre la formulacin de es obviamente tratar de cumplir con ambos
la poltica como sobre su proceso de evaluacin, parmetros, ya que responden a valores y lgicas
acostumbra a ser relativamente escptico. Sobre distintas, pero igualmente pertinentes. Lo peor, no
todo cuando la formulacin general de la poltica y sus obstante, es confundir y mezclar ambas lgicas y
bases conceptuales se hacen muy lejos del lugar en ambos requerimientos. Ya que nuestra experiencia
que deber operativizarse esa poltica. No es extrao nos indica, que muchas veces lo que es valioso
percibir la sensacin en los territorios, que ms que desde una lgica, no lo es tanto en la otra. Y al
una poltica pensada para resolver problemas, se revs. Pero, es evidente que si el proyecto incorpora
disponen de soluciones en busca de problemas. Y un requerimiento formal de evaluacin, no debe
como ello viene acompaado de recursos, lo normal menospreciarse o tomarlo como una obligacin sin
no es rechazar esa poltica por extempornea y valor aadido alguno. Ese proceso formal puede ser
retrica, sino adaptarse creativamente a la misma, y debe ser aprovechado para conseguir mecanismos
tratando de acercar lo que se ha decidido desde de respuesta y seales concretas sobre el proceso
lejos y lo que es la realidad concreta del territorio, de implementacin, sobre desviacin de objetivos,
para obtener as los recursos que se requieren para sobre relaciones gestin-resultados, aspectos todos
aquello que se considera prioritario. ellos que pueden ser perfectamente aprovechables
en secuencias posteriores.

SEE. Nmero 2 Noviembre 2006


e-valuacin ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS 33

10. A pesar de todo, la sensacin es que la grandes ventajas de personalizacin y adecuacin


evaluacin que incorpore el anlisis de los elementos especfica a las caractersticas de la persona que
procesuales, acaba teniendo mejores impactos uno tiene delante), para tratar de contemplar los
en los procesos de mejora e implementacin problemas desde una perspectiva ms genrica,
posteriores. Las polticas de inclusin social tienen que permita por tanto construir categoras analticas
casi siempre fuertes elementos de innovacin, de susceptibles de ser posteriormente evaluadas una vez
adaptacin creativa a situaciones heterogneas y operacionalizadas y desarrolladas las polticas que de
no estandarizables a priori, y precisamente por ello ellas se deriven. Tenemos por tanto otro resultado
los elementos de proceso son muy significativos. No positivo derivado de la introduccin de una
debera pues extraarnos que las evaluaciones que perspectiva de evaluacin en polticas de inclusin,
tienen en cuenta estos elementos de proceso puedan que sera el favorecer perspectivas de trabajo
llegar a ser notablemente ms potentes y tiles que operen con mejores relaciones entre casos
que las que se centran exclusivamente en el tema especficos y las categoras con las que acostumbran
resultados. a operar las polticas en su conformacin habitual.

No podemos tampoco dejar se sealar la aparente 11. El tema de la utilidad, al que hemos ido
contradiccin entre las obligaciones formales aludiendo, es un tema importante. Las preguntas
que rodean los procesos de evaluacin de polticas relevantes, desde mi punto de vista, seran hasta
sociales vinculadas a dinmicas europeas, y su qu punto se aprende en los procesos de evaluacin,
utilidad prctica. En efecto, muchas veces los propios y hasta que punto este aprendizaje est luego
gestores de los proyectos asumen la evaluacin realmente presente en las nuevas decisiones o
del proyecto como una carga burocrtica ms que polticas a impulsar. Y en este tema el handicap
imponen los financiadores, sin que las contrapartidas no es achacable a las polticas sociales de manera
sean evidentes. La experiencia tiende a demostrar especfica, sino que es un problema general en
que si la evaluacin se realiza con seriedad, y con los el modo de operar habitual de la Unin Europea.
requerimientos profesionales necesarios, trasciende Simplemente porque los procesos de evaluacin no
el mero cumplimiento de la formalidad prevista estn bien situados en la dinmica decisional de la
y retorna valor a los decisores y gestores del comunidad europea. Lo tradicional es que cuando
proyecto, ayudando a definir en el futuro mejor los el proceso de evaluacin ha concluido, casi siempre
objetivos, y facilita el pensar desde un principio en los el nuevo programa de carcter plurianual est ya
indicadores que sern necesarios generar e introducir. en marcha. Y ha tenido que ponerse en marcha
Lo cual en un campo como el de las polticas sociales debido a que las dinmicas polticas, presupuestarias
no es para nada irrelevante, dada la poca costumbre y administrativas de la UE as lo exigen. Con lo
de pensar en trminos de indicadores de eficacia al cual la sensacin general es que las evaluaciones
plantear las acciones a desarrollar. Por lo tanto, a acaban teniendo poca repercusin en los procesos
pesar de la crtica que pueda hacerse a los aspectos decisionales. Lo cual no quiere decir que esas
ms formales, lo cierto es que la mera incorporacin evaluaciones no tengan efecto alguno, o que sean
de esaobligacin en contextos administrativos intiles o simplemente retricas. Pero, desde el
poco acostumbrados a la cultura de la rendicin estricto punto de vista del calendario, ocurre que
de cuentas es de por si claramente significativo, cuando entregas la evaluacin, ya est en marcha el
obligando a pensar en objetivos y resultados, lo cual nuevo call for projects de la nueva oleada en que se
no es ciertamente habitual cuando lo que predomina concretan las decisiones de las distintas Direcciones
es la mera comparacin entre recursos disponibles Generales con relacin a las distintas polticas, lo
y recursos utilizados, es decir la lgica de control cual parece que nos debera hacer dudar de la real
contable de los inputs. efectividad de lo que hemos denominado como
procesos de aprendizaje.

Al mismo tiempo, en la lgica propia de las polticas


sociales, ser importante no desdear el tema de Lo cierto es que los gestores de la UE y los
la cultura de gestin que ha predominado en esa supervisores generales de la marcha de los proyectos
poltica sectorial. En los temas sociales, predomina y planes de accin, van sabiendo que ocurre con las
una visin muy de caso, centrada en la vicisitud evaluaciones sin esperar a que estas concluyan.
personal concreta con la que se enfrenta el operador Existen informes a medio proyecto, reuniones
pblico. No es fcil el salir de esa cultura (con de intercambio, etc. Pero, esa realidad menos

Noviembre 2006 SEE. Nmero 2


34 LA EVALUACIN DE LAS POLTICAS DE EMPLEO e-valuacin

formalizada debera exteriorizarse ms, para evitar de articulacin de los distintos niveles de gobierno, lo
esa sensacin general de desencaje entre dinmicas que permitira evitar precisamente que detectemos
de evaluacin y dinmicas de decisin. Dando valor un creciente gap entre lo que son las dinmicas
y explicitando en los propios protocolos de decisin y necesidades de cada territorio y lo que son las
las lecciones aprendidas en anteriores fases. Al dinmicas comunitarias, poltico-administrativas, que
mismo tiempo, se debera ir con mucho cuidado generan las polticas, los proyectos y en definitiva,
para no acentuar los aspectos ms burocrticos de la disposicin de fondos, para dar respuesta a los
la evaluacin, para no dar la impresin de que no se nuevos y renovados problemas de inclusin social.
da valor ni se tienen en cuenta aspectos sealados La complejidad de la exclusin social no puede
en las evaluaciones de polticas sociales que son ms abordarse como si abordramos estrictamente los
difcilmente cuantificables, menos tangibles, menos temas de pobreza o de desempleo. Ello implica una
indicadorizables (si se acepta tal neologismo). Ya evidente simplificacin. Como sabemos, si hablamos
que si no, se acenta exclusivamente la necesidad de exclusin social hablamos de multifactorialidad,
que las plantillas se rellenen, que los nmeros de multidimensionalidad, de necesidad de implicar
cuadren y que ello nos permita afrontar con mejor a la comunidad en los procesos de respuesta, de
situacin la nueva remesa de recursos con la que participacin de los actores, y en muchos casos nos
esperamos seguir avanzando, mejorando aquellos referimos a trayectorias vitales muy especficas,
aspectos aprendidos, que curiosamente son aquellos y no de dinmicas indiferenciadas. Cuando, por
que quizs nos han servido menos para completar los ejemplo, la Unin Europea detecta con acierto
formularios de evaluacin. la significacin de un potencial de empleo entre
los que nunca anteriormente han trabajado (los
llamados inactivos), la puesta en prctica del
12. Desde un punto de vista ms general, estamos
proyecto implica buscar esas personas, detectar
atravesando un proceso que, desde mi punto de vista,
esos colectivos. Y cada vez ms, esa necesidad
como observador y analista de las polticas sociales,
de dar respuesta a dinmicas que son menos
complica enormemente los procesos de evaluacin.
estandarizables, ser una exigencia que nos vendr
Como es sabido, estamos en un escenario en el cual
de la propia realidad. Ser a partir de ese punto
las polticas tradicionales, sociales, tpicas del estado
cuando deberemos buscar y articular respuestas
de bienestar que fue consolidndose en Europa entre
desde el espacio pblico (no confundir estrictamente
los aos 1945 y 1980, tienen graves problemas de
con los poderes o instituciones pblicas). Respuestas
adaptacin a las nuevas realidades de exclusin, de
colectivas a problemas colectivos en ese espacio
desigualdad y de respuesta a los nuevos escenarios
pblico concreto. Y para ello, la lgica de actuacin
productivos, sociales y familiares provocados por
de la Unin Europea debera ser, como en parte se
la globalizacin. Las polticas convencionales de
ha ido intuyendo a lo largo de este texto, mucho ms
bienestar funcionaban bsicamente a partir de cuatro
la de habilitar que la de decidir, ya que ese proceso
elementos que caracterizara como: homogeneidad,
de habilitacin es el que lograra dar respuestas a
rigidez, indiferencia y lejana. Esto permita
esa situacin de heterogeneidad, de personalizacin,
desarrollar polticas relativamente universales, en
de cercana y de flexibilidad a la que antes se haca
grandes mbitos territoriales. En cambio, la nueva
referencia.
poca en que vivimos, exige cada vez ms, polticas
que sean heterogneas, flexibles, tendencialmente
personalizadas y que puedan desarrollarse desde 13. La impresin que predomina es que ser
la proximidad. Esos cuatro nuevos elementos, que probablemente mucho ms complicado hacer
aparecen como imprescindibles para dar respuesta evaluacin de polticas sociales en el futuro, al
a las nuevas necesidades que desde el punto de tratarse de polticas ms complejas; con ms
vista social estn planteadas, obligan a que los actores; donde el proceso es generalmente mucho
mecanismos de evaluacin recojan esa nueva ms importante que los resultados concretos; donde
realidad y esas nuevas exigencias. En cambio, la hay muchos ms casos personales y especficos
propia estructuracin de la Unin Europea, su propia que casos estandarizables; donde se pone mucho
configuracin tiende, lamentablemente, a mantener de relieve el nfasis en la trasversalidad y en la
la lgica de lejana, una cierta indiferencia ante integralidad de respuestas y no en la sectorialidad
realidades diversificadas y una cierta rigidez en los (cuando en cambio estamos muy acostumbrados a
procesos. Es en este sentido significativa la propuesta trabajar sectorialmente, ministerialmente). Pero,
surgida de la propia Unin Europea, que plantea que de seguirse una lgica ms descentralizadora en
son los procesos de gobernanza, de trabajo en redes, la implementacin y la implicacin social de esas

SEE. Nmero 2 Noviembre 2006


e-valuacin LA EVALUACIN DE LAS POLTICAS DE EMPLEO 35

polticas, puede surgir una cierta facilidad en los Podemos tratar, en principio, de analizar los procesos
procesos de evaluacin, al dar ms valor y voz a la de formacin de la red. Es decir, trabajar con lo que
proximidad, a la comunidad en que se implementan podramos denominar el clculo de costes y beneficios
esas polticas. Acercando as los procesos de evaluacin que hacen los actores que componen esa red. Los
al sitio en el que se est realmente trabajando en ese diversos actores tienen sus propias expectativas sobre
campo. No aceptando lgicamente que cualquier cosa los procesos de colaboracin a emprender. Tienen sus
vale. Pero estableciendo mucho ms dilogo con lo que propios puntos de vista sobre los problemas a resolver.
es el territorio. Y de ah puede derivar, pienso, ms Y tienen o no experiencias previas de colaboracin con
capacidad de aprendizaje. el resto de actores de la red. Por otro lado, convendra
examinar el grado de consolidacin de los procesos de
confianza mutua entre los actores de la red. Hasta que
Esto exige probablemente un cambio en la lgica.
punto conocen, comprenden y comparten los objetivos
Abandonando las posiciones de centralidad de Bruselas,
del resto de participantes?. De esa comprensin
entendidas como posiciones de neutralidad y de estar
depender la construccin de vnculos de confianza. La
por encima de los intereses sectoriales y territoriales,
manera de construir indicadores al respecto, depender
y acercarse a las situaciones reales, no para controlar o
de la exploracin de criterios cualitativos, de procesos
inspeccionar lo que ocurre, sino para ofrecer recursos,
comparativos entre las distintas fases del proyecto,
ayuda, para reforzar la capacidad de impacto.
para encontrar as parmetros que nos permitan hablar
de avances y retrocesos.
14. Finalizaramos con algunos comentarios sobre
como avanzar en la evaluacin de los mecanismos
Por otro lado, la confianza no slo se desarrolla y
de red, de gestin de redes, de governance, cuando
se consolida cuando se comprenden los objetivos
precisamente en las polticas de inclusin social se
de los dems, sino cuando puedo compartir total o
pone crecientemente relieve la significacin de la
parcialmente esos objetivos, entendiendo las formas
implicacin colectiva y de las lgicas de colaboracin
de hacer del resto de actores y, de alguna manera,
pblico-no pblico en sus procesos de formulacin e
compartiendo esas formas de hacer. Es decir, aqu
implementacion. . ste es sin duda un dficit significativo
deberamos poder hablar de compatibilidad cultural y
en estos momentos. Pueden evaluarse este tipo
de compatibilidad estratgica. Lo cual, evidentemente,
de cuestiones?. Puede evaluarse, por ejemplo,, la
es el punto clave para la consolidacin de esa red
confianza interorganizativa?. Asumamos que una red
porque estamos intentando construir mecanismos
viene marcada por elementos de interdependencia,
de respuesta colectiva a problemas colectivos, como
de continuidad en esa interdependencia y por la no-
son los que centran los esfuerzos de las polticas de
existencia de un centro jerrquico en esa red. Si esos
inclusin. Se trata por tanto de conseguir evaluar la
son tres elementos claves, cmo podemos evaluar la
gestin de las interacciones, analizando cmo se ha
capacidad de governance de esa red?, su capacidad de
procedido a formar la red; cuales han sido los criterios
respuesta colectiva a unas demandas a las cuales la red
de inclusin, que reglas de negociacin se han seguido;
intenta dar respuesta de una manera interdependiente,
qu se ha hecho para dinamizar esa red; qu espacios
de una manera continuada y sin lgicas jerrquicas?.
concretos interinstitucionales se han creado para
dar respuesta a la heterogeneidad de los actores,
y qu mecanismos de resolucin de conflictos
interorganizativos se han ido construyendo para
dar respuesta a los problemas a medida que se
han ido produciendo. Si aceptamos que el trabajo
compartido, el trabajo en red, es hoy determinante
en las polticas de inclusin, entonces buscar
estrategias para tener en cuenta el valor generado
por a construccin de esa red, y evaluar su eficacia
y su capacidad de aprendizaje conjunto, y su
fuerza para el futuro, es un elemento cada vez ms
significativo en toda dinmica de evaluacin de las
polticas sociales en la actualidad.

Noviembre 2006 SEE. Nmero 2