Documentos de Académico
Documentos de Profesional
Documentos de Cultura
para las
Administraciones
Pblicas
Coleccin
Estudios
o
o
Q-S
II
c
i_
re u
-2 i
-o
Xavier Ballart
Serie
Administracin
P.V.P. 2.300
(IVA INC
Xavier Ballart
Coleccin: ESTUDIOS
Edita:
INDICE
. Prlogo........................................................................................................
Introduccin......................................................................... ......................
21
25
PRIMERA PARTE
CAPITULO 1
MARCO TEORICO. ADMINISTRACION PUBLICA,
ANALISIS y EVALUACION DE POLITICAS PUBLICAS................
35
1. INTRODUCCION
2. ADMINISTRACION PUBLICA E INVESTIGACION
A. EL ESTUDIO DE LA ADMINISTRACION PUBLICA:
SINTESIS DE ORIENTACIONES
a. La tradicin norteamericana..
b. La tradicin europea
B. EL ANALISIS DE POLITICAS PUBLICAS COMO
MARCO TEORICO DE REFERENCIA
a. Conceptos bsicos
b. Diferencias entre anlisis y evaluacin
c. El carcter amenazante de la evaluacin...........................
43
43
46
46
CAPITULO 11
GENESIS y ESTRUCTURA DE LA EVALUACION EN UNA
PERSPECTIVA COMPARADA..............................................................
51
1. INTRODUCCION
2. ORIGENES y SISTEMATIZACION DE LA EVALUACION
EN LOS ESTADOS UNIDOS
A. CRECIMIENTO DE LOS PROGRAMAS SOCIALES
37
37
37
37
42
53
53
53
7
B. REFORMA PRESUPUESTARIA............................................
C. SISTEMATIZACION DE LA EVALUACION........................
3. DESARROLLO DE LA EVALUACION EN OTROS PAISES..
A. FACTORES DETERMINANTES
B. PAUTAS DE INSTITUCIONALIZACION
a. A Nivel Parlamentario
b. A Nivel Ejecutivo
c. Centralizacin-Descentralizacin
4. CONDICIONANTES Y TENDENCIAS EN EL CASO
ESPAOL
A. CRECIMIENTO Y REFORMAS TARDIAS...........................
B. CONSTATACION DE UNA DEMANDA EFECTIVA
CAPITULO 111
CONCEPTO, CLASES, PROPOSITOS, INTERESES y
CRITERIOS DE EVALUACION
1. CONCEPTO..................................................................................
A. AMPLIACION PROGRESIVA DEL AMBITO DE LA
EVALUACION.........................................................................
B. CONCEPTO AMPLIO DE EVALUACION DE
PROGRAMAS..........................................................................
C. DIFERENCIAS ENTRE EVALUACION DE
PROGRAMAS Y CONTROL ADMINISTRATIVO...............
2. CLASES DE EVALUACION.......................................................
A. CLASIFICACION POR FASES...............................................
a. Evaluacin de la Conceptualizacin y del Diseo de
los Programas
b. Evaluacin de la Implementacin de los Programas
c. Evaluacin de la Eficacia o Impacto de los Programas
d. Evaluacin de la Eficiencia de los Programas
B. OTRAS CLASIFICACIONES
a. Evaluacin Formativa - Evaluacin Conclusiva................
b. Evaluacin Descriptiva - Evaluacin Analtica
c. Evaluacin Interna - Evaluacin Externa
d. Metaevaluacin........................................ ...........................
3. PROPOSITOS...............................................................................
A. PROPOSITOS ABIERTOS
B. PROPOSITOS ENCUBIERTOS
8
54
55
57
58
59
59
60
61
63
63
65
69
71
71
73
74
75
76
76
76
77
77
79
79
80
80
81
82
82
83
INmCE
4. INTERESES Y CRITERIOS
A. MULTIPLICIDAD DE INTERESES
B. EVALUACION, CONFORME A QUE CRITERIOS?
a. Los Valores e Intereses de los Actores
b. Los Objetivos del Programa
c. Los Objetivos Tericos de la Intervencin Pblica
C. OTROS CRITERIOS ALTERNATIVOS
84
84
85
85
86
87
88
SEGUNDA PARTE
CAPITULO IV
LA EVALUACION CLASICA POR OBJETIVOS
1. INTRODUCCION
2. IDENTIFICACION, ESPECIFICACION y MEDIDA DE
OBJETIVOS..................................................................................
A. OBJETIVOS GENERALES, ABSTRACTOS,
CONFUSOS Y RETORICOS...................................................
B. ESPECIFICACION DE OBJETIVOS......................................
a. Ordenacin de los Objetivos...............................................
b. Multiplicidad de Objetivos
c. Consecuencias y Efectos No Anticipados
C. INDICADORES DE RESULTADOS
a. Seleccin de Variables
b. Fuentes de Datos
3. DESCRIPCION DEL PROGRAMA:
EVALUACION DE LA IMPLEMENTACION..........................
A. INPUTS, ACTIVIDADES y ORGANIZACION
DEL PROGRAMA ..
B. EVALUACION DE LA IMPLEMENTACION
a. Poblacin Servida...............................................................
b. Problemas Generados por la Propia Organizacin
c. Servicios Prestados
4. MEDIDA DE RESULTADOS:
EVALUACION DE IMPACTO
A. INTRODUCCION
B. LA CUESTION DE LA VALIDEZ
93
95
95
96
97
98
101
101
101
101
103
106
107
107
108
110
111
112
112
113
9
a. Causalidad y Validez
b. Amenazas a la Validez Interna............................................
c. Amenazas a la Validez Externa...........................................
C. DISEOS DE INVESTIGACION
a. Diseos Experimentales......................................................
b. Diseos Cuasiexperimentales
c. Diseos No Experimentales
ANEXO AL CAPITULO IV
EJEMPLOS DE EVALUACIONES DE ACUERDO CON EL
PARADIGMA CIENTIFICO-CLASICO
1. EXPERIMENTOS
A. EL MAYOR EXPERIMENTO DE RENTAS MINIMAS E
IMPUESTO NEGATIVO: EL SEATTLE-DENVER
INCOME MAINTENANCE EXPERIMENT
B. EL EXPERIMENTO DE LOS BONOS DE VIVIENDA
2. CUASIEXPERIMENTOS
A. UN CASO DE SERIES TEMPORALES MULTIPLES:
LA EVALUACION DEL SUPPLEMENTAL SECURITY
INCOME.................................................................................
B. UN CASO DE PRE-TEST/pOST-TEST CON GRUPO DE
COMPARACION: LA EVALUACION DE
PROGRAMAS DE AHORRO ENERGETICO
C. UN CASO DE DISEO DE DISCONTINUIDAD EN
LA REGRESION: LA EVALUACION DE LOS
CERTIFICATES OF MERIT
3. NO EXPERIMENTALES
A. UN CASO DE EVALUACION NO EXPERIMENTAL:
LA EVALUACION DE PROGRAMAS DE AHORRO
ENERGETICO
CAPITULO V
LA EVALUACION PLURALISTA
113
114
117
118
118
119
124
127
129
129
132
135
135
137
140
142
142
143
1. INTRODUCCION
147
2. PROBLEMAS CON LA EVALUACION CLASICA POR
OBJETIVOS
,......................................... 147
10
INDICE
A. PROBLEMAS DE APLICACION
B. PROBLEMAS DE UTILIZACION..........................................
3. EVALUACION PLURALISTA
A. DIMENSION POLITICA DE LA EVALUACION
B. NUEVAS DEMANDAS SOBRE LA EVALUACION
C. DESARROLLO DE UN MODELO PLURALISTA................
a. Evaluacin Mltiple
b. Evaluacin Util.................................................. .................
c. Evaluador-Mediador
;......
D. MODELOS ESPECIFICOS QUE FUNDAMENTAN EL
ENFOQUE PLURALISTA.......................................................
a. Evaluacin Libre de Objetivos
b. Evaluacin Naturalista
c. Evaluacin Orientada a la Utilizacin...............................
4. LIMITACIONES DE LA EVALUACION PLURALISTA .......
147
149
151
151
153
153
153
154
155
155
156
157
158
160
TERCERA PARTE
PRESENTACION DE LOS ESTUDIOS DE CASO
165
CAPITULO VI
EL CASO DEL PLAN INTEGRAL DE ROQUETES
169
1. INTRODUCCION
2. DESCRIPCION DEL CASO
A. ANTECEDENTES: LOS ACTORES
a. Entidades y Asociaciones de Vecinos
b. El Consejo Municipal del Distrito de Nou Barris
c. El Area de Desarrollo Econmico-Social...........................
d. El Centro de Estudios y Documentacin Nou Barris
B. LA NEGOCIACION
a. Restriccin del Ambito del Programa: de Nou Barris
a Roquetes
b. Primeros Conflictos con los Vecinos
c. Eleccin de los Directores
C. DELIMITACION PROGRESIVA DEL PROGRAMA............
a. La Rehabilitacin de un Edificio como Carta de
Presentacin
171
172
172
172
173
173
175
176
176
177
178
179
179
11
CAPITULO VII
EL CASO DE LA POLICIA LOCAL
1. INTRODUCCION
2. PROBLEMAS CON LA EVALUACION POR OBJETIVOS
3. LA LITERATURA SOBRE EVALUACION DE
SERVICIOS POLICIALES
A. DISTRIBUCION DE LOS RECURSOS POLICIALES
a. Criterios
b. Mtodos
B. DISTRIBUCION EQUITATIVA DE LOS SERVICIOS
C. DISCRECIONALIDAD DE LOS AGENTES
12
179
180
181
181
182
184
186
188
188
188
188
189
191
191
191
193
196
196
197
200
203
205
205
207
207
207
209
210
213
INmCE
216
216
217
218
220
221
222
223
224
226
227
228
229
230
239
239
241
242
242
243
243
245
246
248
248
249
250
251
251
252
253
13
Pg.
14
CONCLUSIONES
257
BIBLIOGRAFIA
265
COLEMAN REPORT
CUADRO 2.
CUADRO 3.
FIGURA 1.
FIGURA 2.
FIGURA 3.
FIGURA 4.
FIGURA 5.
FIGURA 6.
FIGURA 7.
FIGURA 8.
FIGURA 9.
FIGURA 10.
FIGURA 11.
FIGURA 12.
FIGURA 13.
FIGURA 14.
FIGURA 15.
FIGURA 2.
FIGURA 3.
FIGURA 2.
FIGURA 3.
FIGURA 4.
TABLA 1.
TABLA 2.
TABLA 3.
16
INmCE
TABLA 4.
TABLA 5.
TABLA 6.
TABLA 7.
TABLA 8.
TABLA 9.
TABLA 10.
TABLA 11.
TABLA 12.
TABLA 13.
17
PRINCIPALES ABREVIATURAS
ADES
AFDC
CD9B
EEUU
Estados Unidos
EHAP
FSE
GAO
GUH
Ibid.
Ibdem
INEM
INSS
PERI
PIB
PIR
PPBS
RFA
RU
Reino Unido
SDIME
SSI
Vid.
Ver
20
PROLOGO
Todo el mundo habla de lo mal que funcionan los servicios y los programas de actuacin de las administraciones pblicas, pero nadie parece saber
muy bien lo que debera ser un buen servicio pblico. Tenemos Constitucin, Estatutos y leyes que nos dicen como deberan ser las cosas, pero parece
claro que en la mayora de los casos las indicaciones normativas de esos textos son excesivamente genricas para servir de gua a la accin concreta y
tampoco sirven automticamente como vara de medir de lo ya hecho.
Este es el gran acierto de este libro: tratar de mostrar que entre ese gran
desacuerdo general sobre el modo de proceder de unos servicios pblicos previstos en las leyes y la labor diaria y abnegada de muchos servidores pblicos
que tratan de conseguir hacer realidad aquello que slo era la voluntad escrita
del legislador, es posible construir evidencias y criterios que nos indiquen qu
se ha hecho, para qu sirve y hasta qu punto se acerca o no a lo que estaba
previsto.
Evaluar implica preocuparse por los resultados, saber si se han obtenido o
no los objetivos planteados. Pero la administracin pblica, en su modelo ms
extendido (racional-burocrtico), no est pensada para preocuparse por los resultados, sino por la legalidad de su actuacin. Se trata de un sistema concebido ms como expresin de dominacin legal, que como productor de servicios, o de intermediacin entre partes, y por ello los mecanismos de control se
dirigen ms a certificar la conformidad de la actuacin administrativa con lo
previsto normativamente que a encontrar indicadores de gestin y volumen de
resultados e impactos.
La nuevas exigencias sociales plantean la necesidad de saber qu se hace
con nuestro dinero gestionado por los poderes pblicos, para qu sirve la accin de gobierno, cmo recibir seales que nos indiquen si estamos acertando
o no. Desde este punto de vista, evaluar polticas implica conocer opiniones,
relacionar criterios de valor con resultados. Ello tiene evidentes implicaciones
para una administracin como la espaola que quiere cambiar y modernizarse:
dar a conocer grados de apoyo, modificar conductas, conocer puntos dbiles o
potencialidades, aprender del propio examen de lo realizado.
El libro de Xavier Ballart tiene el mrito de permitir adentramos en el
mundo de la evaluacin, de larga tradicin de otros contextos, de manera sencilla y con voluntad de convertir sus pginas en material de consulta para
21
estudiosos, estudiantes y gestores. Tiene tambin el acierto de mostrar dos posibles aplicaciones de diversos mtodos de evaluacin. Uno ms centrado en
la mejora de los procesos de implementacin de un servicio como el de la polica municipal, el otro (un fruto ms del trabajo colectivo de una parte del
Equipo de Anlisis Poltico del Departamento de Ciencia Poltica y Derecho
Pblico de la Universidad Autnoma de Barcelona), de especial inters al enfrentarse al siempre complicado mundo de las polticas sociales y hacerlo a
travs de un planteamiento evaluador de tipo pluralista que creo resulta especialmente atrayente.
Cada da que pasa esperamos ms y ms de nuestros gobernantes, pero
nuestros deseos son a menudo inconcretos y difciles de satisfacer aisladamente. Al mismo tiempo, los cambios se suceden a un ritmo infrecuente, lo que
dificulta an ms el establecimiento de criterios claros de comparacin entre
aquello previsto y lo finalmente acontecido. Por todo ello, son cada vez ms
los especialistas en polticas y gestin pblica que afrontan el anlisis de los
problemas y de los programas de actuacin con afn de aprender de lo hecho
para mejorar el diseo y puesta en prctica de las diversas polticas.
No es tarea de los analistas el decir qu est bien o qu est mal. En una
sociedad democrtica ello es competencia de las normas y de su constante
aplicacin por los polticos elegidos para ello. Pero los analistas s pueden
contribuir a que entre todos aprendamos a valorar lo ya hecho o en vas de
ejecucin a partir no slo de meras opiniones, sino a partir de datos, estudios y
sistematizacin de resultados, que permitan una mayor sofisticacin de esa
constante evaluacin que los ciudadanos consciente o inconscientemente
van realizando de la actuacin de los poderes pblicos.
El libro de Ballart se sita en esa lnea. Es un libro de universitario, hecho
desde la Universidad, con criterios de calidad universitaria, pero que expresa
esa renovada voluntad de servicio de la Universidad a una sociedad que exige
respuesta a sus problemas. Para m constituye un especial orgullo el realizar
hoy este prlogo, como ya lo fue en su da dirigir la tesis doctoral que le sirve
de base. Y lo es porque confirma que el camino emprendido en su da por Josep M. Valls al introducir en la entonces nueva Facultad de Ciencias Polticas
de la Universidad Autnoma de Barcelona, materias inditas en los planes de
estudio anteriores como Anlisis de Polticas Pblicas, o crear un entonces
tambin inslito Master de Gestin Pblica, ha empezado a dar frutos. Lo
demuestra este libro, lo demuestra el conjunto de tesis en curso, o lo demuestra el conjunto de profesionales de la administracin pblica formados en
nuestra Facultad.
Como es notorio, este no es un texto aislado. Se trata de un escaln ms
en la labor que desde el INAP se viene realizando para facilitar al lector espaol un conjunto de textos que permitan la mejora de la gestin pblica y
22
PROLOGO
23
INTRODUCCION
A. LA TESIS
La tesis que se defiende en este libro es que la evaluacin de programas y servicios pblicos -entendida en sentido estricto, y por tanto como especialidad dentro del Anlisis de Polticas Pblicas- puede adoptar formas muy diversas y puede ser llevada a cabo de acuerdo con
metodologas muy diferentes. El mrito no est tanto en la naturaleza de
la investigacin como en la relevancia de la informacin producida en
cada caso concreto.
Nuestra intuicin es que el desarrollo de nuevas polticas y programas pblicos en la Espaa democrticamente consolidada e integrada en la Europa
de los doce requiere una comprensin ms amplia de los procesos con el objeto de aprender de cara a acciones futuras. En este sentido, el anlisis de los
procesos y la intermediacin entre los defensores de criterios de valoracin
diversos puede contribuir a producir informacin que sera ms til para la
discusin y negociacin de nuevas polticas pblicas que no el desarrollo de
indicadores objetivos de resultados.
A su vez, sin embargo, entendemos que los analistas polticos pueden contribuir en este proceso de aprendizaje y de mejora en los servicios prestados a
travs del refinamiento de las medidas, tanto de los inputs, como de la gestin
y de los resultados. En este sentido, y ms en relacin con servicios especficos consolidados (como es el caso de la Polica estudiado) que en relacin con
nuevas polticas pblicas, creemos que es importante producir informacin
que sirva a los gestores pblicos para tener alguna idea sobre la calidad de los
servicios que estn produciendo, en funcin de lo que se estime constituye valor en cada caso concreto.
La forma en que se desarrolla este argumento parte del estudio comprensivo de la literatura, predominantemente norteamericana, sobre evaluacin de
polticas, programas y servicios pblicos, pero tambien ha sido influida, en
buena parte, por las experiencias empricas de los estudios de caso que se presentan en los captulos 6 y 7. Estudios de caso que si bien presentan problemas al objeto de probar determinadas hiptesis o verificar determinadas afirmaciones, s que resultan tiles al objeto de contrastar los diversos modelos de
evaluacin con aplicaciones concretas y derivar algunas implicaciones.
25
26
INTRODUCCION
parlamentarias absolutas. En este sentido, tambin es preciso encontrar mecanismos que contribuyan a hacer efectivo el control poltico y a ampliar el debate democrtico entre el gobierno y la oposicin.
Si bien existe un amplio consenso sobre la necesidad de evaluar la actuacin de ,los poderes pblicos y de determinar los resultados de su actuacin,
no est claro en cambio, primero, en funcin de qu criterios se puede determinar si una intervencin pblica ha sido un xito o unfracaso; segundo, qu
polticas, programas o servicios hay que evaluar; y tercero, cmo se debe
evaluar la actuacin de los poderes pblicos, y por tanto de acuerdo con qu
formas y metodologas.
En el campo de los estudios de Administracin Pblica, y ms concretamente en el del Anlisis de las Polticas Pblicas surge la evaluacin como
una tcnica ms que busca producir informacin que sirva a las Administraciones Pblicas para mejorar, primero, los procesos de decisin y planificacin; segundo, el funcionamiento y la gestin de las operaciones diarias; y
tercero, los resultados finales de la Administracin en relacin con los recursos invertidos y por tanto su eficacia y eficiencia.
La evaluacin es percibida igualmente como una actividad que puede servir a la Administracin para incrementar su capacidad de pasar cuentas de
su actuacin ante los ciudadanos, o desde la perspectiva de stos, para ganar
acceso a la 'actividad de una Administracin cada vez ms compleja.
Parece pues que esta nueva va de reforma de las Administraciones Pblicas podra constituir una herramienta til para dar respuesta a las demandas
de mayor eficacia y calidad democrtica de las instituciones pblicas. As lo
deba entender el Primer Ministro francs, Michel Rocard, cuando encarg
en julio de 1988 a Patrick Viveret del Observatorio de la Decisin Pblica
francs, la definicin de las mejores formas y mtodos de la evaluacin de
las polticas pblicas, inspirndose, igualmente, en las tentativas extranjeras
en este campo. (Viveret, 1989:2)
Ciertamente, en pases con una tradicin poltico-administrativa tendente
a legitimar toda actuacin pblica en trminos de inters general, sin necesidad de exponer los resultados obtenidos, la evaluacin de programas puede
servir a la Administracin para, como decamos, incrementar su capacidad de
rendir cuentas a los administrados, y para que stos puedan ganar acceso a una
burocracia que, a menudo, escapa de su control.
Se trata, por tanto, de un tema que, primero, puede tener una cierta relevancia en el futuro y en relacin con las demandas de reforma de las Administraciones Pblicas. A diferencia de otras reformas propuestas ltimamente como la reforma del proceso presupuestario, la evaluacin de
programas no requiere cambios estructurales significativos. Como afirma
Nioche (1982a:51), su carcter flexible, en la medida que se adapta a cada
27
INTRODUCCION
perspectiva comparada nos permite compreder las razones del desarrollo tardo de la evaluacin en nuestro pas (Captulo II).
El Capitulo III introduce un concepto amplio de evaluacin, en funcin
del cual se adopta una tipologa de los estudios de evaluacin por fases. Adems de presentarse otras posibles tipologas, se discuten los propsitos que
puede encerrar una demanda de evaluacin, la pluralidad de intereses que puede generar una poltica, y las dificultades que ello plantea a nivel de evaluacin y a la hora de determinar los criterios en funcin de los cuales determinar
el xito o el fracaso de los programas pblicos de actuacin.
La segunda parte (Captulos IV y V) se dedica al anlisis de los principales modelos de evaluacin, con el objeto de responder a una cuestin clave:
Cmo evaluar los programas y servicios pblicos?
El Captulo IV, dedicado al modelo clsico de la evaluacin por objetivos,
se ha dividido en tres apartados: en el primero nos referimos a la identificacin y especificacin de objetivos, como requisito previo; en el segundo, al
exmen de inputs y actividades, 10 que se corresponde con la evaluacin de
aquellos elementos que definen la forma como se ha llevado a la prctica la
politica o programa en cuestin; y en el tercero, al anlisis de resultados y
efectos, lo que se corresponde con la evaluacin de impacto.
Dada la importancia de las cuestiones relacionadas con la medida de los
efectos netos de los programas pblicos en la literatura especializada, hemos
entendido que era preciso entrar en la descripcin de la lgica de los diseos
experimentales, cuasiexperimentales y no experimentales. Ello nos obligaba a
repasar el concepto de causalidad y los problemas de validez interna y externa
que pueden afectar a los distintos diseos. Con el propsito de ilustrar la descripcin terica de los diseos, se aaden ejemplos de evaluaciones de programas concretos, sacados de la literatura nortamericami sobre el tema, en el anexo al Captulo IV.
El Captulo V se dedica a la presentacin de los modelos alternativos de
evaluacin, surgidos como consecuencia de los problemas de aplicacin y de
utilizacin de los resultados de las evaluaciones realizadas conforme al paradigma racional-cientfico clsico de la evaluacin por objetivos.
Partiendo de la importancia de la dimensin poltica de los procesos de
evaluacin, se analizan las preocupaciones a las que intentan responder estos
modelos, y se proponen una serie de caractersticas comunes a todos ellos que
entendemos, configuran un paradigma alternativo de evaluacin que hemos
denominado pluralista. Tambin, se repasan algunas aportaciones especficas de autores concretos con el objeto de dar una visin ms detallada de un
enfoque que, a primera vista, podra parecer algo ambiguo, y se discuten las
limitaciones que, a nuestro entender, sufre la aproximacin pluralista al fenmeno de la evaluacin.
29
La tercera parte (Captulos VI y VII) constituye la parte aplicada del trabajo en la que se incluyen dos estudios de caso de naturaleza muy diversa.
En el Captulo VI, reconstruimos el proceso de formulacin de un programa nuevo, -el Plan Integral de Roquetes- que, entendemos, constituye
un caso paradigmtico de formulacin pluralista de una poltica en la que
coinciden una serie de actores, cada uno con su sistema de valores e intereses, y se genera un proceso poltico complejo en el que la formulacin no
siempre precede la implementacin sino que emerge durante el curso de la
accin. Todo ello da lugar a un programa de caractersticas tales que su evaluacin de acuerdo con las prescripciones de los primeros modelos de evaluacin, no solamente sera muy difcil sino que no tiene sentido. El mensaje
que se desprende de este caso concreto es, que cuando las polticas y los programas sean ms como el programa estudiado, menos aconsejable ser centrar la evaluacin en el cambio experimentado por algunas caractersticas de
la situacin observada, y ms adecuado ser, por el contrario, adoptar una
perspectiva pluralista y orientada al proceso seguido por la poltica, que sirva
a los defensores de criterios distintos para acercar sus posiciones y aprender
de su propia experiencia.
En el Captulo VII, presentamos un caso de evaluacin de un servicio tradicional, consolidado y estable -el servicio de Polica Local- a partir de los
datos objetivos recogidos de forma rutinaria y continuada por la Administracin, con el objeto de determinar las posibilidades, utilidad y relevancia de la
medida de aquellas variables que, en funcin de una determinada concepcin
sobre la funcin policial, puedan reflejar, tanto la forma como se presta el servicio, como su eficacia global.
Ambos casos nos permiten formular algunas propuestas concretas sobre
la relacin entre caractersticas del programa y naturaleza de la evaluacin;
sobre el nivel de conocimiento -posibilidades reales de medida de los efectos de un programa y tipo de evaluacin-; y en general, sobre la validez de
distintas opciones metodolgicas a la hora de evaluar programas y servicios
pblicos.
INTRODUCCION
***
El estudio que ahora se publica fue presentado como tesis doctoral, bajo la
direccin del Catedrtico de Ciencia Poltica y de la Administracin Dr. Joan
Subirats, en junio de 1991 en la Facultat de Ciencies Poltiques i Sociologia de
la Universitat Autonoma de Barcelona. El tribunal que lo evalu estuvo presidido por el Catedrtico de Ciencia Poltica y Rector de la Universitat Autonoma de Barcelona, Dr. Josep M. Valles, actuando como Secretaria del Tribunal,
la Catedrtica de Ciencia Poltica, Dra. Rosa Virs, y como vocales, los Catedrticos de Ciencia de la Administracin, Dr. Mariano Baena, de Derecho Administrativo, Dr. Manuel Ballb, y de Ciencia Poltica, Dr. Jordi Capo.
31
Hechas las anteriores precisiones, quisiera escribir unas palabras de agradecimiento sincero a estos profesores, por su tiempo, inters y comentarios,
no tan slo en el momento de evaluar esta investigacin, sino a lo largo de su
gestacin.
Quiero igualmente sealar mi deuda con los profesores Robert Agranoff,
Michael Maxfield y Roger Parks de Indiana University, quienes en las postrimeras del Master of Public Affairs me animaron a continuar estudiando y
me indicaron el camino, adems de enviarme en varias ocasiones materiales
bibliogrficos, y cartas de ms de cuatro folios llenas de tiles consejos y
orientaciones.
Mencin aparte en este captulo de agradecimientos merece loan Subirats
quien, adems de ser un buen director de tesis por sus sugerencias, aclaraciones y crticas, me ha prestado una buena porcin de sus energas y ganas de
trabajar en los momentos que ms los necesitaba.
El primer estudio de caso fue posible gracias a la colaboracin de polticos, tcnicos y vecinos implicados en el proyecto del Plan Integral de Roquetes. Mientras que para el segundo caso, cont con la ayuda inestimable del Dr.
Manuel Martn, Inspector-Jefe de la Guardia Urbana de I'Hospitalet y de los
agentes de la sala de mando.
Tampoco puedo olvidar los comentarios y ayudas de los profesores del
Area de Ciencia Poltica de la Universidad Autnoma de Barcelona, entre los
que destacara a Ricard Gom, con quien trabaj estrechamente en la evaluacin del Plan Integral de Roquetes.
Finalmente, gracias al Instituto Nacional de Administracin Pblica y a su
director los Constantino Nalda por el inters mostrado en esta investigacin
desde mucho antes de acabarla y por haberme facilitado ahora su publicacin.
y aun, gracias a Florence, por su apoyo moral, paciencia y ayuda durante
todo el proceso.
32
PRIMERA PARTE
CAPITULO I
MARCO TEORICO.
ADMINISTRACION PUBLICA,
ANALISIS y EVALUACION DE
POLITICAS PUBLICAS
1. INTRODUCCION
Este trabajo se integra en el marco terico de la policy science o ciencia
que estudia las diferentes polticas o programas de accin pblicos o de gobierno (2).
El campo terico del public policy (3) tuvo un crecimiento muy rpido en
los aos setenta, sobre todo en los EEUU, como consecuencia de que un buen
nmero de problemas de carcter pblico no fueran tratados de forma satisfactoria desde las perspectivas de disciplinas particulares como la economa o la administracin pblica, y de que por otra parte, surgieran una serie de tcnicas de
anlisis susceptibles de ser utilizadas para el estudio de estos problemas.
Tiene como antecedentes inmediatos, una larga tradicin de estudios en administracin pblica que se desarrollan en los EEUU a partir de las formulaciones de W. Wilson. A riesgo de redundar en la explicacin de una tradicin cientfica de sobras conocida, repasamos brevemente estos estudios para despus
contrastarlos con otras orientaciones de la Ciencia de la Administracin en Europa y en Espaa, con el propsito de determinar el marco terico en el que se
surge la teora de la evaluacin y en el que se inscribe esta investigacin.
a. La tradicin norteamericana
Tradicionalmente, los estudios de administracin pblica en los EEUU
han sido claramente dominados por consideraciones de tipo pragmtico, lo
(2) Por poltica entendemos un programa de accin, lo que supone la eleccin especfica de medios
para obtener ciertos objetivos. Este concepto se encuentra en casi toda la literatura. Vid., por ejemplo, Wildavsky (1980: 395-397) o Nioche (1982a: 33).
Un programa consiste en una intervencin o en un conjunto de actividades desarrolladas para alcanzar objetivos externos, es decir, satisfacer alguna necesidad social reconocida o solucionar un problema
identificado segn Rutlillan (1984: 11).
(3) Policy science, public policy o policy analysis son expresiones que podemos considerar sinnimas, a los efectos de identificar este campo terico.
37
que no excluye, claro est, que la administracin tenga sus races en fundamentos de tipo filosfico (4).
Ya en el ensayo de W. Wilson The Study of Administration (5), generalmente considerado como el punto de partida de la Ciencia de la Administracin Pblica en los EEUU, se defenda que el objeto de los estudios administrativos es determinar lo que puede hacer el gobierno y cmo puede hacerlo
para conseguir la mxima eficacia (6). En este trabajo seminal, Wilson hace
una llamada al reconocimiento de una nueva Ciencia de la Administracin basada en la distincin radical entre poltica y administracin, y propone un paradigma de buena administracin inspirado en las burocracias francesa y
prusiana que marca el curso de los estudios en administracin pblica durante
ms de cincuenta aos (7).
La misma preocupacin por la eficacia y la productividad que descubrimos en el trabajo de W.Wilson, se encuentra en la obra de F.W.Taylor The
PrincipIes of Scientific Management. Taylor crea que para cada tipo de trabajo existe una mejor forma -one best way- de hacerlo y que la funcin
del management consista en incrementar la produccin, descubriendo el
mtodo ms rpido y ms eficaz de producir en cada caso. La prosperidad se
dara cuando cada trabajador alcanzase su nivel ms alto de eficacia, esto es,
cuando est produciendo su mayor output diario. (Taylor, 1947: 11).
Junto al movimiento del Scientific Management capitaneado por
F.W.Taylor, el trabajo paralelo de Fayol en Francia (8), y los principios
del Administrative Management de Gulick (9), constituyen los preludios de la incorporacin de las ciencias sociales en el estudio de la administracin' aunque de hecho, esta incorporacin ya se haba producido en
los trabajos de Weber. Su modelo burocrtico legal-racional, inspirado en
la burocracia prusiana, rpidamente tuvo una gran influencia en Europa y
en los EEUU (la).
(4) Pinsese, por ejemplo, en las implicaciones del pensamiento de Locke en lo que se refiere a las caractersticas de la estructura del gobierno.
(5) Publicado en 1887, tras la aprobacin de la Pendleton Act de 1883 con la que nace el sistema moderno de la funcin pblica norteamericana.
(6) Textualmente: descubrir, primero, lo que el gobierno puede hacer de forma adecuada y con xito,
y segundo, cmo puede hacer estas cosas con la mxima eficacia posible y el menor coste posible, tanto de
dinero como de energa. (l887: 197).
(7) Existe ...una nica regla de la buena administracin que es la misma para todos los gobiernos
[...] En lo que concierne a las funciones administrativas, todos los gobiernos tienen un marcado parecido
estructural; ms que esto, si tienen que ser igualmente tiles y eficaces, deben parecerse en su estructura
(J887: 218).
(8) Fayol y Taylor defendieron simultneamente, en Europa y en los EEUU, la necesidad de estudiar
la administracin de forma cientfica. Urwick compara a Favol y a Taylor en The Function of the Administration, captulo 5 del libro que edit junto con Gulick en 1937. (Gulick y Urwick, 1937).
(9) Estos principios son: division of labor, span of control, unity of command, homogeneity, line versus staff, specialization by purpose, process, c1ient and place (Gulick, 1937).
(lO) En los EEUU, a partir de la traduccin de Weber por TaIcott Parsons en 1947.
38
PRIMERA PARTE
39
40
PRIMERA PARTE
En contra, defiende que las organizaciones no maximizan debido al elevado coste de la informacin y a la dificultad de anticipar los problemas, y que
los administradores pblicos nicamente buscan soluciones a sus problemas
que les mantengan alejados de mayores dificultades (16). El estudio de los
procesos de toma de decisiones ha contribuido a desarrollar teoras de la informacin y de los sistemas para su gestin efectiva.
El anlisis de las polticas pblicas se ocupa del estudio de los procesos
de formacin de las polticas o programas pblicos de actuacin y de su racionalidad. Esto se puede hacer, de forma global, mirando al policy making process como a un proceso complejo, de lmites inciertos y sin un principio ni
un final claros (Lindblom, 1980) o bien, como propuso Lasswell (1962), uno
de los principales impulsores de esta nueva perspectiva, separando distintas
fases o etapas de este proceso, con el fin de poderlas estudiar de forma independiente. As, primero se estudiar cmo surgen los problemas y cmo pasan
a formar parte de la agenda del gobierno; quin y cmo empieza a hacer propuestas de accin especficas en relacin con dichos problemas; cmo, a estas
propuestas, les sigue la accin legislativa o de otro tipo; cmo la administracin pblica lleva a la prctica estas propuestas; y finalmente, cmo se evala
la poltica aplicada.
Este segundo enfoque supone asumir que la formacin de las polticas o
programas pblicos de actuacin procede de acuerdo con un proceso relativamente ordenado y racional hasta llegar a la etapa final de evaluacin, y que
sta se integra, como un input ms, dentro del proceso de formacin de nuevos programas en el campo de la poltica evaluada.
La teora de la eleccin racional surgi del trabajo de economistas polticos interesados en temas de inversin y gasto pblico, y ha tenido una importante repercusin en la teora de la administracin pblica (17). Los tericos
de la eleccin racional parten de dos fundamentos tericos bsicos: primero,
el individuo como unidad de anlisis, y segundo, la relacin del concepto de
bienes pblicos y cuasi-pblicos con el de output de las administraciones pblicas, lo que supone una cierta continuidad con el inters de Simon por definir y medir los resultados de la accin administrativa. A partir de aqu, se preguntan por el efecto de distintas reglas de decisin en la produccin y
distribucin de bienes y servicios pblicos.
(16) Nocin de satisficing, introducida por H. Simon. En el mismo sentido, Lindblom introdujo la
idea de muddling thorough para definir lo que hacen los administradores pblicos; esto es, tomar sucesivas decisiones de tipo incremental en funcin de los condicionamientos de tipo incremental en funcin de
los condicionamientos de tipo poltico (Lindblom, 1959: 81).
(17) J. Buchanan y G. Tullock organizaron una conferencia sobre nonmarket decision-making que
fue recogida en las pginas de Public Administration Review (vol. 24, marzo de 1964: 62-63) como Developements in the no-name Fields of Public Administration, puesto que la expresin Public choice an
no haba sido adoptada. Para una introduccin a la aplicacin de esta corriente en el campo de la Ciencia
Administrativa, Vid. el artculo de V. Ostrom y E. Ostron (1971: 203-215).
41
b. La tradicin europea
En los pases con una fuerte tradicin administrativa, como la Repblica
Federal de Alemania (RFA), Francia, Italia o Espaa, las dos principales corrientes de estudio de la administracin siguen orientaciones heterogneas y
que slo coinciden parcialmente con el tipo de anlisis al que nos referamos
en el apartado anterior. Siguiendo a la literatura francesa sobre el tema, distinguimos entre una corriente institucional y una corriente organizacional (Loschak, 1975; Nioche, 1982b).
La corriente institucional, desarrollada a partir de los estudios jurdicos
sobre la administracin pblica, se basa en la especificidad de sta y en la
dificultad de separarla de los esquemas tradicionales del Derecho Administrativo.
El objeto de la Ciencia de la Administracin se limita a la administracin
pblica, segn esta perspectiva (18). Se excluye por tanto, cualquier otro tipo
de organizacin en virtud de la especificidad de la administracin respecto a
las dems formaciones sociales. Esta especificidad y originalidad de la administracin tiene su origen en la teora del Estado liberal, segn la cual el Estado representa al inters general, mientras que el resto de organizaciones sociales representan intereses particulares. La administracin, como conjunto de
medios humanos y materiales encargados de asegurar la ejecucin de la leyes
y el funcionamiento de los servicios pblicos, difiere tanto del poder poltico,
del que es su instrumento, como de la esfera privada. Se explica as, el rgimen particular al que se la somete y las prerrogativas de las que dispone, lo
que justifica, a su vez, que sea el objeto de una ciencia especfica.
De esta conceptualizacin jurdico-poltica de la administracin deriva la
importancia dada al Derecho Administrativo y al mtodo jurdico como instrumento de comprensin de la administracin pblica. Esto implica una aproximacin generalmente deductiva, a partir de la legislacin, para determinar
las condiciones de su aplicacin.
Una segunda orientacin que, de acuerdo con la doctrina francesa hemos
denominado organizacional, incluye dentro de su campo de investigacin tanto a la administracin pblica como a las empresas privadas, puesto que estudia a las organizaciones, no tanto desde el punto de vista de lo que les es especfico, sino al contrario, desde el punto de vista de lo que les es comn.
Entre los fundamentos tericos de esta corriente se encuentran algunos de
los ya citados anteriormente como, por ejemplo, Taylor y Fayol, en su intento
por descubrir un modelo ptimo de organizacin del trabajo, o Roethlisberger
(18) En Espaa, Baena (1985: 31), por ejemplo, entiende que la titularidad formal del ejercicio del poder dota a la administracin pblica de una especificidad respecto a las dems organizaciones sociales que
justifica su tratamiento separado.
42
PRIMERA PARTE
y Dickson, y Mayo (19), es decir, los psiclogos sociales que se interesan por
los comportamientos y actitudes de los empleados de las grandes empresas industriales, poniendo el acento, por reaccin contra los excesos del taylorismo,
sobre la importancia de los factores psicolgicos.
Pero es Weber quien pone las bases de la corriente organizacional y de la
sociologa de las organizaciones con su modelo ideal de burocracia como forma ms racional de administracin. De la explicacin de las caractersticas
principales de este modelo se desprende el inters de Weber por poner de relieve los elementos comunes, ms que las diferencias, entre las organizaciones
privadas y pblicas (20). Con Weber, la organizacin administrativa como tal
adquiere una cierta autonoma: las relaciones humanas y las relaciones de poder que tienen lugar en su seno, y las relaciones de la organizacin con su entorno constituyen los elementos fundamentales de esta nueva visin que rompe con la imagen de una administracin instrumental, totalmente sumisa al
poder poltico (21).
Metodolgicamente, la corriente organizacional se asocia con una aproximacin inductiva, donde la observacin y la encuesta sobre el terreno juegan
un papel esencial (22).
a. Conceptos bsicos
La Ciencia de la Administracin en Espaa tiene un amplio campo de desarrollo en el anlisis de las polticas presentes, y en el de sus posibles alternativas,
(19) La filosofa social de E. Mayo (1975, primero publicado en 1949) rompe con la visin predominante en la teora de la organizacin industrial de los aos 20 y 30. Sus propuestas son primitivas en su conceptualizacin y pueden parecer, en la actualidad, naive o romnticas. Pero, indudablemente, en ellas se
encuentran los orgenes de las teoras sociolgicas de la organizacin actuales. Mayo pone de relieve aspectos como la necesidad que tiene cada individuo de estar en buenos trminos con sus compaeros de trabajo,
el papel de las emociones, o la tendencia de los hombres a asociarse. El inters econmico individual pasaba pues a ser la excepcin, ms que la regla.
(20) As, al hablar del principio de la autoridad jerrquica, Weber (1946: 197) afirma que se encuentra
en todo tipo de estructuras burocrticas y que no importa la autoridad de la que derive, sea tipo de privado o
pblico.
(21) El modelo ideal weberiano ha sido objeto de numerosos exmenes, comentarios y crticas. Una
excelente revisin de los escritos y de las crticas de Weber, desde el punto de vista de su tipologa de la autoridad, se encuentra en Diamant (1962). Merton (1957) y sus discpulos, Blau (1955) y Crozier (1964)
examinan las disfunciones del modelo burocrtico, a partir del estudio de las limitaciones del tipo de organizacin propuesto por Weber. Entre estas disfunciones, se encuentran los procesos de modificacin de
objetivos y desarrollo de conflictos entre la burocracia y su clientela. Para una revisin de esta orientacin
en castellano, vid. Mayntz, (1985: 121-146).
(22) Dentro de esta corriente podemos incluir algunas investigaciones de Baena (1977), Beltran
(1977) YBaon (1978) en Espaa.
43
en relacin con los numerosos problemas que se hallan en la causa de la intervencin creciente del Estado en todos los frentes de la vida econmica y sociaL
El anlisis de las polticas pblicas se propone, como disciplina cientfica, producir infonnacin que sea til para el proceso de toma de decisiones sobre las respuestas institucionales que merecen situaciones juzgadas problemticas. (Niache, 1982b: 19) Constituye, por tanto, un marco terico idneo donde poder
integrar los trabajos de Ciencia de la Administracin con una clara orientacin
hacia la resolucin de problemas especficos. Concretamente, Dunn, uno de los
autores ms citados a la hora de definir el anlisis de las polticas pblicas entiende que ste persigue:
Producir informacin que tenga una relevancia a nivel de toma de decisiones en tomo a las polticas a aplicar y que pueda ser utilizada para resolver problemas en circunstancias polticas concretas (23)
Esta perspectiva intelectual es ya definida en parecidos trminos por Dror
(1967:200-201) al indicar que uno de los principales nfasis en el anlisis de
las polticas pblicas se halla en la creatividad y en la bsqueda de alternativas a las polticas del momento. Wildavsky, a su vez, relaciona el anlisis de
las polticas pblicas con encontrar un problema sobre el cual algo pudiera o
debera hacerse (1980:3) y describe el buen anlisis como la comparacin
de programas alternativos, ni objetivos solos ni recursos solos, sino el conjunte de objetivos y recursos que constituyen sus costes de oportunidad
(i 980:397).
El anlisis de las polticas pblicas, al tomar como unidad de anlisis a las
polticas y por tanto la accin de las instancias poltico-administrativas, hace
saltar, como afirma Nioche (1982b: 19), las barreras entre el sistema poltico,
el sistema administrativo y la sociedad. Adems, aporta una nueva dimensin
organizativa y de gestin a los estudios sobre la administracin, puesto que
contempla los tres aspectos: cmo se elabora una respuesta a una situacin
problemtica, cmo se lleva a la prctica el proyecto, y por fin, cmo se analizan los efectos previstos y no previstos de la poltica especfica sobre la situacin en cuestin.
Pero siguiendo la definicin de Dunn, aquello que caracteriza el anlisis
de las polticas pblicas es, por una parte, su carcter aplicado y por la otra, el
recurso a mltiples mtodos de investigacin. Como ciencia aplicada, el anlisis de las polticas pblicas estudia problemas concretos y bien definidos a
(23) La definicin completa de policy analysis segn Dunn (1986: 248) es la siguiente:
El anlisis de polticas es una disciplina aplicada de las ciencias sociales, que recurre a variados mtodos de investigacin para producir o transformar informacin, con el fin de que sta pueda ser utilizada,
en el contexto poltico correspondiente, para resolver problemas propios de las polticas analizadas.
44
PRIMERA PARTE
partir de los cuales procura contribuir al progreso del conocimiento en el campo de las ciencias sociales. En cuanto a los mtodos de investigacin, el anlisis de las polticas pblicas recurre a una pluralidad de procedimientos que difieren segn el tipo de cuestiones que se plantean. Dunn, por ejemplo,
distingue entre:
1) forecasting o valoracin de las consecuencias futuras de las polti-
cas presentes.
2) monitoring, esto es, la supervisin, control y descripcin de las polticas existentes y de sus procesos de formacin.
3) evaluation o valoracin del mrito de las polticas pasadas o futuras.
4) prescription o recomendacin acerca de cual debera ser la poltica
del gobierno en una determinada situacin, y hasta qu punto es factible. (Dunn, 1986:250)
A stos an aade problem structuring y practical inference. El primero se refiere a la fase previa a todo anlisis en que es necesario llegar a definir, ordenar y estructurar de alguna forma el problema que se plantea y sus
posibles soluciones. El segundo, en cambio, utiliza valores y normas sociales
para juzgar si un determinado problema ha quedado resuelto.
La definicin de Dunn nos sirve para delimitar el campo del anlisis de las
polticas pblicas en el que se incluye la evaluacin de programas. En sentido
amplio, la palabra evaluacin se refiere a todas las formas de valoracin de la
accin colectiva pblica que puedan darse en un sistema poltico. Las elecciones, el proceso presupuestario tradicional, los debates e investigaciones parlamentarias, tienen todos aspectos de tipo evaluativo. Los votantes, polticos,
funcionarios y periodistas, estn contnuamente juzgando el valor de los programas y de las polticas pblicas. Evaluacin, por tanto, en este sentido ms
amplio, se refiere a una actividad que puede tomar muchas formas y que puede ser llevada a cabo desde muy diversas perspectivas.
En este trabajo, sin embargo, la palabra evaluacin tiene un sentido ms
restrictivo al referirse, como decamos ms arriba, a una especialidad dentro
del anlisis de las polticas o programas pblicos. Evaluacin se caracteriza
entonces, por el uso de los mtodos de investigacin de las ciencias sociales
(o de aproximaciones) con el propsito de determinar los efectos reales de una
poltica una vez que sta ha sido aplicada.
En este sentido, contribuye a la clarificacin y resolucin de los problemas pblicos. Adems, la evaluacin de las polticas y de los programas pblicos es particularmente importante desde la perspectiva de otras tcnicas de
anlisis, como por ejemplo, el anlisis coste-beneficio, dado que ste requiere determinar previamente los efectos-beneficios realmente causados por la
45
poltica o el programa analizado, es decir, aqullos que no se hubieran producido en ausencia de aqul.
PRIMERA PARTE
El mrito radica no tanto en el mtodo de investigacin sino en la relevancia de la informacin... La validez externa --esto es la validez de las
inferencias ms all de los datos- es lo determinante. Incrementar la validez interna por medio de un elegante diseo a menudo reduce la relevancia de la investigacin. (Cronbach et al., 1980:7)
Ciertamente, la exigencia misma de producir informacin til a todos
aqullos que son parte en un mismo programa, o las limitaciones de tiempo,
personal y recursos pueden influir en la calidad cientfica de los estudios. Ern
cualquier caso es posible aunar ambas exigencias, como demuestran Bornco,
McSweeney y Soderstrom (1978), entre otros que se han dedicado a recopilar
un gran nmero de evaluaciones que se aproximan a un diseo perfecto desde
el punto de vista cientfico.
La figura 1 resume de forma esquemtica las relaciones tericas entre anlisis, evaluacin e investigacion social bsica.
Investigacin
Social Bsica
Evaluacin
de Programas
SI
Anlisis de
Polticas
Evaluacin
de Polticas
Relevancia a
nivel poltico
A su vez, la figura 1 distingue entre evaluacin de polticas y de programas, en funcin de su impacto potencial. De acuerdo con este criterio, la expresin evaluacin de programas se podra reservar para aquellas evaluaciones de un conjunto de recursos y actividades organizados para obtener
ciertos objetivos, cuyos resultados tienen relevancia a nivel de gestin del programa. Esta evaluacin intentara responder a cuestiones relacionadas con la
direccin, el funcionamiento y el impacto de un programa especfico en la poblacin a la que sirve. Mientras que la evaluacin de polticas tendra relevancia a nivel de instancias de decisin poltica e intentara responder a cuestiones relacionadas con la generalizacin de una determinada poltica en
cuanto que aproximacin a un determinado problema, y que por tanto, podra
48
PRIMERA PARTE
(24) De ahora en adelante, por razones prcticas, normalmente utilizaremos la expresin evaluacin
de programas, sin que ello signifique que el objeto del trabajo se limite a la evaluacin de programas para
la gestin, sin una relevancia a nivel de decisiones polticas ms amplias.
49
CAPITULO II
GENESIS y ESTRUCTURA DE LA
EVALUACION EN UNA PERSPECTIVA
COMPARADA
1. INTRODUCCION
La emergencia de la evaluacin de programas se asocia con el crecimiento
de los programas sociales durante los aos sesenta en los EEUU, Canad y en
algunos pases europeos, y con la introduccin, desarrollo y generalizacin
paralelos de reformas racionalizadoras de los procesos de decisin y presupuestacin pblicos. (Rossi y Freeman, 1985:28; Chelimsky, 1985:2)
B. REFORMA PRESUPUESTARIA
Incluso con anterioridad al lanzamiento de los programas sociales de la
Great Society, durante los aos cincuenta, el Departamento de Defensa de
los Estados Unidos, en un intento por racionalizar la presupuestacin y la gestin de sus programas, desarroll el Programming, Planning and Budgeting
System (PPBS), uno de cuyos componentes consista en la evaluacin ex
ante de la eficacia y de la eficiencia de programas alternativos para alcanzar
cada uno de los objetivos del departamento.
El PPBS propona organizar el gasto propuesto en funcin del producto
final, o de su contribucin a cada uno de los objetivos de la organizacin.
Se elaboraban, por tanto, los programas, sobre la base de su contribucin a
estos objetivos, lo que permita agrupar aqullos que tuvieran una forma similar de tratar un determinado problema pblico y as establecer una verdadera competicin por los recursos entre programas alternativos. (Mikesell,
1982:146)
El xito del PPBS en el Departamento de Defensa llev al Presidente
Johnson a extender su aplicacin a todas las agencias del gobierno federal,
aunque, como afirma Chelimsky (1985:3), en menos de cinco aos, a principios de la dcada de los setenta, buena parte de las expectativas puestas en la
reforma empezaron a desvanecerse a medida que los analistas del gobierno
empezaban a reconocer el excesivo optimismo que se haba puesto en el nuevo sistema. Esta autora entiende que la falta de desarrollo de medidas que representaran el output de los programas fue un obstculo a su implementacin
y evaluacin, que el PPBS no pudo superar.
De hecho, ya en 1969, en un artculo publicado en Public Administratian
Review, bajo el ttulo Rescuing Policy Analysis from PPBS Wildavsky afirmaba categricamente:
Nadie sabe cmo hacer el presupuesto por programas. Muchos saben cmo debera ser el presupuesto por programas en general, pero nadie sabe
lo que debera ser en cada caso particular. El presupuesto por programas
54
PRIMERA PARTE
no puede ser expuesto en trminos operacionales. No hay ningn consenso sobre lo que significan las palabras, ni tampoco la capacidad para ensear a otra persona lo que debera hacerse. (1969:193)
El PPBS contribuy, sin embargo, a desarrollar una cultura de anlisis y
evaluacin en relacin con el proceso de toma de decisiones polticas que se
mantendra hasta nuestros das.
C. SISTEMATIZACION DE LA EVALUACION
La institucionalizacin de la evaluacin se produce con la creacin de unidades de evaluacin en distintas oficinas federales, como la Office of Economic Opportunity y a travs de leyes como la Economic Opportunity Act
de 1967 que requiri a la General Accounting Office (GAO) que desarrollara
anlisis de la eficacia de los nuevos programas (25).
Posteriormente, la funcin evaluativa se vi fortalecida, en el poder ejecutivo, como consecuencia de la labor de estmulo y divulgacin de metodologas por parte de la oficina del presupuesto (26); y a nivel de poder legislativo, a partir de la creacin de un instituto para la evaluacin dentro de la
GAO en 1980, despus reorganizado y denominado Divisin de Evaluacin
de Programas y Metodologa.
A nivel del ejecutivo, los dos departamentos que concentran la mayor parte de los programas sociales son el Departamento de Salud, Educacin y Bienestar y el Departamento de Trabajo. El primero contaba, a principios de los
setenta, con seis divisiones, cada una de las cuales tena una oficina de planificacin y evaluacin que era la encargada de establecer los planes de evaluacion para todo el departamento y de administrar los recursos disponibles. Por
su parte, el Departamento de Trabajo contaba igualmente con cinco oficinas
de evaluacin correspondientes a los programas ms importantes del departamento, y una oficina de evaluacin e investigacin encargada de planificar las
evaluaciones de carcter ms general.
(25) Otras evaluaciones importantes son las desarrolladas en materia de educacin a raz de la Elementary and Secondary School Education Act de 1964, en materia de vivienda y desarrollo urbano, a partir de los programas experimentales lanzados en 1970 por el Housing and Urban Development Department, y en materia de asistencia social, formacin e insercin profesional, como consecuencia de los
programas que desde mediados de los sesenta aplicaron Health, Education and Welfare y el Department
of Labor (Rossi y Wright, 1984: 49) Presentamos en el cuadro nmero l una de las primeras evaluaciones
realizadas por encargo de la Office of Economic Oportunity y nos remitimos al apartado dedicado a las
evaluaciones experimentales para la descripcin ms detallada de las evaluaciones de sendos programas de
vivienda y rentas mnimas de insercin y formacin profesional.
(26) El Bureau of the Budget que a partir de 1970 cambia de nombre y pasa a denominarse Office
of Management and Budget (OMB).
55
A nivel del legislativo, la evaluacin es desarrollada principalmente, aunque no de forma exclusiva, por la GAG (27). Esta agencia, que a principios de
la dcada de los ochenta contaba con ms de 3000 empleados dedicados a su
divisin de evaluacin de programas (Walker, 1985:272), puede actuar por
iniciativa propia o a requerimiento de un departamento ejecutivo, aunque generalmente su intervencin viene determinada por ley o a peticin de algn
miembro del Congreso (28).
As, pues, desde los programas de la Great Society y de reforma presupuestaria hasta nuestros das, cabe distinguir como hace Levy (1984: 27-28),
tres etapas en lo que se refiere a niveles de intervencin pblica y evaluacin
en los EEUU:
La primera etapa, desde 1963 hasta 1970 se caracteriza por la intervencin creciente del gobierno en una serie de sectores nuevos
y por el desarrollo del anlisis de las polticas pblicas de tipo
prospectivo.
La segunda etapa, desde 1970 hasta 1980, se caracteriza por la progresiva institucionalizacin de la evaluacin. La creciente intervencin
pblica caracterstica del perodo anterior fue, sin embargo, considerablemente limitada, aunque el gasto pblico continuara creciendo como
consecuencia del efecto de la inflacin.
La tercera etapa, de 1980 en adelante, marcada por las presidencias de
Reagan y Bush, se caracteriza por la reduccin de los gastos nominales y la continuacin de anlisis y evaluacin, pero con objetivos polticos distintos.
As, pues, durante los aos setenta y ochenta, cada vez se cuestiona ms
la expansin continuada de los programas sociales (en este contexto se desarrollan iniciativas como Proposition 13 tendente a limitar los ingresos
por impuestos de las Corporaciones Locales en California, y Sunset Legislation que supone la terminacin automtica de programas que no alcanzan determinados objetivos) y se produce un cambio de nfasis en materia de evaluacin, donde cada vez es mayor el inters por comparar los
beneficios derivados de las inversiones en programas sociales con sus costes, con el propsito de legitimizar las reducciones presupuestarias o incluso la supresin de algunos programas.
(27) En los EEUU, existen cuatro agencias que tienen por misin asistir al Congreso en sus actividades legislativas y de control del ejecutivo: la General Accounting Office, la Office of Technology Assesment, Congressional Research Service y Congressional Budget Office.
(28) Sobre la estructura organizacional de la evaluacin de programas en EEUU, Vid. Levitan y Wurburg (1979). Sobre la GAO, Brown (1973), Rouban (1983) o Walker (1985).
56
PRIMERA PARTE
Cuadro 1:
COLEMAN REPORT
Uno de los primeros estudios que aplic mtodos propios de las ciencias sociales al anlisis y evaluacin de programas pblicos es el llamado
Coleman Report que por encargo del Congreso de los EEUU y bajo el
patrocinio de la Oficina de Educacin realizaron y presentaron Coleman y
sus colaboradores en 1966 (29).
Como afirma Langbein (1980:2), el Coleman Report fue nico tanto en
el uso de los mtodos de investigacin, lo que le di una credibilidad que no
tenan otras evaluaciones anteriores, como en su forma de aproximar el problema de la igualdad de oportunidades en educacin. En general, los estudios
anteriores se haban centrado nicamente en el proceso de la educacin pblica, examinando por tanto, nmero de alumnos por clase, asignaturas, mtodos pedaggicos, bibliotecas y laboratorios; puesto que partan de la base
que mejorando la cantidad y la calidad de los inputs educacionales, los estudiantes aprenderan ms. Coleman y sus colaboradores, ms preocupados
por cuestiones de impacto que de proceso, se preguntaron si efectivamente,
ms inputs producen mejor educacin. Su conclusinfue la siguiente:
.. .Est claro que las escuelas no estn actuando como un estmulo fuerte
(en cuanto a resultados objetivos en tests estandarizados) independientemente de los antecedentes del estudiante o del nivel de su clase.. Esto no significa, por supuesto, que las escuelas no tengan ningn efecto, sino que los efectos que tengan estn muy correlacionados con los antecedentes individuales
del estudiante, y con los del conjunto de compaeros de su clase y de su escuela: es decir, los efectos parecen derivar no tanto de factores que el sistema educativo controla, sino de factores externos al medio escolar. .. (30)
1ndependientemente de la relevancia de estos resultados para la poltica educativa del pas, el anlisis de las relaciones entre diversas variables
y los resultados de los estudiantes en tests objetivos apareca como una
aproximacin vlida al concepto de evaluacin de los efectos de las polticas pblicas.
57
A. FACTORES DETERMINANTES
De forma general, se puede afirmar que nicamente en el Canad y en algunas organizaciones internacionales, adems de los EEUU, existe una evaluacin sistemtica de las polticas y programas pblicos, mientras que en los
dems pases sta se produce ad-hoc, esto es, en relacin con demandas especficas (Hellstern, 1986:282).
En los pases de la Europa occidental citados y en el Canad, el desarrollo
de la evaluacin es debido, al igual que en los EEUU, a los dos procesos paralelos anteriormente descritos.
Primero, la introduccin y desarrollo progresivamente ms importante de
las polticas de intervencin econmica y social de los gobiernos generalmente de tendencia socialdemcrata de finales de los aos sesenta y principios de
los setenta. Este es particularmente el caso de los pases escandinavos, con
Suecia a la cabeza -lo que ha llevado a este pas a tener tasas de imposicin
y niveles de gasto pblico por encima de cualquier otro (Ysander, 1984:53)de la RFA y de Gran Bretaa (Derlien, 1990:149-152). Al igual que en Ros
EEUU, esta fuerte expansin de los programas sociales se encuentra en la base de la preocupacin a nivel poltico, por determinar los efectos de las nuevas
polticas sociales en relacin con sus objetivos y su coste.
Segundo, la introduccin y desarrollo de reformas presupuestarias siguiendo el modelo del PPBS en las que se incluye la evaluacin como parte
integrante del esquema de planificacin previa a la aprobacin presupuestaria de los futuros programas. Este fue el caso del Canad, donde se adopta
58
PRIMERA PARTE
el PPBS, a partir de 1969 (Der1ien, 1990:151), de Suecia donde las auditoras de eficacia y los anlisis coste-eficacia son introducidos por la Oficina
Nacional de Auditora siguiendo las prescripciones de la reforma presupuestaria desde mediados de los aos sesenta (Arvidsson, 1986:629), y de
la RFA, a partir de 1973 (Derlien, 1990: 150). Ms tardamente, la evaluacin de programas se incluye formalmente en el proceso anual de aprobacin del presupuesto en Holanda, a iniciativa del gobierno centrista-liberal
en 1981 (Derlien, 1990-152), en Francia bajo la presidencia socialista en
1982 (Quermonne y Rouban, 1986:403), y en Noruega a partir de 1985, casi veinte aos ms tarde que Suecia cuando generalmente las reformas administrativas ocurridas en estos pases son inmediatamente adoptadas por
Noruega (Derlien, 1990-152).
B. PAUTAS DE INSTITUCIONALIZACION
El desarrollo de una nueva mentalidad y cultura poltico-administrativa favorable a la evaluacin no se traduce en unos mismos niveles de frecuencia,
regularidad e institucionalizacin de esta funcin en los pases citados. Tomando nuevamente como referencia el caso de los EEUU en la medida que
constituye el principal antecedente, existen variaciones importantes entre los
pases considerados en funcin, de una parte, de si se desarrolla la funcin
evaluativa a nivel parlamentario o ejecutivo nicamente y, de otra parte, de los
distintos niveles de centralizacin o descentralizacin con los que se acomete
la tarea de poner en prctica la evaluacin.
a. A Nivel Parlamentario
b. A Nivel Ejecutivo
60
PRIMERA PARTE
polticas y de la estructura organizacional y de los procedimientos administrativos de los servicios pblicos (Derlien, 1990: 152) (32).
En Suecia, en cambio, la introduccin del PPBS se utiliza como mecanismo de descentralizacin y de mejora de la eficacia de los organismos administrativos autnomos, ms que como instrumento de racionalizacin central de
los procesos de presupuestacin y decisin pblica (Ysander, 1984:57) por lo
que no hay una estructura central dedicada a la evaluacin en los departamentos econmicos del Gobierno.
c. Centralizacin-Descentralizacin
La implantacin de la evaluacin difiere asimismo en funcin del grado
en que aqulla es impulsada desde las instituciones centrales del gobierno con
el propsito de evaluar polticas generales en distintos mbitos de gobierno, o
por el contrario es desarrollada de forma descentralizada por distintos niveles
de gobierno, lo que se traduce en una organizacin ms fragmentada y en estudios de programas ms concretos.
En el primer sentido los casos paradigmticos son los de Gran Bretaa y
Francia. En cuanto a organizacin plural y descentralizada de la evaluacin el
caso ms claro es el de Suecia.
En Gran Bretaa hasta 1979 funcion un sistema denominado Program
Analysis and Review por el que cada ao, los ministerios centrales deban
definir junto con el Tesoro, qu polticas era preciso revisar, y a tal efecto,
nombrar una comisin presidida por un representante del ministerio afectado e
integrada por representantes de otros ministerios interesados y del Tesoro.
El mismo tipo de trabajo de revisin de las polticas y de reflexin sobre
las posibilidades de mejorarlas fue realizado, hasta 1983, por el Central Policy Review Staff, una especie de comit de expertos compuesto por funcionarios y por colaboradores externos de procedencia diversa.
El mismo gobierno conservador que acab de forma oficial con estos mecanismos, impuls la llamada Rayner's Efficiency Unit, con el objeto de hacer de las auditoras de gestin una prctica habitual en la Administracin britnica. Este iniciativa es, sin embargo, relativamente diferente de las
anteriores puesto que se pasa de la evaluacin de las polticas pblicas en sentido muy amplio, a la revisin de los procedimientos de gestin administrativa
muy concretos (Derlien, 1990: 169).
(32) Al igual que ocurre en los EEUU en la dcada de los ochenta, en Holanda, han sido precisamente
los gobiernos de centro y liberales, los que han recurrido a la evaluacin con el objetivo de justificar sus
programas de reduccin del papel del Estado, o como mnimo de freno a una larga tradicin de intervencionismo poltico (Derlien, 1990: 152).
61
62
PRIMERA PARTE
63
PRIMERA PARTE
se produce en la detenninacin o el control sobre los resultados de la actividad administrativa sino sobre la legalidad de la actuacin, el proceder a
travs de las reglas establecidas.
En este contexto, las cuestiones relacionadas con la eficacia o la eficiencia
tienen una importancia secundaria y pensar en tnninos de poltica o programa aparece como algo hasta cierto punto distorsionante. La gestin por programas no se ha consolidado en Espaa y como ha puesto de relieve la experiencia del Presupuesto por Programas, la estructura administrativa existente y
los mecanismos de decisin no favorecen la evaluacin.
A ello hay que aadir la debilidad de las instituciones legislativas en sus
funciones de control gubernamental. En este sentido, el cuasi monopolio de la
experiencia tcnica y de la infonnacin estadstica, econmica y financiera
por parte de la Administracin impiden desarrollar una funcin evaluativa dependiente del Parlamento.
Todo lo dicho no obsta que constatemos que existe una demanda efectiva
de infonnacin evaluativa en distintos niveles de gobierno que, aunque est
lejos de obtener una completa satisfaccin, s ha dado lugar a estudios que
pueden inscribirse perfectamente en el mbito de la evaluacin.
El Ministerio para las Administraciones Pblicas en sus Reflexiones para
la Modernizacin de la Administracin del Estado, presentadas por el Ministro J. Almunia en 1990, se propone adoptar mecanismos de seguimiento y
control de la actuacin de los aparatos administrativos que entiende han de ir
dirigidos a la evaluacin del grado de realizacin de los objetivos programados y la eficiencia de la gestin en sus distintas vertientes (financiera, organizacin, procedimientos, etc.)>>.
Uno de estos mecanismos consiste en:
La evaluacin posterior de los resultados para comprobar la eficacia de
la gestin a la vista de las previsiones de los correspondientes programas,
as como el coste-rendimiento en la ejecucin de los mismos, con objeto
de poder fundamentar la elaboracin de los programas del ejercicio siguiente (1990:88)
El programa estrella de este departamento, sin embargo, han sido las ms
de 40 Inspecciones Operativas de Servicio realizadas por la Inspeccin General de Servicios desde 1987 hasta 1990 con el objeto de adecuar las plantillas
65
a las necesidades de cada servicio, disear nuevas estructuras organizacionales y racionalizar y agilizar los procedimientos administrativos.
Se trata por tanto de auditoras de gestin en la lnea de las desarrolladas
en Inglaterra por la Rayner's Efficiency Unit, ms que de evaluaciones de
programas o de servicios.
En otros Ministerios, especialmente en los de naturaleza inversora, se desarrollan estudios, generalmente de carcter prospectivo, y en ocasiones de
anlisis coste-beneficio. (Zapico, 1989: 195). Esta es una de las tcnicas que
ha alcanzado mayor importancia en el rea de los estudios de racionalizacin
de las decisiones pblicas en materia de gasto, como demuestra la ya bastante
extensa literatura de estudios aplicados en Agricultura, Sanidad, Educacin e
Infraestructuras (35).
A otros niveles de la Administracin, organismos autnomos como el
INEM de Barcelona han promovido la evaluacin sistemtica de la eficacia de sus programas de formacin y ocupacin en relacin con sus objetivos, en base a la opinin subjetiva de sus beneficiarios (Blanch, 1987 y
Albareda, 1988).
Finalmente, el mismo caso sobre el Plan Integral de Roquetes que presentamos en la tercera parte de este trabajo es el producto de una demanda de la
Administracin local.
La revisin detallada y completa de los estudios de evaluacin realizados
en Espaa supera el alcance de esta investigacin. Los ejemplos puestos han
de sevirnos nicamente para constatar una demanda creciente y algunas de las
respuestas que est obteniendo. Durante el proceso de publicacin de este libro, ha aparecido en la coleccin Cuadernos Metodolgicos del Centro de
Investigaciones Sociolgicas, Metodologa de la Evaluacin de Programas,
trabajo en el que el profesor Alvira Martn (1991) presenta de forma sinttica
diferentes tipos y diseos de evaluacin de programas desde una perspectiva
similar a la adoptada en esta obra.
***
Antes de entrar en la discusin de las metodologas y en el anlisis de los
casos especficos, interesa precisar qu entendemos por evaluacin de programas. Hasta ahora hemos introducido algunas ideas (valoracin del mrito, medida de efectos reales, determinacin del coste de las polticas...) que conviene
sistematizar.
Desde mediados de los aos setenta, la creciente demanda de evaluaciones
ha contribuido a consolidar la evaluacin como disciplina cientfica y hasta
(35) Para un repaso de la situacin actual del anlisis coste-beneficio en Espaa, Vid. Albi Y Rodrguez (1988: 482-487).
66
PRIMERA PARTE
(36) La evaluacin de programas se ha convertido en una profesin como demuestran, primero, el nmero de publicaciones que han aparecido Evaluation Review, Evaluation and Program Planning, Evaluation
Studies Review Annual; segundo, la creacin de asociaciones nacionales dedicadas a la evaluacin (<<Evaluation Research Society de EEUU y de Canad), y de comits especficos en el seno de stas, encargados de
controlar la calidad de las evaluaciones (<<Evaluation Standards Committee, 1981); y tercero, el crecimiento
experimentado en algunos pases por las empresas e institutos de investigacin que se crearon originariamente para optar a los contratos ofrecidos por sus respectivas Administraciones (Policy Studies Institute en Gran
Bretaa, Infratest y Prognos en Alemania, y Abt, Ass., Systems Development Corporation, Mitre, Rand y
Stanford Intemational, en los EEUU). (Hellstem, 1986: 281, Rossi y Wright, 1984: 50).
67
CAPITULO 111
CONCEPTO, CLASES, PROPOSITOS,
INTERESES y CRITERIOS DE
EVALUACION
1. CONCEPTO
La evaluacin de programas no tiene una definicin pacfica y ampliamente aceptada por la literatura. Los trminos program evaluation, ..
policy evaluation y evaluation research han sido objeto de una variedad de interpretaciones en funcin de lo que distintos investigadores incluyen en este campo de investigacin y/o entienden que son sus mtodos
propios.
72
PRIMERA PARTE
73
CLIENTES
Principio
Cambio
CLIENTES
/
Final
PRIMERA PARTE
contable las funciones de evaluacin en los trminos que acabamos de explicar, hay que distinguir la evaluacin del control y de la inspeccin administrativa.
De una parte, porque las cuestiones a las que se dirigen son distintas: el
control administrativo no cuestiona la oportunidad de una poltica o programa,
en cuanto conjunto de recursos aplicados a la consecucin de objetivos externos, sino que nicamente verifica que los recursos previstos hayan sido bien
aplicados y que las normas existentes hayan sido respetadas. En el mismo sentido, Vulpian y Devez (1984:278).
De otra parte, porque los controles se ejercen desde una perspectiva
organizacional y por tanto, estrechamente relacionada con cada una de las
estructuras administrativas existentes. La evaluacin, en cambio, privilegia la perspectiva longitudinal basada en la idea de poltica o programa.
Rompe, por tanto, como afirma Nioche (1982a:5l), con la problemtica de
tipo jerrquico e implica una aproximacin a la vez ms distanciada y ms
global, sobre polticas o programas en los que pueden intervenir varias administraciones.
Finalmente, porque como indica Eveno (1984:219), la inspeccin y el
control administrativos se basan en los desplazamientos sobre el terreno,
en las constataciones de hechos observables y en el juicio personal del inspector. El resultado de su trabajo se refleja generalmente en un informe escrito que tiene por destinatario el superior jerrquico. La evaluacin es
ms amplia, es ms exigente en cuanto al mtodo e implica por tanto ms
tiempo.
2. CLASES DE EVALUACION
Dado que cada evaluacin suele tener un mbito distinto en funcin de las
cuestiones que intenta responder, resulta til distinguir entre cuatro clases de
evaluacin que coinciden con las grandes cuestiones incluidas en la definicin
de Rossi y Freeman.
Lgicamente, la tipologa de la evaluacin se puede construir en funcin
de otros criterios, lo que da lugar a otras tantas clases de evaluacin. As, en
funcin del propsito especfico que motiva la evaluacin se distingue entre
evaluacin formativa o de proceso y evaluacin conclusiva o de resultados; en
funcin de la naturaleza del estudio, entre evaluacin descriptiva y evaluacin
analtica; y en funcin de la relacin de los evaluadores con la organizacin
que encarga la evaluacin, entre evaluacin interna y externa. Finalmente, incluimos una breve referencia a la meta-evaluacin.
75
76
PRIMERA PARTE
evidente en conocer los problemas que existen con su puesta en prctica, independientemente de su preocupacin por los resultados finales.
El estudio de caso sobre la Polica local de 1'Hospitalet de LLobregat responde en buena medida a este tipo de evaluacin.
77
Hasta qu punto el programa est alcanzando la poblacin especfica o el rea a los que se dirige?
En qu medida el esfuerzo de intervencin se est llevando a cabo
como se especific en el diseo del programa?
3.
78
PRIMERA PARTE
B. OTRAS CLASIFICACIONES
79
Propsito
Formativa
Implementacin
Impacto/Coste
(X)
Conclusiva
PRIMERA PARTE
d. Metaevaluacin
La metaevaluacin consiste en el anlisis de los resultados de varias evaluaciones. Proporciona, por tanto, informacin sinttica sobre el conocimiento
existente en relacin con una determinada poltica o programa pblico. Lgicamente, este tipo de anlisis slo es posible cuando un nmero considerable
de evaluaciones han sido realizadas y publicadas en relacin con una
(41) Para una discusin ms completa de las ventajas e inconvenientes de la evaluacin interna y estema, Vid. Cohen y Franco, (1988: 111- 114); Monnier (1987: 116); o Weiss (1972: 20-21).
81
detenninada poltica. Entonces, el examen sistemtico del conjunto de las evaluaciones, desde una perspectiva ms general, puede proporcionar ms y mejor infonnacin que un nuevo estudio de caractersticas parecidas a los realizados anterionnente (42).
A veces, la metaevaluacin consiste en repetir un estudio acabado, reanalizando los datos en que se basa o incorporando ms datos sobre el mismo
programa. (Hudson y McRoberts, 1984:222). Otra fonna de hacer metaevaluaciones consiste en la revisin de tipo ms amplio de la investigacin evaluativa desarrollada en un detenninado perodo. El trabajo de Wholey et al
(1975) cubri 15 programas de cuatro agencias norteamericanas durante
1968-1969 y examin tanto la organizacin de programas, como la calidad de
las evaluaciones y de sus infonnes finales, y los problemas de comunicacin y
posterior uso de los resultados. Nioche y Poinsard realizaron una investigacin de naturaleza similar para Francia (1984:5-22).
La evaluacin de las evaluaciones, como podra describirse la metaevaluacin, no est exenta de las complicaciones que derivan de las diferencias
existentes entre proyectos individuales en cuanto a las metodologas empleadas, el tipo de datos empleados, o la perspectiva poltica desde la que se llevaron a cabo. Parece, sin embargo, razonable recurrir a la infonnacin agregada
y sinttica de las metaevaluaciones para justificar decisiones polticas, cuando
esto sea posible, y en la medida que la evidencia emprica acumulada indique
claramente un curso de accin.
3. PROPOSITOS
A. PROPOSITOS ABIERTOS
Como qued reflejado en la figura 3, la evaluacin de una poltica o programa puede abarcar un conjunto de cuestiones diversas en funcin de los
propsitos o razones por los que se decida llevar a cabo. Igualmente hemos indicado dos prpositos o razones principales por las que en general se decide
evaluar una poltica o un programa: de una parte, obtener infonnacin sobre
un programa, de fonna progresiva durante su desarrollo, con el objeto de determinar las modificaciones programticas que precisa; y de otra parte, proporcionar la infonnacin necesaria para poder hacer una valoracin global sobre los resultados de una poltica o programa y sobre su utilidad. As, cabra
(42) Por ejemplo, en el campo de la salud y medio ambiente, Urkowitz y Laessing (1982: 427-438) recogen un conjunto de investigaciones y examinan su rigor metodolgico. Su principal objetivo es descubrir los
efectos de los problemas de tipo medio ambiental en la salud humana. Pero para ello intentan determinar la
credibilidad de los resultados de las investigaciones realizadas, al mismo tiempo que sealan aquellos aspectos
que requieren ms investigacin y que por tanto deberan incluirse en las agendas de los investigadores.
82
PRIMERA PARTE
B. PROPOSITOS ENCUBIERTOS
Algunos autores se han referido, sin embargo, a los posibles propsitos
encubiertos de la evaluacin lo que nos lleva a introducir algunas consideraciones ms polticas.
Ciertamente, una evaluacin se puede hacer con el propsito de justificar
una posicin a la que se ha llegado de forma previa: ya sea sta la de ofrecer
una imagen positiva del programa, o al revs, poner de manifiesto sus resultados negativos con el objeto de utilizarlos como arma poltica en contra de sus
responsables polticos y/o administrativos (44).
Por ello parece importante, desde la perspectiva del evaluador, determinar
los intereses y motivaciones que se encuentran detrs de la demanda de evaluacin y, concretamente el rol que es llamado a representar, de forma consciente o supuestamente inadvertida.
La evaluacin tambin se puede utilizar como un medio para posponer
una decisin. La demanda de ms investigacin como requisito previo a emprender algn tipo de accin es estrategia comn en el mbito de las Administraciones Pblicas. Ya nos hemos referido a como, desde mediados de los
aos setenta, la evaluacin ha contribuido a frenar el desarrollo creciente de
las polticas sociales en algunos pases.
(43) En el mismo sentido, Chelimsky relaciona los propsitos de la evaluacin de programas con la
formulacin de nuevas polticas o programas, con la gestin y administracin de los ya existentes y con la
exigencia social de dar cuentas de los resultados de los programas en funcionamiento y ya consolidados
(1978: 8). Por otra parte, Weiss indica la necesidad de delimitar claramente el prposito de una evaluacin,
en la medida que esta autora entiende que la evaluacin que sirve todos los propsitos (<<the all-purpose
evaluation) es un mito (1972: 15).
(44) En el primer sentido, Weiss se refiere a la evaluacin como instrumento de auto-glorificacin:
El administrador cree que su programa funciona muy bien y busca la manera de hacerlo visible ...
Copias del informe, favorable por supuesto, pueden ser enviadas a los rganos directores, a los miembros de las comisiones legislativas ... (1972: 12).
83
En otro sentido, probablemente muchos programas son evaluados, simplemente porque as lo requiere la legislacin que establece su financiacin (Levitan y Wurzburg, 1979:3). Lgicamente ello conduce a una evaluacin de carcter ritual que se realiza nicamente para cumplir con las disposiciones
legislativas pero que no tine ninguna utilidad para los administradores de los
programas.
Al mismo tiempo, no creemos que se pueda considerar ilcito buscar la
legitimacin que pueda aportar la evaluacin para defender una posicin,
cuando en el seno de una Administracin existe un debate sobre una nueva
poltica o programa. Al contrario, este tipo de prcticas, salvo que la evaluacin sea cuestionada metodolgicamente, pueden contribuir a enriquecer el
dilogo poltico.
4. INTERESES Y CRITERIOS
A. MULTIPLICIDAD DE INTERESES
Hasta ahora nos hemos referido a las personas o grupos de personas con
capacidad para tomar decisiones sobre una poltica o programa. Las polticas
y programas pblicos, sin embargo, afectan a una pluralidad de grupos que
van ms all de los decisores polticos-administrativos y del personal encargado de llevarlos a la prctica.
AS, si tomamos como ejemplo la reforma de la enseanza secundaria en
Espaa, veremos que adems de interesar a los Parlamentos centrales y au~o
nmicos, al Ministerio de Educacin y Ciencia y a los departamentos de enseanza autonmicos, interesa a municipios, a asociaciones profesionales de enseantes, sindicatos, investigadores universitarios, y por supuesto a
profesores, alumnos, padres de alumnos y a sus asociaciones.
El carcter de afectado por una poltica o por un programa no tiene porque
suscitar, sin embargo, un mismo inters en la evaluacin del mismo. El tipo de
informacin que querran obtener cada uno de estos grupos vara en funcin
de su posicin en el sistema.
As, en primer lugar, cabe esperar que a,qullos que tienen una mayor capacidad para decidir sobre el futuro de la reforma (parlamentarios, miembros
del gobierno central y autonmico, y altos funcionarios) tengan un mayor inters en obtener informacin sobre resultados finales de los estudiantes en
tests estandarizados, sobre las caractersitcas de los estudiantes que se inscriban en cada una de las nuevas opciones o sobre sus dedicaciones futuras. Informacin que les ayude a responder cuestiones de carcter general sobre la
conveniencia o no de continuar con la aplicacin de la reforma, institucionalizar
84
PRIMERA PARTE
nuevos programas o mantenerlos como experiencias piloto, aumentar el esfuerzo presupuestario en la lnea marcada por la reforma o limitarlo.
En segundo lugar, los directores y responsables de poner en marcha la reforma, tanto a nivel central, como autonmico y local, estarn ms interesados
en saber, no slo si la reforma se desarrolla conforme a las previsiones, sino
tambin qu aspectos generan mayores problemas, cules aparecen como ms
positivos o qu estrategias administrativas alcanzan mejores resultados de forma ms eficiente.
En tercer lugar, los profesionales afectados y que trabajan en contacto con
los beneficiarios tericos de la nueva poltica educativa generalmente se preocuparn ms de cuestiones relacionadas con sus nuevas condiciones laborales y
con la forma de realizarse su trabajo diario. En este sentido son ms pragmticos y esperan obtener informacin que les facilite la adaptacin al nuevo sistema y, en su caso, aprender aquello que deberan hacer y no estn haciendo.
En cuarto lugar, corresponde a los alumnos, padres de alumnos y a sus
asociaciones, adoptar la posicin de cliente, y desde esta perspectiva, requerir
la informacin necesaria para valorar la calidad de los servicios recibidos. Por
otra parte, los ciudadanos en general, como contribuyentes, estarn preocupados por saber, aunque sea en trminos muy generales, cuanto cuesta la reforma y ms especficamente, en qu se gasta su dinero.
Es, pues, importante reconocer la diversidad de intereses en juego y las
mltiples perspectivas que estos intereses implican a la hora de enjuiciar una
poltica. Tambin es cierto, sin embargo, que una misma evaluacin difcilmente podra proporcionar informacin de inmediata utilidad para todos los
grupos, dada la diversidad de sus preocupaciones.
El reconocimiento de la existencia de una pluralidad de intereses en relacin con una determinada poltica o programa nos lleva a plantear la cuestin
de los criterios. A pesar de que la literatura de la evaluacin ha prestado poca
atencin a este tema, dado que inicialmente se crey que la actividad de la
evaluacin deba estar exenta de valores, es obvio que el mismo trmino evaluacin lleva implcita la idea de juzgar el mrito, esto es, el valor o la bondad de las polticas y de los programas. Cabe preguntarse por tanto, conforme a qu criterios?
El conocimiento de los intereses de todas las partes afectadas por el programa evaluado puede ser utilizado para seleccionar los criterios de evaluacin,
85
86
PRIMERA PARTE
As, para evaluar los efectos de la legislacin que protege el medio ambiente, habra que determinar si realmente produce un bien pblico; para evaluar la reglamentacin administrativa de las etiquetas de los productos nutritivos, habra que determinar la medida en que se ofrece mejor informacin al
consumidor; etc.
De otra parte, el segundo gran objetivo de los programas pblicos es, segn Langbein, la redistribucin de la riqueza. La evaluacin de las polticas
que persiguen este objetivo se puede realizar de acuerdo con los tres criterios
87
siguientes: 1. Nivel de beneficios que ofrecen los programas, 2. Equidad horizontal, y 3. Equidad vertical. El primero se refiere a la medida en que los
beneficios ofrecidos por el programa son suficientes o adecuados. El segundo se refiere a la medida en que el programa llega y trata de igual forma, a
todas las personas potencialmente eligibles. Y el tercero se refiere al grado
en que personas no incluidas en el grupo al que va dirigido el programa se
benefician de ste.
As, un programa de formacin profesional, puede ser muy efectivo en
conseguir un empleo para los jvenes que lo terminan (lo que en s constituye
un primer criterio de evaluacin), pero al mismo tiempo, puede ser muy injusto desde la perspectiva de equidad horizontal, en la medida que nicamente
'una pequea proporcin de jvenes parados tuvieron acceso a l, o desde la
perspectiva de la equidad vertical, en la medida que los que se beneficiaron
realmente de l no se corresponden con su poblacin-objetivo.
Un ltimo criterio propuesto por Langbein es el de la satisfaccin de los
ciudadanos, en la medida que en una sociedad democrtica debera haber
una cierta correspondencia entre los deseos de sus miembros y los programas
de sus instituciones de gobierno. (1980:22)
Seguramente, el inventario de objetivos y criterios que acabamos de repasar no es completo. Objetivos ms polticos como los que encontramos en en
el caso del Plan Integral de Roquetes, -el incremento de la participacin de
los ciudadanos en las actividades de la Administracin, la consecucin de niveles ms altos de coordinacin entre los agentes pblicos y privados que operan en un territorio o el perfeccionamiento de los mecanismos de respuesta a
las necesidades locales por parte de la Administracin-, encuentran difcil
acomodo en el esquema de Langbein. Su aplicacin obligara, en muchos casos, a forzar la traduccin de programas no econmicos, en trminos de crecimiento econmico. La clarificacin del mapa de objetivos y criterios, no obstante, habra de permitir al evaluador no dejarse ningn aspecto relevante por
evaluar, aunque insistimos, su utilidad es ms bien a nivel indicativo.
PRIMERA PARTE
2. examinar aquello que los clientes, personal y administradores del programa entienden se ha conseguido con ste, as como aquellos factores
que creen llevaron a su xito o fracaso (Guba y Lincoln, 1981);
3. examinar los factores que tengan una mayor importancia para aqullos
que tengan que tomar decisiones sobre el programa en un futuro prximo (Patton, 1986);
4. examinar la medida en que se han satisfecho las necesidades de informacin de cada una de los grupos afectados por el programa
(Bryk, 1983);
Cada una de estas propuestas representa, en mayor o menor medida, una
aproximacin alternativa al paradigma racional-cientfico que domina la evaluac~n. Interesa ahora entrar en la discusin de los principales modelos de
evaluacin, con el objeto de responder a una cuestin difcil: Cmo evaluar
las polticas y los programas pblicos?
Ciertamente, no se trata de importar mecnicamente prcticas de evaluacin desarrolladas mayoritariamente en los EEUU. Se trata, ms bien, de sacar
partido de los conocimientos y de la experiencia all acumulados, para a partir
de estudios de caso como los propuestos, extraer algunas implicaciones que
puedan tener alguna relevancia para la evaluacin, en general, y ms especficamente, en nuestro entorno.
89
SEGUNDA PARTE
CAPITULO IV
LA EVALUACION CLASICA
POR OBJETIVOS
1. INTRODUCCION
En este captulo, la evaluacin es contemplada desde la perspectiva clsica
de la evaluacin por objetivos. Desde esta perspectiva, la cuestin fundamental
es determinar los efectos atribuibles a una poltica o programa y examinar hasta
qu punto sirve para la realizacin de ciertos fines y objetivos. Este es pues el
criterio de xito en base al cual se valora la poltica o el programa.
Tal y como deca Weiss, de acuerdo con este modelo, la evaluacin parece
simple. Existen unos objetivos, una actividad dirigida a alcanzarlos y una medida del grado en que sto se consigue. Todo lo que hay que hacer es, pues:
1) enumerar los [mes generales del programa y sus objetivos ms especficos;
2) descubrir indicadores de estos objetivos, susceptibles de medicin;
3) recoger datos sobre los indicadores para aqullos que participan en el programa y para un grupo de control equivalente que no haya participado;
4) y analizar los datos sobre los participantes y sobre los controles, en funcin de los fines y objetivos iniciales del programa (Weiss, 1972:24).
En la prctica, sin embargo, lo que parece simple puede complicarse enormemente, tanto por los problemas que presentan la identificacin y operacionalizacin de objetivos, como por la complejidad intrnseca de los programas,
como por la dificultad tcnica de aislar los efectos de la intervencin y determinar el impacto neto de las polticas.
De acuerdo con el concepto adoptado de evaluacin por fases, dividimos
este captulo en tres apartados: en el primero, nos referimos a la identificacin
y especificacin de objetivos como requisito previo (se correspondera tericamente con la etapa de planificacin), en el segundo, al examen de los inputs
y actividades que componen un programa (se corresponde con la evaluacin
de la implementacin), y en el tercero, al impacto o efectos (se corresponde
con la etapa de evaluacin de resultados).
puesto que stos servirn de criterio a partir del cual juzgar si el programa ha sido un xito o por el contrario ha fracasado en sus propsitos.
La funcin del evaluador consiste pues, primero, en ayudar a los actores
del programa a alcanzar un nivel razonable de consenso en tomo a los objetivos del programa, y, segundo, en asegurar un nivel mnimo de especificidad
que permita desarrollar indicadores operacionales a partir de los cuales medir
y evaluar. (Shortell y Richardson, 1978:16-17)
96
SEGUNDA PARTE
objetivos limitara la flexibilidad del administrador, en la medida que comunica sus intereses y le compromete a un cierto grado de visibilidad.
Dadas estas dificultades, Weiss (1972:28) ha sugerido cuatro estrategias
que los evaluadores pueden utilizar para llegar a obtener objetivos que sirvan
para la evaluacin:
a. La primera consiste en describir las cuestiones ms relevantes y dejar
que los principales actores del programa lleguen a un acuerdo.
b. La segunda consiste en recoger tanta informacin escrita como sea posible, entrevistar en profundidad a los responsables del programa, observar directamente como se desarrolla, y dejar que sea el evaluador
mismo el que formule los objetivos.
c. La tercera consiste en promover la colaboracin entre evaluador y actores ms relevantes del programa con el objeto de formular objetivos
que stos hagan suyos, para posteriormente limitarlos a aqullos que
segn el evaluador aparezcan como ms realistas.
d. La cuarta consiste en evitar la identificacin de objetivos y por tanto
abandonar la idea de una evaluacin en el sentido ms clsico.
La primera de estas estrategias puede conducir a afirmaciones que no
constituyan una base operativa para la evaluacin. La tercera estrategia aparece como la ideal por cuanto si los objetivos son formulados nicamente por el
evaluador (segunda estrategia), cabe el peligro que despus sean rechazados
por los responsables del programa, por entender que aquello no era lo que pretendan. Por ltimo, la cuarta es especialmente interesante dado que, cuando
se trata de programas nuevos sobre los que resulta difcil alcanzar un acuerdo
sobre lo que sera un xito, puede ser mejor dejar la evaluacin abierta, que no
formular objetivos artificiales y que no tengan un claro sentido para los participantes en el programa (47).
B. ESPECIFICACION DE OBJETIVOS
Las evaluaciones por objetivos requieren, sin embargo, la descripcin
de los resultados especificos que, de conseguirse, permitiran afirmar que
el programa ha sido un xito. Ello es posible si los objetivos afirman la
condicin a la que se dirigen o el comportamiento que quieren cambiar y
en qu medida.
(47) Hogwood y Gunn, (1984: 219), han insistido en la necesidad de integrar la evaluacin en los procesos de planificacin y programacin, para de esta forma, poder especificar desde el principio el tipo de
informacin que requiere la investigacin.
97
SEGUNDA PARTE
En este caso, la variable puente sera el grado en que los detenidos llegan a
aprender un nuevo oficio que despus se podra relacionar con la disminucin
de la reincidencia (objetivo ltimo).
La relacin entre objetivos intermedios y objetivos finales no siempre ser
fcil de demostrar, pero en ocasiones se considerar suficiente la medida de
variables puente como criterio a partir del cual juzgar el xito del programa.
As, por ejemplo, en un programa de disminucin del cncer de pulmn, la demostracin de que el tratamiento al que se someten los fumadores les lleva a
dejar de fumar, podra considerarse como una aproximacin vlida al objetivo
final de reduccin de las tasas de mortalidad como consecuencia de aquella
enfermedad.
Los objetivos intermedios estn estrechamente relacionados con la teora
del programa. En este sentido, se recomienda que todo evaluador investigue,
en primer lugar, por qu los responsables polticos o administrativos de un
programa entienden que ste producir determinados efectos, con el propsito
de reconstruir el modelo terico en el que se fundamenta (Cronbach,
1980: 170). A partir de aqu, los problemas que experimenta un programa pueden derivar tanto de un fallo en la teora, como de un fallo en la forma en que
ha sido aplicada en el caso concreto.
Sobre la forma de construir el modelo terico en el que se fundamenta
el programa, Rossi y Freeman (1985:72-73) proponen examinar las llamadas: hiptesis causal, hiptesis de intervencin e hiptesis de accin.
La hiptesis causal expresa la influencia de uno o varios procesos en el
comportamiento o la condicin que el programa pretende modificar. As,
siguiendo con el ejemplo de la reincidencia, se podra afirmar que la reincidencia se produce con mayor frecuencia entre aquellos ex-reclusos que, o
no tienen una mnima formacin profesional, o bien se encuentran con niveles considerables de desempleo.
La hiptesis de intervencin especifica la relacin entre el programa
y el proceso que en la hiptesis causal se considera asociado con el comportamiento o condicin que se quiere modificar. La formacin profesional para detenidos, se podra afirmar, conduce a la reduccin de la reincidencia.
Finalmente, la hiptesis de accin examina si la intervencin est necesariamente relacionada con los resultados, esto es con el comportamiento o
condicin que se quiere modificar. Podra ocurrir que lo que funciona normalmente, no funcionara en determinadas condiciones. Los ex-reclusos que
han completado un programa de formacin profesional podran no tener o se podra percibir que no tienen- las habilidades y conocimientos necesarios para encontrar un trabajo.
99
SEGUNDA PARTE
b. Multiplicidad de Objetivos
101
b. Establecer contacto con los participantes en el programa y con aquellos grupos directa o indirectamente afectados por ste, incluyendo lgicamente a los ms crticos, en la medida que pueden aportar datos
sobre posibles resultados negativos.
c. Solicitar el juicio de personas con experiencia en programas similares
o de expertos a travs de la utilizacin de tcnicas de grupo como
Delphi, Brainstorming o Grupo Nominal (Shortell y Richardson,
1978:24).
C. INDICADORES DE RESULTADOS
a. Seleccin de Variables
Una vez los objetivos han sido identificados y especificados en trminos
operacionales, el siguiente paso consiste, de acuerdo con el modelo clsico de
evaluacin, en medir el grado en que se alcanzaron.
Lgicamente, las variables utilizadas dependern de cada programa. En
nuestro estudio de caso sobre medida de los servicios de Polica Local en
1'Hospitalet, recurrimos al tiempo que tarda la Guardia Urbana en responder a
una demanda individual y al tiempo consumido en cada servicio, como indicadores de eficacia policial.
Desde una perspectiva ms general, Weiss (1972:39-42) distingue entre
medidas de resultados en las personas, en las organizaciones, y en la poblacin en general. As, si se trata de un programa que pretende producir cambios
en las personas que lo reciben, como por ejemplo, un programa educativo o
formativo, se utilizarn medidas de conocimientos, habilidades, valores y actitudes (49). Si se trata de un programa que persigue producir cambios institucionales, como por ejemplo, un programa que intente cambiar el tipo de relacin que se establece entre funcionarios de primera lnea y clientes, se
utilizarn indicadores de servicio que reflejen las caractersticas institucionales que se persiguen. Por ltimo, si se trata de un programa que quiere cambiar las actitudes o los valores, no ya de la poblacin objeto de la intervencin, sino de toda la poblacin en general, en estos casos, lo ms apropiado
ser utilizar estudios de opinin (50).
(49) En cuanto a la seleccin de las variables, es aconsejable utilizar medidas que hayan probado ser
tiles en el pasado. El Survey Research Center de la Universidad de Michigan publica medidas de actitudes
polticas, psico-sociales y en relacin con el trabajo. Vid. en la bibliografa las entradas correspondientes a
Robinson. Por su parte, Morris, Fitz-Gibbon y Lindheim 91987), y Henerson, Morris y Fitz-Gibbon (1987)
incluyen sus libros numerosas referencias en relacin con tests y medidas para la evaluacin de programas
de educacin.
(50) Para los temas relacionados con muestreo y sondeos en ingls, Vid. Singleton et al. (1988)
102
SEGUNDA PARTE
b. Fuentes de Datos
Ciertamente, las variables utilizadas dependen, asimismo, de la informacin disponible y de la capacidad del evaluador para crear los datos necesarios
cuando stos no existan. Las fuentes de datos y las tcnicas de investigacin
para su recogida son las tradicionales de las Ciencias Sociales: entrevistas,
cuestionarios, tests (de conocimientos, habilidades, actitudes, valores, preferencias), archivos, documentos producidos a raz del programa, estadsticas
oficiales, observaciones, evaluaciones de expertos.
De esta lista, creeemos importante destacar: las entrevistas personales
y cuestionarios, el anlisis de archivos y ficheros administrativos, y la observacin.
1. Entrevistas y Cuestionarios
Las entrevistas personales suelen ser el medio ms utilizado para obtener
informacin de los principales actores del programa: stos son, sin duda, los
directores y el personal del programa, pero tambin aquellas personas que
constituyen el entorno poltico del programa (responsables polticos,
miembros de organizaciones ciudadanas con un inters en el programa,
103
SEGUNDA PARTE
tiempo extensos, permitiendo, por tanto, anlisis del tipo antes-despus de la intervencin (51).
En tercer lugar, los archivos administrativos permiten al investigador ampliar la muestra de las observaciones, por encima de lo que sera posible a travs de entrevistas, cuestionarios o la observacin directa. El nmero de observaciones cubiertas por el mtodo de recogida de datos es una consideracin
importante. Adems, las implicaciones econmicas pueden ser considerables.
Tanto las entrevistas a gran escala, como la observacin directa, son mtodos
caros en tiempo y en dinero y los tipos de cuestiones que se pueden preguntar
y los comportamientos que es posible observar son limitados.
Los archivos y ficheros administrativos presentan asimismo, algunos inconvenientes.
En primer lugar, puede que sean incompletos: porque se haya perdido parte de la informacin a lo largo del tiempo, los archivos no se mantengan al da
por falta de personal, o los criterios aplicados hayan conducido a no recoger
los datos que requiere la evaluacin. (Weiss, 1972:54).
En segundo lugar, podra ocurrir, como sugieren Buttolph Johnson y
Joslyn, que los funcionarios encargados de la recogida de datos, consciente o
inconscientemente, falseen la informacin al conservar, nicamente, aquellos
datos o documentos que sean menos problemticos o conflictivos para sus superiores (1986:216).
Finalmente, como es obvio, es posible que determinadas Administraciones
simplemente impidan el acceso a sus archivos, dado el carcter amenazante
que tiene toda investigacin para personas concretas con intereses especficos.
En cualquier caso, se puede afirmar que las ventajas superan los inconvenientes, especialmente cuando existen series estadsticas completas, creadas y
puestas al da por las oficinas de la Administracin (52).
3. Observacin
Como el anlisis de archivos y ficheros administrativos, la observacin no
implica preguntar nada a nadie, con lo que se evitan los efectos que pueden
producir las entrevistas personales, los cuestionarios o los tests en la poblacin objeto de estudio. El carcter reactivo o no reactivo de este mtodo depende, sin embargo, de la forma en que se lleve a cabo. Buttolph Johnson y
(51) La evaluacin de una intervencin con el objeto de reducir el nmero de accidentes por carretera
recurrira a este tipo de datos, que recoge de forma contina la Direccin General de Trfico.
(52) Pinsese, por ejemplo, en el INSS espaol. Este organismo posee datos, no slo sobre pagos por
concepto de seguridad social para cada trabajador inscrito, sino sobre las caractersticas personales de stos,
de la industria que les ha ofrecido el empleo, sobre el tiempo que cada trabajador ha permanecido en una
misma empresa, sobre el nivel de salarios, categoras profesionales...
105
Joslyn (1986:223) distinguen tres criterios a partir de los cuales se pueden clasificar diferentes formas de observacin:
En primer lugar, la observacin puede ser directa o indirecta. En este ltimo
caso no se observa el comportamiento sino sus trazas, a menudo fsicas.
En segundo lugar, la observacin se puede producir abiertamente, de
forma que los que estn siendo observados conozcan la presencia del
investigador, o de forma encubierta.
En tercer lugar, el investigador puede hacer una observacin selectiva,
buscando por tanto las incidencias de comportamientos especficos, o
por el contrario, una observacin no estructurada en la que todos los
comportamientos son considerados importantes. Lgicamente, la observacin directa y abierta puede alterar el comportamiento de los observados, an en el caso de que el investigador intente ser aceptado como parte integrante del grupo a travs de su participacin activa (53).
La observacin encubierta, por su parte, puede suscitar cuestiones de
tipo tico, especialmente cuando no hayan dado su consentimiento las
personas observadas. Mientras que con la observacin no estructurada,
puede suceder que el investigador perciba los comportamientos de forma selectiva, ignorando por tanto, una parte importante de la realidad.
La principal ventaja de la observacin radica en su carcter no obstructivo
y natural. Por contra sus principales limitaciones tienen que ver: primero, con
que slo permite examinar un nmero reducido de casos, y segundo, con la dificultad de controlar la fiabilidad de las observaciones en la medida que distintos observadores podran tener percepciones distintas.
106
SEGUNDA PARTE
tervencin, y por tanto, a qu eran atribuibles los resultados obtenidos, de forma que se perda el proceso de aprendizaje que poda generar la evaluacin.
A ello hay que aadir la frustracin que motivaron los pobres resultados
mostrados por los programas sociales de la Great Society norteamericana que,
de alguna manera, indicaban la dificultad de organizar programas que tengan una
incidencia clara y detectable en el campo social (Rossi y Wright, 1984:58) (54).
De ah que la evaluacin ample su mbito a cuestiones relacionadas con la
implementacin de los programas, y que se sugiera por tanto, la necesidad de especificar claramente todos los componentes de los programas, con el objeto de entender cmo operan y por qu producen o no producen los resultados esperados.
B. EVALUACION DE LA IMPLEMENTACION
Los trminos implementacin y puesta en prctica evocan necesariamente las personas y los procesos necesarios para hacer que una propuesta
(54) La conclusin de Rossi y Wright es, en este sentido, muy explicativa: En retrospectiva, un resumen razonable de los resultados (se refiere a las evaluaciones de programas sociales hasta mediados de los
aos setenta) es que el valor esperado del efecto de cualquier programa est cercano a cero,
107
programtica se convierta en realidad. Como afirma Subirats, (1988:93) durante muchos aos, los cientficos polticos se han ocupado de los procesos de
formulacin de las polticas, dejando a los administradores los detalles prcticos. A menudo, sin embargo, an ms difcil que planificar y programar actividades, es producir los servicios y hacer que lleguen, de forma efectiva, a
las personas adecuadas.
Por evaluacin de la implementacin, nos referimos, de acuerdo con la tipologa adoptada, al estudio de dos cuestiones:
1. Hasta qu punto el programa est alcanzando la poblacin o el rea a
los que se dirige;
2. En qu medida la organizacin del programa y su contenido responden a su diseo inicial.
a. Poblacin Servida
La supervisin y el control de las caractersticas de los participantes en el
programa permite detectar problemas de cobertura, de sesgo en la poblacin
servida o de abandonos entre los participantes.
1. Grado de Cobertura
El grado de cobertura se refiere a la medida en que se est produciendo la
participacin real de aquellas personas que se pretenda beneficiar con la poltica emprendida. En este sentido, puede existir un problema de sobreinclusin,
es decir, existe un nmero excesivo de participantes en el programa que no tenan necesidad de l, o al contrario, un problema de subinclusin, y por tanto,
no hay bastantes individuos que teniendo necesidad del programa, participan
en l. (Rossi y Freeman, 1985: 149)
Generalmente, la normativa que autoriza cada programa define la poblacin a la que ste va dirigido y establece una serie de reglas conforme a las
cuales el personal de la Administracin decide sobre la inclusin o exclusin
de personas concretas. Si esta definicin es demasiado amplia, se produce de
hecho una sobreestimacin de la necesidad que se traduce en un uso ineficaz
de los recursos al incluir a personas que en realidad no necesitan el programa.
Por el contrario, si aquella definicin es demasiado restrictiva, personas que
de hecho necesitan el programa, no llegan a reunir los requisitos exigidos ni a
poder participar en l.
108
SEGUNDA PARTE
El problema tiene una vertiente tcnica importante. De una parte, la definicin de la poblacin objeto del programa tiene que basarse en caractersticas
fciles de observar y que sea posible medir. Las definiciones muy complejas o
que requieren una informacin muy detallada son difciles de aplicar y tienden
a limitar el nmero de personas eventualmente aceptadas. De otra parte, existe
una dificultad objetiva a la hora de especificar, con mayor o menor precisin,
el nmero de personas que tienen derecho a beneficiarse de un programa.
3. Abandonos
La tasa de abandonos es un indicador importante ya que puede dar una
idea tanto de la insatisfaccin con el programa como de los problemas con los
que se puede encontrar una parte de la poblacin a la hora de participar en
aqul. Los mismos archivos de la Administracin tendran que permitir determinar si existen algunas caractersticas comunes entre las personas que dejan
el programa. (Rossi y Freeman, 1985: 156).
109
l. Problemas de Informacin
El conocimiento y la comprensin, tanto de la oferta pblica (qu programas existen, cules son sus propsitos y caractersticas), como del procedimiento que hay que seguir para tener acceso a aqulla (qu pasos hay
que hacer, qu requisitos hay que reunir) puede constituir un primer problema para la poblacin que tericamente ha de beneficiarse del programa. El
control y la supervisin del programa, en este caso, se refiere al tipo de informacin que, sobre los programas, se ofrece a la poblacin a la que van
dirigidos. Esta puede ser insuficiente, en la medida que no alcanza sus objetivos; y puede ser incorrecta, porque excede la capacidad de las personas
que la reciben o porque, como sugiere Prottas, puede ser manipulada por el
personal del programa con el objeto de limitar las demandas sobre los recursos disponibles a unos niveles aceptables. As, el personal del programa
puede hacer ver a aqullos que lo solicitan que la resolucin de su caso
puede tardar mucho tiempo (sin especificar cuanto) o que tendr muchos
problemas. Puede tambin influir en su comportamiento aumentando los
costes psicolgicos o adoptando un trato paternal y condescendiente (Prottas, 1981 :531).
110
SEGUNDA PARTE
2. Problemas de Tiempo
Existen dos factores que influyen claramente en el problema del tiempo:
la falta de capacidad de respuesta y la complejidad excesiva del procedimiento. Ambos estan relacionados en la medida que la complejidad del procedimiento se traduce en un menor nmero de casos que se pueden atender en un
mismo perodo de tiempo (Prottas, 1981 :528). AS, por ejemplo, en el caso de
las Policas Locales, dada una capacidad limitada de respuesta a las demandas
de servicio, la forma en que aqullas se procesan puede ser la causa de que
exista menor disponibilidad y de que por tanto aumenten los tiempos de respuesta. Mientras que una gestin eficiente de los recursos permite el ajuste del
servicio a los perodos de exceso de demandas.
3. Problemas de Desplazamientos
Un tercer factor que tambin afecta a la participacin en un determinado
servicio pblico son los viajes y desplazamientos hasta el lugar donde aqul se
administra. La necesidad de desplazarse implica, adems, otro tipo de dificultades para grupos de poblacin con problemas especficos, como puedan ser
los deficientes fsicos o las personas de edad avanzada. Desde este punto de
vista, la evaluacin de la implementacin implica valorar la oportunidad de la
forma en que se organiza el programa, y la medida en que su sistema de distribucin facilita el acceso de aquellas personas que lo necesitan.
c. Servicios Prestados
El contenido del programa puede ser algo tan sencillo de expresar como,
por ejemplo, la prohibicin de circular por el casco urbano de una ciudad sin
el cinturn de seguridad. O algo tan complejo, como por ejemplo, el contenido de los programas de renta mnima de insercin donde se garantiza un determinado nivel de renta a las familias que se encuentran en unas determinadas condiciones socio-econmicas y, adems, esto se combina con programas
de reinsercin profesional que pueden adoptar mltiples formas y ofrecer distintos niveles de beneficios.
La especificacin de los servicios prestados en cada caso concreto es importante para despus poder explicar los efectos del programa en funcin de
aqullos. Siguiendo con el mismo ejemplo, si un programa persigue la reinsercin profesional de personas que han estado paradas durante un perodo extenso de tiempo, pero no incluye entre sus componentes el aprendizaje de una
111
nueva profesin, ello puede ser la causa de que los participantes, aun encontrando trabajo, no consigan iniciar una nueva carrera profesional y por tanto
acceder a un trabajo mejor que el que tenan antes de perder su empleo.
Otros factores que pueden tener una incidencia directa sobre los resultados
de un programa son las calificaciones y experiencia del personal, la forma en
que se establece la interaccin entre profesionales y participantes, y la calidad
de los recursos materiales utilizados. Por ejemplo, una de las conclusiones del
trabajo de Katzman (1971) sobre la economa poltica de las escuelas de Boston fue que los aos de educacin formal recibida por los maestros no tenan
tanta importancia como los aos de experiencia profesional. Los estudios de la
interaccin entre prestador y receptor del servicio (profesor y estudiante, mdico y paciente o polica y ciudadano) son numerosos. Wasson et al. (1984),
por ejemplo, demuestran como la continuidad en el tratamiento por un mismo
mdico de un paciente influye en la calidad de la atencin recibida y en el grado de utilizacin por parte del paciente de los servicios mdicos (55).
En resumen pues, la evaluacin del proceso de implementacin de los
programas produce informacin que la evaluacin de impacto no precisa pero que, sin embargo, aparece como especialmente importante para que del
proceso de evaluacin deriven cambios en el programa tanto a nivel operacional, como a nivel de los componentes y actividades que constituyen la intervencin.
112
SEGUNDA PARTE
B. LA CUESTION DE LA VALIDEZ
Las dos cuestiones esenciales en la evaluacin del impacto de un programa consisten en determinar:
1. Hasta qu punto los efectos del programa son realmente debidos al
programa y no a otros factores.
2. Hasta qu punto los resultados de un programa concreto pueden ser
generalizados a otras situaciones.
La primera es una cuestin de validez interna, mientras que la segunda es
una cuestin de validez externa. En general se afirma que las cuestiones de
validez interna son ms importantes que las de validez externa, dado que hasta
que no se puede afirmar que los efectos observados se pueden atribuir al programa, no tiene sentido generalizarlo a otras situaciones. Algunos autores, sin
embargo, han defendido lo contrario en base a que lo realmente importante
son las inferencias que se pueden sacar de cada caso (Cronbach, 1980:7).
a. Causalidad y Validez
Otros factores externos podran conducir a una subestimacin o sobreestimacin del impacto del programa evaluado. As, en la evaluacin del programa de formacin al que nos hemos venido refiriendo, la situacin relativamente ms grave y de fuerte desempleo que pudiera sufrir el rea geogrfica
donde estos programas suelen desarrollarse podra efectivamente resultar en
una subestimacin del impacto de la intervencin. En sentido contrario, la incorporacin en el programa de personas desempleadas con un perfil relativamente bueno para encontrar trabajo, podra producir el efecto contrario de sobreestimar el impacto del programa. (Langbein, 1980:38)
En resumen pues, la validez interna de la evaluacin depende de la identificacin y control de todas las variables externas que pueden influir en la relacin
causal. Esta es la cuestin que ha ocupado, de forma central, a la literatura que
adopta el paradigma racional cientfico-clsico de la evaluacin por objetivos.
XO
donde X representa el programa
y O representa la observacin (56).
1. Historia
Los resultados obtenidos en esta primera evaluacin podran ser debidos al programa, pero tambin a hechos o experiencias vividos por las
(56) Esta notacin es la utilizada por toda la literatura desde que fuera adoptada por Campbell y Stanley en 1966. Vid. por ejemplo, ShorteJl y Richardson, (1978: 39).
114
SEGUNDA PARTE
2. Maduracin
Los resultados en esta primera evaluacin tambin podran ser debidos
a cambios subjetivos experimentados por las mismas participantes durante
el desarrollo del programa.
Maduracin, a diferencia de Historia que tiene que ver con hechos
externos al individuo, se refiere a procesos que ocurren en la misma persona (57).
3. Test
Supongamos que se hubiera suministrado un test con anterioridad al inicio
del programa para determinar el nivel de conocimientos de las participantes.
El diseo utilizado en esta evaluacin podra ser representado grficamente de
la siguiente manera:
Los resultados del segundo test podran ser debidos, no tanto al efecto del
programa, como al hecho de haber hecho un primer test. En este sentido, el
pretest podra haber transferido algunos conocimientos de forma que las participantes habran obtenido mejores resultados en el segundo test, independientemente del programa. El efecto del test no opera siempre en el sentido de
afirmar los efectos del programa: podra ocurrir que la realizacin de un segundo test produjera una ansiedad tal en las participantes que las llevara a obtener peores resultados que en el primer test (58).
(57) Weiss se refiere al cambio experimentado a cierta edad por algunos jvenes delincuentes y que
les lleva a optar por una vida ms estable, lo que indudablemente podra mejorar los resultados de un programa de rehabilitacin y prevencin de delitos (Weiss, 1972: 62).
(58) Campbell y Stanley (1973: 24) ponen un ejemplo que ilustra muy bien el efecto reactivo del primer test. En un experimento sobre terapia para el control del peso, dicen, el peso inicial puede ser un estmulo suficiente para el adelgazamiento, an sin tratamiento curativo alguno.
115
4. Instrumentacin
Los resultados de una evaluacin que utiliza un diseo como el descrito de
pretest-postest pueden, en ocasiones, ser cuestionados en base a cambios en
los instrumentos de medicin de resultados: esto es, si los cuestionarios suministrados antes y despus del programa no son idnticos, si los entrevistadores
u observadores no son los mismos, o si las preguntas se hicieron de forma distinta. En este sentido, se afirma que los instrumentos de medicin deben ser
fiables y vlidos.
5. Regresin Estadstica
Lgicamente, las personas seleccionadas para diferentes niveles de cataln lo seran en funcin de sus resultados en el pretest. Para aquellos casos de resultados extremos (niveles muy bajos o muy altos de conocimientos), al hacer una nueva prueba, sus resultados tenderan a acercarse a la
media, independientemente de los efectos del programa. De alguna forma,
el error negativo o positivo que experimentaron unos y otros en el primer
test no se mantendra en el segundo, por lo que cabra esperar que los primeros obtuvieran mejores resultados, y que los segundos obtuvieran peores
resultados en promedio.
6. Seleccin
Con el objeto de evitar los problemas asociados con el test, y al mismo
tiempo las amenazas que representan la historia y la maduracin, se podra
eliminar el test y aadir un grupo de comparacin, de forma que el diseo de
la investigacin quedara de la siguiente forma:
Al aadir un grupo de comparacin, sin embargo, la seleccin diferenciada de las personas que integraran este grupo podra ser una importante fuente
de invalidez. En la medida que los grupos no fueran equivalentes, los resultados podran ser debidos a diferencias en la edad, en el nivel de estudios, el1 la
extraccin social. .. , que nada tendran que ver con el hecho de recibir o no recibir los cursos.
116
SEGUNDA PARTE
7. Mortalidad
Las diferencias entre los dos grupos tambin podran ser debidas a una diferente proporcin de casos perdidos para los dos grupos. En este sentido, podra ocurrir que las personas que peores resultados hubiesen obtenido en el
test final abandonaran los cursos antes de su finalizacin, o que algunas de las
personas del grupo de comparacin decidiesen no cooperar en el momento de
realizar el test.
3. Situacin
Esta amenaza se refiere a mltiples factores que pueden darse en el caso
concreto estudiado y que pueden influir directamente en los resultados del
117
programa. Podra ser, por ejemplo, que los resultados se den por razn de un
profesor excepcionalmente bueno, porque las participantes saban que estaban
siendo objeto de una especial atencin y contribuyendo por tanto a probar la
eficacia de un nuevo mtodo, o por razn del lugar o momento histrico en el
que se realiza el programa.
C. DISEOS DE INVESTIGACION
a. Diseos Experimentales
Tericamente, el diseo de investigacin ms potente que se puede utilizar
al evaluar el impacto de un programa es el diseo experimental (Bingham y
Felbinger, 1989: 15).
Este diseo utiliza grupos experimentales y grupos de control. De la poblacin objeto del programa, se seleccionan individuos (clases, barrios, ciudades) y se asignan de forma aleatoria al grupo que obtiene el programa -grupo
experimental- y a un grupo de control que no recibe el mismo tratamiento.
Esto no significa que no reciba tratamiento alguno ya que siempre se intenta
que el grupo de control reciba algn servicio alternativo para evitar el efecto
Hawthorne, esto es, que se produzca un resultado positivo en el grupo experimental debido, meramente, a la mayor atencin que recibe.
Una vez establecidos los grupos experimentales y de control, se toman
medidas de las variables ms relevantes, antes de empezar el programa y una
vez se considera terminado; y se entiende que el programa fue un xito si el
grupo experimental obtiene mejores resultados que el grupo de control.
El poder de este modelo radica en la asignacin aleatoria de los individuos a
cada uno de los dos grupos. Esto garantiza que el tratamiento o el programa al que
es asignado cada individuo no tenga relacin alguna con sus caractersticas personales de forma que, si el nmero de sujetos estudiados es bastante grande, aumentan las probabilidades que las caractersticas de todos ellos sean aproximadamente
las mismas. Al conseguir una comparabilidad cuasiperfecta, el diseo experimental permite eliminar la mayor parte de las amenazas a la validez interna (historia,
maduracin, seleccin...) y, por tanto, la posibilidad de que efectos externos al
programa se confundan con los de ste. (Rossi y Freeman, 1985:236) (59).
Mientras que la forma en que se distribuyen las unidades de anlisis a cada grupo --experimental y de control- afecta a la validez interna, la forma
(59) Un buen instrumento para medir si una persona conduce bajo los efectos del alcohol es el anlisis
de sangre puesto que la probabilidad de error es mnima y de lo que se trata es de determinar el nivel de alcohol en su sangre. En cambio, no parece una medida ni fiable ni vlida, la opinin subjetiva de los agentes
de polica (Rossi y Freeman, 1985: 201).
118
SEGUNDA PARTE
A
A
b. Diseos Cuasiexperimentales
En la prctica, la implementacin de un verdadero experimento resulta difcil, tanto por la forma en que se administran los programas y que raramente
tiene en cuenta su evaluacin, como porque la asignacin aleatoria de personas a grupos experimentales y de control puede par~cer injusta o hasta contraproducente, o simplemente, porque el evaluador entra en contacto con el programa con posterioridad a su puesta en marcha.
(60) Para una descripcin ms detallada de estos diseos, Vid. por ejemplo, Bingham y Felbinger
(1989: 17-57).
119
0 1 O2 0 3 0 4 X 05 0 6 0 7 0 8
0 1 O2 0 3 0 4 05 0 6 0 7 0 8
La figura 4 ilustra de fonna grfica la idea del diseo de series temporales
con grupos de comparacin, para un caso en el que existe un claro impacto del
programa.
No tratados
-Programa
120
Tiempo
SEGUNDA PARTE
Al no existir distribucin aleatoria previa de los casos a los grupos que reciben el programa y que hacen de controles, la validez de este diseo depende
en gran medida de si el grupo de control adoptado se parece, en todos los aspectos relevantes, al grupo que recibe el programa. Si los dos grupos son efectivamente comparables, la evaluacin ser internamente vlida.
2. Series Temporales
Al igual que el diseo de las series temporales con grupos de comparacin, este diseo se basa en el anlisis de las tendencias en las medidas de impacto, antes y despus de una intervencin. En realidad, se trata del mismo diseo sin un grupo de comparacin. El control en este caso es el mismo grupo
que recibe el programa, antes que ste se produzca. (Langbein, 1980: 102)
Este es un diseo adecuado cuando el evaluador dispone de series temporales de datos sobre los valores del indicador de resultados del programa, pero
no puede construir un grupo de control equivalente, o no dispone de datos
concurrentes, anteriores y posteriores al programa para el grupo de control.
Al no existir un grupo de control, sin embargo, resulta ms difcil determinar si los cambios observados en las series temporales son debidos al programa o a factores externos no controlados. En este sentido, el cambio de tendencia observado podra ser debido a un hecho que ocurriera al mismo tiempo
que se introduca el programa (61).
121
/Tratados
~
L...-
No tratados
X - - - - - _ Tiempo
122
SEGUNDA PARTE
Otra limitacin de este diseo deriva de la falta de informacin longitudinal sobre las medidas de resultados, lo que impide determinar si los resultados
del pretest son normales. En este sentido, la presencia de puntuaciones extremas, ms que los efectos mismos del programa, podran explicar las diferencias observadas. (Langbein, 1980: 100)
Tratados
' - - - - - - - - - - - - " - - - - X - - - Renta
(63) Este ejemplo es una adaptacin del utilizado por Langbein (1980: 95) y que se basa en la evaluacin del impacto de un programa de la Farmer's Home Administration, la agencia federal norteamericana
que se ocupa de los programas de vivienda en el mbito rural.
123
Segn este grfico, el valor de las viviendas para aqullos cuya renta se sita justamente por debajo del nivel mximo aceptado por el programa, es mayor que el valor de las viviendas de aqullos cuya renta se sita justo por encima de este valor frontera y que determina el que no puedan beneficiarse del
programa. Cabra afirmar, por tanto, que el programa tiene impacto en base a
que se puede esperar que, primero, en la medida que aumenta el nivel de renta, aumente el valor de las viviendas, y segundo, que los sujetos justo por encima y por debajo del punto de corte son equivalentes y nicamente se diferencian en que unos no podan participar en el programa y los otros s.
Este diseo es de muy limitada aplicacin, segn Campbell y Stanley
(1973: 118), ya que requiere un criterio muy claro (generalmente un nmero)
en base al cual distinguir los dos grupos de comparacin.
c. Diseos No Experimentales
Los diseos no experimentales se caracterizan por la utilizacin de procedimientos estadsticos para controlar la influencia de factores externos al programa evaluado que podran llevar a confusin sobre sus verdaderos efectos.
Es pues, en la forma de controlar estos factores externos al programa que los
no experimentos se diferencian tanto de los diseos experimentales como de
los diseos cuasiexperimentales (Langbein, 1980:113).
124
SEGUNDA PARTE
En los diseos experimentales, la asignacin aleatoria de los sujetos estudiados a grupos experimentales y de control distribuye los posibles efectos externos al programa de forma aleatoria entre los dos grupos. En los diseos
cuasiexperimentales, generalmente de carcter retrospectivo, el evaluador procura identificar las caractersticas del grupo que recibe el programa, para despus formar un grupo de comparacin idntico, o en su defecto, similar en todas las caractersticas relevantes, al grupo tratado. Ya sea a travs de
procedimientos aleatorios o agrupando sujetos de forma que, individualmente
o en trminos agregados, sus caractersticas se correspondan con las del grupo
experimental, uno y otro diseo procuran eliminar todas las posibles fuentes
de variacin entre grupos de tratados y de no tratados, que no sean debidas al
propio programa.
El no experimento, en cambio, analiza los resultados para un nico grupo
de sujetos que pueden presentar variaciones respecto tanto a su participacin
en el programa como a otros factores, para, a travs de mtodos estadsticos,
eliminar las posibles diferencias entre estos sujetos que no sean debidas a la
propia intervencin.
Lgicamente, en los no experimentos, como en los cuasiexperimentos, el
evaluador controla todos aquellos factores externos al programa que conoce.
Siempre existe, sin embargo, la posibilidad de una variable explicativa del proceso causal no controlada. El problema de la variable que el evaluador no llega
a incluir en su modelo es pues un problema importante para este tipo de diseo.
La regresin mltiple es la tcnica estadstica en la que se fundamenta la
mayor parte de los no experimentos en el contexto de la evaluacin de programas. (Bingham y Felbinger, 1989: 156) El anlisis de regresin permite determinar el impacto del programa, de cada una de las posibles variables externas
consideradas y de cualquier otro factor no medido, en la variable que mide los
resultados del programa. Su frmula general es la siguiente:
donde el primer coeficiente de regresin (b)) indica la influencia del programa (X) en la variable dependiente (Y) cuando todos los dems factores externos al programa (Z) son constantes, mientras que los coeficientes de regrebn miden la influencia de todos estos otros factores (Z) en Y
sin b2 , b3
cuando X es constante. El factor error (e) representa todas las dems variables
externas, independientes del programa que nicamente afectan a Y. Finalmente a es el punto en el que la lnea de regresin cruza el eje de las Y, de
importancia secundaria para la evaluacin.
Con este tipo de anlisis, siempre que exista un nmero suficiente de
observaciones y el modelo sea correcto, es posible determinar el impacto
oo.
125
de cada una de las variables independientes (en nuestro modelo, X o Z) separadamente, lo que permite cuantificar de forma directa el impacto del
programa (64).
En resumen, ante las dificultades que presenta la realizacin de verdaderos experimentos en la prctica, muchas evaluaciones recurren a la utilizacin
de diseos cuasiexperimentales y no experimentales que se caracterizan por
no requerir la distribucin aleatoria previa de las unidades de anlisis, y en
cambio, permiten el control de si no todas, algunas de las amenazas a la validez interna y externa de las evaluaciones. En el anexo a este captulo, recogemos algunos ejemplos de evaluaciones reales que utilizan diseos experimentales, cuasiexperimentales -de series mltiples, de grupos de comparacin no
equivalentes, y de discontinuidad en la regresin- y un caso de una evaluacin por mtodos estadsticos.
(64) Para una explicacin ms detallada de la evaluacin por mtodos de control estadsticos, Vid.
Langbein (1980: 113-156).
126
ANEXO AL CAPITULO IV
EJEMPLOS DE EVALUACIONES DE
ACUERDO CON EL PARADIGMA
CIENTIFICO-CLASICO
1. EXPERIMENTOS
A. EL MAYOR EXPERIMENTO DE RENTAS MINIMAS E IMPUESTO
NEGATIVO: EL SEATTLE-DENVER INCOME MAINTENANCE
EXPERIMENT (65)
El llamado Seattle-Denver Income Maintenance Experiment (SDIME)
fue el ltimo de una serie de cuatro grandes experimentos desarrollados a finales de los aos sesenta, principios de los setenta, para medir el posible
efecto desincentivador de las transferencias y subvenciones a personas concretas, en su esfuerzo por integrarse en el mercado de trabajo y obtener un
empleo estable (66).
Este era un tema importante para instituciones como la Office of Economic Opportunity que desarroll el NJGWIE, porque las polticas de ayuda a
las personas o familias que no alcanzaban un nivel mnimo de ingresos eran, a
menudo, criticadas en base a teoras econmicas que demostraban de forma
numrica como, cuanto ms elevado era el nivel de renta garantizado por las
instituciones pblicas, menor era el esfuerzo por trabajar de los grupos de poblacin ayudados.
El diseo bsico de todos estos experimentos era bastante simple aunque
su implementacin fuera mucho ms compleja. Por una parte, los sujetos eran
asignados de forma aleatoria a uno de los varios tratamientos considerados, es
decir, distintas combinaciones de nivel de renta garantizado y tasa impositiva,
o a un grupo de control. Por otra parte, su esfuerzo por encontrar trabajo era
medido a travs de variables como lo que ganaban por semana o el nmero de
horas trabajadas, tambin, por semana.
En el caso del SDIME, el experimento fue en realidad diseado para probar el efecto de dos clases de programas en el esfuerzo laboral de sus participantes: los programas del impuesto negativo, y distintas combinaciones de
programas de asesoramiento laboral y formacin ocupacional.
(65) Para la preparacin de este ejemplo se ha utilizado el trabajo de Skidmore (1989).
(66) El primer experimento a gran escala en esta rea del bienestar social fue el New Jersey Graduated Work Incentive Experiment (NJGWIE) que dur siete aos y cost ms de ocho millones de dlares.
El diseo de este experimento fue seguido por todos los experimentos posteriores, el Rural Experiment,
el Gary Experiment y el mismo SDIME, que adems se beneficiaron de los fallos cometidos en esta primera experiencia puestos de relieve en el amplsimo debate que sigui la publicacin de sus resultados en
1973. Vid. Rossi y Lyall (1976).
129
El programa del impuesto negativo parta de un nivel mximo de beneficio o nivel de garanta, que era lo que se asignaba a la familia que no tena otra fuente de ingresos, y estableca diferentes tasas de reduccin del
beneficio o tasas impositivas, en funcin de las cuales el beneficio mximo era reducido a medida que la familia consegua beneficios extra experimentales.
La combinacin de la garanta, que tena en cuenta el tamao de la familia, y de la tasa impositiva, defina un nivel de renta en el cual el beneficio era igual a cero. Los familias cuya renta se situaba por encima de este
nivel no reciban ms beneficios, aunque podan volver a recibirlos si su
nivel de renta caa por debajo de este nivel antes de que terminase el experimento.
La cantidad a la que tena derecho cada familia era calculada cada mes, de
acuerdo con un informe mensual sobre la renta que deban presentar todos los
participantes en el programa mensualmente. Segn Skidmore (1989:85) la incidencia de fraude deliberado fue baja y se establecieron mecanismos sancionadores para corregir este tipo de prcticas que ponan en peligro la validez
del experimento.
Como en todos los experimentos de esta clase, se probaron diferentes
planes de impuesto negativo para as poder determinar cmo variaba el
comportamiento en respuesta a distintas versiones del mismo programa.
La figura 7 muestra los once planes que resultaron de combinar tres niveles de garanta y cuatro tasas impositivas, dos de ellas constantes y dos variables que disminuan en un 5% por cada 1.000 $ de renta de trabajo extra
experimentales.
50%
70%
70%
(variable)
80%
(variable)
3.800 $
4.800 $
5.600 $
130
SEGUNDA PARTE
El programa de asesoramiento laboral tena pdr objeto que los participantes en el programa descubrieran, con la ayuda de profesionales especializados, ocupaciones de su inters, en qu consistan, el tipo de formacin que
requeran y los canales usuales a travs de los cuales se poda conseguir
aquel tipo de trabajo. Tambin se les instrua en la redaccin de currculums
y en la prctica de las entrevistas con posibles empresarios.
El programa de formacin para la ocupacin tena un carcter muy flexible y abierto puesto que bsicamente consista en una subvencin econmica
que poda cubrir bien el 50%, bien el 100%, de cualquier programa educativo
o de formacin profesional que el participante escogiera entre los aprobados
por el programa.
La razn por la que se incluy este segundo componente en el SDIME fue
para determinar si una mejor informacin sobre el mercado de trabajo y/o una
mejor educacin y/o formacin ocupacional poda compensar el efecto desincentivador en el esfuerzo para buscar trabajo que poda producir el programa
del impuesto negativo. Esto se pudo realizar experimentando con cuatro combinaciones bsicas de los dos programas:
1.
2.
3.
4.
Los resultados fueron negativos en la casi totalidad de pruebas realizadas para los dos programas. Es decir, las distintas combinaciones de planes
de impuestos negativos tenan un impacto claramente negativo en las horas
trabajadas por ao y lo mismo ocurra con los programas de asesoramiento y
formacin.
En ambos casos, los resultados fueron presentados de forma diferenciada
para hombres, mujeres y mujeres cabezas de familia donde no haba un hombre presente. Tomando las medidas del segundo ao, una vez todas las personas includas en los grupos experimentales haban tenido suficiente tiempo para adaptarse a su nueva situacin y antes de que empezaran a cambiar su
comportamiento con vistas al final del experimento, el porcentaje de reduccin de horas de trabajo fue del 9% para los hombres, del 20% para las mujeres y del 14% para las mujeres cabezas de familia sin marido.
Adems, los cambios para los grupos de cinco aos eran mayores que los
que experimentaban los grupos de tres aos, y ambos grupos, hombres y mujeres tendan a buscar trabajo de forma ms intensiva que las familias que formaban los controles, cuando se aproximaba el final del experimento.
El programa de asesoramiento laboral y formacin ocupacional tampoco
tuvo los efectos deseados ya que incida negativamente, tanto en las rentas de
trabajo como en las horas trabajadas a corto y medio plazo. Unicamente el
programa de sesiones de asesoramiento laboral para las mujeres cabezas de
familia pareca tener un impacto positivo.
***
B. EL EXPERIMENTO DE LOS BONOS DE VIVIENDA (67)
Un tema central en la literatura de la economa del sector pblico es si el
gobierno debe producir y distribuir los bienes y servicios o si, por el contrario,
las personas que tendran que beneficiarse de estos bienes y servicios deberan
simplemente recibir una transferencia dineraria del gobierno que les permitiera acudir al mercado y cubrir sus necesidades de la forma que estimaran ms
oportuna.
En el contexto de las polticas de la vivienda tambin se reproduce esta
discusin. La principal estrategia seguida por todos los gobiernos en este campo ha sido la de aumentar la oferta de viviendas de calidad mnima para personas con niveles de renta bajos, a travs de la construccin de viviendas pblicas
(67) La descripcin del llamado Experimental Housing Allowance Program se basa en el libro de
Struyk y Bendick (1981) sobre este mismo experimento.
132
SEGUNDA PARTE
o de la promocin de viviendas privadas mediante mecanismos de financiacin de hipotecas a tasas de inters por debajo de los precios de mercado.
La alternativa a estas polticas se plantea en los EEUU desde los aos
treinta y consiste en orientar los programas pblicos hacia la demanda, recurriendo para ello a la idea de los housing vouchers, es decir, las subvenciones directas a las personas para que incrementen su poder adquisitivo y, unas
veces de forma obligatoria y otras no, apliquen una parte importante de este
poder adquisitivo aumentado, en una vivienda de mejor calidad.
Existan, sin embargo, algunas reservas en tomo a las posibles respuestas
a estos subsidios del lado de los ofertantes de vivienda (aumentaran simplemente los precios de las mismas viviendas?) y sobre cmo utilizaran los beneficiarios de estos programas, el dinero que era puesto a su disposicin.
Para resolver estas y otras cuestiones de forma emprica, el Congreso de
los EEUU y el US Department of Housing and Urban Development pusieron en marcha, en 1970, el Experimental Housing Allowance Program que
consista, bsicamente, en dar dinero en efectivo a las familias con un nivel de
renta bajo para que se aseguraran, por s mismas, una vivienda juzgada por el
programa como adecuada. El montante de la subvencin era determinado en
cada caso concreto, teniendo en cuenta el coste de una vivienda que reuniese
una serie de condiciones mnimas en el mercado local, y la capacidad de cada
solicitante para pagarla.
El EHAP afect a ms de 30.000 unidades familiares en doce ciudades
distintas. El coste total del experimento fue de unos 160 millones de dlares y
dur ms de diez aos. En realidad fueron tres experimentos en uno, debido a
las muchas cuestiones que deba responder. As, sus diseadores distinguan
entre el experimento de la demanda, el experimento de la oferta y el experimento de las administraciones encargadas de su gestin.
El experimento de la demanda afect a 1.800 familias en Phoenix, Arizona, y a otras 1.800 en Pittsburg, Pennsilvania. Su propsito era examinar la reaccin de las personas afectadas en cuanto a participacin, movilidad y gasto
en vivienda, y su variacin con distintos tratamientos, frmulas de pago, cantidades o con el estableciemento de distintos niveles de exigencia en relacin
con los requisitos mnimos que deba cumplir cada vivienda.
El experimento de la oferta afect a ms de 16.000 familias en Green Bay,
Wisconsin, y South Bend, Indiana. Su propsito era aumentar el nivel de demanda de servicios de vivienda en un mercado local y observar las respuestas
de los agentes del mercado en cuanto a cantidad, calidad y precio de la oferta.
El experimento de las administraciones afect entre 300 y 900 familias en
ocho ciudades distintas de los EEUU. El propsito de este tercer experimento
era observar el comportamiento de las administraciones territoriales a la hora
de gestionar un programa federal de estas caractersticas.
133
SEGUNDA PARTE
3. El posible efecto inflacionista en el precio de los alquileres no tuvo lugar debido probablemente, tanto a los bajos niveles de participacin
como al hecho mismo que el dinero slo fue utilizado, en una mnima
parte, para mejorar las viviendas. Desde este punto de vista, el programa no fue lo bastante generoso y, a la vez, exigente con sus participantes, como para tener un impacto en los mercados locales donde se desarroll el experimento. En este sentido, hasta la inicial oposicin al
programa de algunas comunidades locales por temer la inmigracin
masiva de grupos tnicos minoritarios, remiti al comprobarse que el
programa no tena el impacto esperado.
4. Finalmente, el programa sirvi para poner de relieve algunos problemas relacionados con la seleccin de sus participantes, especialmente
en cuanto a la documentacin que deban aportar para probar su condicin econmica. Tambin sirvi para demostrar que el nico servicio realmente valorado por los participantes era aqul que les proporcionaba informacin sobre dnde podan encontrar viviendas
disponibles, sobre todo en las ciudades con problemas de vivienda.
2. CUASIEXPERIMENTOS
A. UN CASO DE SERIES TEMPORALES MULTIPLES: LA
EVALUACION DEL SUPPLEMENTAL SECURITY INCOME (68)
En los EEUU, como en otros pases capitalistas desarrollados, existen varios
programas sectoriales en el rea del bienestar social que afectan a distintos grupos
de poblacin. Uno de estos programas, el Supplemental Security Income(SSI)
fue instituido en 1974 con el propsito de garantizar un nivel de renta bsico a grupos de poblacin especficos: personas de edad avanzada, ciegos e incapacitados.
En 1979, Albritton (1979) public los resultados de una primera evaluacin de este programa donde pona de manifiesto el aumento en el nmero de
personas cubiertas entre los grupos objetivo, y el avance significativo en los
beneficios mensuales que reciban estas mismas personas, gracias a la intervencin (69). Albritton debera tener, sin embargo, algunas dudas sobre el impacto del programa a largo plazo, por lo que decidi repetir su anlisis en
1986 (Albritton y Witayapanyanon, 1989), aadiendo, en esta ocasin, nuevas
observaciones del perodo post-programa.
(68) Para redactar este ejemplo hemos utilizado el texto de Albritton y Witayapanyanon (1989).
(69) En realidad, el anlisis se reduca a personas de edad y a incapacitados ya que los ciegos, o bien
tenan otras ayudas o bien conseguan y mantenan sus empleos, por lo que de hecho, no exista un nmero
significativo de ciegos que se beneficiaran de este programa.
135
E,!! I.QO,9s
E!L!.QQOs
E!!.lQQO.os
Nmero de casos
Intervencin
3000
ro
Ao
125,....--------------,
Intervencin
100
75
50
25
~u.......
OL...o..L.........,
@
Ao
136
ro
..........
~
SEGUNDA PARTE
137
grupo de control era especialmente difcil en este caso por el carcter voluntario
del programa y porque, como haban demostrado otros investigadores, los participantes en programas voluntarios de ahorro energtico acostumbran a consumir
ms energa que el cliente medio. Newcomb solucion este problema, importante desde el punto de vista de la validez interna de la evaluacin, seleccionando
como grupo de control a un conjunto de personas que, de acuerdo con el plan de
la empresa, no veran sus casas aisladas hasta el ao siguiente.
Para asegurarse de que ambos grupos eran similares antes de que tuviera
lugar el programa, Newcomb utiliz datos de tres fuentes distintas:
Primero, de las inspecciones previas realizadas gratuitamente por la compaa a todos aquellos clientes que las solicitaban. Estas inspecciones recogan datos sobre superficie de las viviendas; nmero de ocupantes y sistema de calefaccin utilizado.
Segundo, de un sondeo por correo a una muestra representativa de cada
grupo en el que se preguntaba a los participantes en el programa sobre las
razones por las que decidieron participar en el programa, y sobre las acciones que haban tomado por si mismos para aislar sus casas con anterioridad al programa.
Tercero, de los contadores de electricidad de cada vivienda que indicaban
el consumo de electricidad de cada cliente, por perodos de dos meses.
Segn Newcomb, los datos recogidos revelaban pocas diferencias entre el
grupo experimental y el de control. Unicamente haba un nmero superior de
controles que expresaban como razn para participar en el programa, el ahorro
en su factura de electricidad. Ambos grupos se podan pues considerar similares y lo nico que les diferenciaba era el hecho que unos, el grupo experimental, recibieron el programa de aislamiento en 1981, mientras que los otros, el
grupo de control, tuvieron que esperar hasta 1982.
La evaluacin en s consisti en calcular los valores medios de consumo
de energa, para uno y otro grupo, antes y despus que el grupo experimental
recibiera el programa. Es decir, se tomaron medidas correspondientes a dos
inviernos, para los dos grupos: para el grupo experimental antes del programa
(de septiembre de 1980 a mayo de 1981) y despus del programa (de septiembre de 1981 a mayo de 1982); y para el grupo de control, antes de que el grupo experimental recibiera el programa (de septiembre de 1980 a mayo de
1981) y despus de que el grupo experimental recibiera el programa (de septimebre de 1981 a mayo de 1982).
El clculo de la energa ahorrada por grupos se presenta en la figura 10.
La primera columna expresa las diferencias en el consumo de energa, por perodos de dos meses anteriores y posteriores al programa, para el grupo expe138
SEGUNDA PARTE
rimental. La segunda columna expresa lo mismo para el grupo de control. Finalmente, la tercera columna expresa el ahorro neto de energa debido al programa. De acuerdo con los datos de este cuadro, el ahorro total para los diez
meses estudiados fue importante para todos los perodos estudiados.
Perodos
Comparacin
Cambios Grupo
Experimental
Cambio Grupo
Control
Cambio Neto
Septiembre
1981
menos
Septiembre
1980
- 31 Kwh/2 mes
- 82 Kwh/2 mes
Noviembre
1981
menos
Noviembre
1980
- 454
131
- 585
Enero 1982
menos
Enero 1981
- 164
735
-- 899
Marzo 1982
menos
Marzo 1981
- 273
460
- 733
Mayo 1982
menos
Mayo 1981
- 379
405
-784
139
140
SEGUNDA PARTE
66
_ ~---
~
::
62
58
G __ -
54
42
G'
1-~~~t\L
~ ~-V \j y-H
Estud'an es reco en ados
ado s e
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Notas examen aptitud
q",
46
JJ'
~"'* PI'""~';;;f:'"ig'dm
: ::t:::; ~J
18
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 1920
Notas examen aptitud
141
como para dudar de los efectos del programa en los planes de estudio de los
estudiantes. La confirmacin de la hiptesis a favor de que hubo efectos se
podra basar en el hecho de que todos los puntos de la lnea entre el 11 y el 20
se situaran por encima de la lnea extrapolada para el intervalo del 1 al 10.
Por fin, no haba ambigedad alguna con respecto a la figura 13, lo que
pona difcil afirmar que el programa tuvo efecto alguno en la actitud de los
premiados hacia el intelectualismo.
3. NO EXPERIMENTALES
A. UN CASO DE EVALUACION NO EXPERIMENTAL:
LA EVALUACION DE PROGRAMAS DE AHORRO ENERGETICO (72)
El anlisis de regresin tambin ha sido utilizado para estimar los efectos a largo plazo de los programas de conservacin de energa desarrollados por las compaas del sector. Hirst y Goeltz (1989) utilizaron este diseo en su evaluacin de los
programas de una empresa distribuidora de gas natural que opera en el estado norteamericano de Minnesota y que serva a unas 750.000 viviendas en 1985.
Para esta evaluacin, Hirst y Goeltz recogieron varios tipos de informacin a partir de las facturas de gas y de dos sondeos, uno por telfono y otro
por correo. Concretamente, recogieron datos, tanto para participantes en el
programa como para no participantes, sobre los siguientes puntos:
1. Consumo de gas natural mensual, desde octubre de 1980 a mayo de
1984 para 581 viviendas. La muestra de participantes fue elaborada
entre los que reibieron los servicios del programa entre abril de 1981
y junio de 1982, con lo que obtenan medidas de consumo, antes y
despus de la intervencin.
2. Temperaturas diarias en el exterior, ya que, de forma previa al anlisis
propiamente dicho, normalizaban el consumo de gas en funcin de las
diferencias de tiempo atmosfrico en tres puntos distintos del estado.
3. Caractersticas estructurales, demogrficas y socio-econmicas de las
viviendas (superficie, nmero de personas, renta, etc.)
4. Acciones tomadas en el pasado e independientemente del programa
destinadas a ahorrar energa.
Los resultados del anlisis de regresin son parcialmente reproducidos en
la figura nmero 14. Como era de esperar, el consumo de gas aumentaba con
la edad de la vivienda, el tamao, el nmero de personas que habitaban en ella
y con la renta. Si el gas era utilizado como fuente de energa para calentar el
(72) Este ejemplo ha sido desarrollado a partir del trabajo de Hirst y Goeltz (1989).
142
SEGUNDA PARTE
Superficie
0,0144
N mero de personas
8,62
Renta
0,770
-7,21
Variables binarias
Agua calentada por gas
19,6
14,0
11,5
12,4
-7,2
-3,7
-4,0
-17,6
-22,9
-24,2
-1,1
-4,2
-4,1
143
CAPITULO V
LA EVALUACION PLURALISTA
1. INTRODUCCION
A. PROBLEMAS DE APLICACION
La evaluacin por objetivos en la forma que ha sido descrita requiere unas
condiciones bastante exigentes: primero, que los objetivos estn bien definidos, segundo, que sea posible identificar indicadores generales de eficacia o
de resultados, y tercero, que sea aplicable un diseo de investigacin que permita medir de forma vlida y fiable estos resultados.
Primero, en algunos casos puede resultar verdaderamente difcil la especificacin en trminos operacionales de los objetivos de los programas. Cuando
stos se desarrollan porque se percibe la necesidad de intervenir en relacin
con un determinado problema pero no est muy claro qu es lo que se puede
hacer ni cmo se puede hacer, generalmente se procede sobre la base de un
acuerdo muy general de actuar en una determinada direccin y se va corrigiendo el curso de accin en funcin de las cuestiones y de los problemas que
van surgiendo.
147
En otros casos, la especificacin de los objetivos puede incluso ser contraproducente. Cuando se trata de programas muy politizados, en los que convergen diversos intereses, la negociacin sobre objetivos muy concretos puede
desembocar en una situacin de conflicto. Para llegar a un cierto nivel de consenso, cuando las posturas son muy rgidas y enfrentadas, lo mejor que puede
hacerse es, precisamente, dejar la cuestin de los objetivos abierta.
Segundo, el modelo clsico de la evaluacin por objetivos puede tener
xito con programas bien definidos, susceptibles de ser analizados por partes
y que permiten la descripcin de un modelo de impacto con unas relaciones
causales claras. En este sentido, nos hemos referido a una serie de variables
que expresan la ralacin entre inputs y resultados finales, y a una serie de hiptesis (causal, de intervencin y de accin) que nos ayudan a reconstruir las
relaciones que tienen lugar en el mundo real. Muchos programas, sin embargo, son extremadamente complejos, disponen de mltiples y diferentes medios para conseguir objetivos mltiples y a veces hasta contradictorios, y presentan variaciones en funcin del lugar y del momento en que son analizados.
Ello hace difcil definir sus componentes, reconstruir la cadena de efectos buscados y, en consecuencia reducir el programa a un modelo simplificado que
permita una evaluacin clsica convencional.
Tercero, los principales problemas que presenta la aplicacin de los diseos de investigacin revisados tienen que ver con la formacin de grupos de
control y con la obtencion de mltiples medidas de una misma variable en intervalos perodicos de tiempo anteriores y posteriores a la intervencin.
De una parte, muchas veces, simplemente no ser posible crear un grupo
de control porque el programa sirve a todas las personas elegibles e interesadas. (Rossi y Freeman, 1985:208). Otras veces, las personas que podran servir de controles sern difciles de localizar o no querrn colaborar con un programa que, o bien ha rechazado su participacin, o bien simplemente
desconocen y no les ofrece nada a cambio.
La distribucin aleatoria de sujetos a grupos experimentales y de control
puede generar cuestiones de tipo tico por entenderse que, de una forma arbitraria, se est privando a un grupo de personas de unos servicios que, en principio son percibidos como beneficiosos. (Monnier, 1987:56). En pases donde
la experimentacin social se ha realizado con una cierta frecuencia, existen incluso disposiciones legislativas que impiden privar de un programa a individuos concretos que tienen derecho a l (73).
Aun cuando se consiguen formar grupos de control, siempre existe la posibilidad de amenazas a la validez del experimento:
(73) El Congreso de los EEUU prohibi la utilizacin de mtodos aleatorios en relacin con la experimentacin de algunos programas de educacin, segn Poland (1974: 334).
148
SEGUNDA PARTE
B. PROBLEMAS DE UTILIZACION
El recurso a los diseos experimentales y estadsticos ms sofisticados
tampoco se ha mostrado como una garanta para el uso efectivo de los resultados de las evaluaciones en el proceso de toma de decisiones poltico-administrativas. Entre las razones de la pobre utilizacin de los resultados de las evaluaciones cabe sealar, primero, que aqullos no se presenten a tiempo debido
a las exigencias metodolgicas de la misma evaluacin, y segundo, que los resultados finales no respondan a las necesidades de las personas que han de tomar decisiones sobre los programas o polticas evaluados.
Primero, las limitaciones de la evaluacin experimental para conectar con
el proceso poltico se pusieron de manifiesto con los primeros grandes experimentos sociales. En el caso de los programas del impuesto negativo, se puede
149
afirmar que las polticas cambiaron antes de que aparecieran los resultados de
sus evaluaciones, lo que pone de relieve la incompatibilidad entre la temporalidad de las decisiones poltico-administrativas que generalmente tienen que
producirse con rapidez, y la larga duracin de los experimentos. (Monnier,
1987:56). Concretamente, el primer programa del impuesto negativo (el NJGWIE) dur casi 7 aos desde su planificacin en 1967 hasta que se public el
ltimo informe en 1973. Los anlisis y crticas de este primer gran experimento llevaron a multiplicar las exigencias metodolgicas de forma que experiencias posteriores como el SDIME (comentado en el anexo al captulo anterior)
requirieron 5 aos nicamente para el tratamiento de algunos grupos, sin contar por tanto, el tiempo necesario para su seleccin y para el anlisis e interpretacin de sus resultados.
Obviamente, la realizacin de estos y otros experimentos fue sumamente
importante para la teora de los programas de intervencin social, en la medida que se pudo obtener estimaciones empricas de sus efectos, se pusieron
de relieve consecuencias no anticipadas de las intervenciones, y de forma
general se provoc una discusin que ha durado hasta nuestros das. El coste
de estos experimentos fue, sin embargo, muy elevado para las Administraciones que los financiaron, en la medida que sus resultados nunca fueron
utilizados directamente. Tomando nuevamente como referencia el programa
del impuesto negativo de New Jersey, el NJGWIE, su coste total se elev a
8 millones de dlares, un tercio de los cuales se gastaron en subvenciones a
las 1357 familias participantes (Langbein, 1980:71). El EHAP iniciado en
1970, el gran experimento en materia de vivienda (comentado igualmente en
el anexo al captulo anterior), dur mas de diez aos, afect a 30.000 familias en 12 ciudades diferentes y elev su coste total a 160 millones de dlares (Struyk y Bendick, 1981 :7-8).
Lgicamente, los grandes experimentos sociales de la llamada edad
dorada de la evaluacin fueron sustituidos por dispositivos experimentales
y cuasiexperimentales menos complejos y, por tanto, de un coste econmico inferior, pero que igualmente presentan complicaciones metodolgicas
importantes. En el caso de los anlisis de series temporales de datos ya hemos hecho referencia a la necesidad de medidas peridicas con posterioridad a la implementacin del programa, por lo que reaparece el problema de
la temporalidad.
Segundo, los principales problemas de utilizacin de los resultados de las
evaluaciones tienen que ver, sin embargo, con la estrechez del modelo de evaluacin por objetivos, dado que todo el proceso de evaluacin se concentra en
medir el grado en que se alcanzan un/unos pocos objetivos cuidadosamente
identificados y seleccionados, mientras que no ofrece informacin sobre otros
aspectos tan o ms importantes para el proceso de planificacin y decisin
150
SEGUNDA PARTE
poltica. En este sentido, las conclusiones de las evaluaciones se reducen a aspectos excesivamente tcnicos y carecen de la sensibilidad necesaria para formular conclusiones en trminos de implicaciones polticas ms amplias (Monnier, 1987:57).
A ello hay que aadir que, a menudo, los resultados son ambiguos, dado
que los efectos detectados son pequeos: las variables controladas explican
slo una parte de la variacin en los resultados y resulta difcil, por otra parte,
generalizar stos a otras situaciones o programas (Rossi y Wright, 1984:59).
Todo ello se traduce en una cierta incapacidad de prescripcin y de indicar por
tanto de forma clara qu curso de accin han de tomar los decisores polticos.
3. EVALUACION PLURALISTA
A. DIMENSION POLITICA DE LA EVALUACION
El propsito de la evaluacin es producir informacin sobre los efectos,
la implementacin y hasta los procesos de planificacin de las intervenciones pblicas, que sirva a los decisores polticos, administradores pblicos y,
en general, a aqullos que tienen capacidad para influir en las decisiones sobre acciones futuras. La evaluacin, sin embargo, tiene lugar en un contexto
poltico. Independientemente de los modelos de evaluacin especficos, se
puede afirmar que el conocimiento del contexto poltico de un programa es
una condicin necesaria, aunque no suficiente, para que su evaluacin tenga
alguna utilidad.
Ya nos hemos referido a una posible utilizacin partidista de la evaluacin
cuando se realiza con el propsito expreso de justificar una posicin o de ofrecer una deterininada imagen de una poltica o programa. Existe, sin embargo,
otra dimensin poltica de la evaluacin que tiene que ver con la estructura
institucional y las interacciones que se establecen entre el conjunto de actores
(no nicamente responsables polticos y administradores) que se relacionan
con un programa. Algunos autores (Palumbo, 1987:12; Weiss, 1987:97-48)
coinciden en destacar tres formas en que la evaluacin es poltica.
Primero, las polticas y los programas son propuestos, definidos, debatidos, financiados y aprobados a travs del proceso poltico. Su implementacin
y evaluacin estn sujetos a la dinmica poltica que se genera desde su discusin y negociacin. En este sentido, tienen defensores y detractores. A ellos se
asocian los nombres de personas concretas, polticos, funcionarios, profesionales especializados para los cuales respresentan adems un trabajo. Los programas generan igualmente expectativas entre los colectivos y las personas a
los que se dirigen, y hasta llegan incluso a crear una clientela.
151
SEGUNDA PARTE
La evaluacin pluralista representa el reconocimiento de la naturaleza poltica de la evaluacin. A diferencia de la concepcin racionalista-cientfica
descrita anteriormente, este modelo rechaza la idea de evaluacin imparcial y
objetiva de los resultados de un programa, para centrarse en la importancia de
los valores y de las opiniones de la pluralidad de actores que tienen que ver
con un programa.
Para una buena parte de la literatura reciente sobre la evaluacin de programas, lo que realmente cuenta son los valores, las opiniones y los intereses de los
actores. Como afirma Majone (1989:168), stos son importantes, no slo por la
dificultad de medir outcomes, de determinar las relaciones de causalidad entre
153
b. Evaluacin Util
El propsito de este modelo no es tanto la produccin de la evidencia emprica que ha de permitir a los decisores polticos y administrativos adoptar las
decisiones correctas, como responder a las necesidades de informacin del
conjunto de los actores. En este sentido, se asume que al ofrecer a stos la posibilidad de decidir qu tipo de informacin se recoja, se incrementan las probabilidades que los resultados de la evaluacin sean efectivamente utilizados.
(Pauon, 1986:330).
A su vez, el carcter flexible y adaptativo de la evaluacin pluralista representa un reconocimiento de la naturaleza dinmica y cambiante de los programas pblicos, especialmente en su etapa de planificacin y desarrollo, y de
la necesidad de responder con rapidez a las cuestiones que emergen durante el
proceso evaluador en relacin con la reformulacin del diseo y estrategia del
programa.
De forma general, la estrategia de este tipo de evaluaciones consiste en utilizar una variedad de fuentes de datos (entrevistas, discusiones en grupo, anlisis de documentos y de archivos, observaciones) con el objeto de conseguir un
elevado grado de familiaridad con el programa y con sus principales actores.
En la medida que son stos los que mejor conocen los detalles del programa, la
(74) Este autor, que construye su ltima aportacin en base a los conceptos de evidencia, argumentacin y persuasin en el proceso poltico, cree que la determinacin emprica slo tiene sentido despus de
alcanzar un consenso sobre los criterios de evaluacin.
154
SEGUNDA PARTE
evaluacin examina su experiencia concreta, su posicin en relacin con la organizacin, y sus opiniones y argumentaciones sobre el programa.
e. Evaluador-Mediador
SEGUNDA PARTE
b. Evaluacin Naturalista
Basndose en las ideas expuestas por Stake sobre la necesidad de una evaluacin que responda a las demandas, preocupaciones y cuestiones planteadas
por las personas que participan en el proceso evaluador, Guba y Lincoln formularon la alternativa ms radical al paradigma clsico de la evaluacin cientfica, a partir de la crtica de las propuestas positivistas de modelos anteriores,
y de la proposicin de 17 principios sobre los que se fundamenta la denominada evaluacin naturalista. (Guba y Lincoln, 1987:210-215).
Para Guba y Lincoln, la objetividad no es posible, porque los valores son
inherentes a cualquier anlisis, y el observador interacta con los observados.
Para estos autores, los conceptos de causalidad, validez interna y validez externa, prestados de la investigacin bsica, no son trasladables a la evaluacin.
(Mac Kelly, 1987:290-291).
Guba y Lincoln (1981 :42) distinguen entre el mrito -una propiedad no
determinada por el contexto-- y el valor -una propiedad que depende del
contexto-- y por tanto de valores, factores motivaciona1es y hasta caractersticas demogrficas. Para estos autores, si bien el mrito puede ser determinado a
travs de la investigacin cientfica, dado que no depende del contexto y es susceptible de generalizacin, el valor de un programa no puede ser determinado
de esta forma. Para determinar los valores y factores motivacionales, el evaluador tiene que tratar con las personas en su contexto. La evaluacin requiere por
tanto, estudios de campo que no pueden ser realizados d~ forma experimental,
sino que deben ser realizados de forma natural. Qu significa esto?
Mac Kelly (1987:290) ha definido la estrategia naturalista por oposicin a
la cientfica clsica, en los siguientes trminos:
Utilizar personas como instrumentos de recogida de datos ms que instrumentos de sondeo; utilizar el conocimiento intuitivo, sentido, tcito,
con el objeto de reflejar de forma ms adecuada el sistema de valores del
investigador; utilizar metodologas cualitativas ms que cuantitativas,
muestreos selectivos ms que muestras aleatorios y representativos, llevar
a cabo anlisis de datos de carcter inductivo, utilizando teoras bien establecidas y no hiptesis supuestamente sustantivas...
En cuanto al producto de la evaluacin, Guba y Lincoln (1987:219)
entienden que el evaluador ha de negociar los resultados del anlisis con
157
los participantes en la evaluacin para que sus percepciones y construcciones de la realidad sean incorporadas en el informe final, cuya aplicacion, por otra parte, debe limitarse al caso y asuntos especificados por el
estudio.
Indudablemente, este modelo se construye por oposicin al modelo
cientfico clsico. En este sentido, la insistencia en todas las opciones metodolgicas alternativas parece responder a una estrategia deliberada de sus
autores para recabar la atencin de la comunidad cientfica. Su aportacin
es, sin embargo importante, tanto por el tratamiento de la ambigedad mplicita en el tema de los valores y de las motivaciones, como por la consideracin de la evaluacin como un proceso dialctico entre las partes, cuyo
objetivo no es ni tan siquiera alcanzar un acuerdo, ya que a menudo no ser
posible, sino generar sinergias y enseanzas positivas para el futuro del
programa.
SEGUNDA PARTE
FIN
159
SEGUNDA PARTE
161
TERCERA PARTE
PRESENTACION DE LOS
ESTUDIOS DE CASO
Los estudios de caso del Plan Integral Roquetes (PIR) y de la Guardia Urbana de 1'Hospitalet de Llobregat (GUH) son presentados a continuacin con
el propsito de contrastar la teora de la evaluacin discutida hasta aqu, con
dos aplicaciones concretas.
Ambos casos nos han parecido relevantes por cuanto de ellos se pueden
derivar algunas implicaciones sobre:
1. la relacin entre caractersticas del programa y naturaleza de la
evaluacin;
2. la relacin entre el nivel de conocimiento e informacin sobre el programa y el tipo de evaluacin;
3. la validez, en general, de distintas opciones metodolgicas a la hora de
evaluar un programa.
En el primer caso, la evaluacin del PIR fue encargada por el Ayuntamiento de Barcelona al Grup d' Analisi Poltica de la Universitat Autonoma de
Barcelona en enero de 1990. Haba por tanto un cliente y una demanda de
evaluacin especfica. El informe final en cuya redaccin participamos, bajo
la direccin de J. Subirats, junto con R. Goma y J. Font, incluy 1) un examen
de la actitud y opiniones de los vecinos del barrio de Roquetes sobre el programa desarollado en su barrio; 2) el estudio detallado de cinco programas de
Insercin y Formacin profesional: y 3) el anlisis de la gestin poltica y administrativa del programa, y de los servicios prestados a la poblacin en cada
una de sus reas de intervencin (econmica, social, urbanstica y cultural) incluyendo una estimacin singularizada del coste de cada proyecto. (Grup
d'Analisi Poltica, 1991).
Reconstruimos aqu el proceso de formulacin del programa, dado que constituye un caso paradigmtico de formacin pluralista de una poltica en la que:
1. coinciden una serie de actores, cada uno con su sistema de valores e
intereses;
2. se genera un proceso poltico complejo en el que la formulacin no
siempre precede a la implementacin sino que emerge durante el curso
de la accin;
3. todo ello da lugar a un programa de caractersticas tales que su evaluacin de acuerdo con las prescripciones de los primeros modelos
167
de evaluacin, no solamente sera muy difcil, sino que deja de tener sentido.
De forma muy sinttica, el mensaje que se desprende de este estudio podra ser que cuando los programas sean ms como el PIR, menos aconsejable
ser centrar la evaluacin en el cambio experimentado por algunas caractersticas de la situacin observada, y ms adecuado ser, por el contrario,
adoptar una perspectiva de proceso y pluralista.
***
En el segundo caso, el de la evaluacin de los servicios de Polica Local,
fuimos nosotros quienes pedimos el acceso a las dependencias y archivos de
la GUH, con el objeto de estudiar un servicio que apareca justamente como
todo lo contrario del PIR, es decir, un servicio consolidado y estable en el que
era relativamente sencillo determinar los inputs, actividades y outputs que intervinen en su proceso de produccin.
Al mismo tiempo, eramos conscientes que las demandas de evaluacin se
producirn en relacin con servicios que raramente se administran por programas u objetivos. Como hemos visto en el Captulo 11, uno de los principales
problemas que presenta la evaluacin de programas en nuestro pas es la ausencia de una verdadera gestin por programas. Si bien es cierto que la Administracin utiliza con frecuencia los trminos plan y programa para referirse a un conjunto de acciones programadas para alcanzar uno o varios
objetivos, la falta de precisin de estos objetivos y, en general, la dificultad de
aislar los recursos afectados a un programa especfico en el seno de un aparato
administrativo complejo, hace difcil la operacionalizacin de los modelos de
evaluacin clsicos. Esta es, sin embargo, una caracterstica inherente del funcionamiento de las administraciones pblicas, lo que nos obligaba a plantear
si tena para nosotros algn sentido la evaluacin de programas en los tnninos discutidos y, en su caso, cmo se podran evaluar aquellos servicios que
no se estructuran conforme a unos objetivos y programas especficos.
El mensaje que se desprende de este estudio tiene que ver con las posibilidades de anlisis que ofrece la informacin que recogen de forma rutinaria y
continuada las policas locales y con la importancia de determinar y medir
aquellas variables que reflejan tanto la forma en que se presta un servicio como su eficacia global, cuando las caracterticas del programa lo permiten, e
independientemente de sus objetivos.
168
CAPITULO VI
EL CASO DEL PLAN INTEGRAL
DE ROQUETES
1. INTRODUCCION
La poltica de planes integrales de desarrollo como nueva forma de intervencin social en los barrios perifricos y degradados de la ciudad de Barcelona se inici con el PIR.
El PIR aparece como la versin barcelonesa de las polticas de desarrollo
de las inner cities norteamericanas y de sus variaciones europeas de mediados de los sesenta y setenta (75). Presenta, sin embargo, importantes singularidades fruto de su propio proceso de desarrollo, y de hecho, fue anunciado
dentro del contexto local, como una nueva forma de intervencin.
Sintticamente, podramos decir que con el PIR se intentaba: coordinar un
conjunto de intervenciones sociales a realizar sobre un territorio (el barrio de
Roquetes), con un objetivo global de desarrollo que pretenda dar respuesta a
las necesidades sociales ms sentidas en el barrio, con la participacin activa
y efectiva de los vecinos y de todos aquellos grupos que tuvieran un inters en
el programa.
Esta es una definicin del PIR en la que probablemente estaran de acuerdo sus principales protagonistas, dado su caracter global y agregador de visiones parciales distintas. Seguramente, sin embargo, el grado de consenso en
tomo a la definicin del programa se reducira en la medida que se intentara
precisar las consecuencias que cabra esperar de la coordinacin de intervenciones, del desarrollo generado por la intervencin pblica o de la participacin de personas que no pertenecieran a la Administracin impulsora.
y ello porque el PIR es el caso paradigmtico de un programa nuevo, donde convergen una diversidad de actores sociales que interpretan de formas diferentes la oportunidad que representa la intervencin y que por tanto, slo alcanzan a llegar a acuerdos sobre la base de no especficar objetivos y sus
consecuencias en trminos operacionales.
Para que se produzca un consenso a partir del cual impulsar un programa
pblico, como dira Monnier (1987:82), hay bastante con que exista una interdependencia entre las expectativas de unos y otros y que sus intereses sean
parcialmente satisfechos. Despus, cada actor perseguir sus propios intereses en el seno del programa e intentar maximizar los beneficios que le aporta
a travs de la negociacin.
(75) Sobre el programa federal norteamericano Model Cities, Vid. los comentarios de Caro (1971,
297-317), Y Weiss y Rein (1971, 287-296).
171
Ciertamente, en el caso del PIR, desde el principio y dado su carcter participativo y abierto, grupos representando una amplia variedad de intereses
han querido influir en su concepcin y diseo, lo que ha convertido el programa en el centro de una negociacin poltica intensa (76).
Con el objeto de ilustrar este proceso y sus consecuencias en la forma que
se define el programa, describimos a continuacin: los puntos de partida de
los actores presentes y las negociaciones que progresivamente delimitan las
bases de la intervencin y el modelo de programa. Ello nos permitir entrar en
el anlisis de las aproximacione,s evaluativas posibles y en la discusin de las
implicaciones del caso para la teora general.
172
TERCERA PARTE
El Consejo Municipal del Distrito de Nou Barris, presidido por un concejal socialista, se hallaba a principios de 1988, en un proceso de consolidacin,
a la vez que intentaba reorganizar los recursos transferidos desde las reas
centrales del Ayuntamiento de Barcelona en funcin de nuevos criterios. Este
proceso intentaba aglutinar (<<compactar fue el trmino escogido) todos los
servicios personales que prestase el Distrito de Nou Barris, bajo una direccin
nica, de forma que en el futuro, los profesionales de las antiguas reas centrales (juventud, deportes, servicios sociales, salud pblica, educacin, cultura) que trabajaran en el distrito obedecieran a una nica estrategia.
La nueva estructuracin organizacional de los servicios personales en el
distrito deba facilitar el desarrollo de programas-marco que sirviesen de referencia a cada proyecto especfico en el que intervendran personal y recursos
de reas sectoriales diversas.
A su vez, la integracin de estos profesionales en equipos multidisciplinarios territorializados permitira conseguir una mayor coordinacin en el tratamiento de problemticas especficas que presentaran cada una de las zonas en
las que se divida el distrito.
Como paso previo a la formacin de los nuevos equipos territoriales, el Distrito haba organizado algunas reuniones de coordinacin de los trabajadores sociales que actuaban en un mismo territorio. Por lo que respecta al barrio de Roquetes, los trabajadores sociales del Distrito aceptaban la idea de invitar a
algunas de estas reuniones a representantes de los vecinos que, por su parte, haban hecho una oferta similar al Distrito con la voluntad de participar activamente
en la bsqueda de soluciones a los problemas sociales ms graves del barrio.
TERCERA PARTE
B. LA NEGOCIACION
a. Restriccin del Ambito del Programa: De Nou Barris a Roquetes
Con la aprobacin el 29 de abril de 1988 de una subvencin de 45 millones de pesetas por parte del FSE, el ADES se dirigi al Consejero-Presidente
del Distrito de Nou Barris para ofrecerle la posibilidad de iniciar su poltica de
planes integrales con un programa piloto en Nou Barris.
La oferta del ADES habra resultado atractiva para cualquier distrito en la
medida que supona aadir, como mnimo, 150 millones al presupuesto ordinario. Los responsables polticos y administrativos del Distrito de Nou Barris
vean en la oferta del ADES, la oportunidad de financiar con recursos externos un programa piloto que sirviera de campo de pruebas de sus ideas sobre Ra
176
TERCERA PARTE
TERCERA PARTE
Cmo elegir las actividades y los servicios que tuvieran el mayor impacto posible en los problemas sociales a los que se tena que dirigir la intervencin?
Cmo emplear los recursos puestos a su disposicin o que pudieran conseguir en el futuro, para
instrumentar las actividades seleccionadas?
179
que gastar un tercio de los recursos aportados por el ADES y el FSE, el Area de
Bienestar Social del Ayuntamiento de Barcelona, y el VI Plan de Ocupacin Juvenil de la Generalitat de Catalunya, antes de acabar el ao 1988.
La presin presupuestaria llevara a los directores del PIR a otorgar prioridad a los proyectos concretos, aceptando como criterios generales de actuacin los que derivaban de los documentos preparatorios del PIR. Conscientes,
sin embargo, de que sus proyectos tendran que contar con el apoyo de los vecinos y decididos a abrir el programa a la participacin de aqullos, propusieron la formacin de equipos de trabajo mixtos (PIR-vecinos) sobre la base de
las cuatro comisiones (paro, marginacin, cultura y urbanismo) en que se estructuraba la Asociacin de Vecinos de Roquetes, con el propsito de discutir
e impulsar algunos proyectos de estudios o hasta servicios especficos.
TERCERA PARTE
Durante el perodo de preparacin del PIR, ADES y Distrito haban llegado a acuerdos sobre la necesidad de que aqul fuera gestionado directamente
por el Ayuntamiento, y sobre el nombramiento de dos directores, uno para cada institucin. Estos disponan de un amplio margen de actuacin a la hora de
decidir el tipo de capacidad interna que precisaba el PIR para cumplir sus funciones. Una comisin ejecutiva, formada por los niveles polticos y administrativos ms altos del ADES y del Distrito supervisara sus decisiones, pero en
cualquier caso, eran los directores los responsables de definir los puestos de
trabajo y de contratar las personas que ms se adecuaran a ellos.
El personal poda ser contratado en rgimen laboral y por un perodo mximo de dos aos y medio con la salvedad de la asistente social y de la animadora cultural aportadas por el Distrito.
181
La posibilidad de contratar laboralmente al personal del programa era importante en la medida que ello otorgaba una mayor flexibilidad a sus directores para seleccionar a sus colaboradores entre aquellas personas que se sintieran atradas por la misin que se les haba encomendado y que fueran ms
proclives a aceptar el carcter innovador del programa y su orientacin de servicio y colaboracin con los vecinos.
Si bien en el apartado de recursos humanos, los directores podran decidir
los criterios en funcin de los cuales contrataran a sus colaboradores as como las personas ms adecuadas para cada funcin, su capacidad de gestin de
los recursos presupuestarios se vea severamente limitada por el control al que
los sometan tanto el Distrito como el ADES.
El PIR era financiado con recursos procedentes del FSE, del ADES, del
VI Plan de Ocupacin Juvenil de la Generalitat de Catalunya, del Area de Bienestar Social del Ayuntamiento de Barcelona y del Distrito.
En la medida que el programa no tena entidad jurdica propia, la totalidad de
la subvencin del Area de Bienestar Social pas a engrosar el presupuesto ordlinario del Distrito que, adems del Director del programa y de las funcionarias mencionadas, ira haciendo algunas aportaciones adicionales, bsicamente para gastos
de inversin en el edificio o en material tcnico o de oficina que, una vez acabado
el PIR, quedaran para el Distrito. El conjunto de recursos bajo el control del Distrito, representaran al final del programa el 40% del presupuesto global.
Por su lado, el ADES mantena el control de los recursos propios y de
aqullos procedentes del FSE y del VI Plan de Ocupacin Juvenil de la Generalitat de Catalunya que se integraron en su presupuesto ordinario y representaran el 60% del presupuesto final del PIR.
La inexistencia jurdica del PIR como organismo autnomo obligaba a sus
directores a desarrollar su programa por medio de la aplicacin de mecanismos administrativos clsicos, lo que no solamente limitara de una forma importante su capacidad de gestin, sino que tendra importantes consecuencias
para el propio funcionamiento del programa: a la dualidad de directores se
aada la dualidad de cajas, lo que tendra su reflejo en la estructura organizacional que describimos a continuacin.
TERCERA PARTE
El Director del PIR nombrado por el Distrito asuma directamente las relaciones con los vecinos usuarios de las instalaciones rehabilitadas y la direccin de los programas social y cultural. El Director nombrado por el ADES,
por su parte, se ocupara de la direccin del programa de dinamizacin econmica y, de una manera informal, ira asumiendo la direccin de los proyectos
del rea de urbanismo.
Al adoptar como criterio estructurador las reas de dinamizacin, quedaban claramente diferenciados dos niveles:
Primero, el nivel de las reas de dinamizacin que divida la capacidad interna del PIR en funcin de perspectivas ms especializadas. En funcin de
este criterio, se clasificaran los puestos de trabajo por especialidad tcnica.
Segundo, el nivel de los directores, que quedaban como nicos garantes
del enfoque estratgico e integrador que tena que dominar el PIR.
Los directores tenan que responder de su gestin de forma conjunta ante
la Comisin Ejecutiva que estaba formada por los Concejales-Presidentes del
Distrito y del ADES, el Coordinador de Servicios del Distrito, el Director de
Programas del ADES, y los dos Directores del PIR. Esta comisin tena por
misin adoptar los acuerdos de inversin y contratacin de personal, supervisar el desarrollo de los programas, as como el cumplimiento de las obligaciones contradas con terceros respecto al nmero de participantes o el cumplimiento de los plazos previstos. Al margen de su funcin fiscalizadora, la
Comisin Ejecutiva poda jugar un papel importante como rgano de negociacin poltica e integracin de los programas del Distrito y del ADES.
Las comisiones por programas con los vecinos, a las que hemos hecho referencia ms arriba, constituyeron el principal mecanismo de participacin del
PIR hasta el momento en que los vecinos dejaron de asistir a las comisiones
de trabajo por entender que los tcnicos municipales eran insensibles e indiferentes a sus propuestas, su funcin en las comisiones se limitaba a sancionar
proyectos que no tenan tiempo de revisar y, en cualquier caso, las decisiones
presupuestarias escapaban a su control.
La comisiones por programas fueron suplidas, en su funcin de integracin de los vecinos en el programa, por la Comisin de Seguimiento, que durante el segundo ao de programa se convertira en el principal rgano de relacin del PIR con los vecinos y de stos con el programa y la administracin
municipal, representada en este caso por los Concejales-Presidentes del ADES
y del Distrito.
El organigrama representado en la figura 1 refleja grficamente las dificultades de integracin a las que se enfrentaban los directores del PIR. Tanto la estructura administrativa del programa como su doble dependencia jerrquica y presupuestaria del Distrito y del ADES tendan a la formacin de dos equipos: uno
para el rea socio-cultural y otro para el rea econmica y de urbanismo.
183
Comisin de
Seguimiento
Consejero
Presidente
DISTRITO
Consejero
Presidente
ADES
I
Comisin
Ejecutiva
Coordinador
de Servicios
Director
Programas
Director
PIR
Director
PIR
Local
Area
Dinamizacin
Social
Cultural
Area
Dinamizacin
Econmica
I
Area
Urbanismo
TERCERA PARTE
suficientemente complejas en virtud de la amplitud y multiplicidad de objetivos planteados y de la necesidad de negociar continuamente con el Distrito
y el ADES, el destino de los recursos del PIR integrados en sus respectivos
presupuestos.
Las decisiones de los directores del PIR en relacin con la contratacin de
sus propios colaboradores estaban sujetas a una doble limitacin. De una parte, una proporcin importante de los recursos del programa estaba constituda
por subvenciones finalistas, que slo podan ser utilizadas para determinados
conceptos. De otra parte, la necesidad de rehabilitar el edificio donde se instalara el PIR, y los compromisos adquiridos en la fase inicial del programa suponan importantes gastos de inversin en equipamientos y material tcnico.
Para las reas de dinamizacin social y cultural, su director contaba con
una asistente social y una animadora cultural, procedentes del Distrito. En la
medida que la asistente social tena que dedicar la mayor parte de su tiempo a
la atencin de los casos que le llegaban por los mecanismos habituales, su
aportacin al programa social del PIR sera forzosamente reducida.
Para gestionar el programa social se contratara inicialmente, con recursos
procedentes del Distrito, a una psicloga. La evolucin seguida por sta en la
seno del PIR indicaba ya algunos problemas en relacin con el objetivo de integralidad. Durante el segundo ao de vigencia del PIR, en que el contrato de
esta psicloga sera asumido por el ADES, dejara progresivamente los asuntos sociales para dedicar la mayor parte de su tiempo al programa de dinamizacin econmica o de la ocupacin.
Durante el tercer ao de vigencia del PIR, una segunda asistente social se
integrara en el programa de dinamizacin social con el propsito de asistir a
la poblacin gitana de Roquetes. Esta segunda asistente social, sin embargo,
acabara siendo absorbida por las necesidades de asistencia primaria e individual que no poda cubrir la nica asistente social de Roquetes (un barrio con
ms de 17.000 habitantes).
En resumen pues, el programa de dinamizacin social del PIR, quedaba
fuertemente limitado en origen, tanto por la obligacin de las asistentes sociales de dedicar la mayor parte de su tiempo a la asistencia primaria, como
por el cambio de rea de la nica psicloga contratada inicialmente para
asuntos sociales.
Para el rea de dinamizacin econmica y de la ocupacin, su director
contrat dos tcnicos en ocupacin y una psicloga. A ellos se aadira, a partir del segundo ao de programa, la psicloga contratada inicialmente por el
programa social.
El director del programa de dinamizacin econmica se aseguraba as el
recurso ms importante para desarrollar el programa econmico del PIR, al incorporar un equipo de profesionales motivados y con experiencia que podan
185
La figura 2 resume los proyectos llevados a cabo por el equipo de profesionales contratados por el PIR desde 1988 a 1990, por reas de intervencin,
incluyendo una estimacin de su coste.
186
TERCERA PARTE
Participantes
Coste
(en millones)
30
13,54
10
6,3
40
18,04
11
12,87
Proyectos
AREA ECONOMICA:
CURSOS DE FORMACION EN
OFIMATICA
CURSOS DE FORMACION EN
PRACTICAS
CURSOS DE FORMACION PARA
MUJERES
PROYECTOS DE AUTOOCUPACION PARA JOVENES
OFICINA DE INFORMACION
LABORAL
ACTIVIDADES DE PROMOCION
DE ASOCIACIONES COMERCIO
Y PROFESIONALES
2,45
4,95
58,15
TOTALES
AREA SOCIAL:
ASISTENCIA SOCIAL
INDIVIDUALIZADA
CURSOS DE
ALFABETIZACION
TALLERES DE LENCERIA
CORTE Y CONFECCION
CHARLAS SOBRE
TOXICOMANIAS
CREACION Y ASESORIA
ASOCIACION DE ANCIANOS
7,96
27
3,47
37
3,71
1,25
500
18,69
TOTALES
AREA CULTURAL:
CURSO DE IMAGEN
Y SONIDO
CREACION DE UN
CASAL INFANTIL
FIESTAS Y ACTIV.
CULTURALES AAVV
TALLERES ARTESANIA
PINTURA, FOTO...
TOTALES
2,3
19
21,48
100
25,43
4,74
10,77
62,42
AREA DE URBANISMO:
PROYECTO ESCUELA-TALLER
ESTUDIO VIVIENDAS
ZONA ALTA
1,41
2,61
TOTALES
4,02
187
3. DISCUSION DE LA EVALUACION
A. CUESTIONES PLANTEADAS POR LOS DECISORES
La contratacin de un equipo de investigacin para evaluar el PIR responda a la preocupacin del ADES por, primero, determinar las caractersticas diferenciales de la intervencin en Roquetes, lo que implicaba definir
el concepto de plan integral y examinar la medida en que la intervencin
responda a la concepcin que de aqul tenan los actores sociales; y segundo, juzgar en qu medida vala la pena generalizar aquella poltica a otros
barrios de la ciudad.
La primera de estas cuestiones tena que ver, por una parte, con la conceptualizacin y el diseo de la intervencin -puesto que si bien los distintos actores sociales coincidan en el rtulo plan integral, cada uno de ellos lo interpretaba de forma distinta-; y por otra parte, con su implementacin -se
trataba de descubrir en qu haban consistido realmente los servicios finalmente creados y distribuidos en Roquetes.
La segunda de las cuestiones planteadas tena que ver con el valor del programa en tanto que modelo de intervencin social. Ello significaba enjuiciar el
programa en funcin de algn criterio:
sus objetivos,
su impacto en la situacin del barrio,
el grado en que los intereses especficos de los distintos actores sociales haban encontrado satisfaccin,
o desde una perspectiva ms poltica, la medida en que se haban conseguido objetivos polticos como por ejemplo, mostrar que el Ayuntamiento estaba intentando resolver los problemas de los barrios ms necesitados (78).
B. EL MODELO DE PROGRAMA
a. Ambivalencia respecto al Concepto de Integral
188
TERCERA PARTE
TERCERA PARTE
C. EL MODELO DE EVALUACION
a. Inadecuacin del Paradigma Clsico al Programa Evaluado
programa. Con el objeto de demostrar que los cambios en los indicadores seleccionados son debidos a la introduccin del programa, recurre asimismo a la
medicin de la situacin de un grupo de control que no recibe la intervencin
antes y despus del programa.
Esta aproximacin es adecuada cuando se trata de un programa bien definido donde una serie de individuos reciben una misma intervencin cuyos
efectos pueden ser anticipados y claramente medidos.
En nuestro estudio de caso nos encontramos, sin embargo, con un programa que no responde a estas caractersticas.
En primer lugar, y dado el carcter amplio y abierto de los objetivos centrales del programa, resulta difcil determinar de forma previa, cmo podramos saber si los objetivos de desarrollo, coordinacin-integracin, y participacin, se haban realizado al final del programa.
- Como hemos visto, durante todo el proceso se mantiene una calculada
ambigedad en relacin con el tema del desarrollo, lo que pennite mantener la
concepcin de un plan integral en su sentido sustantivo de resolucin de todos los problemas, a pesar de que el programa no contaba con los recursos
necesarios para llevarlo a cabo. Qu indicadores podran seleccionarse anticipadamente para decidir si haba habido un desarrollo suficiente como consecuencia de la intervencin?
- En relacin con el objetivo de coordinacin-integracin, tanto a nivel
interno como externo, resulta an ms difcil detenninar como se manifestaran
los progresos alcanzados en esta direccin. Qu operaciones podan ser indicativas de una nueva fonna de proceder tanto entre los profesionales del equipo
tcnico del PIR como en su relacin con otros actores institucionales?
- Por lo que respecta a la participacin poltica, existen muy diversas
formas en que el programa poda tener un impacto. Nuevamente, sin embargo, la indefinicin sobre el alcance de la intervencin de los actores no institucionales, dificulta la evaluacin con respecto a este objetivo. Significaba
participacin codecisin, o era suficiente el mantenimiento de canales de
comunicacin de la direccin del programa con aquellos grupos que tienen
un inters en l?
En segundo lugar, como se ha intentado demostrar con el anlisis de la
fonnacin del programa, se trata de una intervencin que no responde a ninguna fonna previamente establecida sino que el programa se ha ido configurando progresivamente en funcin del entorno.
El PIR es el resultado de la interaccin entre ADES, Distrito, los profesionales a los que se encarg la tarea de llevarlo a tnnino, y la comunidad de
vecinos organizados que participan en su desarrollo.
Sin examinar previamente qu es lo que haba ocurrido en el caso concreto, no sera posible definir qu es lo que se estaba evaluando.
192
TERCERA PARTE
En este sentido, la lgica experimental que, primero, asume que la intervencin se desarroll de la forma en que estaba prevista, y segundo, intenta
controlar la influencia de factores externos a lo que es propiamente la intervencin con el objeto de determinar el impacto neto de aqulla, aparece como
bastante irrelevante.
En tercer lugar, el PIR tenia que ver ms con la forma de intervenir sobre
un territorio degradado que con el impacto sobre unos individuos concretos.
Si bien exista una lgica preocupacin por el impacto de los programas
especficos desarrollados por cada una de las reas de dinamizacin (econmica, social, urbanstica y cultural) en los grupos de poblacin servidos (jvenes
y mujeres en situacin de desempleo, infancia, tercera edad), el programa se
plantea de forma experimental, con el objeto de determinar si funcionaba un
nuevo modelo de intervencin social.
El programa sera por tanto valorado prioritariamente en funcin de los resultados alcanzados en los siguientes trminos:
Primero, desarrollo global (est Roquetes mejor que lo estaba hace tres
aos?);
Segundo, formas de operar, tanto a nivel de tcnicos-profesionales, como
de instituciones y entidades participantes (Se ha conseguido avanzar con
respecto a la coordinacin-integracin de servicios?);
Tercero, mecanismos de participacin vecinal (se han abierto nuevas vas
de comunicacin y/o decisin entre polticos, tcnicos y vecinos?).
En la medida que las cuestiones ms generales y los servicios menos tangibles aparecen como ms relevantes, el recurso a mtodos de evaluacin pensados para examinar los cambios experimentados por individuos concretos como consecuencia de su participacin en un programa resultaban menos tiles.
TERCERA PARTE
TERCERA PARTE
La incorporacin de los intereses de los mltiples actores presentes supone asimismo una mayor complejidad, en la medida que no siempre existirn recursos ni tiempo suficiente para analizar todas las cuestiones planteadas. Por ello, nos inclinamos por una estructura organizacional de la
evaluacin que, como la propuesta por Patton (1986:331), incluya una comisin de trabajo en la que se encuentren representadas todas las partes
afectadas.
Esta comisin de trabajo debera discutir el diseo de la evaluacin y
adoptar las principales decisiones en tomo a las cuestiones sobre las que debera centrarse la evaluacin. De esta forma se conseguira reducir el poder de la
Administracin que encarga la evaluacin (y que los evaluadores tendern a
adoptar como cliente), y al mismo tiempo se lograra convertir a la evaluacin
en el centro de la discusin poltica sobre los criterios en funcin de los cuales
debera valorarse la intervencin.
Por otra parte, la utilidad de una evaluacin se correlaciona con el grado
de interdependencia entre programa y evaluacin, por lo que un estrecho contacto entre evaluadores y decisores podra incrementar las probabilidades que
la evaluacin fuera tenida en cuenta en las deliberaciones posteriores sobre futuros programas.
Como decamos al presentar este estudio de caso, se podra afirmar que
cuando los programas sean ms como el PIR, menos aconsejable ser centrar
la evaluacin en el cambio experimentado por un/unas pocas caractersticas de
la situacion observada y ms adecuado ser en cambio, adoptar la perspectiva
de proceso y pluralista defendidas.
dedicarse a estudiar las relaciones pblicas que pueda generar el programa para la Administracin que lo propone.
Entre estos dos extremos, se sita, sin embargo, la normalidad en materia de programas pblicos. Una clasificacin de los programas que podra
resultar til desde la perspectiva de la evaluacin, podra ser la que proponemos a continuacin a partir de dos criterios: la mayor o menor tangibilidad de los servicios producidos y la mayor o menor especificidad de los
objetivos.
En funcin del tipo de prestacin podemos distinguir entre:
1. Programas que ofrecen bienes y servicios a una poblacin especfica y
que tienen un valor econmico directamente medible. Por ejemplo,
una subvencin al crdito para la rehabilitacin de vivienda, un vaso
de leche para nios en edad escolar, o un test de deteccin precoz de
cncer de mama.
2. Programas en los que no hay un output tangible sino que pretenden
mejorar la condicin, las capacidades o las oportunidades de un grupo
de poblacin. Por ejemplo, los programas de formacin e insercin
profesional o el PIR en su conjunto.
En funcin del grado de abstraccin o especificidad de los objetivos, podramos igualmente distinguir entre:
1. Los programas que tienen objetivos especficos y directamente operacionales. Por ejemplo, reducir en tres puntos las diferencias en el nmero de solicitudes de ayuda extraordinaria al alquiler entre las cuatro
provincias catalanas, extender a todos los nios en edad preescolar la
prestacin del vaso de leche para nios en edad escolar o formar e insertar profesionalmente como auxiliares de enfermera a 50 mujeres
amas de casa.
2. Los programas que tienen objetivos amplios o abstractos, cuyas consecuencias pueden ser muchas y variadas. Por ejemplo, conseguir una
mayor coordinacin entre administraciones, incrementar la participacin ciudadana o mejorar la respuesta por parte de la Administracin a
las necesidades locales.
De la combinacin de estos dos criterios resultan cuatro tipos de programas a los que se adecuaran mejor distintos tipos de evaluacin, desde las
aproximaciones ms clsicas centradas en los efectos, hasta las aproximaciones alternativas centradas en el proceso de desarrollo del programa.
198
TERCERA PARTE
Tipo de prestacin
Tangible
Intangible
Especficos
Amplios
Objetivos
TERCERA PARTE
Este concepto fue introducido por Horst, Nay, Scanlon y Wholey quienes
entendan que buena parte de los problemas de utilizacin de la evaluacin tenan su origen en los mismos programas evaluados o en sus administradores,
por lo que recomendaban que, con carcter previo a la evaluacin, se intentara
determinar la evaluabilidad del programa, examinando tres cuestiones:
1. Si los problemas, intervenciones propuestas y resultados e impacto esperados estn suficientemente bien definidos.
2. Si las hiptesis propuestas tienen una lgica clara que permite su test.
3. Si existen una o varias personas responsables del programa, cul es su
capacidad para actuar y qu tipo de accin podra esperarse que tomaran como consecuencia de los posibles resultados de la evaluacin.
(1974:307)
En nuestro caso, el anlisis de evaluabilidad consisti en un perodo corto
pero intensivo de tiempo (aproximadamente un mes) en el que nos dedicamos
a recoger y analizar informacin sobre el programa, para luego formular un
plan de evaluacin que sometimos a la discusin de la Administracin que
contrataba la evaluacin.
Lgicamente, este trabajo previo es an ms importante cuando, como en
el caso del PIR, los programas estn mal definidos, los objetivos son vagos y
ambiguos, y existen distintas percepciones sobre el significado y prioridad de
los objetivos ms o menos formales.
Toda evaluacin debera, sin embargo, ir precedida de un anlisis de evaluabilidad. De acuerdo con Rutman (1984:27-38), y a partir de nuestra propia experiencia, creemos que la pre-evaluacin debera incluir los siguientes elementos:
Primero. Descripcin formal del programa, en base a los documentos
oficiales: leyes, reglamentos, acuerdos, propuestas de financiacin,
dossiers de documentacin, informes o folletos publicitarios.
Segundo: Entrevistas con los decisores polticos, administradores, profesionales y todas aquellas personas o grupos relacionados con el programa. Las entrevistas permiten contrastar objetivos y actividades formales con objetivos y actividades tal y como las entienden los actores
ms estrechamente relacionados con el programa.
Tercero: Observacin sobre el terreno de las operaciones del programa. Ello permite comparar lo real con lo escrito y lo afirmado por las
personas y grupos entrevistados. La observacin permite, asimismo,
acercarse a los participantes en el programa.
Cuarto: Identificacin de aquellos objetivos, actividades y servicios
susceptibles de evaluacin, y determinacin de los mtodos aplicables,
201
202
CAPITULO VII
EL CASO DE LA POLICIA LOCAL
1. INTRODUCCION
El anlisis de la eficacia de la Polica como servicio podra verse gravemente distorsionado si se limitara a determinar lo alcanzado en relacin con
205
hipotticos objetivos ---de reduccin de la tasa de criminalidad, de disminucin del nmero de accidentes o de aumento del valor total de la propiedad recuperada de hurtos o robos, por poner algunos ejemplos- precisamente por la
complejidad y la variedad de actividades que realizan las Policas Locales en
mbitos tan dispares como la ordenacin del trfico, la investigacin de hechos criminales, la asistencia social a personas necesitadas o la intermediacin
en los conflictos entre vecinos o familiares. Es decir, el servicio de Polica Local hace demasiadas cosas como para poder resumir su eficacia en unos pocos
indicadores.
Adems, e independientemente de la dificultad propia de nuestras latitudes de identificar y operacionalizar los objetivos de una poltica especfica
en relacin con el trfico, la seguridad ciudadana o la violacin de las ordenanzas locales, la experiencia de la gestin por objetivos en el campo policial durante los aos 70 en EEUU, nos muestra como la seleccin inicial de
un conjunto de objetivos determina aquellos aspectos de la actividad policial
que despus sern objeto de medida, de forma que las actividades policiales
no contempladas por los objetivos son excluidas del anlisis en base al que
se sacan conclusiones sobre la eficacia general del servicio (Whitaker et el.,
1982:10-18).
Ello ha llevado a centrar una atencin excesiva en tan slo una parte de la
actividad policial, generalmente aqulla relacionada con la seguridad ciudadana y la criminalidad, cuando en realidad, las conclusiones de diferentes estudios (Bercal, 1970; Webster, 1970) apuntan a que sta no es la principal actividad de las Policas Locales en EEUU. Tampoco lo es en nuestro pas como
confirma el anlisis de los servicios solicitados y prestados por las unidades
operativas de la GUH.
A la distorsin que resulta de centrar el anlisis en unos pocos objetivos,
hay que aadir la derivada del hecho que el anlisis se haga a partir de datos
recogidos por el mismo servicio. Dado que recoger informacin sobre aquello
que valora la ciudadana en relacin con los diferentes aspectos de la funcin
policial puede resultar caro y difcil, generalmente, aquello que se estudia viene determinado por la informacin de la que se dispone.
Esta es una limitacin que comparte nuestro estudio de caso y que no nos
permite entrar en algunas cuestiones importantes como la de las percepciones
subjetivas de los ciudadanos. A pesar de ello, creemos que existe un amplio
campo de investigacin en el anlisis de la informacin que recogen las Policas Locales, con el propsito de sugerir recomendaciones que tengan algn
sentido para sus responsables en la lnea de obtener un mejor conocimiento de
su actividad y de mejorar la eficacia de su gestin a travs de la utilizacin de
los datos de que disponen.
206
TERCERA PARTE
a. Criterios
La distribucin de los recursos policiales entre las diversas reas o sectores de la ciudad puede responder a diferentes criterios. Generalmente, la divisin en sectores tiene en cuenta los distritos y los barrios municipales, as como las caractersticas topogrficas de la ciudad.
A parte de tener en cuenta los barrios y las barreras naturales que
puedan dificultar la movilidad de las unidades operativas, si los sectores
207
208
TERCERA PARTE
b. Mtodos
No obstante, algunos investigadores han propuesto diversas fnnulas de
distribucin objetiva de los recursos. Quiz la ms conocida sea la propuesta
por O. Wilson (1977), fundador de la Escuela de Criminologa de la Universidad de California y Jefe de la Polica de la Ciudad de Chicago durante los
aos 60.
Concretamente, el mtodo de Wilson, asigna diferentes pesos a diferentes
tipos de incidentes en funcin del tiempo que requieren y de su gravedad. A
travs de la tabulacin estadstica del nmero de incidentes que ocurren en diferentes horas del da, en diferentes zonas de la ciudad, detennina: Primero, la
segmentacin ptima del da en turnos, de fonna que se equilibre la carga de
trabajo entre tumos y las variaciones en la demanda de servicios dentro de un
mismo tumo sean mnimas, y segundo, el tamao de los sectores policiales
durante cada tumo - dividendo la carga de trabajo entre el nmero de sectores se obtiene la carga media por sector y combinando en reas mayores los
sectores que no alcanzan la mediana, se delimita su configuracin definitiva.
Lgicamente, es preciso calcular las horas de trabajo disponibles --descontando las horas perdidas en das libres, indisposiciones, bajas, o que se
ocupan en actividades que no son de patrulla preventiva- y distribuir los
agentes teniendo en cuenta que cada uno de ellos debe hacer 8 horas de trabajo continuo, intentando ajustar al mximo el nmero de horas-agente y la carga de trabajo (Wilson, 1977:633-655).
Si bien esta ltima tarea tendra que ser, aparentemente, la ms sencilla, el
cumplimiento de mltiples funciones (relacionadas con el trfico, de inspeccin, de asistencia a los juzgados) por parte de la Polica Local, hace difcil la
estimacin de las horas necesarias para actividades que no sean estrictamente
de patrulla preventiva y respuesta activa a las demandas de servicio de la sala
de mando.
El principal problema del mtodo de Wilson tiene, sin embargo, que ver
con los criterios en funcin de los cuales otorgar diferentes pesos a diferentes
tipos de incidentes. Wilson, en su libro de texto sobre Administracin de la
Polica, otorga pesos que van de 1 a 4 en funcin de la gravedad de los incidentes, de fonna que slo las actividades relacionadas con delitos o con la
prctica de detenciones reciben pesos de valor 3 y 4 (Wilson, 1977:662). El
peso otorgado es, sin embargo, independiente del tiempo que realmente ocupa
a la Polica hacerse cargo de cada incidente.
Otros mtodos posteriores, en cambio, tienen en cuenta lo que hemos llamado tiempo de servicio, es decir, el tiempo que tarda una unidad en atender
un detenninado servicio, as como otros factores (como, por ejemplo, el tiempo de desplazamiento medio, la sup~rficie del sector o los kilmetros de va
209
pblica) con lo que se intenta tener en cuenta variables que no sean estrictamente la de la demanda (Heller et al. 1977).
Sin nimo de entrar en la discusin detallada de estos mtodos, la explicacin precedente nos sirve para poner de relieve la importancia de anticipar el
nmero de incidentes que se producirn en diferentes horas del da, en distintos sectores o zonas de la ciudad, para poder hacer una distribucin racional
de los efectivos.
En sentido inverso, desde la perspectiva de la evaluacin, la constatacin
de niveles de demanda agregada similares (ya que el tipo de incidente puede
variar) entre los diferentes tumos y sectores de la ciudad, puede ser considerada como un indicador de que la distribucin de los efectivos es equilibrada.
210
TERCERA PARTE
211
212
TERCERA PARTE
muy precisas, son los agentes de las unidades operativas los que interactan
con la poblacin y los que en ltimo trmino controlan la informacin que
llega a la organizacin sobre lo que ocurre en la ciudad o sobre las personas
que tuvieron alguna participacin en incidentes que merecen una respuesta
policial.
Algunos estudios, sin embargo, han examinado los encuentros que se producen entre la Polica y la poblacin a travs de la observacin directa de investigadores que se desplazaban con los mismos policas.
Black (1970) utiliz este tipo de informacin para analizar los factores
que tienen mayor influencia en la decisin de considerar un hecho como sancionable o delictivo. As, segn este autor, de su investigacin derivaba que
eran importantes, adems de la gravedad del incidente, tanto las preferencias
de la vctima, como el grado de relacin previa entre la vctima y el agresor.
En el supuesto que la vctima no urgiera a la Polica la persecucin del hecho
o cuando aqulla y la persona acusada tenan algn tipo de relacin previa, la
Polica era menos proclive a iniciar una investigacin (Black, 1970:735).
En el mismo sentido, Reiss (1971), en un trabajo ms general sobre la Polica y la ciudadana, defenda que sta ejerce un control considerable sobre la
funcin policial a travs de sus decisiones discrecionales sobre comunicar o
no comunicar a la Polica Local determinados hechos ocurridos en la vida diaria (1971 :69).
Una aproximacin diferente al tema de la discrecionalidad es la adoptada por Maxfield (1979) en su estudio comparativo de los servicios de Polica de las ciudades de Chicago y San Francisco. Maxfield toma el nmero
de delitos oficialmente reconocidos por la Polica en una ciudad como indicador del output de este servicio y compara este indicador con indicadores
de demanda, con el propsito de hacer algunas inferencias sobre el proceso
decisional que se produce durante la transformacin de las demandas en
productos finales.
Siguiendo la lgica de la literatura sobre equidad, analiza las diferencias
en el proceso decisional --es decir, en el nmero de demandas que se convierten al final del proceso en un caso oficial- en base a las caractersticas de la
poblacin, a las caractersticas de los incidentes y a los niveles de demanda
que experimentan diferentes reas de las dos ciudades estudiadas, llegando a
la conclusin que la influencia de la discrecionalidad en las decisiones policiales es ms bien residual (1979:295).
***
Hasta aqu, hemos hecho un repaso de la literatura, predominantemente
norteamericana, que se ocupa de la evaluacin de los servicios de Polica
214
TERCERA PARTE
Tabla 1:
Barcelona
Hospitalet
Presupuesto
(en millones)
9.191,5
948
Total agentes
2.118
271
Poblacin
(en miles)
Agentes por 1.000 h.
Demandas ciudadanos
Demandas por 1.000 h.
216
1.703,7
279,7
1,2
0,9
166.373
97,7
24.800
91
TERCERA PARTE
TERCERA PARTE
tumos -maana, tarde y noche- tiene un jefe que se responsabiliza de la totalidad del servicio. Durante la noche, sin embargo, el servicio presenta algunas diferencias ya que todo el personal se distribuye en dos unidades de seis agentes y
un cabo que se ocupan de las dos nicas zonas en que se divide la ciudad.
Desde la perspectiva de distribucin de los efectivos, la cuestin clave es
la de los criterios a partir de los cuales dividir la ciudad en sectores. En 1'Hospitalet, la configuracin de los sectores policiales tiene muy en cuenta los distritos administrativos y los barrios de la ciudad.
Concretamente, la GUH tiene dividida la ciudad en dos zonas, al norte y
al sur de la va del ferrocarril que atraviesa la ciudad de este a oeste. Dentro
de la zona norte, los distritos municipales V, IV Y II comprenden respectivamente los sectores policiales 1 y 2, 3 y 4, Y5 Y6 que se corresponden con los
barrios de Can Serra, Pubilla Cases, Florida, Les Planes, Collblanc y Torrassa.
En la zona sur, el distrito I se divide en tres sectores policiales, el distrito III
en dos y el distrito VI en uno que tambin comprende parte del trmino municipal por debajo de la Gran Va del distrito III.
Como se puede apreciar en el mapa, los sectores 1 y 3 se corresponden
con el centro de la ciudad y el barrio de Sant Josep, mientras que l'Avinguda
Carrilet hace de frontera entre stos y el segundo sector. Los sectores 4 y 5
quedan bien delimitados por otro ramal de la va del tren y se corresponden
con el barrio de Santa Eulalia mientras que el sector 6 sur coincide con los barrios de BeIlvitge y Polgono Goma!.
219
As pues, cada distrito municipal se divide en dos sectores policiales, cuyas fronteras se corresponden de forma casi perfecta con las de los distritos,
excepto los distritos I y VI que se dividen en tres y un sector respectivamente.
Serve; de la
Ajuntament de
Guardia Urbana
TARGETA
D'AVIS
operador
I DATA
I REBUDA
ITRANSMESA
ARRIBADA AL LLOC
RETOR N
220
1I Repartidor
11 Nm.
Teleton
I Codi
CAUSA
INFRACCI
INCIDENT
O
O
ACCIDENT
INFORMACI
O
O
LLOC
lo
I~
I~
1. PERILLOSA
2. URGENT
Vehicle
O
O
3.IMPORTANT
4. RUTINA
SECTOR
ORIGEN
Teleton
Atestat
No intervenci
Local Servei
Informe
Falsa Alarma
Altres policies
Trasllat fents
POLlCIA
Sistema d'alarma
nombre .................
PARTICULARS
Policia en patrulla
Efectuar detencions
nombre ..........................
O Codi Penal
O OOMM
O Altres
O Codi Circul.
Informacin especial al dors:
O SI
NO
TERCERA PARTE
informacin sobre aspectos puntuales, en la medida que los operadores no siempre disponen de tiempo suficiente para hacer una narracin
detallada del servicio en el dorso de la ficha.
4. Las horas en que a) se ha recibido la demanda, b) se ha enviado a una
patrulla para que se hiciera cargo del servicio, c) aqulla ha llegado al
lugar indicado y d) ha devuelto la comunicacin informando que el
servicio se haba cumplido.
Casi la totalidad de las fichas recogen informacin sobre los tiempos de recepcin, transmisin, llegada al lugar de los hechos y retomo. En algunos casos,
faltan datos sobre el tiempo de llegada al lugar indicado y retomo. Tambin hemos notado que los operadores tienden a escribir la misma hora para los dos primeros tiempos, lo que implicara que siempre existe disponibilidad para atender
un nuevo servicio, y de forma general, no diferencian entre los tres primeros
tiempos cuando el servicio tiene su origen en una patrulla de la misma GUH
que se encuentra ya en el lugar donde se ha producido el incidente.
La informacin recogida en las fichas individuales es utilizada en la GUH,
diariamente, por los jefes de la sala de mando, para elaborar el comunicado de
novedades ocurridas durante su tumo y anualmente, por el Gabinete Tcnico,
para redactar la Memoria del cuerpo.
TERCERA PARTE
5. FUENTES DE DATOS
El anlisis que se presenta a continuacin depende principalmente de los
datos contenidos en las fichas de servicio de la GUH. Dado que estas fichas
no son archivadas en ninguna forma que permita su lectura rpida a travs de
medios informticos, cualquier tipo de anlisis requiere su revisin individualizada y manual.
La GUH genera alrededor de 40.000 fichas de servicios cada ao, por lo
que era preciso seleccionar una muestra de stas.
Ante la imposibilidad prctica de trabajar con una seleccin aleatoria, se
opt por recoger los datos correspondientes a 30 das seguidos del mes de
abril de 1989. Este procedimiento de seleccin de los casos tiene precedentes
en la literatura sobre medida de servicios urbanos y se justifica por el elevado
nmero de observaciones finalmente incluidas en el anlisis (82).
De la totalidad de servicios correspondientes al mes de abril, se excluyeron los que se reducan a una comunicacin telefnica o por radio entre policas o con un particular que solicitara informacin sobre una cuestin puntual como un telfono o una direccin. Como ejemplos de los primeros,
podemos sealar la comunicacin de desperfectos en la va pblica para dar
despus aviso a las empresas de servicios o la transmisin desde la sala de
mando a todas las unidades operativas de la descripcin de los autores materiales de un robo del que haba tenido conocimiento en primera instancia la
Polica Nacional, cuando a esta transmisin no la sigue una actuacin concreta. Tampoco se incluyeron las comprobaciones de matrculas de vehculos en los ordenadores centrales de la Polica Local, las identificaciones de
individuos o los traslados rutinarios de detenidos, documentos y otros materiales. Finalmente, tambin fueron excluidas las actuaciones de la gra municipal dado que generalmente stas se producen despus que un agente se
ha desplazado al lugar donde se ha producido la infraccin (generalmente de
estacionamiento) y este servicio ya queda incluido en la categora de incidentes relacionados con el trfico.
Los 2385 casos estudiados fueron agrupados en 12 categoras. Este proceso no estuvo exento de problemas dada la variedad de incidentes en que
interviene la Polica Local, y la ambigedad de algunos casos que, en funcin de interpretaciones diversas, podran ser clasificados en categoras diferentes.
(82) Vid. Maxfield (1985: 123). En su estudio sobre San Francisco coge un perodo de seis semanas.
Mladenka y Hill (1978: 119) utilizan un procedimiento de muestreo sistemtico que consiste en escoger el
primer servicio aleatoriamente y a partir de aqu uno de cada diez, para nueve das completos distribuidos
en un perodo de dos meses.
223
TERCERA PARTE
Al analizar la distribucin de los incidentes como indicadores de la demanda efectiva que experimenta la Polica Local se obtiene una imagen ms
precisa de la realidad de la funcin policial. Este tipo de informacin puede
ayudar a los administradores policiales a formular la misin de sus organizaciones y a definir mejor las tareas que han de cumplir los agentes del cuerpo.
Adems, con este tipo de informacin, los programas de formacin podrn ser
diseados de forma que se ajusten mejor a las necesidades de los agentes en el
desarollo de sus funciones.
El anlisis de la demanda es igualmente importante porque la funcin de
patrulla preventiva y respuesta activa responde en buena parte a lo que Levy,
Meltsner y Wildavsky (1974:244-245) llaman reglas de decisin de Adam
Smith. Esto es, normalmente, la movilizacin de la Polica se produce como
reaccin a la llamada de un particular.
Como muestra la Tabla 2, en el caso que nos ocupa y. durante el perodo
estudiado, los agentes de las unidades operativas de la Polica Local de L'Hospitalet fueron despachados en un 62% de los casos como consecuencia de las
demandas directas de ciudadanos. Estas son, pues, mayoritariamente reponsabIes de la movilizacin de los agentes. Estos, por su parte, iniciaron un total
de 847 servicios, lo que representa algo ms de un tercio del total. Otras policas, concretamente la Polica Nacional, movilizaron a la Local en el resto de
las ocasiones (un 2.5% de los casos) generalmente por tratarse de asuntos que
consideraban que no eran de su competencia o porque simplemente no tenan
capacidad suficiente para dar una respuesta efectiva (83).
Tabla 2:
Origen
Fre.
Acum.
PATRULLAGU
847
35,5
35,5
TELEFONO
1479
62
97,5
59
2,5
100
2.385
100
OTRAS POLICIAS
TOTAL
(83) Dentro del captulo de curiosidades, cabe incluir un servicio que sistemticamente pide la
Polica Nacional a la Local y que consiste en el envo de agentes femeninas para proceder al cacheo de
detenidas.
225
Algunos trabajos de investigacin de las operaciones policiales han mostrado que las demandas que recibe la Polica siguen una distribucin de Poisson. Esto significa que el volumen de servicios requeridos guarda una cierta
periodicidad (84).
Pero, de alguna forma, el principal problema que plantea la gestin de un
servicio en que tan slo en una minora de los casos la accin es iniciada por
la misma Polica, es predecir (1) dnde y cundo se producirn distintos niveles de demanda (tema al que nos referimos en el apartado siguiente) y (2) qu
tipo de servicio ser preciso, dada la dificultad adicional que supone la diversidad de demandas que recaen sobre la Polica Local.
Las columnas primera y segunda de la Tabla nmero 3 muestran la frecuencia y distribucin porcentual de la demanda global en funcin de las 12
categoras de incidentes en que se ha organizado este estudio. Los tiempos
consumidos en la atencin de estos incidentes, desde el momento en que un
agente recibe el encargo hasta que devuelve la comunicacin informando que
el servicio se da por acabado y su distribucin porcentual se recogen en las
columnas tercera y cuarta de esta misma Tabla.
Dado que no se dispona de informacin sobre los tiempos de servicio para la totalidad de los casos, y que como hemos indicado anteriormente, se ex- .
cluyeron algunos incidentes del anlisis, las cifras absolutas tanto de casos como de minutos dedicados a responder a las demandas individuales, han de
tomarse con algunas reservas.
Probabilidad
O
1
0,2231
0,3347
0,2510
0,1255
0,0471
0,0141
0,0035
0,0008
0,0001
0,0000
2
3
4
5
6
7
8
9
226
TERCERA PARTE
que ver con el estacionamiento indebido de vehculos en vados, doble fila, sobre las aceras o dificultando el paso de transportes pblicos y vehculos de tercera categora. Tambin se incluyen en esta categora los relacionados con el
abandono de vehculos en la va pblica. Este grupo, solamente, representa el
47% de los casos y el 49.9% del tiempo total consumido por los agentes de las
unidades sectoriales.
Tabla 3:
Tipos de incidentes
Tiempo *
de Servicio
47
7,8
3,8
8,5
1
11,9
3,1
3,8
2,2
0,4
1,5
9,3
27.227
4.288
1.513
3.831
337
4.959
1.811
2.382
1.275
144
880
5.919
49,9
7,9
2,8
7
0,6
9,1
3,3
4,4
2,3
0,3
1,6
10,8
100
54.566
100
Fre.
TRAFICO
1120
ACCIDENTES
185
ALARMA
90
PERSONA NECESITADA
202
RELAC. CON DROGAS
23
MOLESTIAS Y DISPUTAS
283
RECUPERACION VEHIC.
74
DEL. CONTRA PROPIEDAD
90
DEL. CONTRA PERSONAS
53
DEL. SEXUAL
9
INFRACCION ADM.
35
221
OTROS
TOTAL
2.385
B. SERVICIOS SOCIALES
A las categoras de Trfico y Accidentes siguen en importancia las de
Molestias y Disputas, Otros y Personas necesitadas.
La categora de Molestias y Disputas incluye intervenciones por razn
de ruidos, actos de gamberrismo y disputas familiares o entre vecinos.
Otros es una categora residual en la que se incluyen un conjunto amplio de incidentes que podramos resumir con la expresin cuando no sepa
qu hacer, llame a la GU e incluye desde casos de escapes de agua y gas y
pequeos incendios hasta abrir un vehculo con las llaves puestas o guiar a un
camionero extranjero hasta la salida de la ciudad, pasando por todos los relacionados con animales, perros, gatos y hasta serpientes en la va pblica.
La categora de Personas necesitadas incluye los servicios de asistencia
a personas con las facultades mentales perturbadas, indigentes, enfermos, drogadictos en situacin crtica o alcohlicos.
Estas tres categoras representan una importante funcin de la Polica Local que consiste en la asistencia a personas con problemas especficos y en la
mediacin en conflictos privados. Agrupadas representan casi el 29.7% de los
casos estudiados y el 26.9% del tiempo empleado en la atencin de los servicios demandados.
C. DELITOS Y FALTAS
La Tabla 3 presenta igualmente informacin sobre incidentes interpretados
inicialmente como posibles delitos o faltas.
La categora de Alarma incluye los casos en que la GU es alertada por
una alarma que se dispara o porque se ha producido una amenaza de bomba.
Este grupo representa el 3.8% de los casos y requiri el 2.8% del tiempo de
servicio. La mayora de las alarmas son falsas, lo que contribuye a percibir la
Polica Local como una Polica que ocupa la mayor parte de su tiempo en problemas que no son de naturaleza criminal.
El mismo porcentaje de casos (3.8) y un porcentaje superior en tiempo de
servicio (4.4) obtiene el grupo de servicios por Delitos contra la Propiedad.
En esta categora se incluyen casos de hurto o robo de vehculos (ciclomotores, motocicletas y turismos) por una parte, y hurto o robo en viviendas o comercios. En este ltimo caso, puede tratarse de robos con dao en las cosas o
pequeos hurtos de productos expuestos al pblico.
Se ha incluido en una categora aparte las actuaciones policiales tendentes
a la recuperacin de vehculos de hurto ya sea por propia iniciativa de la
Polica o a raz del aviso de un particular. El servicio consiste, en este caso, en
228
TERCERA PARTE
el desplazamiento hasta el lugar donde se encuentra el vehculo y en la identificacin de sus titulares. Si efectivamente se trata de un vehculo de hurto, la
gra procede posteriormente a su depsito. En el perodo estudiado se produjeron una media de 2.4 recuperaciones por da. Esta categora representa el
3.1 % de los casos y ocup un 3.3% del tiempo de servicio.
Menos frecuentes fueron las demandas a la Polica Local por razn de
Delitos contra las Personas (2.2% de los casos y 2.3% del tiempo consumido). En esta categora se incluyen algunos casos de robo con intimidacin o
con fuerza en las personas, pero mayoritariamente supuestos en que un particular pide auxilio a la Polica ante lo que considera una probable amenaza para su persona o sus bienes. En muchos casos se trata simplemente de sospechas infundadas. Una respuesta policial rpida es, sin embargo, sumamente
importante para la persona que cree encontrarse en situacin de riesgo.
Se ha incluido en categoras aparte los incidentes relacionados con drogas y
las ofensas de naturaleza sexual. Los primeros se refieren a aquellos supuestos
en que una patrulla es requerida para que investigue a una persona o grupo de
personas consumiendo algun tipo de estupefacientes. Su clasificacin presenta
algunas dificultades ya que la naturaleza de la intervencin es distinta cuando se
trata de una persona que requiere asistencia mdica o cuando se trata de una
persona o grupo de personas que aparecen a los ojos del denunciante como sospechosos de una conducta delictiva. En este ltimo caso, ya que el primero queda incluido en la categora de persona necesitada, la mayor parte de los servicios
no conducen a la detencin de los sospechosos sin ms bien a su dispersin. La
frecuencia y el tiempo consumido en este tipo de incidentes representan el 1 y el
0.6% respectivamente de la demanda y tiempo de servicio totales.
Las ofensas de naturaleza sexual sobre las que tuvo conocimiento la Polica Local en el perodo estudiado representan el 0.4% de los casos y el 0.3%
del tiempo empleado en los servicios. En esta categora se incluyen bsicamente supuestos de escndalo pblico (generalmente por exhibicionismo),
adems de algunos casos de abusos.
El conjunto de incidentes inicialmente interpretados como posibles delitos
representa el 14.3% de los casos estudiados yel 13.7% del tiempo consumido
en atender aqullos. Ello supone que, si bien la Polica Local cumple una importante funcin de investigacin y resolucin de delitos, sta es slo una parte ms bien reducida de su actividad y en la que adems aparece como incluso
ms significativa la asistencia directa a las vctimas.
D. POLICIA ADMINISTRATIVA
La categora de infracciones administrtivas incluye aquellos servicios que
se producen como consecuencia de la violacin de las ordenanzas municipales.
229
Las demandas ms frecuentes dentro de este captulo son las que se producen
por razn de la venta ambulante de productos, obras en viviendas particulares
e instalacin de veladores en la va pblica sin el correspondiente permiso.
Este tipo de problemas da cuenta de un 1.5% de la demanda global y del 1.6%
del tiempo empleado en atender aqulla.
En resumen, el anlisis de las demandas y servicios que experimenta la
GUH y del tiempo empleado en atender aqullas revela una nueva perspectiva en la forma de concebir la actividad de las Policas locales. Como pone
de relieve la Tabla 3, lo que se requiere de la Polica Local es un servicio
que est las 24 horas del da dispuesto a prestar todo tipo de asistencia y
ayuda a personas con problemas muy concretos, ya sea por el estancionamiento indebido de un vehculo ante la puerta de su garaje, por la enfermedad sobrevenida de un familiar o por la necesidad de rescatar un gato. La
funcin de servicio de emergencia, es pues la dominante por lo que respecta a la faceta de respuesta activa a las demandas originadas en la comunidad local.
Adems de esta funcin de servicio, la Polica Local cumple una funcin
de proteccin y mantenimiento del orden principalmente a travs de la actividad de patrulla preventiva por toda la geografa municipal, y tambin, como
se ha puesto de relieve, mediando en disputas familiares o entre vecinos, dispersando grupos de individuos de aparencia sospechosa o colaborando en la
detencin de los autores materiales de faltas y delitos.
Ambas funciones deben ser por tanto consideradas en los programas de
formacin para que stos respondan a las necesidades reales del trabajo de Polica Local. De alguna forma, la imagen de este trabajo, tradicionalmente asociada al agente diestro en el empleo de armas de fuego y dispuesto a ejercer la
autoridad que le ha sido conferida debe ser sustituida por la de un colectivo de
profesionales expertos en tratar problemas humanos, cuya solucin, a menudo, no est en sus manos.
TERCERA PARTE
Tabla 4:
Fila
DISTRITO
TIPO DE INCIDENTE
2
Total
215
321
125
180
201
78
1.120
47,0
54
29
32
18
18
34
185
7,8
24
26
18
90
3,8
43
36
37
28
27
31
202
8,5
1,0
23
55
52
43
45
36
52
283
11,9
13
15
24
74
3,1
26
14
10
18
13
90
3,8
16
11
11
53
2,2
10
60
42
33
27
17
42
221
9,3
11
35
1,5
INFRACCION
TRAFICO
ACCIDENTE
ALARMA
PERSONA
NECESITADA
REL CON DROGAS
MOLESTIAS
Y DISPUTAS
RECUPERACION
VEHICULOS
DEL. CONTRA
PROPIEDAD
DEL. CONTRA
PERSONAS
OTROS
INFRACCION ADM.
12
Columna
Total
9
,4
DEL. SEXUAL
515
21,6
532
22,3
333
14,0
338
14,2
352
14,8
315
13,2
2385
100,0
231
Tabla 5:
DISTRITO
14
11
12
13
14
15
16
17
18
19
20
21
22
23
24
19
17
16
12
5
6
14
18
28
21
31
28
20
27
18
22
29
29
17
37
34
21
23
23
7
8
23
40
31
27
31
23
30
22
25
28
23
27
50
38
20
10
17
9
9
9
5
3
8
7
12
19
17
19
23
16
16
15
14
18
18
15
29
16
16
10
Columna
Total
515
21,6
532
22,3
1
2
3
4
5
6
7
8
9
10
232
9
12
7
10
4
16
Fila
6
9
7
6
4
2
3
15
18
11
16
26
23
16
12
17
15
18
23
21
15
12
11
5
81
56
53
39
31
32
60
103
157
99
136
153
112
123
98
118
113
122
113
181
140
93
84
88
315
13,2
2385
100,0
10
15
14
4
6
7
4
3
6
20
27
10
20
26
12
21
11
17
13
16
20
21
24
12
20
18
333
14,0
338
14,2
352
14,8
10
4
4
7
5
10
20
25
9
23
19
18
13
20
23
10
18
11
23
13
12
10
Total
10
TERCERA PARTE
Un informe de este tipo puede ser til para la gestin del servicio en la
medida que permite determinar de forma inmediata aquellos distritos con niveles superiores de un determinado tipo de incidente. As, por ejemplo, existe
un nmero superior de alarmas en los distritos I y III, Yparece claro que donde suelen aparecer los vehculos de hurto es en el distrito VI.
Un informe de carcter anual en el que se agregaran los resmenes mensuales podra ser til a la administracin municipal para determinar las reas
donde se producen con mayor frecuencia, por ejemplo, emergencias mdicas
o agresiones sexuales, lo que facilitara decisiones sobre la localizacin de
servicios de apoyo no estrictamente policiales.
La Tabla 5 utiliza el mismo formato para presentar un resumen de las demandas para los seis distritos por horas del da. La misma informacin presentada por tumos, quiz an facilitara ms la redistribucin de los agentes de un
mismo tumo en funcin de los distritos o sectores con mayor volumen de demandas.
Finalmente, las Tablas 6 y 7 resumen los tiempos medios de respuesta y
de servicio para cada distrito por categoras de incidentes. Este tipo de informacin puede ser til a los administradores policiales para determinar si se
producen retrasos sistemticos en la distribucin de los servicios por categoras de incidentes y distritos o para identificar aquellos servicios que consumen
tiempos poco usuales. As, por ejemplo, si un agente del distrito VI pasa media hora diaria en emergencias mdicas, ello es indicativo de la necesidad de
un servicio de ambulancia en la zona.
Tabla 6:
DISTRITO
TIPO DE INCIDENTE
TIEMPO DE RESPUESTA
Media
Desv. Sto
Casos
5,8709
27,2524
2332
9,6124
5,1557
12,1821
6,6774
10,2528
12,2424
7,8514
37,8377
15,8557
61,3042
17,3348
22,3773
29,2216
24,4286
1099
212
313
124
178
198
74
233
DISTRITO
TIPO DE INCIDENTE
Media
Desv. St.
Casos
ACCIDENTE
1,2260
1,2260
,8571
,3125
,1250
,1875
2,8788
5,9739
5,9739
2,5490
,7378
,3416
,5439
9,9240
177
52
28
32
16
16
33
ALARMA
2,7386
3,2500
3,1667
2,5600
,7500
,2500
4,2353
8,4846
8,2475
7,7567
10,3685
1,7525
,7071
10,2013
88
24
6
25
8
8
17
PERSONA NECESITADA
,6850
,18601
,3056
1,5135
1,4074
,4444
,4000
2,5960
,9324
,9804
5,2895
2,5908
,5774
,8550
200
43
36
37
27
27
30
2,4545
14,0000
,0000
,0000
,5714
1,0000
8,7163
23,3880
,0000
,0000
,7868
2,1381
22
3
1
3
7
8
2,9823
2,9823
4,4423
3,8095
1,6889
2,6389
2,3462
8,1797
8,1797
11,5324
10,1842
3,6044
7,0230
6,7964
282
282
52
42
45
36
52
1
2
3
4
5
6
1
2
3
4
5
6
1
2
3
4
5
6
REL. CON DROGAS
2
3
4
5
6
MOLESTIAS Y DISPUTAS
1
2
3
4
5
6
234
TIEMPO DE RESPUESTA
TERCERA PARTE
DISTRITO
1
2
3
4
TIPO DE INCIDENTE
Media
Desv. Sto
Casos
4,5753
9,4167
3,4286
4,4667
2,7500
2,7143
3,7083
10,1419
18,8219
8,6382
7,7724
4,9785
4,2314
8,2750
73
12
7
15
8
7
24
DEL. CONTRA LA
PROPIEDAD
,4815
,7500
,4615
,0000
,6667
,2143
,4615
1,1738
1,5108
,9674
,0000
1,6583
,8018
,9674
81
24
13
8
9
14
13
,5098
,6000
,6000
,6250
,0000
,2727
,6000
,9246
1,2984
,8433
,9161
,0000
,4671
,8944
51
15
10
8
2
11
5
4,7064
2,4833
8,2195
2,6364
4,5000
9,9375
4,2143
18,7552
4,4626
30,1086
5,6944
8,1449
38,1601
17,7812
218
60
41
33
26
16
42
5,8235
1,8571
1,6667
32,0000
4,3750
,0000
6,5000
16,1010
2,3401
1,4142
51,1566
5,6805
,0000
11,5888
34
7
9
3
8
1
6
RECUPERACION DE
VEHICULOS
5
6
1
2
3
4
5
6
1
2
3
4
5
6
OTROS
1
2
3
4
5
6
INFRACCION ADM.
1
2
3
4
5
6
TIEMPO DE RESPUESTA
235
DISTRITO
TIPO DE INCIDENTE
DEL. SEXUAL
1
2
4
6
TIEMPO DE RESPUESTA
Media
Desv. St.
Casos
2,0000
1,0000
6,0000
,0000
,0000
4,0415
1,41421
7,0711
,0000
,0000
7
2
2
1
2
Tabla 7:
DISTRITO
TIPO DE INCIDENTE
Media
Desv. St.
Casos
23,6319
29,5963
2309
INFRACCION TRAFICO
25,1172
23,4714
29,7194
21,2314
22,1503
23,2835
28,5132
36,0851
26,2560
56,5780
16,7540
19,2390
22,3003
30,9108
1084
210
310
121
173
194
76
ACCIDENTE
24,2260
23,3019
23,7778
23,5000
24,8750
28,5000
24,3939
16,3938
16,1359
15,0495
14,1467
17,1187
20,3011
18,3063
177
53
27
32
16
16
33
1
2
3
4
5
6
1
2
3
4
5
6
236
TIEMPO DE SERVICIO
TERCERA PARTE
DISTRITO
TIPO DE INCIDENTE
TIEMPO DE SERVICIO
Media
Desv. St.
Casos
ALARMA
17,1932
13,5417
19,0000
22,2400
17,6250
14,8750
15,1765
21,3519
20,2011
14,0855
29,4636
23,0089
9,5385
13,7352
88
24
6
25
8
8
17
PERSONA NECESITADA
19,1550
21,0930
13,2778
20,8378
18,8889
13,9259
26,3000
22,3026
26,7660
8,2760
20,2848
30,8998
11,3914
26,0664
200
43
36
37
27
27
30
14,6522
16,3333
12,0000
19,3333
14,1250
13,1250
7,0621
2,0817
,0000
9,0185
9,2341
5,6930
23
3
1
3
8
8
1
2
3
4
5
6
17,4479
17,8674
11,9164
16,9949
11,8084
11,4130
27,7467
277
53
52
51
45
36
50
RECUPERACION DE
VEHICULOS
19,0945
21,0014
11,1761
32,7436
12,0683
9,2014
12,4812
73
12
7
15
8
7
24
1
2
3
4
'5
6
1
2
3
4
5
6
1
2
3
4
5
6
24,8082
25,1667
20,2857
28,0000
22,7500
20,0000
26,0417
237
DISTRITO
1
2
3
4
5
6
1
2
3
4
5
6
TIPO DE INCIDENTE
Media
Desv. St.
Casos
DEL. CONTRA LA
PROPIEDAD
30,1519
33,0833
31,0769
32,1250
25,0000
33,4286
21,2727
28,7550
34,0969
28,8486
21,7810
34,5760
30,5456
11,1722
79
24
13
8
9
14
11
26,5625
36,0714
34,2222
16,8571
19,0000
22,0909
12,6000
30,1957
48,1448
27,1697
8,3552
4,2426
15,0363
9,4234
48
14
9
7
2
11
5
OTROS
27,1514
28,8333
33,3415
20,0303
19,5556
30,3529
27,9250
27,6572
24,0981
36,9937
10,8555
13,7207
37,3630
32,3494
218
60
41
33
27
17
40
INFRACCION ADM.
25,8824
16,7143
22,6667
37,333
24,3750
50,0000
33,6667
18,9365
10,1278
14,5602
27,3191
16,3440
,0000
28,7100
34
7
9
3
8
1
6
DEL. SEXUAL
18,0000
33,5000
14,5000
20,0000
9,3333
11,4518
10,6066
2,1213
,0000
5,7735
8
2
2
li
3
1
2
3
4
5
6
1
2
3
4
5
6
1
2
4
6
Total Casos
Casos Perdidos
238
TIEMPO DE SERVICIO
= 2385
= 76 3,2%
TERCERA PARTE
A. POR TURNOS
Las unidades operativas de la GUH se organizan en tres tumos de 8 horas
que operan de acuerdo con los horarios y efectivos que se especifican a continuacin.
Tumo de la maana, de 6 horas a 14 horas (12 sectores)
- 1 sargento
- 6 cabos
-47 agentes
239
Tabla 8:
Di~tribucin
Tiempo * % Tiempo
de Servicio Servicio
Agentes
%
Agentes
Fre.
MAANA
54
43,5
893
38,7
21.680
39,7
TARDE
55
44,3
964
41,7
22.869
41,9
NOCHE
15
12,1
452
19,6
10.017
18,4
124
99,9
2.309
100
54.566
100
Tumo
TOTAL
TERCERA PARTE
B. POR DISTRITOS
La distribucin de los agentes por sectores solamente es operativa durante los turnos de da, por lo que el anlisis se limita a las demandas y tiempos de servicio agregados por distritos que se producen durante el intervalo que va de las 6 de la maana
hasta las 10 de la noche. Por otra parte, se excluyen los sargentos por ser responsables
de zonas que superan los sectores y distritos en los que se divide la ciudad.
La distribucin de los agentes por distritos municipales es la que se especifica
a continuacin:
Distrito 1, 3 sectores
- 3 cabos
- 23 agentes
Distrito V, 2 sectores
- 2 cabos
- 16 agentes
Tabla 9:
Distrito
Agentes
%
Agentes
26
24,3
385
20,7
9.398
21
II
18
16,8
430
23,2
11.676
26,2
III
18
16,8
263
14,2
5.740
12,9
IV
18
16,.8
257
13,8
5.583
12,6
18
16,8
265
14,3
5.859
13,2
VI
8,4
257
13,8
6.293
14,1
107
99,9
1.857
100
44.549
100
TOTAL
Fre.
TERCERA PARTE
B. TIEMPO DE RESPUESTA
a. En Funcin del Tipo de Incidente
La Tabla 10 muestra los tiempos medios de respuesta en la GUH por categoras de incidentes. La primera y la segunda columna presentan las medias
243
Media
Desv.
Stand.
TRAFICO
ACCIDENTES
ALARMA
PERSONA NECESITADA
RELAC. CON DROGAS
MOLESTIAS Y DISPUTAS
RECUPERACION VERIC.
DEL. CONTRA PROPIEDAD
DEL. CONTRA PERSONAS
DEL. SEXUAL
INFRACCION ADM.
OTROS
9,6
1,2
2,7
0,6
2,4
2,9
4,5
0,4
0,5
2
5,8
4,7
37,8
5,9
8,4
2,5
8,7
8,1
10,1
1,1
0,9
4
16,1
18,7
5,8
27,2
Tipos de incidentes
Mediana
Fre.
1
0
1.099
177
88
200
22
282
73
81
51
7
34
218
O
O
O
O
O
1
O
2.332
TERCERA PARTE
Figura 1
VOLUMEN DE SERVICIOS
POR HORA DEL OlA
190 - , - - - - - - - - - - - - - - - - - - - - - - - . . ,
180
170
160
150
140
130
120
UJ
110
el
c;n
gj 100
o
fi:
~
90
80
70
60
50
40
30
20
\O
0-+--------------------------1
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
HORA
245
Figura 2
TIEMPO DE RESPUESTA
POR HORA DEL OlA
20
-r--------------------------,
19
18
17
16
15
14
13
Vl
12
11
::>
10
9
8
7
6
5
3
2
1
0-+---------------------------1
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
HORA
La comparacin de ambas grficas permite determinar si existe alguna relacin entre estas dos variables (85).
El nivel de demandas se mantiene en los niveles ms bajos durante la noche para crecer de forma considerable desde las 6 hasta las 8 de la maana.
Mantiene un nivel alto fluctuante durante el da para llegar a su mximo alrededor de las 8 de la tarde, hora a partir de la cual empieza a descender.
Los tiempos medios de respuesta mantienen niveles igualmente bajos hasta las 5 de la maana, hora a partir de la cual aumentan considerablemente alcanzando su valor ms alto entre las 10 Ylas 11 de la maana. A esta hora empieza un descenso continuado que slo se ve truncado por aumentos
importantes entre las 3 y las 7 de la tarde.
No parece, por tanto, que exista una estrecha relacin entre volumen de
servicios y tiempo de respuesta si bien es cierto que entre las 7 y las 11 de la
maana, y en menor medida entre las 16 y las 19 horas se produce un cierto
retraso en las comunicaciones que podra estar motivado por la acumulacin
de demandas.
(85) Para el estudio de las relaciones entre tiempo de respuesta/servicio y demanda global, seguimos
el trabajo de Maxfield, (1981: 124-129).
246
TERCERA PARTE
Otro motivo de retraso puede hallarse, ms que en problemas de capacidad o disponibilidad de los agentes, en la interpretacin que hacen de cada incidente los operadores y en la prioridad asignada a cada caso.
La Tabla 11 muestra la frecuencia con la que los operadores de la sala de
mando asignan cada una de las prioridades establecidas, as como el tiempo
medio de respuesta para cada categora.
Fre.
Media
Desv.
Stand.
PELIGRO
0,2
0,4
0,5
URGENTE
82
3,4
3,5
25
174
7,3
2,2
9,4
2.124
89,1
6,2
28,3
2.385
100
5,8
27,2
Prioridad
IMPORTANTE
RUTINA
TOTAL
En primer lugar, cabe destacar que en tan slo el 11 % de los casos se asign algn tipo de prioridad, de modo que el 89% restante de los casos estudiados no merecieron ningn tipo de priorizacin.
Entre los casos a los que les fue, asignada algn tipo de prioridad, en 5 ocasiones (el 0.2% de los casos) aqulla fue mxima y el tiempo medio de respuesta
fue efectivamente el ms bajo (0.4 minutos). Las prioridades 2 y 3 fueron asignadas al 3.4% y al 7.3% respectivamente de los casos. Sin embargo los tiempos de
respuesta fueron superiores para los casos de prioridad 2 que para los de prioridad 3. La elevada desviacin estndar de la segunda categora es indicativa de
que podra haberse cometido algn error al asignar prioridad 2 a casos que de hecho se trataron como de inferior prioridad. Si se excluyen del anlisis las infracciones de trfico y de cracter administrativo, la asignacin de prioridad aparece
entonces como claramente efectiva en la reduccin de los tiempos de respuesta.
Estos no llegan ahora a 0.69 y 0.91 minutos para las prioridades 2 y 3 respectivamente, se mantienen en 0.4 minutos para la prioridad 1 (dado que sta no fue
asignada a ningn incidente relacionado con el trfico o con una infraccin administrativa) y pasa de 6.2 a 2.6 minutos para el resto de los incidentes.
247
Como muestra la Tabla 12, los problemas que consumen ms tiempo suponen entre 24 y 30 minutos de media y entre 18 y 21 minutos de mediana. Se trata
de delitos contra la propiedad o contra las personas --donde la atencin a las vctimas es sumamente importante-, el grupo residual de otros servicios que incluye incidentes de naturaleza muy variada, y todos los relacionados con trfico,
accidentes, recuperacin de vehculos e infracciones administrativas.
Deberan reducirse los tiempos de servicio consumidos en algunas de estas categoras de incidentes para as conservar recursos con los que hacer frente a nuevas demandas ms rpidamente?
Tabla 12: Tiempo medio de servicio por categoras de incidentes
Tipos de incidentes
Media
Desv.
Stand.
Mediana
Fre.
TRAFICO
ACCIDENTES
ALARMA
PERSONA NECESITADA
RELAC. CON DROGAS
MOLESTIAS Y DISPUTAS
RECUPERACION VERIC.
DEL. CONTRA PROPIEDAD
DEL. CONTRA PERSONAS
DEL. SEXUAL
INFRACCION ADM.
OTROS
25,1
24,2
17,1
19,1
14,6
17,9
24,8
30,1
26,5
18
25,8
27,1
36
16,3
21,3
22,3
7
17,4
19
28,7
30,1
11,4
18,9
27,6
18
20
11
13
13
14
20
21
17
16
20
19
1.084
177
88
200
23
277
73
79
48
8
34
218
23,6
29,5
248
2.309
TERCERA PARTE
38...,.----------------------.....,
36
34
32
30
28
~ 26
=> 24
22
20
18
16
14
12
1O+----------------------~
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 2021 22 2324
HORA
249
% Nacidos
Variables
Densidad
Trabaja
Estudios
Catalunya
TIEMPO DE RESPUESTA
0,0635*
-0,0192
-0,0306
-0,0358
0,017
-0,0218
0,0057
0,0248
TIEMPO DE SERVICIO
TERCERA PARTE
2Sl
niveles: inputs y proceso. En nuestro caso, ha consistido en analizar las demandas que experimenta el servicio, la distribucin de los recursos y la forma
en que stos son gestionados para atender aqullas de forma rpida y suficiente en cuanto a tiempo.
A su vez, el tiempo que tarda la Polica Local en responder a una demanda
individual y el tiempo que pasa con aqulla pueden ser interpretados como indicadores de eficacia policial en s mismos, e independientemente de otras
medidas de outputs concretos. Adems, estos indicadores permiten hacer una
valoracin, en trminos de equidad, del servicio prestado a distintos grupos de
poblacin o zonas de la ciudad.
Si bien es cierto que la evaluacin de un servicio policial tambin se puede
expresar en trminos de medidas de otros outputs, generalmente ello supone distorsionar la realidad dado que los indicadores seleccionados no reflejan toda la
actividad policial. Lo que se plantea aqu es, pues, la necesidad de un sistema de
informacin que permita relacionar demandas concretas con resultados de la accin policial con motivo de aquella demanda, para poder obtener as informacin
sobre las consecuencias para la poblacin de la intervencin de la Polica Local
Grado en que
se pueden medir
los resultados
252
completo
incompleto
alto
bajo
TERCERA PARTE
TERCERA PARTE
sobre cmo se produce la interaccin entre las actividades del servicio y las
condiciones sociales sobre las que se quiere influir. Estas son cuestiones sobre
las que nuestro nivel de conocimientos es a menudo muy reducido, por lo que
si bien la evaluacin puede proporcionar informacin en base a ciertas percepciones sobre lo que debera hacer un servicio, esta informacin no debe interpretarse como una respuesta definitiva, sino ms bien como un nuevo input a
partir del cual formular nuevas cuestiones y avanzar en la lnea de determinar
posibles impactos de la intervencin pblica en la sociedad.
255
CONCLUSIONES
En este apartado recogemos aquellas conclusiones a las que nos ha llevado la investigacin sobre la evaluacin de programas y servicios pblicos.
Ms que conclusiones definitivas sobre el tema, se trata de una serie de reflexiones finales que resumen nuestra tesis e incorporan lo aprendido de la experiencia concreta de los estudios de caso en relacin con lo afirmado por la literatura cientfica.
1. La evaluacin de programas y servicios pblicos puede constituir una
herramienta til de reforma, racionalizacin y mejora cualitativa de la intervencin pblica en la sociedad.
La evaluacin, como hemos visto, puede adoptar formas muy diversas y
puede ser llevada a cabo de acuerdo con metodologas muy diferentes. No
creemos necesario ni conveniente alineamos con una metodologa racionalcientfica-cuantitativa-sumativa, ni tampoco con su alternativa pluralista-naturalista-cualitativa-formativa. El mrito no est tanto en la naturaleza de la investigacin como en la relevancia de la informacin producida en cada caso
concreto.
El desarrollo de nuevas polticas y programas en nuestro pas requiere una
comprensin ms amplia y profunda de los procesos, con el objeto de sacar
enseanzas positivas para acciones futuras. Desde este punto de vista, nos parece importante que la evaluacin sirva para producir informacin til para la
discusin y negociacin de las nuevas formas de intervencin pblica.
Al mismo tiempo, creemos que existe un amplio campo de investigacin
en el anlisis de la actuacin de las Administraciones Pblicas con el objeto
de producir informacin que sirva a sus gestores para obtener alguna idea de
la calidad de los servicios que estn produciendo. Desde este punto de vista,
nos parece igualmente importante que la evaluacin sirva para producir informacin til para pasar cuentas y hacer un cierto balance de aquella actuacin.
2. La evaluacin de programas y servicios pblicos se integra en el marco terico del anlisis de las polticas pblicas, en la medida que, como ste,
persigue producir informacin que tenga alguna relevancia a nivel de proceso
de toma de decisiones poltico-administrativas, esto es, informacin que resulte til para resolver problemas concretos.
A diferencia del anlisis de las polticas pblicas, de carcter ms bien
anticipatorio, la evaluacin de programas normalmente tiene lugar durante
el proceso de formacin de las polticas o con posterioridad a su puesta en
prctica.
259
Al igual que el anlisis de las polticas pblicas, la evaluacin se caracteriza por su carcter aplicado y por el recurso a mltiples mtodos de investigacin. A diferencia de la investigacin bsica, sin embargo, la evaluacin se
realiza para que sus resultados sean utilizados por personas concretas, y tiene
lugar en un contexto real. La percepcin de la evaluacin como una amenaza
para los sujetos evaluados impone algunas limitaciones importantes a este tipo de investigacin.
3. El desarollo de la evaluacin de programas se asocia con el crecimiento
de los programas sociales y de ayuda internacional durante los aos sesenta en
los EEUU, Canad, y en algunos pases europeos, y con la introduccin, desarrollo y generalizacin paralelos de reformas racionalizadoras de los procesos de decisin y presupuestacin pblicos.
Si bien los procesos de gensis y evolucin de la evaluacin son bastante
similares para estos pases, su grado de sistematizacin e institucionalizacin
difiere en funcin de la posicin que ocupan los tribunales de cuentas en relacin con el legislativo y el ejecutivo, y del impulso otorgado a la evaluacin
por los Ministerios de Hacienda. Tambin cabe distinguir aquellos pases en
que la evaluacin se plantea en relacin con las polticas generales de las instituciones centrales de gobierno, de aquellos otros en que presenta una estructura ms descentralizada y en que, por tanto, est ms relacionada con programas concretos.
4. La evaluacin de programas ampla progresivamente las cuestiones
a las que se dirige hasta incluir en su mbito, primero, la evaluacin de los
efectos netos de la intervencin pblica -es decir, de aquellos efectos que
no se hubieran producido en ausencia de aqulla-; segundo, la evaluacin
de la implementacin de los programas -esto es, de su cobertura y organizacin administrativa-; tercero, la evaluacin de la forma en que los
programas son concebidos y diseados en funcin de los estudios de necesidades y de la forma en que son definidos los problemas sociales; y cuarto, los anlisis coste-eficacia y coste-beneficio -es decir, la evaluacin
econmica-o
Desde esta perspectiva, la evaluacin comprensiva de una poltica o programa pblicos, permite relacionar los resultados finales de una intervencin,
con su coste, y con la forma en que fue administrada y hasta planificada inicialmente.
Desde otra perspectiva, la demanda de evaluacin de un programa puede
responder a propsitos de carcter formativo, con el objeto de obtener informacin til para la gestin operativa del programa durante su desarrollo, o a
propsitos de carcter sumativo, con el objeto de proporcionar informacin
til para el proceso de toma de decisiones sobre la continuidad o la terminacin de una poltica.
260
CONCLUSIONES
Esta aproximacin es adecuada cuando se trata de un programa bien definido, susceptible de ser analizado por partes y que permite la descripcin de
un modelo de impacto con unas relaciones causales claras; donde una serie de
individuos reciben una misma intervencin cuyos efectos pueden ser anticipados y claramente medidos; y cuando es posible formar grupos de comparacin
equivalentes y/o obtener mltiples medidas de una misma variable en intervalos peridicos de tiempo anteriores y posteriores a la intervencin.
7. La premisa terica en la que se fundamenta el modelo pluralista de
evaluacin es que generalmente existe una diversidad de percepciones sobre
los criterios evaluativos que deben aplicarse en relacin con un programa
especfico, y que lo importante, no es tanto desarrollar medidas objetivas de
resultados como facilitar un amplio dilogo entre los defensores de criterios
diversos.
La evaluacin pluralista se caracteriza por abrir el proceso evaluador a
mltiples actores, con intereses y perspectivas diversos, con el objeto de producir informacin que resulte til a estos actores y, especialmente a aqullos
con mayor capacidad de influir en las decisiones futuras.
El modelo de evaluacin pluralista responde perfectamente a la demanda
de evaluaciones que puedan ser realizadas en perodos de tiempo relativamente cortos, sin comprometer grandes cantidades de recursos y que respondan a
las necesidades de sus usuarios. Adems, el recurso a metodologas cualitativas permite mantener un estrecho contacto con la realidad y obtener una mejor comprensin del entorno poltico-social en el que se desarrollan nuevas intervenciones sociales.
Por el contrario, las aproximaciones pluralistas raramente sirven al objeto
de producir una estimacin de los efectos netos de los programas pblicos en
grupos de poblacin especficos.
8. El caso del Plan integral de Roquetes pone de relieve que muchos programas no son productos acabados a punto de ser examinados a travs de la medida
de sus efectos especficos en el momento que se plantea su evaluacin. De forma general, se puede caracterizar a estos programas en funcin de sus objetivos
amplios, generales y abstractos; su forma poco estructurada y en constante evolucin; y su objeto, ms una situacin que es percibida en abstracto como no deseada que un problema especfico de unos individuos concretos.
En estos casos, resulta difcil determinar de forma previa, como podramos saber si los objetivos se haban realizado al final del programa; es preciso
examinar qu es lo que ha ocurrido en el caso concreto para poder definir el
programa que se est evaluando; y es igualmente importante, generar un proceso que sirva al objeto de identificar posibles efectos de la intervencin.
En estos casos, la adopcin de una perspectiva pluralista puede servir tanto al objeto de responder a las cuestiones que realmente interesan a los actores
262
CONCLUSIONES
BIBLIOGRAFIA
ALBAREDA, M. 1988
Planes de Ocupacin INEM-Corporaciones Locales, 1987
Barcelona: INEM
ALBI IBAEZ, E., J.A. RODRIGUEZ ONDARZA 1988
Anlisis Coste-Beneficio: Notas sobre su Situacin Actual, Papeles de
Economa Espaola,
37: 482-487
ALBRITTON, R.B.1979
Measuring Public Policy: Impacts of the Supplemental Security Income
Program, American Joumal of Political Science,
23: 560-578
ALBRITTON, R.B., T. WITAYAPANYANON 1989
Impacts of SSI: A Reanalysis of Federal Welfare Policy, en
R.D. BINGHAM, C.L. FELBINGER Evaluation in Practice
White Plains, NY.: Longman
ALCAIDE INCHAUSTI, J. 1988
El gasto pblico en la democracia espaola: los hechos, Papeles de
Economa Espaola,
37: 2-41
ALVIRA MARTIN, F.1991
Metodologa de la Evaluacin de Programas
Madrid: CIS
ARVIDSSON, G.1986
Perfonnance Evaluation, en EX. KAUFMAN, G. MAJONE, J. OSTROM.
Guidance, Control and Evaluation in the Public Sector
Berln: De Gruyter
BAENA DEL ALCAZAR, M. 1977
El Poder Econmico de la Burocracia en Espaa, Infonnacin Comercial
Espaola,
522: 12-21
267
BIBLIOGRAFIA
269
BIBLIOGRAFIA
19~6
CRONBACH, L.J.1982
Designing Evaluations 01 Educational and Social Programs.
San Francisco, CA.: Jossey-Bass
CROZIER, M.1964
The Bureaucratic Phenomenon.
Chicago, IL.: The Universtiy of Chicago Press
DIAMANT, A. 1962
The Bureaucratic Model: Max Weber Rejected, Rediscovered and Reformed, en
F. HEDDY, S.L. STOKES (eds.) Papers in Comparative Public Administration,
Ann Arbor, MI.: University of Michigan
DROR, Y. 1967
Public Policy-making Reexamined.
Scranton, PENN.: Chandler
DUNN, W.N.1986
The Meaning of Policy Analysis, en ES. LANE Current Issues in Public
Administration,
New York, NY.: S1. Martin's Press
271
DUTTON, D. 1978
Explaining the Low Use of Hea1th Services by the Poor: Cost, Attitudes or
Delivery Systems, American Sociological Review,
43: 348-368
EVALUATION STANDARDS COMMITTEE 1981
Standards for Evaluation of Educational Programs, Projects and Materials
New York, N.Y.: McGraw Hill
EVENO, B.1984
L'Evaluation et le ContrOle Administratif, en J.P. NIOCHE,
R. POINSARD, L' Evaluation des Politiques Publiques,
Pars: Economica
FAYOL, H. 1937
The Administrative Theory in the State, en L. GULICK Y L. URWICK
(eds.) Papers on the Science ofAdministration,
New York, N.Y.: Institute of Public Administration
FESTINGER, L. 1964
Behavorial Support for Opinion Changes, Public Opinion QuarterIy,
28: 404-417
GLASS, G.V., V.L. WILSON, J.M. GOTTMAN 1975
Design and Analysis ofTime-Series Experiments
Boulder, CO: AUP
GOLDENBERG, E.N. 1983
The Three Faces of Evaluation, Joumal of Policy Analysis and
Management,
2: 515-525
GRUP D' ANALISI POLITICA 1991
Avaluaci Pla Integral Roquetes
Departament de Ciencia Poltica i Dret Pblic, Universitat Autonoma de
Barcelona
GUBA, E.G., Y.S. LINCOLN 1981
Effective Evaluation: Improving the Usefulness ofEvaluation Results Through
Responsive and Naturalistic Approaches
San Francisco, CA: Jossey Bass
272
BIBLIOGRAFIA
GULICK, L.1937
Notes on the Theory of Organization, en L. GULICK y L. URWICK (eds.)
Papers on the Science ofAdministration.
New York, N.Y.: Institute of Public Administration
273
BIBLIOGRAFIA
LEVY, K 1984
L'Evaluation des Politiques Publiques aux Etats-Unis, en J.P. NIOCHE y
R. POINSARD (eds.) L' Evaluation des Politiques Publiques,
Pars: Economica
LEWIS, F.L., KG. ZARB 1974
Federal Program Evaluation from the OMB Perspective, Public
Administration Review,
34: 308-317
LINDBLOM, C.E.1959
The Science of 'Muddling Through', Public Administration Review,
19: 79-88
LINDBLOM, C.E. 1980
The Poliey-Making Proeess.
Englewood Cliffs, NJ.: Prentice-Hall
LINEBERRY, R.L. 1977
Equality and Urban Poliey: The Distribution ofMunicipal Publie Serviees
Beverly Hills, CA: Sage
LIPSKY, M. 1976
Toward a Theory of Street-Level Bureaucracy, en W.D. HAWLEY (ed)
Theoretieal Perspeetives on Urban Politics
Englewood Cliffs, NJ: Prentice Hall
LOPEZ GARRIDO, D. 1987
El Aparato Policial en Espaa
Barcelona: Ariel
LOSCHACK, D. 1975
La Science Administrative: Quelle Administration? Quelle Science?, Revue
Intemationale de Science Administrative,
XL: 239-252
MAE KELLY, R. 1987
The Politics of Meaning and Policy Inquiry, en D.J. PALUMBO
The Polities of Program Evaluation
Beverly Hills, CA: Sage
275
MAJONE, E.1989
Evidence, Argument and Persuasion in the Policy Process
New Haven, CN: Yale University Press
MARTIN FERNANDEZ, M. 1990
La Profesin de Polica
Madrid: Siglo XXI-CIS
MARVIN, K.E., J.L. HEDRICK 1974
GA Helps Congress Evaluate Programs, Public Administration Review,
34: 327-332
MAXFIELD, M.G.1979
Discretion and the Delivery of Police Services (Tesis)
Ano Arbor, MI: UMI
MAXFIELD, M.G.. 1985
Service Time, Dispatch Time, and Demand for Police Services: Helping
More by Serving Less, en E. CHELIMSKY, Program Evaluation: Patterns
and Directions
Washington DC: American Society for Public Administration
MAXFIELD, M.G., G. PIERCE 1986
Impact ofLegislation to Prohibit Happy Hours on Alcohol-Related Motor
Vehicle Accidents.
Washington, D.C.: Nationallnstitute of Justice
MAYNTZ, R. 1985
Sociologa de la Administracin Pblica
Madrid: Alianza Universidad
MAYO, E. 1945
The Social Problems ofan Industrial Civilization.
London: Routledge & Kegan Paul
MERTON, R.K. 1957
Bureaucratic Structure and Personality, en Social Theory and Social Structure,
New York, N.Y.: The Free Press
MIKESELL, J .L. 1982
Fiscal Administration
Chicago, IL: Dorsey
276
BIBLIOGRAFIA
277
BIBLIOGRAFIA
ROUBAN, L. 1983
Le General Accounting Office, Recherche sur l' Evaluation des Politiques
Publiques aux Etats-Unis. (Tesis)
Pars 1
RUTMAN, L. 1980
Planning Useful Evaluations: Evaluability Assessment
Beverly Hills, CA: Sage
RUTMAN, L. 1984
Evaluation Research Methods
Beverly Hills, CA: Sage
SCRIVEN, M. 1967
The Methodology of Evaluation, en R. TYLER, R. GAGNE, M. SCRIVEN
(eds.) Perspective ofCurriculum Evaluation,
Chieago, IL: Rand MeNally
SCRIVEN, M.1973
Goal-Free Evaluation, en E.R. HOUSE (ed) School Evaluation.
The Politics and Process
Berkeley, CA: Me Cutehan
SELZNICK, P. 1966
TVA and the Grass Roots
New York, NY: Harper and Row
BIBLIOGRAFIA
SKIDMORE, F. 1989
Overview of the Seattle-Denver Income Maintenance Experiment Final
Report, en R. BINGHAM, C. FELBINGER Evaluation in Practice
White Plains, NY: Longman
STAKE, R.E.1975
Evaluating the Arts in Education
Columbus, OH: Merril
STIPACK, B.1979
Citizen Satisfaction with Urban Services: Potential Misuse as a Performance
Indicator, Public Administration Review,
39: 46-52
STOUT, R.1980
Management or Control? The Organizational Challenge
Bloomington, IN: Indiana University Press
STROSBERG, M.A.; J.S. WHOLEY 1983
Evaluability Assessment: From Theory to Practice in the Department of
Health and Human Services, Public Administraton Review,
43: 66-71
STRUYK, R.J.; M. BENDICK (eds.) 1981
Housing Vouchers for the Poor: Lessons from a National Experiment.
Washington, DC: Urban Institute
SUBIRATS, J. 1988
Consideracions poltico-administratives sobre la posada en practica de les
poltiques pbliques, Autonomies
9: 93-109
SUBIRATS, J.1989
Anlisis de Polticas Pblicas y Eficacia de la Administracin.
Madrid: Instituto Nacional de Administracin Pblica
SUCHMAN, E.A. 1970
Action for What? A Critique of Evaluative Research, en R. O'TOOLE (ed.)
The Organization, Management and Tactics of Social Research,
Cambridge, MA: Schenkman
281
282
BIBLIOGRAFIA
284
Ministerio
para las
Administraciones
Pblicas
Coleccin
Estudios
o
o
Q-S
II
c
i_
re u
-2 i
-o
Xavier Ballart
Serie
Administracin
P.V.P. 2.300
(IVA INC