Reflexiones sobre la evaluacin de las polticas

*
Ides Nicaise
El esfuerzo de objetividad que implica toda evaluacin puede cubrirse con la pericia de los
investigadores. Es su tarea particular hacer existir a los ausentes, a los no alcanzados por los
programas que a ellos se destinan. Es tambin su labor tener una actitud que estimule el
dilogo entre todos los actores.
Las reflexiones presentadas a continuacin se basan en mi experiencia de investigacin en el
HIVA (Hoger nstitut voor de !rbeidl
1
) instituto interdisciplinario fundado ! administrado
con"untamente por la #niversidad $atlica de Lovaina
%
! el movimiento obrero cristiano en &landes
para estudiar todas las cuestiones de inter's para este (ltimo. )epresentantes de este movimiento
ocupan puestos ministeriales tales como la ense*an+a empleo ! traba"o emancipacin social familia !
bienestar medio ambiente... Nuestro instituto funciona sobre la base de contratos de investigacin no
solamente con oficinas ministeriales o con el propio movimiento obrero sino con diversas
asociaciones empresas fondos de investigacin instituciones europeas. Los estudios desarrollados
est,n casi siempre en relacin directa con la preparacin o la evaluacin de pol-ticas.
No es dif-cil para un aliado de A./ $uarto 0undo sentirse cmodo dentro de un medio seme"ante1
por un lado el movimiento obrero siempre 2a sido promotor de la democracia ! de los derec2os de los
grupos desfavorecidos ! por otro es nuestra tarea a!udar a este movimiento a encontrar sus ra-ces
entre a3uellos 3ue viven la condicin 3ue le 2i+o nacer. Va de su!o 3ue el movimiento obrero tambi'n
exclu!e como toda organi+acin4 2a! ciertos conflictos de inter's entre asalariados ! desempleados
entre a3u'llos 3ue contribu!en a la seguridad social ! los 3ue dependen de ella entre el alumno medio
! el m,s marginado de la escuela... pero al menos el di,logo sigue siendo posible ! la preocupacin
por la solidaridad es real. 5e trata de afinar la mirada de recordar lo esencial de la luc2a obrera.
6n efecto A./ $uarto 0undo nos ense*a a 2acer una lectura cr-tica de toda medida pol"tica a partir de
la vivencia de las familias m,s pobres. 6sta actitud puede eventualmente llevarnos a criticar medidas
3ue al principio tuvieron por ob"etivo una ma!or igualdad. As- por e"emplo fuimos recientemente
invitados a comentar un pro!ecto del 6"ecutivo flamenco destinado a combatir los abusos de ciertas
categor-as de traba"adores independientes en el sistema de subsidios educativos. 7a 3ue los ingresos
fiscales de los traba"adores independientes suelen subestimarse se aprovec2an de las venta"as sociales
3ue son otorgadas sobre la base de un ingreso fiscal como los subsidios educativos.
6l 6"ecutivo tiene previsto excluir del beneficio a a3uellos 3ue tienen una renta catastral
8
superior al
%9: del ingreso fiscal por3ue ello puede indicar cierta ri3ue+a camuflada. La confrontacin de esta
medida en principio igualitaria con la vivencia de las familias m,s pobres nos revela sin embargo los
peligros sub!acentes. 6n efecto para las familias m,s pobres tambi'n 2a! una desproporcin entre el
; .raduccin libre de <.0. )am-re+.
1 Instituto 5uperior del .raba"o.
% ='lgica. #. del $.
8 La renta catastral es el ingreso atribuido a la vivienda de una familia en funcin del tama*o de esa vivienda.
1
ingreso fiscal mu! d'bil casi inexistente ! el ingreso catastral modesto pero desproporcionado. 6n el
(ltimo momento la proposicin fue modificada para proteger al menos a ciertos grupos de los m,s
desfavorecidos (beneficiarios de programas sociales estudiantes aislados...) contra las consecuencias
de esta medida.
La evaluacin de toda pol-tica a partir de los m,s excluidos incluso si a primera vista no les afecta
ser-a idealmente un refle"o una preocupacin constante. 6sto nos obliga a participar plenamente en
todos los debates de la sociedad no solamente en a3uellos relativos a la distribucin del ingreso o al
empleo. 6n esa perspectiva el movimiento obrero nos sirve de e"emplo al interesarse tanto en las
relaciones mundiales ! en la pol-tica cient-fica como en el estatus de los profesores.
>$u,les son las cuestiones clave de un estudio de evaluacin en un campo cual3uiera de la pol-tica
econmica ! social? Al revisarlos nos percatamos 3ue corresponden en buena medida a los criterios
planteados en el Informe @resinsAi
B
.
Alcanzar a los ms desprotegidos
6n primer lugar est, desde luego el alcance de las medidas la prioridad 3ue ellas dan a los m,s
desfavorecidos1 >alcan+an a los individuos o familias m,s desfavorecidos m,s marginados? #n perfil
socioeconmico de los grupos concernidos (compuesto a partir de las categor-as socioprofesionales
inferiores situacin familiar tasa de desempleo entre los participantes distribucin seg(n los niveles
de escolaridad...) constitu!e el m'todo Ccl,sicoC para demostrar en 3u' medida los grupos
desfavorecidos toman parte de las venta"as4 se trata para nosotros de afinar los criterios (por e"emplo
proporcin de familias 3ue viven con el minimex
D
n(mero de familias disueltas porcenta"e de fracaso
escolar o de analfabetismo tasa de desercin escolar...) para adivinar si los m,s pobres tambi'n toman
parte del beneficio. La ma!or-a de las veces estos indicadores ni si3uiera est,n disponibles lo 3ue
re3uiere de esfuer+os suplementarios para construirlos.
Hace falta tambi'n distinguir CaccesoC ! Cgarant-aC1 comparando el perfil ! el n(mero de participantes
con los del grupo de referencia uno se percata a veces de 3ue una medida puede estar selectivamente
orientada 2acia los grupos m,s desfavorecidos sin estar realmente garanti+ada. Eudimos constatar 2ace
varios a*os con sorpresa 3ue %D: de los derec2o2abientes a los subsidios educativos en la ense*an+a
secundaria de &landes no reclamaban sus derec2os1 en particular las familias con padres menos
educados situados m,s ba"o en la escala social ! de ingresos. 6n otros casos uno descubre
mecanismos administrativos mu! sutiles 3ue exclu!en a los pobres en la pr,ctica de los servicios
p(blicos1 as- si los desempleados no indemni+ados tienen desde 2ace varios a*os el derec2o a
participar en todas las medidas de reinsercin en la pr,ctica son t,citamente borrados de los registros
de solicitantes de empleo despu's de tres meses simplemente por3ue la agencia de empleo teme 3ue
las estad-sticas sean alteradas por los clientes Cde segundo rangoC 3ue encuentran empleo sin avisar. 6l
resultado es 3ue sin saberlo los derec2o2abientes son excluidos de los servicios de mediacin ! de
capacitacin al tiempo 3ue son obligados a inscribirse como solicitantes de empleo para por e"emplo
B Informe presentado por el fundador del 0ovimiento A./ $uarto 0undo <osep2 @resinsAi ante el $onse"o econmico
! social de &rancia en febrero de 1FGH. 5e titulaba CEobre+a extrema ! precariedad econmica ! socialC I%rande
pauvret et prcariet conomique et socialeJ. #. del $.
D 5ubsidio entregado en ='lgica a las personas 3ue no tienen o tienen pocos recursos.
%
obtener el ingreso m-nimo garanti+ado.
5e trata entonces de 2allar soluciones administrativas ! de otro tipo para 3ue medidas seme"antes no
contin(en siendo letra muerta para 3uienes m,s deber-an aprovec2arlas.
A veces la falta de participacin de los m,s pobres es m,s dif-cil de entender1 no se trata
necesariamente de medidas discriminatorias o barreras administrativas por cru+ar. >$mo explicar por
e"emplo la escasa participacin de 3uienes llevan muc2o tiempo desempleados (incluso los
indemni+ados) en los programas de capacitacin 3ue a ellos se destinan? Aun3ue las encuestas
muestran su deseo por capacitarse (H9 a G9: declaran 3uerer participar) 2a! un comportamiento
aparentemente contradictorio. Algunos son llevados entonces a creer 3ue esas personas no est,n
realmente disponibles para el mercado de traba"o ! a impulsar sanciones masivas.
Satisfacer sus necesidades
Eero m,s all, de la cuestin de la (no) participacin est, la de 2asta 3u' punto los pro!ectos se
a"ustan realmente a sus necesidades a sus aspiraciones. 6sta pregunta no puede ser contestada por
simples estad-sticas o cuestionarios1 un dilogo en profundidad con los grupos destinatarios es
necesario para comprender (! esto aplica m,s para los desfavorecidos tan desconocidos todav-a 3ue
para otros grupos). 5in ello los investigadores ! los pol-ticos corren el riesgo de sustituir las
motivaciones de los grupos destinatarios por sus propios pre"uicios. 6n el caso de la capacitacin para
3uienes 2an estado desempleados por muc2o tiempo KnosotrosL pensamos 3ue la oferta de formacin
se a"usta lgicamente a sus necesidades4 KnosotrosL sabemos 3ue las formaciones en ciertos sectores
en crecimiento tienen probabilidad de conducir a puestos de traba"o4 CnosotrosC concluimos 3ue
3uienes no aprovec2an las oportunidades creadas deben ser ineptos para el empleo 3ue los 3ue
abandonan la formacin no est,n suficientemente motivados o no son lo suficientemente inteligentes...
Los pocos estudios basados en entrevistas en profundidad revelan 3ue despu's de un cierto n(mero de
decepciones el miedo al fracaso puede realmente parali+ar a un desempleado 3ue una capacitacin sin
acompa*amiento intensivo e incluso una capacitacin sin garant-a de empleo representa para 'l un
riesgo considerable.
5in entender las aspiraciones ! motivaciones profundas de los participantes una pol-tica bien
intencionada puede fracasar o incluso volverse contra ellos. 6n ='lgica por e"emplo 2a! medidas
espec-ficas previstas para la categor-a de los Cineptos para el traba"oC cuando lo 3ue 3ui+,s necesitar-an
ser-a un apo!o activo para encontrar empleo Maun3ue sea temporalM ! su orgullo de traba"adores.
Inevitablemente el di,logo con las familias nos ense*a tambi'n a considerar su situacin general1 las
medidas de reintegracin deben contener elementos de formacin un componente de traba"o un
ingreso estable ! adecuado perspectivas de futuro apo!o familiar guarder-as para los ni*os... 6sta
lgica de accin contrasta a veces con la lgica administrativa de la autoridad 3ue subvenciona !
controla las acciones. 7 as- el &ondo 5ocial 6uropeo como coMfinanciador de los programas
nacionales destinados a la reintegracin de 3uienes 2an estado muc2o tiempo desempleados se centr
primordialmente en la capacitacin formal ! en apo!os econmicos para la contratacin1 la a!uda
individual a los desempleados la guarder-a los clubes de traba"o... >son excluidos del coM
financiamiento por ser mu! dif-ciles de controlar?
8
6l t'rmino CasociacinC no est, en realidad ausente en las pol-ticas sociales modernas1 2a! asociacin
entre 6uropa ! los 6stados nacionales entre gobiernos nacionales regionales ! locales entre escuela !
empresa entre servicios sociales... la asociacin con las familias o los "venes por el contrario est,
le"os de ser presupuesta. 6llo vale tambi'n para la investigacin1 mu! pocos investigadores aplican la
Cinvestigacin participativaC como m'todo de traba"o en sus evaluaciones !a sea por3ue se sienten
incmodos ba"o el o"o cr-tico de los representantes del grupoMob"etivo o por3ue 2a! barreras
administrativas o limitaciones de tiempo 3ue les impiden 2acer consultas profundas.
$reo 3ue las #niversidades Eopulares del $uarto 0undo
N
pueden "ugar un rol mu! importante en ese
nivel. #na experiencia concreta en ese sentido fue para m- la elaboracin de un cuestionario sobre la
percepcin ! la participacin de las familias del $uarto 0undo en las decisiones de los servicios de
proteccin de la "uventud. 6n un grupo local de la #niversidad popular en Lovaina las familias 2ab-an
compartido durante seis meses sus experiencias ! sus conocimientos de donde naci la idea de
interrogar a todos los participantes de la #niversidad Eopular de &landes.
<untos escribimos ! probamos el cuestionario 3ue finalmente no fue aplicado solamente a las familias
del 0ovimiento sino tambi'n a un n(mero de familias desconocidas por la intervencin de diversas
asociaciones. /ada la falta de tiempo entre los aliados nuestro instituto obtuvo un cr'dito de
investigacin para pulir el cuestionario ! escribir un informe 3ue ser, dado a conocer en breve a las
familias para 3ue sa3uen conclusiones. $reo 3ue un investigador dif-cilmente puede condenar la falta
de asociacin en las iniciativas de sus patrocinadores si 'l no practica la asociacin en su propio
nivel...
La efectividad vista por quin!
6l concepto CevaluacinC evoca necesariamente el de efectividad1 se trata de demostrar en 3u'
medida las intervenciones conducen a los resultados esperados. >6sperados por 3ui'n? 6s claro 3ue los
ob"etivos de los decisores no coinciden necesariamente con los de los destinatarios. 6n la evaluacin de
la capacitacin profesional por e"emplo los poderes organi+adores utili+an la tasa de colocacin
laboral como criterio por excelencia para "u+gar el 'xito de los programas ofrecidos. /esde luego 3ue
esas tasas de colocacin son importantes pero tambi'n es importante saber si los becarios 2an
progresado en cuanto a sus 2abilidades sociales su confian+a en s- mismos ! si finalmente se dise*an
un pro!ecto de vida. A largo pla+o esos efectos podr-an traducirse en una situacin laboral m,s
estable...
La diferencia de criterios conduce a veces a las autoridades a de"ar de subvencionar preMcapacitaciones
3ue invierten m,s en la formacin general o en el acompa*amiento social pero 3ue carecen de
resultados a corto pla+o en cuanto al empleo. Asimismo se 2an criticado pro!ectos destinados a los
"venes por3ue estaban centrados en la artesan-a m,s 3ue en cualificaciones demandadas en el mercado
de traba"o cuando es probable 3ue el desarrollo de los "venes fuera m,s beneficiado por la actividad
N Las #niversidades Eopulares del $uarto 0undo creadas en 1FH% son espacios de di,logo ! de formacin rec-proca
entre personas 3ue viven en la precariedad ! personas 3ue no viven esa situacin pero desean aprender a luc2ar contra
la miseria "unto con 3uienes la viven. $f. CLas #niversidades Eopulares $uarto 0undoC &ovimiento internacional !$'
(uarto &undo. 6n1
O2ttp1PPQQQ.movimientoMcuartomundo.orgPLasM#niversidadesMpopularesM$uarto.2tml?R
B
artesanal. 0e parece importante por ello centrar toda la evaluacin en los efectos a largo pla+o de las
medidas estudiadas1 una empresa sin duda m,s costosa ! arriesgada.
La investigacinMevaluacin como se aborda a3u- est, mu! ale"ada de la imagen 3ue se tiene
2abitualmente de la investigacin cient-fica ! 3ue corresponde m,s bien al segmento de la
investigacin b,sica en ciencias exactas1 nuestra investigacin no es carece de ob"etivos pr,cticos ni es
puramente descriptiva es siempre normativa siempre CaplicadaC en el sentido de orientada a la
transformacin de la sociedad. 5e considera cient-fica por3ue es independiente cr-tica ! fundada en los
m'todos ! los paradigmas de las ciencias sociales actuales.
Eero su car,cter normativo implica siempre "uicios de valor 3ue no pueden ser calificados en ning(n
caso de Cob"etivosC o neutros. >Sui'n determina finalmente los ob"etivos de una pol-tica 3ue se
traducen a3u- en criterios de evaluacin? No es deseable 3ue sea (nicamente 3uien la ordena 3ue
tiende a seguir una lgica presupuestaria ! a corto pla+o ! 3ue est, como todos encerrado en sus
propios pre"uicios4 un di,logo intenso entre 'stos ! las familias en extrema pobre+a no puede sino traer
beneficios para todos.
Sobre el autor
Ides Nicaise nacido en 1FDD casado ! con cuatro 2i"os 2i+o estudios en econom-a. 6n ese entonces
investigador del Hoger nstitut voor de !rbeid (HIVA) de la )atholie*e +niversiteit ,euven (='lgica)
con la responsabilidad del sector C6nse*an+a educacin para adultos ! pobre+aC. /esde 1FHN "unto
con su esposa 3ue es traba"adora social es aliado del 0ovimiento A./ $uarto 0undo.
"uente
NI$AI56 Ides. C)'flexions sur lT'valuation des politi3uesC -evue .uart &onde no. 1B1 MUvaluer avec
le Suart 0ondeM Institut de )ec2erc2e et de &ormation aux )elations Humaines Uditions Suart
0onde &rancia octubreMdiciembre 1FF1 pp. 1GM%%.
-eproducido por la !sociacin mexicana !$' (uarto &undo. /erie 0&ateriales de formacin0, &xico
'.1., marzo 2344.
D