METODOLOGÍA PARA LA EVALUACIÓN DE PROGRAMAS SOCIALES:

UNA REFLEXIÓN DESDE LA SOCIOLOGÍA

Montse Simó Solsona
Universidad de Barcelona

El objetivo de esta comunicación es exponer una reflexión, del todo provisional e

incipiente, alrededor de la necesidad de evaluar programas sociales desde la Sociología,
centrándonos en la evaluación de los objetivos de un programa de intervención social, y
las dificultades metodológicas que se plantean con esta cuestión. La comunicación se
estructurará primeramente con una presentación de las principales “necesidades” de
evaluar programas sociales y la aportación de la sociología, para centrarnos
posteriormente en las principales dificultades en evaluar con sus implicaciones
metodológicas.

La evaluación es un proceso de investigación científico complejo. Tomando una de las

definiciones más extensas y completas, la de Mª José Aguilar y Ezequiel Ander-Egg
(1992: 18) en la obra Evaluación de servicios y programas sociales, definen la
evaluación de servicios y de programas sociales con las siguientes palabras:

“La evaluación es una forma de investigación social aplicada, sistemática,

planificada y dirigida; encaminada a identificar, obtener y proporcionar de
manera válida y fiable, datos e información suficiente y relevante, en que apoyar
un juicio acerca del mérito y el valor de los diferentes componentes de un
programa (tanto en la fase de diagnóstico, programación o ejecución), o de un
conjunto de actividades específicas que se realizan, han realizado o se realizarán,
con el propósito de producir efectos y resultados concretos; comprobando la
extensión y el grado en que dichos logros se han dado, de forma tal, que sirva de
base o guía para una toma de decisiones racional e inteligente entre cursos de
acción, o para solucionar problemas y promover el conocimiento y la
comprensión de los factores asociados al éxito o al fracaso de sus resultados”.

Completando la definición, añadiríamos que además, la evaluación de programas

sociales se debe contemplar como un proceso continuado y planificado que tiene lugar a
lo largo de todas las etapas de desarrollo de un servicio o programa y no únicamente en
su etapa final (Gómez, 2000: 87). Por tanto, partiríamos de un concepto de evaluación
no restringido a una última etapa de ejecución, sino que tiene que formar parte del

1
diseño inicial del programa, siendo una actividad que ha de tener lugar a lo largo de
todo el proceso de desarrollo.

En consecuencia, es recomendable la misma perspectiva que si analizáramos políticas

públicas. Si la evaluación desde el punto de vista del análisis de políticas públicas
podría ser entendida como la última fase, dentro de un modelo tradicional, proponemos
que se le dé sentido de proceso cíclico. Así, en la evaluación de programas sociales
adoptaríamos la misma posición: ésta no es el último paso de la vida de un programa,
sino que se convierte en un elemento transversal al lo largo de todo el período. De esta
forma, tenemos dos esquemas de partida: un primero tradicional, según el cual la
evaluación es el último escalón del proceso de programación; el cual tiene unas
limitaciones evidentes, y un segundo esquema, más actual y vigente, que entiende la
evaluación como un proceso continuado que tiene lugar a lo largo de toda la
programación. En otras palabras, tradicionalmente la evaluación se entendía como la
última etapa de un proceso de programación (después de la ejecución del programa),
mientras que actualmente se tiende a entender que la evaluación se realiza todo a lo
largo del programa. No obstante, la realidad dista mucho de lo que sería ideal en el
momento de iniciar evaluaciones. En numerosas ocasiones, las evaluaciones se llevan a
cabo al final de la ejecución del programa, debido a intereses sectoriales y a reticencias
a ofrecer transparencia en políticas públicas. Este hecho impide hacer una evaluación
desde el primer momento.

Esquema de una evaluación tradicional

Identificación del problema o necesidad

Programación de objetivos.
Diseño del programa o intervención

Ejecución del programa

Evaluación

Fuente: Gómez, 2000: 284.

2
Esquema de una evaluación actual

Identificación de necesidades y/o Evaluación de necesidades

problemas

Programación, diseño de la Evaluación de la evaluabilidad

intervención

Planificación-Intervención Evaluación de implementación

Evaluación de cobertura
Evaluación de proceso
Evaluación de resultados
Etc.

Fuente: Gómez, 2000: 284.

Muy relacionado con la definición de evaluación, también conviene destacar PARA

QUÉ evaluamos. Las finalidades que se sobreentienden en la evaluación de programas
sociales responden a dos objetivos: el primero de ellos es medir el grado de idoneidad,
efectividad y eficiencia de un programa o servicio, y el segundo, facilitar el proceso de
toma de decisiones (Espinoza, 1983). Si ampliamos estos dos objetivos con la propuesta
de Fernández-Ballesteros (1995: 31), la evaluación de programas sociales, en sentido
genérico, tiene cuatro funciones fundamentales: la justificación de decisiones, las
actuaciones sobre el programa, buscando su optimización, la contrastación de teorías; y
por último, la compatibilidad pública, facilitando la toma de decisiones en materia
presupostaria.

La necesidad de evaluar programas sociales desde la Sociología

Antes de entrar a hablar de las necesidades de evaluar programas sociales, hemos de
tener presente que son diversos los autores que se refieren a la débil cultura evaluativa
existente en el campo social. Aunque la evaluación de programas educativos y
sanitarios tiene mucha más tradición e implantación en sus respectivos campos, éste no
es el caso de los servicios y programas sociales.

La anterior afirmación deja entrever que en el ámbito de los servicios y programas

sociales se utilizan los referentes que provienen de la evaluación de programas

3
educativos. En otras palabras, la mayoría de los autores que hemos leído y trabajado,
tienen como modelos de referencia, aunque convenientemente adaptados y
contextualizados, aportaciones y reflexiones de la evaluación de programas educativos,
ámbito en el cual existe una amplia tradición y literatura sobre la evaluación de
programas.

Pero ¿por qué es tan poco usual evaluar programas de intervención social? Por
diferentes razones, pero entre algunas, porque hay poca tradición ya sea entre los
científicos sociales y también entre los participantes en el programa en cuestión,
sobretodo también hay unas reticencias a ser transparentes y a buscar la “realidad” de un
programa de intervención social.

La historia de la evaluación de servicios y programas sociales aporta algunas lecciones.

Donald E. Chambers, Kenneth R. Wedel i Mary K. Rodwell (1992) destacan dos
conclusiones relacionadas con el impacto de los resultados y que tendríamos que tener
muy presentes en los análisis:

1. La primera conclusión se refiere al hecho de que el impacto de los resultados y

de los descubrimientos derivados de la evaluación de servicios y programas
sociales no siempre es positivo, ya que a veces la utilización de estos resultados
es negativa o fraudulenta. Los resultados de una evaluación no siempre influyen
en la forma deseada, sino que a veces es justo todo lo contrario. Por ejemplo,
identificar los puntos débiles de una experiencia determinada, en lugar de servir
para su corrección y optimización puede significar la supresión de la experiencia
evaluada. En este sentido Chambers et al. (1992: 2) escriben: “Primera lección:
la respuesta a los resultados de las evaluaciones de políticas y programas
sociales no siempre tiene carácter positivo (...) matar el mensajero que lleva
malas noticias no es ninguna novedad (...) La historia nos enseña que la política
pública a menudo es insensible a los descubrimientos empíricos”.

2. La segunda conclusión muestra que la evolución y el desarrollo de la evaluación

de servicios y programas sociales ha estado guiada por las experiencias hechas a
gran escala, macroevaluaciones que han definido los patrones y la evolución de
la evaluación. Por tanto, la historia nos muestra que son los hechos políticos de

4
 gran alcance los que condicionan el desarrollo de la investigación y de la política
evaluativa de programas.

Así pues y resumiendo, hay dos ideas generales que hemos de tener en cuenta. Una es
que al margen de toda la buena intención, cabe la posibilidad de que los resultados que
descubrimos no sean del todo “beneficiosos” —científicamente hablando— o que no lo
sean para otros con capacidad de poder; con las posibles consecuencias que esto puede
comportar (supresión del programa, reducción de su partida presupostaria, no hacer
pública la evaluación, etc.). Y la otra es que las experiencias evaluativas que podemos
tomar como referencia son más a gran escala y en consecuencia, poco adaptables a
experiencias concretas, como la mayoría de programas de intervención social
desarrollados a niveles locales o dedicados a una población beneficiaria con una
problemática muy concreta y específica, por tanto no extrapolables.

Aún con todas estas restricciones de partida, en los párrafos que prosiguen
intentaremos, justificar los diferentes argumentos para poner de manifiesto la necesidad
de evaluación de programas de intervención social.

Una primera cuestión es que la evaluación de programas sociales se ha convertido en

una necesidad para un público amplio, especialmente para los actores participantes:
políticos, técnicos implementadores del programa, beneficiarios, ciudadanía en general,
etc. Se trata de una necesidad eminentemente política. Esto quiere decir que la
comunidad de actores políticos que participan en un programa social (política social
pública) necesitan también de toda la información construida para saber sobre el
desarrollo y los resultados de la acción en la cual están participando. Y si la evaluación
se está desarrollando en paralelo al programa, determina e influye a las estrategias de
acción de estos actores. La información evaluativa se convierte en un elemento de
poder1, y puede tener unas implicaciones políticas importantes2. En ese momento, la

1
“When evaluators speak truth to power, they should be aware (but often are not) that to an administrator
information is an instrument of power” (Palumbo, 1987: 24).
2
En palabras de Patton(1978: 103), “Evaluations should be useful in some way, and an eye to utilization
usually involves some political calculation. Certainly, deciding who will use the evaluation involves
choosing one’s clients to some degree, and different clients have different values and different interests.
In choosing clients and targeting utilization, evaluators inevitably make political choices”. Además,
Chelimsky advierte de dos peligros entre transgredir los límites borrosos entre el análisis de políticas y la
evaluación: “when evaluation is confused with analysis more broadly understood, its intrinsic humility
evaporates. Second, advocating recommendations on policy issues based on the limited scope of

5
evaluación del programa social se relaciona bidireccionalmente con los actores
implicados. Por un lado, la evaluación aporta información básica que puede ser
aprovechada para marcar el desarrollo de la política en cuestión, pero al mismo tiempo,
los actores al cambiar y actuar, estarán modificando partes de las que han de ser
evaluadas. La evaluación se ve afectada en todo momento por las acciones tomadas por
los actores participantes.

La evaluación de programas sociales no solamente satisface la necesidad de

información a los actores participantes, sino que también ofrece información a los
ciudadanos. La evaluación se convierte así en un instrumento que permite a los
ciudadanos que ejerzan un control democrático sobre los gobernantes. En un sistema
democrático, la ciudadanía tiene derecho a estar informada y a “pedir explicaciones” de
las actuaciones del gobierno, y en este caso, saber el desarrollo de las acciones de
bienestar social a través de la implementación de diversos programas sociales. Así, la
difusión de la evaluación de programas sociales permitiría que la ciudadanía estuviera
informada, al tiempo que restringiría la impunidad con que actúan los gobernantes en
determinados momentos. La responsabilidad de someterse a una evaluación de su
gestión incide directamente en la exigencia de eficacia en el control de los recursos
disponibles, siempre escasos y por los cuales pugnan diferentes grupos sociales. No
obstante, esta necesidad de control democrático también lleva a preguntarse qué
proporción de la población estaría dispuesta a leer los resultados de una evaluación, y su
capacidad de comprensión; en definitiva, su interés y la capacidad de socializarse en el
ámbito de la evaluación.

En otro orden de cosas, la evaluación tiene una estrecha relación con la ética, ya que
dentro de un sistema democrático, la utilidad social de los resultados extraídos de una
evaluación pueden ayudar a provocar cambios sociales en el desarrollo de una
determinada población, siendo los instrumentos, los elementos motivadores, las razones
para que los actores con capacidad de presión, puedan incorporar la cuestión en su
agenda pública y pueda llegar a introducirse en la agenda política en forma de programa
social. Además, éticamente, hemos visto que los resultados derivados de la evaluación

evaluation may be both dangerous and irresponsible: it adheres to a role evaluation cannot fulfil because
of a lack of sufficient context data —and as such it may be clearly misleading and lose its credibility”.
(Citado en Geva-May; Pal, 1999: 261-262).

6
de los programas sociales conllevan la “obligación” de la difusión de éstos impactos, no
solamente a la comunidad científica, sino especialmente a la comunidad afectada y a la
población en general, para que esté informada de los programas que intentan intervenir
socialmente en colectivos desfavorecidos.

Es la evaluación uno de los instrumentos más claros y contundentes que orienta sobre si
el programa social está cumpliendo los objetivos planteados inicialmente; además de
convertirse en una fuente de información básica para proceder en nuevos programes
sociales similares, o en futuros.

Por último, la evaluación también se ha convertido en una información de suma

importancia para los investigadores sociales en general. Es el papel de los científicos
sociales, especialmente los provenientes de la Sociología, lo que permitirá obtener
análisis evaluativos más completos y diferentes de los tradicionales, más sectoriales.

Las dificultades de evaluar programas de intervención social

Si por una parte hemos dicho que la evaluación de programas sociales se plantea como
una necesidad por diferentes razones, es también importante destacar que la tarea de
evaluar no está exenta de dificultades. Unas dificultades que iremos comentando en
estás páginas, prestando especial atención a aquellas dificultades de tipo metodológico.

De una forma resumida, Mª José Aguilar y Ezequiel Ander-Egg, presentan desde una
perspectiva crítica, que este proceso de eclosión de la cultura evaluativa en el campo
social ha presentado dos limitaciones: una referente al objetivo de evaluación
considerado prioritario (exclusivamente de carácter económico) y la otra referente a la
metodología de investigación utilizada (básicamente cuantitativa). Con esto queremos
poner de manifiesto que la mayoría de las evaluaciones son parciales, ya sea porque
ponen su acento en la cuestión económica o porque reducen su metodología de
investigación a técnicas cuantitativas.

Cuando nos planteamos realizar una evaluación, éstas no son las únicas dificultades.
Nos encontramos con una primera dificultad. ¿Qué se evalúa? Una que remite
directamente a los objetivos del programa. Conocer con precisión cuáles son los

7
objetivos del programa social, y que estén claramente definidos no es tarea fácil3. Pero
para que éstos puedan ser evaluables, tendrán que cumplir las características siguientes:
estar claramente definidos, ser específicos, medibles, fiables, fácilmente identificables,
factibles, no incompatibles con otros objetivos, formulados temporalmente, operativos y
cuantificables.

Un punto de partida indiscutible en el establecimiento de los objetivos es que la

principal finalidad de toda evaluación de los servicios de bienestar (dentro de los cuales
se incluyen los servicios y programas sociales) es incrementar el nivel de bienestar de
la población y de los usuarios directos, no incrementar el nivel de actividad de los
servicios4. Por tanto, los equipos evaluadores deben evitar a toda costa fijarse sólo en la
eficiencia en términos de productos intermedios (coste por estancia, coste por
tratamiento, incremento de plazas, por ejemplo), olvidando que de lo que realmente se
trata es de incrementar el bienestar y no el nivel de actividad.

Establecer cuáles han sido los objetivos del programa es una tarea de mayor
envergadura, ya que la participación de múltiples actores o pluralidad de intereses no
siempre es coincidente. Por tanto, llegar a un consenso para determinar los objetivos
principales y secundarios y también los efectos visibles y no visibles resultantes que han
provocado la ejecución de la acción social será una primera tarea para el equipo
investigador.

Los intereses de cada actor, de diferente índole, hacen que la evaluación del programa
social se convierta en diferentes evaluaciones según sus respectivas perspectivas de
análisis. Por tanto, buscar un consenso para determinar un mínimo acuerdo sobre cuáles
son los objetivos instrumentales y los objetivos de resultados a evaluar se convierten en
una obligación.

3
Fernández-Ballesteros apunta a una distinción interesante entre objetivos instrumentales y objetivos de
resultados. La evaluación de programas parte de los segundos, ya que los primeros únicamente
identifican la lógica interna del programa y su nivel de implementación. Los resultados o efectos de un
programa han de ser medidos mediante objetivos de resultados, no mediante objetivos instrumentales:
“conviene resaltar que los objetivos relacionados con la implantación del programa, u objetivos
instrumentales, si bien son necesarios a la hora de demostrar que el programa ha sido implantado, nada
nos dicen de los resultados que éste ha obtenido” (Fernández-Ballesteros, 1995: 55).
4
Esta premisa nos lleva también a categorizar los objetivos como objetivos de calidad (generación de
bienestar y mejores condiciones de vida) o bien objetivos de producción (incrementar la oferta de
productos intermedios, independientemente de si estos inciden en una mejora de las condiciones de vida).

8
Una vez conseguido el mínimo consenso y el conjunto de profesionales conoce bien y
están definidos cuáles son los objetivos del programa social, las dificultades en evaluar
no han cesado. Concretamente, cuando se trata de evaluar programas de intervención
social, el objeto de estudio es ya complejo de sí mismo.

Así, hemos avanzado sabiendo QUÉ hay que evaluar, pero la dificultad, asociada a
problemas metodológicos, viene después: ¿cómo evaluarlo? Es decir, ¿cómo medirlo?5
Existe también una dificultad añadida: la falta de consenso en las definiciones de los
conceptos clave de los programas sociales. Por ejemplo, muchas veces nos preguntamos
qué se entiende por integración social, por inclusión, por exclusión; y más allá, cuándo
dejará de estar en esta situación un colectivo concreto. Es necesaria toda una fase de
reflexión para acotar estos y otros conceptos de amplio uso y divulgación. Son
necesarias unas definiciones conceptuales y operativas para partir de allí y poder
ejecutar una correcta evaluación. El punto de partida vuelven a ser los objetivos.

Se propone ir reduciendo la dificultad de concreción de los objetivos mediante el

establecimiento de una estrecha relación entre los objetivos generales, los objetivos
específicos, las metas y los indicadores. El proceso de reducción es el mismo que el de
dimensionalización del objeto de estudio. Se establece, por tanto, una relación de
carácter subordinado y progresivamente reductiva entre estos cuatro conceptos. Es
decir, un mismo objetivo general implica diferentes objetivos específicos, y un mismo
objetivo específico implica diferentes metas6, las cuales son valoradas en función de los
indicadores que se le asocian. La evaluación del nivel de alcance de un objetivo general
se hará mediante la evaluación del nivel de consecución de los objetivos específicos
asociados, y así también dependerá de la evaluación del nivel de alcance de las metas
asociadas, las cuales, a su turno, se valorarán mediante indicadores. La relación
existente entre objetivos generales, objetivos específicos, metas e indicadores puede
ejemplificarse como se expresa en la siguiente figura:

5
Una primera recomendación de tipo metodológico sería realizar una preevaluación inicial. Ésta consiste
en el análisis previo de las distintas posibles estrategias de acción del programa, identificando los puntos
fuertes y débiles de cada opción, para valorar cuál es la óptima. Fernández-Ballesteros (1995) identifica
tres técnicas de análisis: la revisión de literatura técnica existente que sea relevante, el análisis del
problema, de sus potenciales causas y de sus posibles soluciones, y la simulación de cursos alternativos
de acción.
6
En este punto podríamos igualar el concepto de meta con el de dimensión, aunque no se ajusta del todo.

9
Relaciones entre objetivos generales, específicos, dimensiones e indicadores
Objetivo general A

Objetivo general B Objetivo específico B1

Objetivo específico B2
Objetivo específico B3 Meta B3.1
Objetivo específico B4 Meta B3.2
Meta B3.3 Indicador B3.3a
Objetivo general C Meta B3.4 Indicador B3.3b
Indicador B3.3c

Fuente: Gómez, 2000: 303.

En relación con los objetivos específicos, Espinoza (1983) afirma que estos tienen que
reunir tres características: a) claridad (enunciados en un lenguaje preciso y
comprensible, fácilmente identificables); b) realismo (han de ser factibles de conseguir
con los recursos disponibles, la metodología adoptada y los plazos previstos); y c)
pertinencia (existencia de una relación lógica entre los objetivos y la situación o
problema que se quiere modificar).

Los objetivos específicos incluyen conceptos teóricos. Un concepto teórico es una

construcción del propio investigador o de otros que han investigado anteriormente este
mismo aspecto. Resulta, por tanto, de una reflexión propia con la cual se pretende dar
respuesta a los objetivos fijados. Eso hace que los conceptos tengan una dimensión
abstracta y, por tanto, no son directamente observables, es decir, son latentes. La
definición de los conceptos teóricos no es ingenua, sino que el investigador la realiza
mediante la influencia de una perspectiva o perspectivas teóricas que guían el marco
teórico de la investigación. Nos quedamos con las palabras de González Río (1997:51)
para resumir qué es un concepto: “los conceptos son sólo abstracciones, que tienen
significado únicamente puestos en un marco de referencia, dentro de algún sistema
teórico”.

Además, los conceptos teóricos tienen que tener indicadores empíricos. Generalmente,
los constructos o conceptos teóricos tienen un nivel de abstracción muy elevado que
dificulta mucho la medida y la comprensión total. La solución a este problema es la
dimensionalización, proceso por el cual se especifican más claramente los conceptos

10
rompiéndolos en las diferentes dimensiones y en algunos casos también en
subdimensiones que engloba. Al descomponerlo en dimensiones, el concepto se va
concretando, con lo cual gana en precisión, pero siendo conscientes que el proceso de
desestructuración y descomposición de los conceptos conlleva una pérdida de la
complejidad y la riqueza informativa. Tal como expresa Lazarsfeld, “un concepto
sociológico corresponde generalmente a una pluralidad de dimensiones latentes, más
que no a una única dimensión directamente observable” (1973: 38).

Por tanto, las dimensiones son los diferentes elementos que componen un concepto
sociológico, son conceptualizaciones más específicas que no los constructos teóricos y
permiten descomponer el concepto en su espacio de atributos. ¿Como encontraremos las
dimensiones pertinentes? Pues gracias a la información obtenida durante la fase
exploratoria, de las perspectivas teóricas y de la revisión de los estudios anteriores. En
este punto parece importante advertir que las dimensiones en las cuales se puede dividir
un concepto son muy numerosas. Como dice Cea d’Ancona (1996: 137), “por muchas
dimensiones que se consideren, nunca puede abarcarse la totalidad de un concepto”.
Además, no se puede olvidar que la relación entre el concepto y la dimensión se basa en
términos de probabilidad, lo cual hace recomendable que siempre que sea posible, se
utilice un número elevado de indicadores.

Para complementar el aspecto de las dimensiones, introducimos la definición de

Espinoza para metas. Este autor las entiende como una concreción de los objetivos
específicos, ya que estas son objetivos cuantificables y cualificados (Espinoza, 1983:
87): “En otras palabras, formular una meta es señalar cuándo queremos alcanzar de
cada objetivo y de qué calidad es lo que queremos alcanzar”. Las metas tienen que
tener cinco requisitos:

a) precisión: tiene que estar enunciadas en términos concretos, con un lenguaje directo
y evitando ambigüedades y vaguedades
b) medible: tienen que contener criterios de cantidad y calidad que puedan ser medidos
mediante indicadores
c) temporalidad: tienen que ser conseguidos dentro de un período temporal
previamente determinado

11
d) coherencia: tienen que presentar una relación directa y lógica con el objetivo del
cual forman parte
e) riesgo: para conseguir la meta hace falta una dosis de esfuerzo, sin este esfuerzo la
meta no se consigue.

El proceso de operacionalización está incluido dentro de la observación y análisis de

nuestro objeto de estudio, para no perder de referencia en qué momento nos
encontramos, reproducimos la siguiente figura que lo ejemplifica.

Por último, la elaboración de indicadores. Es la unidad mínima y son unidades de

información básicas, por tanto, actúan como referencias observables, externas o
internas, que permiten situar aquello observado en diferentes lugares de la dimensión;
son el equivalente empírico de aquello más abstracto que se ha definido en la
conceptualización teórica.

¿Con qué técnicas podemos llevar a cabo todo este proceso? Esto nos remite a la
planificación del diseño y de la selección de la metodología más apropiada. Y antes,
tenemos que aclarar una serie de dudas sobre unas cuestiones previas: cuál será el
alcance del tópico evaluado y de la información que se quiere obtener, amplitud o
profundidad. Cuando hablemos de amplitud nos referiremos a conseguir muchos datos,
lo cual significa incrementar el tiempo y los costes, pero conseguir pocos datos reduce
la confianza en los resultados. En lo que se refiere a la profundidad, estudiar una
cuestión concreta o un problema específico con mucha profundidad puede producir
unos resultados muy claros, pero puede dejar también muchas otras cuestiones o
problemas sin examinar. Por otro lado, conseguir información sobre muchas cuestiones
y muchos problemas puede descentrar la evaluación, y el resultado puede ser conocer un
poco sobre muchas cosas, pero no con suficiente profundidad, lo como para emprender
acciones con confianza.

Y a pesar de estar convencidos que el buen diseño evaluativo ayuda en esta tarea
dificultosa, nadie nos exime de las dudas fantasmagóricas que pueden aparecer: ¿hasta
qué punto un indicador es sensible a los impactos esperables del programa? La
fiabilidad y validez no dan confianza de que los indicadores sean sensibles al concepto
que hacen referencia. ¿Hasta qué punto las opiniones, evaluaciones hechas por un

12
informante que participa en la evaluación, son generalizables o reflejan con la máxima
fidelidad los efectos del programa; y cómo superar la subjetividad del informante en su
análisis? Y dos cuestiones más, qué garantías tenemos de qué los indicadores
seleccionados sean generalizables en cualquier tiempo; y hasta qué punto los
indicadores encontrados dan cuenta de los resultados encontrados.

Toda esta discusión también se repetiría para determinar cuáles han sido los resultados
del programa. El conflicto de intereses vuelve a ser a menudo una de las explicaciones
utilizadas para argumentar la falta de consenso. Hará falta un mínimo acuerdo a la hora
de determinar los resultados visibles y los no visibles. Entre los primeros, la diversidad
de percepciones puede ser muy grande, cosa que enriquece la pluralidad de opiniones, al
tiempo que complica la evaluación en base al impacto del programa (eficacia,
efectividad y eficiencia). Ante los segundos, muy interesantes sociológicamente
hablando, pero con una dificultad mayor en el plano metodológico. ¿Cómo detectarlos y
cómo medirlos? Es especialmente importante la capacidad de utilizar diferentes técnicas
para desenmascararlos. En este momento, son las técnicas cualitativas, concretamente la
entrevista en profundidad (a informantes clave con un guión previamente estructurado
para este propósito), el instrumento más adecuado para esta intención.

Y por último, otra cuestión importante y que también se convierte en tarea ardua en la
evaluación es determinar cuál es la población beneficiaria, tanto la real como la
potencial. Interrogamos sobre quiénes son los beneficiarios de un programa social; hasta
dónde se ramifican los efectos de un programa; y hasta dónde llega el impacto de la
política en cuestión. Son problemas de definición y de acotación del mismo objeto de
estudio: el programa social. Su complejidad es tal que muchas veces es difícil delimitar
los impactos del programa social, y no solamente eso, sino también las dificultades que
hay en delimitar explícitamente la “población beneficiaria” de éste. Muchas veces nos
encontramos con que los programas de intervención social han ramificado sus efectos,
es decir, han extendido sus consecuencias no concentrándolos a la persona
receptora/beneficiaria del programa, sino a más de una persona. Ante esta ramificación,
la evaluación del impacto de este programa no se debe limitar a la persona beneficiaria,
sino a las potencialmente beneficiarias, llegando a una red indefinida, con la dificultad
de encontrar sus límites, y con el coste de tiempo de investigación que eso implica. Otro
problema que debe solucionar la metodología evaluativa es el “paso del tiempo” en los

13
programas sociales. ¿Hasta cuando se tiene que esperar para poder evaluar los efectos
de un programa de intervención social?

Y por último, nos gustaría hacer una breve reflexión sobre la necesidad de adoptar una
perspectiva pluralista. Utilizar ambas metodologías permite complementar resultados y
evitar las deficiencias de cada una. Por un lado, podemos cuantificar a través de unas
categorías clasificatorias previamente definidas, y por otro lado, con la metodología
cualitativa podemos estudiar con más profundidad casos significativos; los casos
seleccionados con una perspectiva más abierta y sin clasificación previa.

Las principales críticas que se le pueden hacer a la metodología cuantitativa son

principalmente: la complejidad y la dificultad de las técnicas cuantitativas aplicadas a la
evaluación en el campo social y su elevado coste económico, en muchas ocasiones no
correspondiente a los resultados conseguidos; además de partir de premisas erróneas en
la evaluación de programas sociales. El paradigma positivista da unas respuestas no
adecuadas a la naturaleza de la realidad, a cómo se define el conocimiento científico,
cuál es la evaluación idónea (Gómez, 2000: 229).

También la metodología cualitativa presenta limitaciones significativas. Las principales

críticas a que nos remite Amezcua y García (1996) son que no presenta la precisión ni la
objetividad de la metodología cuantitativa y sus conclusiones no son generalizables.

En resumen y pese a las críticas para metodologías cuantitativas, cualitativas o

pluralistas e integradoras, destacar que las técnicas cuantitativas nos van a ofrecer una
aproximación más numérica y la posibilidad de construir indicadores evaluativos y de
resumen, pero con las técnicas cualitativas, se nos va a permitir profundizar en aquellos
matices que son muchas veces invisibles, intangibles pero que constituyen un efecto de
la aplicación del programa. Ambas perspectivas, cuantitativa y cualitativa, se hacen
necesarias ante tal complejidad del objeto de estudio. De ahí el interés de optar por
diseños metodológicamente plurales. Sin embargo, aunque las ventajas de utilizar una
perspectiva pluralista son evidentes, las desventajas que se pueden plantear son las
siguientes: el posible incremento de su coste económico, el posible retardo en la
dimensión temporal, la moda científica del momento y las dificultades asociadas a la
formación del equipo investigador (Cook, Reichardt, 1995).

14
Conclusión

La realidad nos muestra como la tradición evaluativa en servicios sociales, o

concretamente en programas sociales es relativamente reciente, y cuando esta
evaluación se ha llevado a cabo, ha sido desde una perspectiva más reduccionista de la
que podría ofrecer la Sociología.

La evaluación ha de ser integral (teniendo en cuenta todos los momentos del tiempo y
todos los colectivos, o en términos de políticas públicas, los actores que participan en el
programa social) y pluralista en el más amplio sentido del término: pluralista en
metodologías de investigación, pluralista en la participación de los actores implicados,
siendo lo más global y democrática posible, pluralista también en los sectores
analizados y en el equipo investigador, siendo lo más interdisciplinar posible.

Es necesaria una interdisciplinariedad en el análisis y posterior evaluación de un

programa social, pero donde la Sociología puede aportar más es en la consecución de
este carácter global de análisis que actualmente las otras disciplinas no ofrecen. La
ventaja que nos llevan las disciplinas educativas y psicológicas, ha de ser un punto
positivo para que sirva de ayuda en la sociología para iniciarse en esta tarea necesaria.
Con una colaboración de tipo interdisciplinar, el enriquecimiento puede ser mayor y la
evaluación puede ofrecer unos resultados más de acuerdo con la globalidad de la
política implementada.

Toda evaluación tiene que basarse en unos determinados criterios, y éstos han de estar
expresados —implícita o explícitamente— y clarificados por el evaluador. Los criterios
que los expertos citan que se han de tener en cuenta a la hora de hacer evaluación son:
pertinencia, suficiencia, progreso, evaluabilidad, eficacia, efectividad, eficiencia,
resultados e impacto. Tenemos que ser conscientes también, que no todas las
evaluaciones tienen en cuenta sistemáticamente todos y cada uno de los criterios antes
citados, ya que pueden haber evaluaciones que, en función de sus objetivos, solamente
se centren en uno o en distintos criterios, no siendo necesario incluir en su diseño de
evaluación la utilización exhaustiva de todos ellos.

15
Podemos resumir que las dificultades en evaluar programas de intervención social son
de diferente índole, pero principalmente predominan de tres tipos: las resistencias de las
diferentes partes implicadas, el coste económico que conlleva el realizar una evaluación
y la no previsión de un diseño evaluativo en el diseño del programa en su fase inicial,
especialmente en la vaguedad que pueden estar definidos los objetivos y la no
evaluabilidad que conllevaría.

Se debe promocionar e implantar una cultura de la evaluación en el campo social, de

forma que la evaluación no se entienda como un mecanismo de control, generador de un
gasto económico adicional que no aporta ningún beneficio, sino todo lo contrario, un
instrumento de mejora, tanto para las decisiones políticas como para incrementar o
optimizar los programas sociales.

El incrementar transparencia informativa a través de la evaluación, y aunque signifique

reducción del poder de discrecionalidad para algunos actores, es básica para poder
mejorar en nuestra sociedad.

Bibliografía
Aguilar, M. J.; Ander-Egg, E. Evaluación de servicios y programas sociales. Madrid:
Siglo XXI, 1992.
Amezcua Viedma, C.; Jiménez Lara, A. Et al. Evaluación de programas sociales.
Madrid: Díaz de Santos, 1996.
Cook, T. D.; Reichardt, C. S. Métodos cualitativos y cuantitativos en investigación
evaluativa. Madrid: Morata, 1995.
Chambers, D.E.; Wedel, K.R.; Rodwell, M.K. Evaluating Social Programs.
Massachusetts: Needhah Heights, Allyn and Bacon, Inc., 1992.
Domínguez, M.; Simó, M. Tècniques d’Investigació Social Quantitaves. Barcelona:
Edicions Universitat de Barcelona, 2003.
Geva-May, I.; Pal, L. A. “Good Fences Make Good Neighbours. Policy Evaluation and
Policy Analysis-Exploring” en Evaluation, v. 5, núm. 3, 1999: 259-277.
Gómez Gómez Serra, M. Els serveis socials i la seva avaluació. Barcelona: Edicions
Universitat de Barcelona. Monografies, núm. 42; 2000.
González Río, M. J. Metodología de la investigación social. Técnicas de recolección de
datos. Alacant: Aguaclara, 1997.
Fernández-Ballesteros, R. Evaluación de programas. Una guía práctica en ámbitos
sociales, educativos y de salud. Madrid: Síntesis, 1995.

16
Lazarsfeld, P. F. “De los conceptos a los índices empíricos” en R. Boudon; P. F.
Lazarsfeld. Metodología de las ciencias sociales I: conceptos e índices. Barcelona:
Laia, 1973.
Palumbo, D. J. “Politics and Evaluation” en D. J. Palumbo (ed.) The Politics of
Program Evaluation. Newbury Park, CA: Sage Publications, 1987.
Patton, M. Q. Utilization-Focused Evaluation. Beverly Hills, CA.: Sage Publications,
1978.
Rossi, P. H. Freeman, H. E. Evaluación: un enfoque sistemático para programas
sociales. México: Editorial Trillas, 1989.
Santos Guerra, M. A. La evaluación: un proceso de diálogo, comprensión y mejora.
Málaga: Aljibe, 1993.
Shaw, I. “Evaluación desde la práctica: un enfoque cualitativo sobre la práctica
profesional” en Revista de Treball Social, 155, 1999: 58-76.
Weiss, C. H. Investigación evaluativa. Métodos para determinar la eficiencia de los
programas de acción. México: Editorial Trillas, 1983.
Weiss, C. H. “The Interface between Evaluation and Public Policy” en Evaluation, vol.
5, núm. 4, 1999: 468-486.

17