1

INTERVENCIÓN PSICOSOCIAL Y ORGANIZACIONAL

Tema 3. LA EVALUACIÓN DE PROGRAMAS

1.- INTRODUCCIÓN

Desde una perspectiva psicosocial, la Evaluación de Programas (EP) hace re-

ferencia al conjunto de teorías, métodos y procedimientos sistemáticos, dirigidos a la
valoración de los logros alcanzados por intervenciones orientadas teóricamente, cu-
ya finalidad es promover cambios en un determinado contexto social. Los compo-
nentes básicos de la evaluación de programas son: a) un objetivo que defina el
propósito del proceso de evaluación; b) una descripción de aquello que va a ser eva-
luado y del tipo de información que debe recogerse; c) una metodología adecuada al
objetivo de evaluación; d) unos instrumentos que deben ser diseñados y/o probados
para su utilización; y e) un procedimiento de análisis de la información cualitativa y/o
cuantitativa.

Entendida en términos de evaluación de resultados, la EP trata, no sólo de

determinar el nivel de éxito general de la intervención, sino que además debe permi-
tir, en primer lugar, la estimación de la contribución relativa de cada componente del
programa. En segundo lugar, debe ayudar a identificar qué características de los
usuarios influyen en el impacto positivo del programa. En tercer lugar, debe servir
para constatar la estabilidad de los cambios producidos, así como el grado de gene-
ralización de los mismos. Por último, debe facilitar el establecimiento de relaciones
de causalidad entre las acciones emprendidas y los resultados alcanzados.

En definitiva y atendiendo a estos aspectos, la EP debe ser considerada,

además de como herramienta específica, como base para el análisis crítico de la
naturaleza misma de las intervenciones desarrolladas en un dominio particular El
vínculo entre cognición y conducta configura, de hecho, el nudo central de muchos
problemas objetos de intervención.
 2

La evaluación de los programas de intervención supone considerar tres ele-

mentos a partir de los que se estructura todo proceso interventivo: a) un elemento o
dimensión científica, b) un elemento o dimensión técnica y c) un elemento o dimen-
sión política. Centrándonos en la segunda dimensión o elemento, a su vez, es nece-
sario considerar dos aspectos que, si bien se complementan entre si, también pose-
en una entidad diferenciada uno del otro. Nos referimos, por un lado, a la considera-
ción del proceso de intervención desde un punto de vista general y, por otro, a la
intervención como conjunto de instrumentos. En el primer aspecto se analizaría el
proceso de intervención o programa a partir de aspectos tales como su duración,
intensidad, recursos, formación requerida, etc. Es decir se trata de identificar aque-
llas cualidades del programa que pueden hacer del mismo un proceso de interven-
ción eficaz. En relación al segundo aspecto, el anclaje que lo define nos obliga a
considerar el programa en tanto que conjunto de instrumentos y materiales (didácti-
cos y/o vinculados al fenómeno de enseñanza/aprendizaje, por ejemplo). Esto es,
atender a los recursos materiales a partir de los que queda definido el programa.
El hecho al que nos enfrentamos puede plantearse en términos de pregunta: ¿hasta
qué punto la evaluación de los programas, por ejemplo en el ámbito de la educación
ambiental, no han quedado descritos de manera casi exclusiva atendiendo al ele-
mento técnico del mismo?

Otro aspecto a tener en cuenta en qué medida se identifica la evaluación del

programa con la evaluación del grado de satisfacción que muestran los usuarios y/o
los mismos agentes vinculados al programa. Aunque resulta evidente que la satis-
facción alcanzada puede ser entendida como un indicador para la evaluación, difí-
cilmente puede asumirse como indicador único. Es decir, la evaluación de un pro-
grama no puede limitarse a considerar de manera exclusiva el grado de satisfacción
de las personas como único criterio de bondad. Otro aspecto a tener en cuenta –o al
menos que nos lleve a reflexionar sobre el mismo- surge de una nueva pregunta re-
lacionada con el argumento anterior: ¿hasta qué punto asumir la perspectiva del
usuario antes que asociado a los elementos científicos o técnicos de la intervención
no se vinculan sobre todo con el elemento político?
 3

2. – LA EVALUACIÓN DE LA INTERVENCIÓN

El incremento generalizado de las necesidades y demandas sociales en ámbi-

tos como la sanidad, el desarrollo comunitario o la educación requiere contar con
criterios que permitan distribuir racionalmente unos recursos para la intervención que
no crecen en la misma proporción. Así, todo programa de intervención, junto al desa-
rrollo de la calidad y cantidad de los medios a su disposición, ha de evaluar si el uso
que se está haciendo de los recursos disponibles es el adecuado y en qué medida
se logran los objetivos propuestos inicialmente. Desde esta perspectiva, a la vez
técnica y política, la evaluación de resultados se configura como una estrategia bási-
ca para el diagnóstico del éxito de un programa. Además, permite profundizar en los
fundamentos teóricos que deben sostener toda intervención, en la adecuación de los
instrumentos y en la naturaleza de las prácticas profesionales (Martín y Hernández,
1999). La evaluación, por tanto, ha de constituir un elemento presente a lo largo de
toda la intervención.

Cuando se evalúa un programa se puede optar por varias alternativas ya que,

debido a la diversidad de situaciones y problemas tratados, no existe un único me-
canismo. Un procedimiento habitual, acaso por sencillo, consiste en la realización de
una valoración del logro de los objetivos planteados inicialmente, que es realizada
normalmente por los propios profesionales responsables de la intervención. Se asu-
me no obstante que el programa ha de reflejar a priori unos objetivos explícitos, cla-
ros y mensurables.

Sin embargo, resultará siempre más informativo realizar una evaluación empí-
rica de resultados atendiendo no sólo al impacto general de la intervención sino, de
manera particular, a una serie de elementos específicos y contrastables. Por un la-
do, la evaluación del programa ha de poder reflejar la contribución relativa de cada
componente del mismo, ya sean estos de naturaleza conceptual o instrumental. Por
otro lado, debe permitir conocer en qué medida las características psicosociales de
la población objetivo han podido influir en los resultados obtenidos. Asimismo es ne-
cesario obtener información sobre el grado de estabilidad de los cambios producidos
y de manera central, el grado de generalización de dichos cambios, entendida esta
a su vez con un doble sentido. Primero, hasta qué punto los cambios promovidos
 4

“contagian” otros ámbitos de la vida de los participantes en el programa. Segundo,

hasta qué punto estos mismos cambios influyen en otras personas que no han sido
objetivo directo de la intervención desarrollada. Evidentemente, esto obliga a dispo-
ner de un marco explicativo previo que oriente y dirija el diseño global del proceso
interventivo. Sólo así se podrá establecer de manera operativa relaciones de causa-
lidad entre las acciones emprendidas y los resultados alcanzados.

Una distinción muy útil a la hora de planificar la evaluación de programas es la

propuesta por Palmer (1992) entre objetivos primarios y secundarios. Por objetivo
primario se entiende el propósito principal del programa, es decir, aquellas metas
cuyo nivel de logro final trata de determinarse mediante la evaluación. Los objetivos
secundarios son logros intermedios necesarios para alcanzar este objetivo primario;
son los factores críticos que, de hecho, podemos identificar como antecedentes del
problema o situación que se pretende modificar. Se consideran secundarios desde el
punto de vista de la administración o institución responsable del programa, en la
medida en que se consideran sólo un medio para conseguir el objetivo primario, no
como un fin en sí mismo. Sin embargo, no hay que minusvalorar su relevancia. De
hecho, los objetivos secundarios resultan deseables si se quiere por ejemplo dispo-
ner de un “esquema” conceptual del problema sobre el que se interviene, De igual
forma, contar con objetivos secundarios adecuadamente delimitados permite asegu-
rar un mayor grado de generalización de los efectos del programa educativo.

La propuesta de Palmer puede ampliarse con un tercer tipo de objetivos que

podemos denominar como objetivos terciarios (Hernández y Valera, 2001). Los obje-
tivos terciarios son logros colaterales del programa que, aunque no constituyen obje-
to de intervención en sí mismos, deben haber sido fijados en el proyecto de progra-
ma. Tienen que ver fundamentalmente con la visibilidad o difusión del programa, con
las contribuciones realizadas al desarrollo profesional y científico, así como con el
conocimiento y opinión que desde las instituciones, gestores públicos y demás agen-
tes sociales se tiene del problema objeto de intervención.

Las características fundamentales que definen un proceso de evaluación de

resultados pueden desarrollarse a partir de cuatro dimensiones: evaluación externa,
vinculación interna, evaluación permanente y seguimiento continuado. La idea de
 5

evaluación externa establece que la evaluación del programa se realiza por institu-
ciones y personas que no pertenecen directamente al equipo que implementa el
programa, ni están vinculadas a la ejecución directa de los contenidos de dicho pro-
grama. La defensa del vínculo interno se fundamenta en que aunque la evaluación
se realiza externamente, las personas que la llevan a cabo mantienen contacto per-
manente con los responsables del desarrollo del programa para conocer en todo
momento en qué medida éste se ajusta al plan previsto. Asimismo, las medidas y
observaciones que se efectúan son llevada a cabo por personal de la institución y/o
del programa. La evaluación debe ser permanente porque permite corregir los erro-
res detectados a lo largo del desarrollo del programa, ajustar el diseño de evaluación
a las características de la institución y procurar que se respeten los requisitos para
una evaluación final lo más objetiva y válida posible. El seguimiento continuado im-
plica, durante y después de la intervención social, una observación de los casos en
el programa, con el propósito de rectificar los errores propios de las fases anteriores
y sobre todo de establecer la estabilidad y permanencia de los méritos del programa
una vez finalizada la intervención.

Al realizar una evaluación de resultados debemos recurrir a procedimientos o

diseños en la obtención y análisis de datos que nos permitan responder todas las
cuestiones posibles sobre la bondad de nuestros informes y sobre los méritos del
programa. Las cuestiones más frecuentes y relevantes hacen referencia a tres te-
mas fundamentalmente: si los resultados obtenidos son realmente buenos, al grado
en que los logros son superiores a lo que se hubiese obtenido sin la ejecución del
programa o simplemente “haciendo lo que se hacía anteriormente”, y que sucede
cuando se termina el programa.

Sobre diseño de evaluación de proyectos y programas existe una abundante

bibliografía como Fernández-Ballesteros (1995), Rossi y Freeman (1989), han reco-
gido. Sin embargo, podemos considerar que los procedimientos más adecuados a la
hora de realizar una evaluación de resultados y que a su vez permita clarificar las
cuestiones planteadas anteriormente son fundamentalmente tres: grupos de compa-
ración, múltiples componentes y diseños de caso único. Los grupos de comparación
consisten en trabajar con dos grupos de personas: uno al que se dirige la interven-
ción y otro, de comparación, compuesto por individuos de características similares a
 6

los anteriores, que no reciben la intervención, pero mediante los cuales se puede
comprobar el efecto real de ésta. Al final de la intervención, y del seguimiento, debe
haber diferencias en las variables objeto de la intervención entre los dos grupos, y
en el grupo de intervención entre los registros iniciales y finales. Los procedimientos
de múltiples componentes son útiles en intervenciones heterogéneas y se funda-
mentan en la asignación de los sujetos a distintos grupos, cuyos resultados se com-
paran una vez finalizado el programa. Cada uno de estos grupos se diferencia de los
restantes porque incluye uno o varios componentes de la intervención que le son
propios. De este modo, si el rendimiento de un grupo dado es mejor al resto se pue-
de concluir que su superioridad está relacionada con dichos componentes. Los dise-
ños de caso único se utilizan cuando la intervención puede afectar de forma indis-
criminada a toda la población y resulta imposible comparar la influencia relativa en
los sujetos. Mediante estos procedimientos es posible evaluar la eficacia a partir de
la observación de lo que sucede cuando se suspende y posteriormente se reinicia la
intervención.

En este caso, sea cual sea la estrategia de evaluación elegida se suele reali-
zar medidas antes del inicio y a la finalización del mismo, lo cual posibilita la valora-
ción de los logros conseguido a raíz de la intervención. Es deseable, además, reali-
zar una tercera medición algún tiempo después de la finalización del programa para
constatar la permanencia de los objetivos alcanzados.

3.- ALGUNAS CONSIDERACIONES METODOLÓGICAS.

Es innegable que hay graves importantes cuestiones metodológicos que están

afectando a la estimación de la magnitud media del impacto de los programas de inter-
vención (Lösel, 1995). Las categorías de análisis son demasiado indiferenciadas, no
está claro como se relacionan las distintas medidas de resultados, o que influencia tie-
nen los factores organizacionales. Siguen siendo excepcionales las evaluaciones de
proceso capaces de establecer con precisión en qué ha consistido la intervención.
Tampoco se sabe mucho sobre la motivación y la competencia del personal, ni sobre
cuáles son las características dinámicas de los sujetos que les hacen responder más o
menos favorablemente ante el tratamiento.
 7

Por si esto fuera poco la mayoría de los meta-análisis y revisiones relacionados

con la efectividad de los programas de rehabilitación han eliminado de sus análisis ca-
racterísticas que resultaban menos salientes. De este modo se ha reducido la comple-
jidad de los programas, el contexto más amplio en el que se hayan inmersos y las
combinaciones de características que se incluían bajo una etiqueta global (Palmer,
1995). Desde el punto de vista de Palmer (1995) muchos de estos problemas pueden
subsanarse si se amplía el número de áreas incluidas en los análisis ya que, a igualdad
de otros factores, cuantos más elementos se tengan en cuenta simultáneamente ma-
yor será la probabilidad de conocer de forma comprehensiva un programa concreto de
intervención.

Este enfoque, que él denomina enfoque global, examinaría los programas como
todos, como paquetes integrados que incluyen objetivos operacionales, estrategias y
técnicas específicas, el personal, los usuarios y el contexto en que dicho programa se
aplica. La meta final es identificar combinaciones de características que funcionen con-
juntamente en un nuevo programa y cuyo efecto sea significativamente superior al ob-
tenido por separado. De cara al investigador centrado en el campo de la efectividad de
los programas de rehabilitación, la pregunta clave pasaría de ser "qué funciona" a "qué
combinación de factores es la que contribuye sustancialmente al éxito de un progra-
ma". En términos más estadísticos se pasaría de analizar efectos simples a analizar
interacciones. Una vez aislada dicha combinación y calculada la magnitud del incre-
mento que supone la inclusión del componente clave, habría que determinar "a qué se
debe". Para establecer este "a qué se debe", es decir, el "por qué funciona", más que
el "qué funciona" habría que tener en cuenta una serie de cuestiones que, según Pal-
mer (1995) las revisiones y meta-análisis tradicionales no incluyen.

En primer lugar, incluso dentro de la categoría de programas más efectivos exis-

ten programas totalmente inútiles. En segundo lugar, normalmente no se da una des-
cripción empírica detallada de en qué consiste el programa en cuestión, limitándose en
la mayoría de los casos a una simple etiqueta. Por último, no existe un incentivo sufi-
cientemente fuerte entre los científicos para llevar a cabo este acercamiento, ya que
resulta a todas luces más costoso en tiempo, fondos y dedicación personal. En relación
a este último punto, los organismos oficiales encargados de financiar los proyectos de
investigación, así como de valorar la trayectoria académica de los psicólogos y otros
 8

profesionales implicados en este tipo de evaluación deberían ser los encargados de

incentivar dicha labor. La principal razón para ello es que un acercamiento de este tipo
resultaría útil no sólo para profesionales e instituciones concretas sino que serviría
también para justificar acciones y políticas relativas a la distribución de recursos comu-
nitarios.

Además, faltan indicadores empíricos claros que permitan medir el impacto glo-
bal y el de las características del programa (Hollin, 1995). Sin embargo, en todo pro-
ceso evaluativo la selección de los indicadores es un aspecto esencial, en tanto son
los elementos observables que nos van a permitir fundamentar un juicio sobre la
adecuación y ventajas o inconvenientes de la intervención (Casas, 1989 ; Valera,
1996). En este sentido, es esencial tomar en consideración los trabajos preexisten-
tes tanto sobre el objeto de intervención como sobre los procedimientos utilizados,
ya que carece de sentido pretender elaborar un listado de indicadores a modo de
parámetros de evaluación. Sin embargo, algunas características sí pueden ser to-
madas en consideración a la hora de seleccionar los indicadores.

En primer lugar, los indicadores han de ser fundamentalmente cuantitativos, y

aunque se pueden utilizar elementos cualitativos para complementar la evaluación,
esta debe basarse en indicadores fácilmente contrastables e independientes de las
personas que evalúan. En segundo lugar, los indicadores deben ser sensibles a la in-
tervención, ya que puede ocurrir que buenos indicadores diagnósticos que permitan
detectar las necesidades y problemas sobre los que se va a intervenir posteriormente
sean poco informativos respecto a la eficacia del programa. En este mismo sentido
debemos cuidar que haya suficiente variabilidad de rangos de medida en las variables
analizadas. Una tercera cuestión tiene que ver con la generalización de resultados, por
lo que algunos indicadores deben ser independientes de la intervención; es decir, no
deben ser objetivo directo de la intervención aunque sí sensibles a sus efectos. Por
último, también debemos utilizar indicadores relacionados con la visibilidad o difusión
del programa y sus logros y con las contribuciones realizadas al desarrollo profesional
y científico. En definitiva, la evaluación de resultados debe constituir un proceso conti-
nuo, que se desarrolla desde que se comienza a plantear el programa de intervención
(evaluación de proceso) y que a su vez, podría suponer el punto inicial de una nueva
intervención.