Universidad de Murcia

Facultad de Psicología
Posgrados de Psicología
Asignatura: Metodología de Evaluación de Programas
Profesor: Julio Sánchez Meca
Dpto Psicología Básica y Metodología
Curso: 2009-2010

Unidad Didáctica 1:
Concepto y Tipos en Evaluación
de Programas

1. Cuestiones conceptuales básicas

1.1 ¿Qué es evaluación?
1.2 Programas, proyectos y acciones
1.3 Concepto de evaluación de programas
2. Objetivos de la evaluación de programas
3. Componentes básicos en evaluación de programas
Actividad Práctica 1
4. Los agentes implicados en evaluación de programas
Actividad Práctica 2
5. Modelos de evaluación de programas
5.1 Evaluación orientada a los objetivos
5.2 Evaluación centrada en el cliente
5.3 El método científico de evaluación
5.4 Evaluación orientada a la toma de decisiones
5.5 Evaluación centrada en el consumidor
6. Enfoques metodológicos en evaluación de programas
6.1 Enfoque objetivista
6.2 Enfoque subjetivista
6.3 Una perspectiva integradora: El multiplismo
7. Tipos de evaluación de programas
7.1 Según el momento en que se evalúa
7.2 Según las funciones que cumple
7.3 Según la procedencia de los evaluadores
7.4 Según los aspectos del programa a evaluar
Actividad Práctica 3
Actividad Práctica 4
Referencias
Material de trabajo (opcional)

Aguilar, M.J. y Ander-Egg, E. (1992). Evaluación de servicios y programas sociales.

Madrid: Siglo XXI.
Anguera, M.T., Chacón, S. y Blanco, A. (Coords.) (2008). Evaluación de programas
sociales y sanitarios. Madrid: Síntesis. (Capítulo 1).
Fernández-Ballesteros, R. (Ed.) (1995). Evaluación de programas: Una guía práctica
en ámbitos sociales educativos y de salud. Madrid: Síntesis. (Capítulos 1, 2 y 3).

2
1. CUESTIONES CONCEPTUALES BÁSICAS

La dirección, planificación y ejecución de programas, proyectos y acciones en general

dentro del ámbito de la intervención psicosocial lleva implícita la necesidad de evaluar
tales acciones para comprobar la bondad de su funcionamiento. A esta empresa está
dedicada la evaluación de programas, un cuerpo de conocimientos en constante desa-
rrollo desde sus inicios hace ahora unos 40 años. Se compone de un conjunto de cono-
cimientos teóricos y metodológicos aplicados al amplio ámbito de las Ciencias Sociales
con el objetivo de contribuir a la toma de decisiones sobre la conveniencia de mantener,
modificar o suprimir un programa de intervención social (Fernández-Ballesteros, 1995).

1.1 ¿Qué es evaluación?

En su sentido más amplio, evaluar es "señalar el valor de una cosa". Así entendido, se
trata de una actividad muy común de nuestra vida cotidiana, a lo largo de la cual hace-
mos constantemente evaluaciones informales de cosas, sucesos, personas, etc. Sin em-
bargo, la conceptualización que aquí nos interesa se refiere a la evaluación formal de
proyectos, programas e intervenciones en ámbitos tales como los servicios sociales, co-
munitarios, sanitarios, educativos, psicológicos, etc. Desde esta perspectiva, "Evalua-
ción de programas es un tipo de investigación que analiza la estructura, el funciona-
miento y los resultados de un programa con el fin de proporcionar información de la
cual se deriven criterios útiles para la toma de decisiones en relación con su administra-
ción y desarrollo" (Briones, 1991, p. 13).

La evaluación de programas constituye, pues, un tipo de investigación aplicada,

comúnmente denominada investigación evaluativa, que se nutre de los métodos de in-
vestigación social, pero que va más allá de la mera investigación aplicada: Pretende de-
terminar el valor de algo y, por tanto, se dirige a emitir un juicio de valor.

Es preciso diferenciar la evaluación de otros términos relacionados, como son

medición, seguimiento, control y programación (Aguilar y Ander-Egg, 1992; Pozo,
Alonso y Hernández, 2004).

(1) Medición es el proceso por el que se cuantifica un objeto, no llevando implícito el

acto de juzgar el valor del mismo como ocurre en la evaluación.

(2) El seguimiento de un proyecto, programa o servicio es un conjunto de actividades

rutinarias de recogida de información, con fines administrativos, para comprobar si
el programa / proyecto / servicio se está implantando tal y como se planificó. No
implica hacer juicios de valor sobre su efectividad.

(3) Control es la verificación de los resultados de un programa, mientras que evaluación

es el enjuiciamiento o ponderación de esos resultados.

(4) Por último, la programación de una actividad consiste en introducir racionalidad y

organización en la misma, mientras que evaluar es enjuiciar dicha racionalidad.

Aunque diferentes, estos términos están estrechamente relacionados: la evalua-

ción necesita de la medición y del control; también requiere que el objeto de evaluación

3
esté sometido a alguna programación; y, en ocasiones, la evaluación requerirá previa-
mente del seguimiento.

1.2 Programas, proyectos y acciones

Aunque habitualmente se habla de “programas”, también se utilizan otros términos para

hacer referencia al objeto de evaluación: proyectos, subprogramas, políticas, acciones,
etc. También cabe incluir dentro de este mismo ámbito otras entidades susceptibles de
evaluación, como son las instituciones, centros, servicios y otros sistemas de prestación
de actividades y servicios a la comunidad. Sea cual sea el término que se utilice, es pre-
ciso que el programa objeto de evaluación tenga dos cualidades: planificación y sistema-
tización. Así, podemos definir un programa como un “... conjunto especificado de ac-
ciones humanas y recursos materiales diseñados e implantados organizadamente en una
determinada realidad social, con el propósito de resolver algún problema que atañe a un
conjunto de personas” (Fernández-Ballesteros, 1992, p. 477).

Pero el objeto de evaluación puede ser de muy diversa índole atendiendo a la

complejidad de los elementos que lo configuran y al contexto físico o administrativo en
el que se implanta.

Figura 1. Nivel de molaridad / molecularidad de los objetos susceptibles de evaluación.

POLITICA

INSTITUCION

SERVICIO

PROGRAMA

SUBPROGRAMA

PROYECTO

ACCIONES

(1) Según la complejidad de los elementos, puede establecerse un continuo de molaridad

/ molecularidad, el cual se podría ordenar atendiendo a los términos ‘políticas’,
‘instituciones’, ‘servicios’, ‘programas’, ‘subprogramas’, proyectos’ y ‘acciones’,
tal y como se muestra en la Figura 1.

4
(2) Según el contexto socio-político-administrativo, los programas se enmarcan en dife-
rentes ámbitos de actuación; ámbitos que, en España, podrían establecerse, según se
muestra en la Figura 2, distinguiendo entre los niveles estatal, autonómico, provin-
cial, comarcal y local.

Las políticas suponen el más alto nivel de complejidad y molaridad y conllevan,

por tanto, mayor dificultad de evaluación; en definitiva, las políticas pueden ser evalua-
das a través de la evaluación de sus elementos constituyentes.

EJEMPLO. No es lo mismo evaluar el conjunto de actuaciones llevadas a cabo

por el sistema de salud mental de una comunidad autónoma en relación con la eficacia
de los programas de tratamiento de los trastornos de ansiedad, que realizar una evalua-
ción de una intervención psicológica específica con pacientes aquejados de un trastorno
de ansiedad concreto en un centro de salud mental concreto.

ESTADO

AUTONOMIA

PROVINCIA

COMARCA

MUNICIPIO

Figura 2. Contexto socio-político-administrativo en el que se enmarca toda evaluación.

1.3 Concepto de evaluación de programas

Una vez examinados por separado los conceptos ‘evaluación’ y ‘programa’, podemos
abordar una definición comprehensiva de qué es ‘evaluación de programas’. De las múl-
tiples definiciones que existen en la literatura de la investigación evaluativa, vamos a
tomar como punto de referencia la propuesta por Aguilar y Ander-Egg (1992), ya que es
muy completa:

"La evaluación es una forma de investigación social aplicada, sistemática, plani-

ficada y dirigida; encaminada a identificar, obtener y proporcionar de manera
válida y fiable, datos e información suficiente y relevante, en que apoyar un
juicio acerca del mérito y el valor de los diferentes componentes de un progra-
ma (tanto la fase de diagnóstico, programación o ejecución), o de un conjunto
de actividades específicas que se realizan, han realizado o realizarán, con el
propósito de producir efectos y resultados concretos; comprobando la extensión

5
 y el grado en que dichos logros se han dado, de forma tal, que sirva de base o
guía para una toma de decisiones racional e inteligente entre cursos de acción,
o para solucionar problemas y promover el conocimiento y la comprensión de
los factores asociados al éxito o al fracaso de sus resultados." (p. 18)

Esta definición deja claro el carácter científico y, a la vez, utilitarista de la eva-

luación de programas. Pero la evaluación de programas es susceptible de mal uso, ses-
gos y vicios. En este sentido, es preciso distinguir entre evaluación de programas, pseu-
do-evaluaciones y cuasi-evaluaciones (Stufflebeam y Shinkfield, 1987):

(1) Las pseudo-evaluaciones son evaluaciones políticamente controladas dirigidas a

crear una imagen positiva de una institución, un programa, un servicio, un sistema,
etc., con objeto de mantenerlo, de conservar presupuestos o de lograr subvenciones.
También pueden perseguir el objetivo opuesto de desprestigiar el objeto de evalua-
ción para lograr su supresión.

(2) Las cuasi-evaluaciones son evaluaciones realizadas con una metodología científica
correcta, pero que carecen de un juicio final valorativo del programa. Éste es el caso
de estudios basados en la experimentación que no aportan una valoración final; o de
estudios basados únicamente en el cumplimiento de los objetivos previstos sin con-
templar otros aspectos importantes del programa, como pueden ser, por ejemplo,
los mecanismos o procesos a través de los cuales se han alcanzado los objetivos.

2. OBJETIVOS DE LA EVALUACIÓN DE PROGRAMAS

En una primera aproximación, la evaluación de programas tiene como objetivo determi-

nar en qué medida se están alcanzando las metas propuestas dentro de un programa o
proyecto, cómo se está prestando un servicio o cómo se está modificando una situación-
problema. Más en concreto, los objetivos que persigue la evaluación de programas son
(Aguilar y Ander-Egg, 1992; Espinoza, 1993):

(a) Establecer el grado de pertinencia, idoneidad y efectividad de un programa:

• Pertinencia o propiedad: Consiste en valorar la adecuación y oportunidad del pro-

grama en el contexto que opera.

• Idoneidad o suficiencia: Valora el grado en que los métodos y técnicas utilizados y

las actividades realizadas se adecuan a los objetivos y metas pretendidos.

• Efectividad: Se trata de medir el producto final (y los costos) que resulta de la reali-
zación del programa.

(b) Determinar las razones del éxito o fracaso de un programa. No basta con concluir
que un programa ha tenido éxito o ha fracasado; es preciso encontrar una explicación.

(c) Facilitar el proceso de toma de decisiones, las cuales pueden ser de diversa natura-
leza:

6
 • Continuar o interrumpir el programa;
• mejorar su puesta en práctica;
• modificar o innovar la estructura y/o funcionamiento de la organización.

(d) Establecer en qué grado se han producido otras consecuencias o efectos imprevistos.

(e) Lograr otros objetivos colaterales o complementarios, tales como:

• Establecer programas similares en otros ambientes;

• asignar recursos entre programas que compiten entre si;
• aceptar o rechazar un enfoque o teoría sobre el programa.
• aumentar el conocimiento acerca del problema que origina el programa.

3. COMPONENTES BÁSICOS EN EVALUACIÓN DE PROGRAMAS

Partiendo del planteamiento de Cronbach (1982), Ato (1995) propone distinguir cinco
componentes fundamentales en toda evaluación de programas, cuyas iniciales responden
al acrónimo T-R-U-C-O:

(1) Tratamientos. Un programa o intervención supone un tratamiento, es decir, un con-

junto de acciones, que podrán ser de muy diversa índole, según que la evaluación se
refiera a un programa, un proyecto, un servicio, una institución, un centro, etc.

(2) Respuestas. La evaluación de un programa requiere de la observación de unas ope-

raciones que, son el resultado de implantar el programa; es decir, son los resultados
del programa registrados mediante las técnicas de recogida de información.

(3) Unidades. Los programas se aplican a unidades, que son quienes los reciben, los
sufren o se benefician de ellos. En el ámbito social, psicológico, educativo, sanitario,
criminológico, las unidades que reciben los programas, proyectos o servicios suelen
ser personas, pero también pueden ser, por ejemplo, centros escolares, barrios, ciuda-
des, provincias, comunidades autónomas, etc. Ello dependerá del objetivo del pro-
grama.

(4) Contexto. Todo programa se circunscribe a un contexto socio-económico y político

concretos, contexto que la evaluación no puede obviar si realmente quiere ser de uti-
lidad para la toma de decisiones posteriores.

(5) Ocasiones. La evaluación de un programa requerirá la toma en diversos momentos

temporales, u ocasiones, de registros para la recogida de la información pertinente.
Este último término se refiere a esa temporalidad necesaria en el proceso evaluativo.

El sistema T-R-U-C-O (Ato, 1995; Cronbach, 1982)

TRATAMIENTOS RESPUESTAS UNIDADES CONTEXTO OCASIONES

7
 EJEMPLO. Supóngase que se ha evaluado el grado en que la aplicación de un
programa de formación ocupacional aplicado a un grupo de personas desempleadas ha
logrado su objetivo de que obtengan un trabajo una vez finalizado el curso. El segui-
miento de la actividad laboral de estas personas se llevó a cabo durante los seis meses
posteriores a la finalización del curso, y para ello se dispuso de los datos oficiales de la
Seguridad Social y se les encuestó telefónicamente.

Aplicando el sistema TRUCO a este ejemplo:

(a) El Tratamiento lo constituye el curso de formación ocupacional que recibieron las

personas desempleadas.
(b) Las Respuestas son los datos oficiales obtenidos de la Seguridad Social y las res-
puestas dadas por estas personas en la encuesta telefónica sobre su inserción labo-
ral.
(c) Las Unidades son las personas que recibieron el programa de formación.
(d) El Contexto lo conformaría el marco jurídico y socioeconómico de la zona geográfi-
ca en el que se desenvuelve el programa de formación ocupacional.
(e) Las Ocasiones serían los diferentes momentos temporales en los que los evaluadores
toman registros para comprobar si la persona ha conseguido insertarse laboralmen-
te. En este caso, sólo habría una ocasión o medida temporal: a los seis meses de la
finalización del curso.

ACTIVIDAD PRÁCTICA 1

Partiendo del enfoque de Cronbach, defina una situación de evaluación en el ámbito

psicológico que Ud. prefiera, identificando los cinco componentes básicos que estructu-
ran la evaluación de un programa.

(1) Tratamiento.

(2) Respuestas.

(3) Unidades.

(4) Contexto.

(5) Ocasiones.

8
4. LOS AGENTES IMPLICADOS EN EVALUACIÓN DE PROGRAMAS

En el trabajo evaluativo intervienen diversos actores sociales con intereses interrelacio-

nados. Siguiendo a Aguilar y Ander-Egg (1992), podemos clasificarlos en cuatro grupos
(véase Cuadro 1):

(1) Los evaluadores. Los responsables de la investigación evaluativa forman un equipo

que, generalmente, está compuesto por los siguientes componentes:

• El Director de la investigación, responsable de las tareas de coordinación del equi-

po y de la gestión administrativa.

• Los Investigadores, cuyo número variará en función del alcance de la evaluación.

Al menos uno deberá ser experto en diseños de evaluación.

• Los Ayudantes de Investigación, que se encargan de la recogida de los datos, obten-

ción de documentación, etc.

• Los Especialistas que, según el ámbito de la evaluación, pueden ser requeridos para
su intervención puntual en aspectos específicos de la misma.

(2) Los clientes. Se trata de aquéllos que, teniendo poder de decisión en una institución,
empresa u organización, han demandado la realización de la evaluación. Cabe dis-
tinguir, atendiendo a su poder de decisión, dos grupos:

• Los Políticos, que son responsables de la toma final de decisiones, de la fijación de

los fines del sistema organizacional, así como de la formulación de los grandes
objetivos de las políticas y la asignación presupuestaria.

• Los Técnicos que, al no tener capacidad decisoria final, cuando son ellos los que
solicitan la evaluación de algún programa o servicio, suelen guiarse por criterios
de ‘racionalidad tecnológica’. Dentro de los técnicos hay que distinguir (Espinoza,
1993):

- Los Directivos Superiores, a quienes corresponde adoptar las políticas institu-

cionales.
- Los Directivos Medios o Administradores, a quienes corresponde tomar decisio-
nes sobre los medios que se utilizan en la ejecución de las actividades institucio-
nales.
- Los Técnicos y Ejecutores del proyecto, a quienes corresponde sugerir decisiones
metodológicas, técnicas y operativas y ejecutar las decisiones adoptadas.

(3) Los respondentes de la evaluación. Son aquéllos que, perteneciendo a la empresa,

institución, servicio, centro u organización demandante de la evaluación responden
a los requerimientos de información solicitados por los evaluadores. Son las perso-
nas que son entrevistadas, encuestadas e incluso observadas durante la realización
de su trabajo. Esto implica también a las personas que reciben el programa (pacien-
tes, usuarios, ciudadanos en general, dependiendo del programa a evaluar).

9
(4) Los destinatarios de los programas. Se incluyen aquí los receptores de las acciones
objeto de evaluación; por ejemplo, los empleados de una empresa, los usuarios de
un servicio, los beneficiarios de un tratamiento, los destinatarios de un proyecto,
etc. En el ámbito psicológico, los destinatarios de los programas de prevención, de
intervención, de tratamiento, de formación, etc., suelen ser personas, desde ciuda-
danos en general hasta pacientes con algún trastorno psicológico, pasando por per-
sonas en situación de alto riesgo de exclusión social o de sufrir algún tipo de pro-
blema psicológico, social o educativo. En cualquier caso, la obtención de informa-
ción procedente de los destinatarios es imprescindible para el proceso evaluativo.

Cuadro 1. Los agentes implicados en evaluación de programas

ACTORES SOCIALES ELEMENTOS SUBELEMENTOS
• El Director
Los evaluadores • Los Investigadores
• Los Ayudantes de Investigación
• Los Especialistas

• Los Políticos

Los clientes - Los Directivos Superiores

• Los Técnicos - Los Directivos Medios o Administrativos
- Los Técnicos o ejecutores
• Técnicos
Los respondentes • Administradores
• Directivos
• Otros
• Usuarios o beneficiarios
Los destinatarios • Allegados
• Usuarios potenciales
• Población general

Los diferentes roles que desempeñan los distintos agentes sociales en el proceso
evaluativo pueden llegar a conducir intereses contrapuestos, los cuales dificultarán la
tarea del equipo de evaluación. En el Cuadro 2 se esquematizan las demandas usualmen-
te exigidas por cada colectivo y los resultados buscados en la evaluación.

EJEMPLO. Veamos cuáles serían los agentes sociales implicados en la evalua-

ción de un programa de formación ocupacional aplicado en un centro de formación de-
pendiente de un ayuntamiento a un grupo de jóvenes adolescentes con problemas de
adaptación escolar y alto riesgo de exclusión social. Estamos suponiendo que la evalua-
ción de la eficacia del programa formativo es un requisito de las bases que el ayunta-
miento exige en la realización de este tipo de formación. Se supone que la evaluación de
los beneficios logrados con dicha formación se le ha encargado al equipo de psicopeda-
gogos y educadores del propio centro formativo. Los resultados que se pretenden alcan-
zar con el curso se refieren al grado de capacitación logrado con el curso y la obtención
de un trabajo estable una vez finalizado el mismo:

(a) El equipo de evaluación estaría formado por el equipo de psicopedagogos y educa-

dores del propio centro formativo.

10
(b) El cliente fundamental sería el alcalde del ayuntamiento.
(c) Los respondentes serían, desde los propios responsables del curso formativo (para
valorar el grado de adquisición de las destrezas), hasta los registros oficiales de la
Seguridad Social para recabar datos sobre la consecución de algún trabajo, e incluso
encuestas realizadas a los propios jóvenes para comprobar su inserción laboral.
(d) Los usuarios directos del servicio sería el grupo de jóvenes que han recibido el pro-
grama formativo.
(e) Los allegados serían los familiares de los usuarios del programa formativo, cuyo
funcionamiento también afecta, aunque indirectamente, a su situación.
(f) Los potenciales usuarios serían otros jóvenes adolescentes que se encuentren en cir-
cunstancias similares y que en un futuro pueden ser beneficiarios de dicho progra-
ma.
(g) Y la población general seríamos todos los ciudadanos habitantes de la zona geográ-
fica correspondiente, que nos beneficiaríamos de la normalización social de jóvenes
que, de otra forma, pueden llegar a convertirse en delincuentes por sus condiciones
socioeconómicas desfavorables.

Cuadro 2. Tipos y demandas de los agentes sociales implicados en la evaluación.

(Fuente: Adaptado de Fernández-Ballesteros, 1995, p. 37.)
Actor social Algunas demandas Algunos efectos de la evaluación
Políticos - ¿Nuestras políticas son adecuadas? Relaciones causales.
- ¿Conviene modificar la financiación? Política-problema.
Directivos - ¿El programa ha conseguido sus metas? Relaciones causales.
- ¿Cómo puedo mejorarlo? Programa-problema.
- La teoría de base, ¿se cumple?
Técnicos - ¿Es efectivo mi trabajo? Relaciones causales.
- ¿Cómo puedo mejorarlo? Acciones desempeñadas-problema
Usuarios - ¿Me ayuda el programa a cumplir mis Nivel de consistencia de la evaluación
expectativas? formal con la evaluación subjetiva.
Allegados - ¿Me ayuda el programa a cumplir mis Nivel de consistencia de la evaluación
expectativas? formal con la evaluación subjetiva.
Potenciales usuarios - ¿Me servirá el programa? Sí efectivo, tranquilización.
Población - ¿Sirve el programa a las necesidades que Desconfianza/confianza.
creo tiene? Presión fiscal.

ACTIVIDAD PRÁCTICA 2

Siguiendo con el programa y la situación de evaluación planteada en la Práctica 2, de-

termine a continuación los actores sociales implicados en dicha evaluación.

(1) Los evaluadores.

(2) Los clientes.

(3) Los respondentes.

11
 (4) Los destinatarios.

5. MODELOS DE EVALUACIÓN DE PROGRAMAS

En su corta historia, la metodología de la evaluación de programas ha evolucionado rá-

pidamente, sucediéndose diversas perspectivas y enfoques del proceso evaluativo (Pozo
et al., 2004; Stufflebeam y Shinkfield, 1987). En la actualidad, ‘conviven’ varios mode-
los teóricos que se diferencian en el peso específico que asignan a los dos componentes
fundamentales de toda evaluación de programas (Alvira, 1991):

• El juicio de valor o adjudicación del mérito; y

• la recogida y análisis de la información empírica.

Así mismo, estos modelos se diferencian en los criterios de valor utilizados, que
pueden ser:

El grado de consecución de los objetivos específicos pretendidos.

La satisfacción de las necesidades de los usuarios/consumidores.

Los efectos del programa según los propios técnicos del programa.

Los factores a utilizar en el futuro por los que toman las decisiones sobre el progra-
ma.

Las necesidades de información de las partes interesadas.

Las consecuencias / efectos del programa.

Así pues, aunque la definición de evaluación de programas propuesta por Agui-

lar y Ander-Egg (1992) es muy completa y ecléctica, existen diversos modelos teóricos
de cómo evaluar programas que, a continuación, se presentan brevemente.

5.1 Evaluación orientada a los objetivos

El modelo propuesto por Tyler puede definirse como "evaluación orientada hacia los
objetivos". En efecto, surgido en los años cuarenta en el campo de la educación, este
modelo define la evaluación como el proceso por el que se determina el grado en que se
han alcanzado los objetivos del programa. Dicho proceso implica las siguientes fases:

(1) Establecer las metas u objetivos.

(2) Ordenar los objetivos en amplias clasificaciones.
(3) Definir los objetivos en términos de comportamiento.
(4) Establecer situaciones y condiciones según las cuales puede ser demostrada la con-
secución de los objetivos.

12
(5) Explicar los propósitos de la estrategia al personal más importante en las situaciones
más adecuadas.
(6) Escoger o desarrollar las medidas técnicas apropiadas.
(7) Recopilar los datos de trabajo.
(8) Comparar los datos recopilados con los objetivos pretendidos.

Aunque este modelo tiene la ventaja de que exige una delimitación clara de los
objetivos perseguidos, tiene el inconveniente de que la valoración del programa tiene
que hacerse al final del mismo, es decir, es una evaluación sumativa y no formativa.

5.2 Evaluación centrada en el cliente

También desde el campo de la educación, a finales de los sesenta Stake elabora un mo-
delo de evaluación que puede definirse como "evaluación centrada en el cliente". En él
asume la idea de Tyler de que la evaluación debe comparar los resultados deseados con
los obtenidos, pero amplía el concepto de evaluación requiriendo un examen de los an-
tecedentes, del proceso, de las normas y de los juicios, además de los resultados.

El modelo de Stake sugiere tres etapas en el proceso de evaluación:

(1) Examen de la base lógica y conceptual del programa.

(2) Descripción detallada del programa en lo que respecta a tres aspectos del mismo:

los antecedentes del programa;

las actividades que tienen lugar en el mismo, y

los resultados o consecuencias.
(3) Valoración del programa mediante la comparación de los datos descriptivos obteni-
dos en la etapa 2 con datos descriptivos de programas alternativos y/o con normas
de calidad.

En general, Stake preconiza una escuela de evaluación que exige un método plu-
ralista, flexible, interactivo, holístico y subjetivo.

5.3 El método científico de evaluación

En la década de los sesenta el sociólogo E.A. Suchman propone el "método científico de

evaluación". Según Suchman, la evaluación de programas es una actividad científica y,
como tal, debe basarse en la aplicación del método científico. Se trata, pues, de una con-
ceptualización muy diferente de la de Stake y próxima a la de Tyler. Sin embargo,
Suchman considera que, además de valorar el grado de consecución de los objetivos
(como afirmaba Tyler), es preciso valorar otros aspectos:

• analizar los motivos del éxito o fracaso del programa;

• descubrir los principios teóricos que subyacen a una intervención que ha tenido
éxito, y
• redefinir los medios necesarios para alcanzar los objetivos.

Para evaluar estos aspectos no basta con recoger datos sobre los efectos del pro-
grama, sino también sobre los procesos del programa, los condicionantes situacionales
del desarrollo del mismo y la población objeto.

13
5.4 Evaluación orientada a la toma de decisiones

El modelo de Stufflebeam se conoce como "evaluación orientada a la toma de decisio-

nes" y concibe la evaluación como un proceso destinado a delinear y proporcionar in-
formaciones útiles para juzgar o ponderar decisiones alternativas.

Este proceso de evaluación se conoce como modelo CIPP, cuyas siglas reflejan
cuatro tipos de evaluación:

(1) Evaluación del Contexto (C). Consiste en analizar la población objetivo y sus nece-
sidades e identificar programas alternativos.

(2) Evaluación de los Inputs, o Insumos (I). Se centra en la evaluación de los recursos y
medios para aplicar el programa.

(3) Evaluación del Proceso (P). Valora la forma en que se está implementando el pro-
grama, las actividades desarrollados y los servicios liberados.

(4) Evaluación del Producto (P). Incide en la valoración de los resultados propiamente
dichos, poniéndolos en relación con los objetivos y las actividades implementadas.

Se trata, pues, de un modelo que entiende la evaluación de programas desde un

punto de vista globalizador y sistemático.

5.5 Evaluación centrada en el consumidor

Originado en el campo de la filosofía de la ciencia, Scriven propuso un modelo que

puede definirse como "evaluación centrada en el consumidor". Se diferencia de los mo-
delos anteriores en que pone el énfasis en la valoración de las necesidades de los usua-
rios o consumidores, más que en la consecución de los objetivos.

Para Scriven el evaluador, provisto de los métodos de obtención de información

pertinentes y de una perspectiva razonada de la ética y el bien común, debe cumplir dos
objetivos básicos:

(a) Ayudar a los profesionales a proporcionar productos y servicios de alta calidad y

gran utilidad para los consumidores.

(b) Ayudar a los consumidores a identificar y valorar los bienes y servicios alternativos.

Así pues, la perspectiva que incorpora Scriven a los modelos anteriores es la del
usuario, consumidor o cliente del propio programa.

14
Cuadro 3. Características de los modelos de evaluación de programas (modificado de
Colás y Rebollo, 1993, p. 49)
MODELO TYLER STAKE SUCHMAN STUFFLE- SCRIVEN
BEAM
FINALIDAD Prescribir Describir Prescribir Prescribir Prescribir
Producto Producto
CONTENIDO Producto Producto Producto Proceso Proceso
Proceso Proceso Contexto Contexto
Diseño
ENFOQUE ME- Cuantitativo Cualitativo Cuantitativo Cuantitativo Cuantitativo
TODOLOGICO
TOMA DE Autoridad Contrato evalua- Autoridad Autoridad Contrato autori-
DECISIONES dor-cliente dad-evaluador
PAPEL DEL Externo Cooperación Externo Externo Externo
EVALUADOR

6. ENFOQUES METODOLÓGICOS EN EVALUACIÓN DE PROGRAMAS

Aunque existen diversos modelos teóricos de evaluación, cabe distinguir básicamente

dos corrientes metodológicas, cuyas características conviene conocer para valorar su
posible utilización en una evaluación: se trata de los enfoques metodológicos objetivis-
ta y subjetivista (Colás y Rebollo, 1993; Cook, Leviton y Shadish, 1985; Cook y Rei-
chardt, 1986; Fernández-Ballesteros, 1995; Rojo et al., 2002; Sechrest y Figueredo,
1993; Stufflebeam y Shinkfield, 1987; Talmage, 1982; Wortman, 1983). Cada una de
ellas parte de presupuestos teóricos y epistemológicos diferentes. Pero en este punto nos
interesa únicamente enfatizar las diferencias metodológicas que existen entre ellas. El
Cuadro 4 muestra de forma esquemática las características metodológicas diferenciales
de estos dos enfoques.

6.1 Enfoque objetivista

Desde esta perspectiva, se concibe la evaluación de programas como un proceso cientí-

fico dirigido a la determinación de la efectividad, o producto, de un programa basándose
en la aplicación de métodos cuantitativos de recogida de información, muestras de suje-
tos representativas de la población de afectados por el programa y diseños de investiga-
ción previamente estructurados.

6.2 Enfoque subjetivista

Por otra parte, el enfoque subjetivista o cualitativo entiende la evaluación de programas

como un proceso encaminado más a la comprensión de los resultados alcanzados por el
programa que a la comprobación de los objetivos conseguidos. Aplica metodologías
cualitativas de investigación, se basa en técnicas flexibles y abiertas de recogida de in-
formación, utiliza muestras de sujetos que no necesariamente garantizarán la representa-
tividad del colectivo de beneficiarios y considera al evaluador como formando parte
implicada en el objeto de evaluación.

15
Cuadro 4. Características de los enfoques objetivista y subjetivista.
Criterio de comparación Enfoque objetivista Enfoque subjetivista
Objetivo de la evaluación Se enfatiza el producto (el resulta- Se enfatiza el proceso (las opera-
do). ciones).
Función de la evaluación - La productividad. - La comprensión y valoración de
- La eficiencia del programa los resultados del programa
Contenido de la evaluación Los factores relacionados con la Los aspectos singulares y particula-
producción y los resultados. res que caracterizan el proceso.
Método El método científico: rigor, repli- Método participativo: El evaluador
cación y generalizabilidad. forma parte del objeto a evaluar.
Diseño de investigación Estructurado, prefijado. Abierto, flexible y emergente.
Selección de la muestra Representativa de la población. No predeterminada. No representa-
tiva de la población.
Técnicas de recogida de - Objetivas y rigurosas. - Cualitativas.
información - Válidas y fiables. - Abiertas y flexibles.

6.3 Una perspectiva integradora: El multiplismo

Esta polémica ha desatado dos posturas: la rupturista y la renovadora. La postura ruptu-

rista es mantenida por el enfoque cualitativo, naturalista o ‘de cuarta generación’ (Guba
y Lincoln, 1989) y considera imposible la integración de las dos corrientes. Nuestra pos-
tura personal aboga en favor de una corriente renovadora, basada en el postpositivismo,
y que ha venido a denominarse multiplismo (Cook, 1985). El multiplismo pretende ser
una salida no rupturista, pero sí crítica y renovadora, al simplismo impuesto por el posi-
tivismo lógico en evaluación de programas. Cook (1985) enfatiza los siguientes puntos
básicos del multiplismo aplicado a la evaluación de programas:

(1) Utilizar múltiples enfoques teóricos.

(2) Probar múltiples modelos multivariantes.
(3) Plantear múltiples hipótesis rivales.
(4) Establecer múltiples definiciones operativas de las variables implicadas.
(5) Plantear cuestiones valorativas procedentes de las múltiples audiencias implicadas.
(6) Establecer objetivos múltiples que permitan múltiples análisis de los resultados.
(7) Utilizar múltiples métodos de evaluación.
(8) Realizar múltiples análisis de datos y contrastes de hipótesis.

7. TIPOS DE EVALUACIÓN DE PROGRAMAS

Tomando en consideración los diversos modelos teóricos y la multitud de aspectos a

tener en cuenta cuando se pretende valorar un programa, se han propuesto numerosos
criterios para clasificar los diferentes tipos de evaluación, entendiendo por tipos de eva-
luación los diversos procedimientos para llevar a la práctica la evaluación de un pro-
grama. Veamos los cuatro criterios más utilizados (Aguilar y Ander-Egg, 1992; Alvira,
1991; Amezcua y Jiménez, 1996; Ander-Egg, 1984; Briones, 1991; Cohen y Franco,
1993; Espinoza, 1993; Pérez-Llantada y López de la Llave, 1999; Posavac y Carey,
1985; Pozo et al., 2004; Rojo et al., 2002; Rossi y Freeman, 1989; Weiss, 1990). El
Cuadro 5 resume las tipologías que se desarrollan a continuación.

7.1 Según el momento en que se evalúa

Según el momento temporal en el que se realiza la evaluación, se distinguen tres tipos:

16
(1) Evaluación antes (o ex-ante). También denominada evaluación inicial o de pre-
decisión. Tiene lugar antes del inicio del programa y su objetivo es valorar la perti-
nencia, viabilidad, eficacia potencial y rentabilidad económica del programa, con el
fin de proporcionar criterios racionales sobre la conveniencia o no de llevarlo a ca-
bo.

EJEMPLO. Se pretende implantar en los centros de reforma juvenil de una de-

terminada Comunidad Autónoma un programa para mejorar las habilidades personales,
sociales y laborales de los jóvenes internados con objeto de facilitar su posterior adapta-
ción socio-laboral una vez sean devueltos a la sociedad. Antes de implantarlo, los gesto-
res deciden evaluar la adecuación de las características del programa al perfil de los jó-
venes internados, así como su viabilidad desde el punto de vista de los recursos huma-
nos, materiales y de infraestructura.

(2) Evaluación durante la implementación del programa. También denominada evalua-

ción de gestión, evaluación continua, evaluación concurrente, monitorización o eva-
luación concomitante. Se pretende con ella determinar en qué medida se está apli-
cando el programa tal y como se diseñó.

(3) Evaluación después (o ex-post). También denominada evaluación post-decisión. Se

efectúa una vez finalizado el programa para verificar los efectos logrados por el
mismo. En ocasiones, puede requerirse el paso de un tiempo determinado entre la
finalización del programa y la medición de los resultados. Por ejemplo, en un pro-
grama de mejora de las habilidades inter-personales, sociales y laborales de jóvenes
internados en centros de reforma juvenil, la evaluación ex-post requerirá del paso de
un tiempo prudencial (por ejemplo, 12 meses desde que son liberados) para com-
probar el grado de inserción laboral y social alcanzado por los jóvenes delincuentes.

7.2 Según las funciones que cumple

Según el papel que desempeña la evaluación, suele distinguirse entre evaluación suma-
tiva y evaluación formativa.

(1) La evaluación sumativa se centra en la valoración de los resultados o efectos de un

programa, es decir, en el grado de consecución de los objetivos previstos. No se de-
tiene a estudiar cómo se ha implementado el programa ni cuáles son las causas que
han provocado los resultados obtenidos; es decir, toma el programa como una ‘caja
negra’ del cual tan sólo interesa observar los efectos.

(2) La evaluación formativa hace referencia al seguimiento que se realiza durante el

proceso de ejecución de un programa, con el objetivo de mejorar la puesta en mar-
cha del mismo. De esta forma, ejerce una función de retroalimentación sobre los
responsables de la implantación del programa, permitiendo la introducción constan-
te de modificaciones y correcciones durante la fase de implantación del mismo.

EJEMPLO. Siguiendo con el programa para la mejora de las habilidades inter-

personales, sociales y laborales de jóvenes internados en centros de reforma, una eva-
luación formativa implicaría recabar datos e información acerca de cómo se están des-

17
arrollando los diversos componentes del programa, con qué medios humanos y materia-
les y quiénes están siendo los beneficiarios del mismo. Una evaluación sumativa, por el
contrario, estaría interesada únicamente en los resultados alcanzados tras su finalización
(e.g., el grado de inserción laboral logrado tras su liberación).

7.3 Según la procedencia de los evaluadores

(1) Evaluación externa. Es aquélla en la que el equipo de evaluación está integrado por
personal ajeno al organismo, servicio o institución que implementa el programa.
Cuando se realiza este tipo de evaluación, habitualmente la institución responsable
del programa recurre a la participación de expertos contratados para llevar a cabo el
proceso evaluativo.
(2) Evaluación interna. En este caso, el equipo de evaluación está formado por personas
de la propia institución, organismo o servicio, pero que no están directamente vincu-
ladas a la ejecución del programa.
(3) Evaluación mixta. Es una combinación de las dos anteriores: El equipo está integra-
do por evaluadores externos y por evaluadores internos a la institución, organismo o
servicio. En estos casos el equipo de evaluación externo suele integrarse dentro de un
‘Equipo de Coordinación’ en el que se incluye personal de la propia institución.
(4) Auto-evaluación. Los propios encargados de la implementación del programa o per-
sonal directamente vinculado al mismo constituyen el equipo de evaluación. Ellos
mismos recogen los datos y los valoran.

Cuadro 5 Tipología de la evaluación de programas.

Criterio de clasificación Tipos de evaluación
• Evaluación antes (ex-ante)
Según el momento en que se evalúa • Evaluación durante
• Evaluación después (ex-post)
Según las funciones que cumple • Evaluación sumativa
• Evaluación formativa
• Evaluación externa
Según la procedencia de los • Evaluación interna
evaluadores • Evaluación mixta
• Auto-evaluación
• Evaluación del diseño
Según los aspectos del programa • Evaluación de la implementación - Evaluación del ambiente organi-
a evaluar
• Evaluación de resultados
Subtipos de evaluación
- Evaluación de necesidades
- Evaluación del diseño y concep-
tualización del programa
- Evaluación de la evaluabilidad.
- Evaluación de la cobertura
- Evaluación de la implantación
zacional
- Evaluación del rendimiento per-
sonal
- Evaluación de la eficacia
- Evaluación del impacto
- Evaluación socio-económica:
(a) Análisis costo-beneficio
(b) Análisis costo-efectividad
(c) Análisis costo-utilidad

18
7.4 Según los aspectos del programa a evaluar

El criterio de clasificación de los tipos de evaluación más útil es el que se basa en los
aspectos objeto de evaluación. Aunque no existe un acuerdo definitivo entre los investi-
gadores evaluativos a la hora de proponer una clasificación, todas tienden a confluir en
la distinción entre, al menos, tres tipos de evaluación: Evaluación del diseño del pro-
grama, evaluación de la implementación del programa y evaluación de los resultados del
programa.

7.4.1 Evaluación del diseño

Un primer tipo de investigación evaluativa es la evaluación del diseño y conceptualiza-

ción del programa, cuyo objetivo es "... juzgar la pertinencia formal y potencial de
un programa, teniendo en cuenta básicamente la coherencia interna entre sus distintos
componentes" (Aguilar y Ander-Egg, 1992, p. 38).

Los instrumentos de recogida de información que usualmente se utilizan con este

fin son:

(a) Análisis de documentos, tales como marcos legales, presupuestos, gastos, esta-
dísticas, censos, etc.
(b) Entrevistas (libres o semi-estructuradas) a directivos de la institución, a expertos
sobre la temática o a los profesionales encargados de aplicar el programa.
(c) Encuestas a la población general, a la población objeto o a los usuarios / consu-
midores del programa.
(d) Observación sistemática de la práctica cotidiana.
(e) Técnicas de grupo (discusión de grupo, método Delphi, etc.).

Dentro de la evaluación del diseño es posible hablar de diferentes tipos de eva-

luación:

(1) Evaluación de necesidades. Consiste en valorar la pertinencia de un programa, es

decir, si realmente la población que va a recibir el programa sufre ciertas necesida-
des. La evaluación de necesidades supone un proceso sistemático que permite esta-
blecer prioridades y tomar decisiones sobre la aplicación de recursos y el estableci-
miento de metas y objetivos.

Por ejemplo, el Plan nacional contra la Droga tuvo su basamento empírico en

una serie de estudios empíricos sobre el consumo de drogas y la drogadicción. Se identi-
ficaron no sólo el volumen del consumo, sino también el tipo de droga consumida, el
tipo de abuso y consumo, la distribución geográfica, los factores de riesgo, etc. (Alvira,
1991).

(2) Evaluación del diseño y concepción del programa. La evaluación de la conceptuali-

zación de un programa tiene como objetivo determinar la idoneidad o suficiencia
del modelo de intervención psicológico, educativo, sociológico, socio-económico,
etc., desde el que se pretende resolver una situación problemática. Permite, pues,
valorar teóricamente si el programa diseñado es potencialmente adecuado para al-
canzar los objetivos previstos. Para ello es preciso valorar:

19
 (a) La población objeto y los posibles problemas de cobertura, y
(b) el conjunto de actividades, medios técnicos, recursos y servicios programados.

(3) Evaluación de la evaluabilidad. Se dirige a responder a la pregunta: ¿es evaluable

este programa / proyecto? Es decir, se pretende describir de modo sistemático los
objetivos, la lógica y las actividades que constituyen un programa para analizar el
grado en que puede ser convenientemente evaluado.

Para que un programa sea evaluable tiene que satisfacer, al menos, tres requisi-
tos:

Tener unos objetivos claramente definidos y medibles.

Partir de un modelo de intervención con una lógica que justifique la predicción
de ciertos efectos resultantes de la intervención.

Disponer de una serie de actividades, recursos y medios que constituyen propia-
mente la intervención y que se derivan de la lógica del modelo de intervención.

7.4.2 Evaluación de la implementación

Una vez puesto en acción un programa, la evaluación de la implementación pretende

determinar cómo está funcionando el mismo. Para ello, se recoge la información perti-
nente para:

averiguar y describir cómo funciona el programa, y

comprobar en qué medida coinciden el funcionamiento real del programa y el
funcionamiento previsto en el diseño y conceptualización del mismo.

Los instrumentos de recogida de información que usualmente se utilizan con este

fin son:

(a) Análisis de documentos (propuestas o planes de programas, archivos, etc.).

(b) Entrevistas con el personal técnico del programa.
(c) Observación sistemática / participante.
(d) Encuestas a los profesionales del programa.

La evaluación de la implementación de un programa comporta, a su vez, varios

tipos de evaluación:

(1) Evaluación de la cobertura. Con la evaluación de la cobertura se pretende determi-

nar el grado en que el programa llega a la población destinataria y en qué medida
cubre el área de actuación sobre dichos destinatarios. De especial interés es la de-
tección de problemas tales como la infracobertura (el programa no llega a la totali-
dad de la población deseada), sobrecobertura (se llega a más gente de la deseada) o
sesgo de la cobertura (el programa llega a gente que no le corresponde).

Para la evaluación de la cobertura se requiere la obtención de diversos indicado-

res, tales como:

20

El volumen de la población cubierta.

El perfil de los usuarios / consumidores del programa.

Análisis del posible sesgo poblacional del usuario.

Análisis de la accesibilidad del programa / servicio a los usuarios.

(2) Evaluación de la implantación. Consiste en comprobar si se están utilizando los re-

cursos y si se están desarrollando las actividades previamente diseñadas en el pro-
grama. Es ésta una cuestión fundamental para determinar las posibles causas del
fracaso de un programa. Se pretende, pues, analizar la información referente a cues-
tiones tales como:

Recursos humanos utilizados.

Recursos materiales (equipos, instalaciones, etc.).

Número y tipo de actividades desarrolladas.

Tiempo medio de dedicación a cada caso por parte de los profesionales (tiempo
dedicado al estudio del caso, a las gestiones, a la atención o trato con el usuario).

Tiempo medio dedicado a entrevistas y reuniones con los usuarios.

Tiempo medio de espera para la incorporación al programa.

Tiempo medio de duración de la tramitación de la demanda.

Número de papeles / documentos exigidos a los usuarios.

Grado de satisfacción del usuario con el programa.

Este tipo de información permitirá determinar si los medios e instrumentos utili-

zados son (Aguilar y Ander-Egg, 1992, p. 40):

• Necesarios: cuando no se puede prescindir de ellos porque contribuyen significa-

tivamente al éxito del programa.
• Suficientes, en el sentido de que bastan para alcanzar las metas y objetivos pro-
puestos.
• Idóneos, es decir, tienen la capacidad de cumplir con las metas establecidas (ob-
tener resultados en cantidad y calidad dentro de los plazos propuestos).
• Potentes: en tanto que tienen la capacidad de atacar la situación-problema y de
sortear obstáculos y dificultades.
• Eficaces, puesto que los medios utilizados son los idóneos en relación con los ob-
jetivos y propósitos que se buscan.

(3) Evaluación del ambiente organizacional. Pretende valorar en qué medida la organi-
zación responsable del programa favorece o dificulta el funcionamiento del mismo,
tanto en los aspectos estructurales como funcionales. La evaluación puede incluir
los cinco subsistemas de toda organización: objetivos y valores, tecnológico, estruc-
tural, psicosocial y administrativo.

(4) Evaluación del rendimiento personal. Trata de determinar la capacidad, la compe-

tencia, la habilidad y la productividad técnica de un individuo para efectuar deter-
minadas actividades y tareas que le son asignadas, como propias de su trabajo, de-
ntro de un programa. Para ello, es preciso valorar diversas dimensiones:

Las habilidades y aptitudes necesarias para la tarea.

La actitud frente al trabajo y las motivaciones para realizarlo responsablemente.

21

La capacidad de aplicar conocimientos teóricos y prácticos.

La capacidad de organizar el trabajo y de solucionar los problemas concretos.

7.4.3 Evaluación de resultados

Sin lugar a dudas, la evaluación de los resultados constituye el tipo de evaluación más
relevante para determinar el valor de un programa. La evaluación del diseño y de la im-
plementación del programa son aspectos importantes, pero que sirven para complemen-
tar la evaluación del producto de un programa.

La evaluación de resultados consiste, pues, en valorar el grado de consecución de

los objetivos previstos, e incluso los no previstos. Ello implica responder a dos pregun-
tas básicas:

¿Se están consiguiendo los resultados buscados?

¿Estos resultados son achacables al programa con un grado de certidumbre razo-
nable?

Para alcanzar este objetivo, se recoge información de los usuarios / consumido-

res del programa, de personas próximas a éstos, o de los técnicos del programa, utili-
zando diversos procedimientos:

(a) Tests psicológicos.

(b) Escalas de actitudes.
(c) Cuestionarios.
(d) Registros observacionales.
(e) Registros psicofisiológicos.
(f) Encuestas.
(g) Entrevistas.

La evaluación de los resultados de un programa comporta, a su vez, varios tipos

de evaluación:

(1) Evaluación de la eficacia. Se entiende por evaluación de la eficacia la valoración del

grado en que se alcanzan los efectos o resultados del programa sobre los usuarios /
beneficiarios del mismo, en un período temporal determinado, e independientemen-
te de los costos que ello implique. Esta definición contiene, pues, dos características
fundamentales: metas y tiempo.

(2) Evaluación del impacto. Aunque similar a la evaluación de resultados, la evaluación

del impacto pretende analizar los efectos del programa no sobre los propios usua-
rios / beneficiarios, sino sobre una población más amplia: la comunidad, el pueblo,
la zona geográfica, las personas vinculadas a los usuarios, etc.

Por ejemplo, la evaluación de la eficacia de un programa psicosocial y farmaco-

lógico para la rehabilitación de delincuentes drogodependientes adictos a la heroína,
implica comprobar el grado de adaptación social de estos delincuentes una vez se en-
cuentren en libertad, así como su grado de inserción laboral. Por otra parte, la evalua-
ción del impacto de este programa puede suponer determinar en qué grado la aplicación

22
del programa ha ejercido efectos beneficiosos a los allegados de los delincuentes drogo-
dependientes (e.g., familiares, amigos), así como a la población general (e.g., como con-
secuencia de una disminución de la inseguridad ciudadana).1

(3) Evaluación socio-económica. Se centra en la valoración de los costes de un progra-

ma en relación a los resultados, efectos o beneficios aportados por el mismo. Tam-
bién se le denomina evaluación de la eficiencia. La necesidad de relativizar los éxi-
tos de un programa con sus costes ha impulsado el desarrollo de métodos evaluati-
vos encaminados a determinar la eficiencia o rentabilidad económica de los mis-
mos. Entre éstos cabe distinguir tres tipos de evaluación cuyas características bási-
cas se muestran en el Cuadro 6.

Cuadro 6. Características de los tipos de evaluación socio-económica. (Fuente:

Adaptado de Aguilar y Ander-Egg, 1992, p. 155.)
Modalidad de evaluación Medida de los costos Medida de los resultados
Análisis costo-beneficio Unidades monetarias Unidades monetarias.
Análisis costo-efectividad Unidades monetarias Unidades de resultados tangibles.
Análisis costo-utilidad Unidades monetarias Unidades percibidas por el sujeto
de forma subjetiva.

(a) Análisis costo-beneficio, en el que tanto los costos como los beneficios vienen va-
lorados en unidades monetarias. En el ámbito de los servicios sociales, comunitarios,
sanitarios, psicológicos y educativos, resulta difícil poder valorar monetariamente los
resultados. Por ejemplo, es difícil valorar en términos puramente económicos la rehabi-
litación de un drogodependiente, un delincuente o el aumento en conocimientos resul-
tante de recibir un curso de formación. En la empresa privada sí es más útil este tipo de
evaluación, ya que es posible medir los beneficios en unidades monetarias.

(b) En el análisis costo-efectividad (también denominado costo-eficacia), los costos

vienen valorados en unidades monetarias y la efectividad en términos de logros o efec-
tos positivos sobre los usuarios / beneficiarios del programa. Este tipo de evaluación es
más útil en el ámbito social, ya que permite relacionar los costes de un programa con los
beneficios sociales del mismo. Por ejemplo, en la evaluación de un programa de forma-
ción ocupacional subvencionado por una institución para lograr la inserción laboral de
delincuentes, es posible determinar cuánto cuesta, en promedio, la inserción laboral de
un beneficiario dividiendo el importe de la subvención por el número de beneficiarios
que han logrado un puesto de trabajo tras la finalización del programa.

(c) Análisis costo-utilidad. En no pocas ocasiones, los resultados de un programa só-

lo pueden valorarse a partir de las impresiones subjetivas y cualitativas de los beneficia-
rios del mismo, no existiendo resultados directamente observables, tangibles. En estos
casos, el análisis costo-utilidad permite poner en relación los costes del programa, ex-
presados en unidades monetarias, con los resultados subjetivos de los beneficiarios, me-
didos en forma de grado de satisfacción. Este tipo de evaluación alcanza su mayor utili-
dad cuando se emplea para comparar varios programas que compiten entre sí para ser
implantados y la opinión de los afectados es un factor relevante para la decisión final.

1
Debe tenerse en cuenta, no obstante, que la evaluación de la eficacia y del impacto de un programa pue-
de también dar lugar a resultados negativos, tales como un mantenimiento de la adicción a la heroína
(evaluación negativa de la eficacia).

23
Así pues, aunque lo hemos encuadrado dentro del epígrafe ‘evaluación de resultados’,
sus mayores potencialidades se dan cuando se aplica en el contexto de una evaluación
ex-ante.

RESUMIENDO. La clasificación de los tipos de evaluación de programas, atendiendo

a los aspectos valorados, lleva implícita una jerarquización que, si no se respeta, dificul-
ta una adecuada interpretación de los resultados de la evaluación:

La evaluación económica presupone la evaluación de resultados;

la evaluación de resultados presupone la evaluación de la implementación, y

la evaluación de la implementación presupone la evaluación del diseño.

Los distintos tipos de evaluación arriba comentados pueden imbricarse dentro

del ciclo de la intervención social a lo largo de sus diversas fases. Esta vinculación entre
evaluación y el proceso de intervención social queda reflejado en el Cuadro 7.

24
25
ACTIVIDAD PRACTICA 3

A continuación, se presenta un listado de preguntas y cuestiones de los programas de

intervención que pueden ser sometidas a evaluación. Su tarea consiste en identificar a
qué tipo de evaluación pertenece cada una de las preguntas. Distinguiremos entre tres
tipos de evaluación:

- Evaluación del diseño.

- Evaluación de la implementación.
- Evaluación de resultados.

1.- ¿El personal adscrito al programa desarrolla sus funciones y actividades en los tiem-
pos previstos? Si emplea más tiempo del necesario, ¿por qué?

Diseño Implementación Resultados

2.- ¿Podrían alcanzarse los resultados de una manera más económica?

Diseño Implementación Resultados

3.- ¿Existen indicadores de resultados disponibles o que puedan construirse y sirvan

para medir el grado de consecución de los objetivos?

Diseño Implementación Resultados

4.- ¿La estructura organizativa de la institución favorece o perjudica el desarrollo del

programa?

Diseño Implementación Resultados

5.- ¿Cuál es el perfil de los usuarios del programa?

Diseño Implementación Resultados

6.- ¿Qué mecanismos y actividades se han programado para alcanzar los objetivos pre-
vistos?

Diseño Implementación Resultados

7.- ¿Cuál es el nivel de implantación del programa en el contexto social en que se ejecu-
ta?

Diseño Implementación Resultados

26
ACTIVIDAD PRÁCTICA 4

Partiendo de la clasificación de los tipos de evaluación de programas según los aspectos

evaluados (evaluación del diseño, de la implementación y de resultados), plantee tres
ejemplos de evaluaciones de programas, uno de cada tipo.

ASPECTOS DEL
PROGRAMA EVALUADOS
Evaluación del diseño
Evaluación de la implementación
Evaluación de resultados
TIPO DE EVALUACIÓN
• Evaluación de necesidades
• Evaluación de la conceptualización
• Evaluación de la evaluabilidad
• Evaluación de la cobertura
• Evaluación de la implantación
• Evaluación del ambiente organizacional
• Evaluación del rendimiento personal
• Evaluación de la efectividad
• Evaluación del impacto
• Evaluación socio-económica

EJEMPLO 1: Evaluación del diseño

EJEMPLO 2: Evaluación de la implementación

EJEMPLO 3: Evaluación de resultados

27
REFERENCIAS

Aguilar, M.J. y Ander-Egg, E. (1992). Evaluación de servicios y programas sociales. Madrid:

Siglo XXI.
Alvira, F. (1991). Metodología de la evaluación de programas. Madrid: CIS.
Amezcua, C. y Jiménez, A. (1996). Evaluación de programas sociales. Madrid: Díaz de Santos.
Ander-Egg, E. (1984). Evaluación de programas de trabajo social. Buenos Aires: Humanitas.
Ato, M. (1995). Conceptos básicos. En M. T. Anguera et al. (Eds.), Métodos de investigación
en psicología (pp. 45-72). Madrid: Síntesis.
Bachman, R. y Schutt (2003). The practice of research in criminology and criminal justice (2ª
ed.). Thousand Oaks, CA: Sage.
Briones, G. (1991). Evaluación de programas sociales. México: Trillas.
Cohen, E. y Franco, R. (1993). Evaluación de proyectos sociales (2ª ed.). Buenos Aires: Huma-
nitas.
Colás, M.P. y Rebollo, M.A. (1993). Evaluación de programas: Una guía práctica. Sevilla:
Kronos.
Cook, T.D. (1985). Postpositivism critical multiplism. En L. Shotland y M.M. Marck (Eds.),
Social science and social policy. Beverly Hills, CA: Sage.
Cook, T,D., Leviton, L.C. y Shadish, W.R. (1985). Program evaluation. En G. Lindzey & E.
Aronson (Eds.), Handbook of social psychology: Vol. 1. Theory and method (3ª Ed.) (pp.
699-777). Nueva York: Random House.
Cook, T.D. y Reichardt, C.S. (1986). Métodos cualitativos y cuantitativos en investigación
evaluativa. Madrid: Morata.
Cronbach, J.L. (1982). Designing evaluations of educational and social programs. San Fran-
cisco, CA: Jossey-Bass.
Espinoza, M. (1993). Evaluación de proyectos sociales. Buenos Aires: Humanitas.
Fernández-Ballesteros, R. (1992). Valoración de programas. En R. Fernández-Ballesteros (Ed.),
Introducción a la evaluación psicológica II (pp. 473-503). Madrid: Pirámide.
Férnandez-Ballesteros, R. (Ed.) (1995). Evaluación de programas: Una Guía práctica en ámbi-
tos sociales, educativos y de salud. Madrid: Síntesis.
Guba, E.G. y Lincoln, Y.S. (1989). Fourth generation evaluation. Beverly Hills, CA: Sage.
Pérez-Lllantada, M.C. y López de la Llave, A. (1999). Evaluación de programas de salud y
servicios sociales: Metodología y ejemplos. Madrid: Dikinson.
Posavac, E.M. y Carey, R.G. (1985). Program evaluation, methods and case studies. Engle-
wood Cliffs, Prentice-Hall.
Pozo Muñoz, C., Alonso Morillejo y Hernández Plaza, S. (Eds.) (2004). Teoría, modelos y mé-
todos en evaluación de programas. Grupo Editorial Universitario.
Rojo, V., García, E., Gil, J., Martínez, P., Romero, S. y Rodríguez, J. (Eds.) (2002). Diseño y
evaluación de programas. Madrid: Ed. EOS.
Rossi, P.H. y Freeman, H.E. (1989). Evaluación: Un enfoque sistemático para programas so-
ciales. México: Trillas.
Sechrest, L. y Figueredo, A.J. (1993). Program evaluation. Annual Review of Psychology, 44,
645-674.
Stufflebeam, D.L. y Shinkfield, A.J. (1989). Evaluación sistemática: Guía teórica y práctica.
Barcelona: Paidós/MEC.
Talmage, H. (1982). Evaluation of programs. En H.E. Mitzell (Ed.), Encyclopaedia of educa-
tional research. New York: McMillan.
Weiss, C.H. (1990). Investigación evaluativa (2ª ed.). México: Trillas. [Original en inglés:
Prentice-Hall.]
Wortman, P. (1983). Evaluation research: A methodological perspective. Annual Review of
Psychology, 34, 223-240.

28