Está en la página 1de 25

Grado en Psicología

Planificación y Evaluación de Programas

Unidad didáctica 4. Implementación y evaluación de programas


UD 4. Implementación y evaluación de programas .............................................................. 3

Implementación y evaluación de programas (II) ................................................................. 4

4.1. Estrategias de intervención ..................................................................................... 6

4.2. Implantación del programa ...................................................................................... 8

4.3. Objetivos de la evaluación de programas ................................................................ 10

Objetivos de la evaluación de programas (II) ................................................................. 11

Objetivos de la evaluación de programas (III) ................................................................ 12

4.3.1. Características ................................................................................................ 14

4.4. Tipos de evaluación de programas .......................................................................... 15

4.4.1. Según el momento temporal en el que se evalúa ................................................ 15

4.4.2. Según la procedencia de los evaluadores ........................................................... 16

4.4.3. Según el aspecto objeto de evaluación .............................................................. 17

4.4.4. Según los instrumentos: evaluación cuantitativa y cualitativa ............................... 19

Resumen ...................................................................................................................... 22

Mapa de contenidos ....................................................................................................... 23

Recursos bibliográficos ................................................................................................... 24

2
UD 4. Implementación y evaluación de programas

Los organismos y las entidades internacionales invierten gran parte de su presupuesto en


desarrollar políticas y programas dirigidos a mejorar la calidad de vida de la ciudadanía. Esto
supone una fuerte inversión económica que requiere examinar y controlar aquellos programas
implementados para verificar que sus esfuerzos alcanzan los objetivos establecidos. A pesar de
que una intervención psicosocial puede ser perfecta en cuanto al uso del presupuesto y de los
recursos, esta puede ser totalmente ineficaz para alcanzar aquellos objetivos para los que fue
diseñada. De este modo, se puede afirmar que, aunque el control económico o fiscal no es
importante, no es la evaluación más relevante.

En concreto, existen dos motivos fundamentales para llevar a cabo la evaluación de un programa:

1. Supone un momento de reflexión y análisis de nuestra intervención que culmina el proceso


de nuestra actividad. De este modo, la evaluación nos lleva a mejorar y a progresar.
2. Además, es un ejercicio de transparencia y de responsabilidad social y política,
especialmente si las actividades llevadas a cabo se financian con fondos públicos.

En este sentido, la evaluación constituye la piedra angular de todo programa de intervención


social y comunitaria. Este proceso es inherente a la intervención en sí, y es la herramienta a
través de la cual se puede comprobar el grado de cumplimiento de los objetivos de un programa.
Al mismo tiempo, la evaluación permite incrementar el conocimiento teórico y aplicado del que
se dispone acerca de una problemática social que afecta a una población determinada a través
de los datos que se derivan del proceso. Así, la evaluación ha de ser útil y práctica, a la vez que
recoge toda la información pertinente.

Además, la evaluación recopila y examina de manera sistemática la información que nos pueda
llevar a valorar y darle mérito al trabajo. En este sentido, se entiende como buena práctica
profesional que la entidad y el equipo de profesionales que implementan el programa realicen
evaluaciones continuas. Al menos, deberán hacer dos evaluaciones generales: una antes de
iniciar, para tener una línea base, y otra al terminar el programa (memoria) que ayude en la
orientación y la mejora para planificar el siguiente. No obstante, lo aconsejable sería una
evaluación por trimestre o bloque de actividades. Además, cada programa o proyecto tiene que
ser evaluado de manera independiente con respecto a las evaluaciones generales.

En este tema ahondaremos y aprenderemos a diseñar el plan de evaluación siguiendo, como no


podía ser de otra manera, el método científico. En esta unidad presentaremos modelos de
evaluación de programas que son altamente comprehensivos y cuya aplicación responde a la
necesidad de verificar de forma fiable y sistemática los efectos y la eficacia de programas de
intervención social y comunitaria.

Antes de meternos de lleno en la evaluación de programas, es fundamental esclarecer qué


queremos decir exactamente. Como comentamos en la Unidad didáctica 1, la evaluación puede
ser definida como la acción de analizar el proceso de transformación que se está produciendo a
través de una intervención y valorar su significado. Por lo tanto, la evaluación de un programa
consiste en emitir juicios de valor, adjudicar valor o mérito a un programa o intervención
basándose en la información empírica recogida sistemática y rigurosamente (Alvira, 1991).

3
Implementación y evaluación de programas (II)

Por su parte, Fernández-Ballesteros (1983) ha definido la evaluación de programas como un


proceso mediante el cual se trata de estimar, a través de una metodología empírica, si se han
alcanzado una serie de objetivos socialmente relevantes. En ambas definiciones se resalta la
importancia de que la evaluación tenga un carácter empírico, por lo que debe ser un proceso
previamente planificado con un método que seguir.

Para la finalidad de esta unidad, adoptaremos la definición propuesta por Aguilar y Ander-Egg
(1992), que indican que la evaluación de programas es lo siguiente:

Una forma de investigación social aplicada, sistemática, planificada y dirigida; encaminada


a identificar, obtener y proporcionar de manera válida y fiable datos e información
suficiente y relevante en que apoyar el juicio acerca del mérito y el valor de los diferentes
componentes de un programa (tanto en la fase de diagnóstico, diseño o ejecución).

En definitiva, la evaluación describe los procesos que permiten verificar el impacto real de la
intervención. De este modo, se requiere diseñar y establecer aquellos indicadores que se
emplearán para medir los resultados del programa.

Así, la evaluación concebida desde una perspectiva amplia se define como la aplicación
sistemática de métodos cualificados de las ciencias sociales con la intención de conocer y juzgar
el diseño, los procesos, los resultados y los efectos de las intervenciones causadas por un conjunto
de medidas aplicadas en un tiempo y contexto determinados. Esto supone que, de igual modo
que las intervenciones deben adaptarse a la población, a la problemática y al contexto donde
deberán ser operativas, también es preciso adaptar la evaluación a los factores señalados. Esta
definición no está ceñida a los resultados, sino que tiene una visión de conjunto, incluyendo las
necesidades sociales, el diseño, la implementación, los resultados y los efectos. Además, pone el
énfasis en la necesidad de controlar todas las fases que componen la intervención y no solo el
análisis de los resultados, que se efectúa una vez que culmina el programa.

No les falta razón a quienes indican que la evaluación también es una actividad política, ya que
afecta directamente a las decisiones políticas y a la asignación de presupuestos públicos para la
planificación, el diseño, la implementación y la continuidad de los programas dirigidos a mejorar
la calidad de vida de las personas. En esta misma línea de razonamiento, desde la teoría de los
sistemas, se define la evaluación como un elemento relevante en la política o programa, pudiendo
conceptualizarse como input. De este modo, cualquier intervención, programa o política social
puede ser catalogado como input (recursos económicos, humanos, tecnológicos y físicos),
transformación (procesos que permiten convertir los inputs en outputs), output (resultados de
las transformaciones relacionados con alcanzar los objetivos del programa), contexto (factores
facilitadores o incapacitantes de la implementación del programa, como, por ejemplo: normas
sociales, estructuras políticas, agencias financiadoras, intereses grupales, etc.) y
retroalimentación (información proporcionada tras la evaluación tanto para constatar que los
inputs son los adecuados y están organizados como para verificar si se están alcanzando las
metas y satisfaciendo las expectativas de las instituciones responsables de la toma de decisiones).

4
Figura 1. Componentes de la intervención según la teoría de sistemas.

Esto plantea un código ético que debe mantener el profesional a la hora de mejorar las
intervenciones a través del conocimiento y el análisis de los procesos y los resultados. A su vez,
tiene una exigencia científica para sustentarse y desarrollar bases teóricas, a la vez que contrasta
nuevas aportaciones teóricas y metodológicas. De este modo, con la evaluación se persigue
aumentar el conocimiento básico; es decir, examinar ampliamente los fenómenos que han
sido objeto de estudio analizando las causas de los problemas. Trata de buscar una explicación
al funcionamiento de las operaciones realizadas para aumentar o perfeccionar el conocimiento
disponible sobre los problemas y las posibilidades de intervención. Esto permite generar la
comprensión o entendimiento de los problemas sociales, resaltando la dimensión investigadora
implícita en todo proceso evaluativo.

5
4.1. Estrategias de intervención

Como hemos venido explicando a lo largo de la asignatura, el ciclo de intervención consta de siete
fases (Fernández-Ballesteros, 1993). La figura que aparece a continuación servirá de guía para
su mejor comprensión. Las fases son las siguientes: 1) identificación del problema y/o
necesidades, 2) planteamiento de objetivos y metas, 3) preevaluación, 4) formulación del
programa, 5) implementación del programa, 6) evaluación del programa propiamente dicha y 7)
toma de decisiones sobre el programa.
De este modo, queda reflejado que la evaluación de programas no es el proceso final, sino que
es una etapa más en el ciclo de la intervención social, pero de una gran importancia en el proceso.

Figura 2. Objeto de la evaluación y juicios valorativos según las fases de la intervención.

Como vimos en las primeras unidades didácticas, la fase de planificación del programa es
fundamental para el éxito de la intervención. Esta etapa supone definir de manera clara y
específica las metas, los objetivos y las actividades de intervención de acuerdo con las mejores
opciones posibles. Si bien la planificación y la evaluación de programas pueden parecer
actividades diferenciadas, actúan de manera interdependiente. De hecho, la planificación y la
implementación de la evaluación son claves en el diseño y el rediseño de los programas. En
concreto, el diseño del plan de evaluación debe ir emparejado con el diseño del programa para
facilitar la realización de las actividades evaluativas y minimizar las discrepancias entre
planificadores, directores de programa y evaluadores.

6
Recuerda

La evaluación orientada por la teoría es el modelo de evaluación que enfatiza la base


teórica de la intervención con el objetivo principal de descubrir cómo y por qué funcionan los
programas, analizando las relaciones entre la filosofía del programa, la implementación y los
resultados.

En este sentido, la definición exhaustiva de metas y objetivos ofrece una coherencia interna del
programa, a la vez que permite realizar una evaluación orientada por la teoría; es decir, la
experiencia previa de implementación proporciona conocimiento para ajustar y depurar los
elementos que sean necesarios no solo para mejorar la eficacia del programa en sí mismo, sino
también para incrementar la capacidad de alcance de la población objetivo.

Recuerda

La evaluación de entrada es el conjunto de acciones de evaluación dirigidas a obtener una


valoración general del programa, incluyendo el modelo de impacto (hipótesis), la definición
de objetivos y el sistema de implementación.

Una evaluación orientada a la teoría permite, a su vez, llevar a cabo una evaluación de entrada
que destaca la necesidad de incorporar, mejorar y revisar la propia definición del problema. Esto
implica desarrollar conocimiento sobre cómo localizar a la población objetivo y cómo trabajar con
ella, por qué se esperan cambios específicos asociados a actividades concretas y cómo organizar
el servicio que se va a prestar. De este modo, el diseño del programa requiere concretar el sistema
de servicios que se pondrá en marcha para realizar las actividades previstas en la justificación
teórica del programa.

7
Una vez establecidos los objetivos del programa, es necesario establecer una línea base que
permita evaluar los efectos de la intervención. Se trata de fijar parámetros de partida del
programa con los que poder comparar la situación final (tras la aplicación del programa) y extraer
conclusiones sobre los cambios obtenidos.

4.2. Implantación del programa

Una vez realizada la planificación del programa, los objetivos, los recursos, las actividades, el
tiempo de desarrollo y la población diana deberán estar recogidos en un documento. Esto permite
implantar el programa fielmente a su diseño y formulación, cuyo funcionamiento exige la
coordinación y la colaboración de diversos factores humanos, materiales, económicos y
conceptuales. Sin embargo, la puesta en marcha del programa puede traer algunos obstáculos e
imprevistos. De este modo, se deben llevar a cabo acciones de control y seguimiento periódico
de aquellas acciones que se van realizando con el objetivo de identificar los fallos y las carencias
del programa que dificultan su aplicación y que pueden elevar el coste de la intervención.

Se han identificado tres fuentes principales de fracaso: 1) programas implementados


parcialmente, 2) aplicación de actividades de forma errónea y 3) actividades no estandarizadas o
no controladas. Esto enfatiza la necesidad de incluir en el planteamiento global del programa la
evaluación de la implementación. Para controlar la ejecución del programa, una herramienta
fundamental es el registro documental de las intervenciones, que, además, nos facilitará la
evaluación final de resultados.

Durante la implantación del programa, es necesario haber hipotetizado posibles resultados y


observar si se producen cambios en la dirección deseada. Para ello, deben tenerse en cuenta los
siguientes elementos del programa:

Cronograma de actividades

Como ya hemos visto anteriormente, supone la organización y la coordinación de las actividades


del programa a lo largo del tiempo. Este calendario debe ser planificado cuidadosamente, ya
que afecta a los siguientes aspectos:

• La marcha del programa y la distribución del tiempo para cada fase, actividad, tarea y
consecución de cada objetivo. De este modo, la duración total puede ser adecuada o no.
• Viabilidad del programa. Se trata de juzgar si los plazos son realistas, la distribución de
las actividades, si el tiempo es suficiente para alcanzar los objetivos de cada una de las
acciones, si la coordinación del tiempo es adecuada, etcétera.
• Supone un indicador fundamental de la relación coste-beneficio del programa.

8
Registro de actividades

Como se mencionó anteriormente, debe realizarse un control periódico que debe estar en
coherencia con las actividades programadas. Para llevar a cabo este control, se tiene que
establecer un procedimiento sistematizado con instrumentos adecuados (fichas de caso,
memorias, registros de las sesiones, resultados de aplicación de pruebas, registro de tareas,
etc.) que recojan la información más relevante de cada momento programado: actuaciones,
recursos materiales y humanos, temporalidad, etc. Una vez recogida esta información, los datos
deben depurarse para su adecuado tratamiento. Este registro puede ser realizado por los
responsables de la implementación del programa, pero también por agentes externos
(observación de expertos) o autoinformes de los usuarios.

Estrategias de seguimiento y control. Evaluación de la implementación

Consiste en garantizar que las acciones diseñadas se están llevando a cabo tal y como se
planificaron, para actuar inmediatamente en caso de imprevistos o efectos secundarios que
impidan el proceso. De este modo, se controla si existe ajuste entre lo planificado y lo
ejecutado, y entre la planificación y el contexto y las necesidades de la población. Se deben
seguir tres pasos:

• Comparar la definición teórica de la actuación con su desarrollo en la práctica. Para ello,


se suelen utilizar registros, archivos, entrevistas, encuestas y la observación.
• Identificación de los efectos del programa. Sin evaluarlos, se trata de identificar los
efectos indirectos o secundarios, la ambigüedad de los objetivos o la existencia de
objetivos latentes.
• Análisis causal. Examinar si las actividades del programa cubren las necesidades y los
problemas de la población objeto.

Determinación de los momentos para plantear los cambios. Estrategias de


monitorización

Con toda la información recabada en los elementos previos, se pueden identificar los factores
que influyen en el funcionamiento y los efectos del programa, y determinar qué áreas pueden
ser mejoradas, a la vez que se mantienen los puntos fuertes de este. De este modo, se pueden
tomar decisiones sobre la gestión, la continuidad o la financiación del programa.

9
Las estrategias de monitorización son realizadas por las personas responsables de implementar
el programa, que, mediante un sistema interno de seguimiento y control, verifican el logro de
metas e identifican las alteraciones producidas. En concreto, los objetivos que se persiguen con
la monitorización son los siguientes:

• Evaluación de la cobertura. Perfil del usuario, análisis y volumen de casos resueltos,


análisis de demanda, conocimiento y aceptación del programa, etcétera.
• Evaluación del esfuerzo, incluyendo recursos humanos, materiales y económicos.
• Evaluación de proceso. Es fundamental establecer unidades de comparación o estándar
para poder identificar similitudes y diferencias en todos los aspectos.
• Evaluación de la productividad. Examinar la productividad y la saturación del personal.
• Evaluación de la calidad de la atención y la intervención. Medir la satisfacción del usuario
es un elemento esencial.

4.3. Objetivos de la evaluación de programas

Se han propuesto diferentes modelos de evaluación que varían en los objetivos (énfasis solo en
los resultados y/o en otros aspectos como costes, validez teórica…), el método y el grado de
participación de las personas implicadas en el programa. Estos modelos, a su vez, proporcionan
distintas tipologías de evaluación. De esta forma, las teorías pueden entenderse relacionándolas
unas con otras como si fueran un cuerpo global fundamental para la práctica.

Los principales modelos teóricos de evaluación de programas son los siguientes:

Modelo de evaluación orientada a los objetivos (Ralph Tyler)

Surge en los años cuarenta/cincuenta de la mano del estadounidense Ralph Tyler (1950), quien
señala que la evaluación es «esencialmente el proceso de determinar hasta qué punto los
objetivos han sido actualmente alcanzados mediante el proyecto». Este modelo suele definirse
como analítico, puesto que el proceso de evaluación que propone este autor es el siguiente:

• Especificar las metas/objetivos del programa.


• Jerarquizarlos en función de la concreción.
• Seleccionar/elaborar los instrumentos de evaluación.
• Recopilar la información.
• Realizar un análisis comparativo entre lo logrado y lo propuesto.

10
El modelo tyleriano recibe principalmente dos tipos de críticas. Por un lado, que no tiene un
carácter formativo (proceso), sino sumativo (resultado), porque se centra únicamente en el
cumplimiento de los objetivos sin plantearse cómo se han conseguido o no, qué partes del
programa funcionan y cuáles no.

Modelo Stake: la evaluación centrada en el cliente

Este modelo se denomina así porque acomoda sus objetivos a las necesidades del cliente de la
evaluación. Este modelo consta de una fase descriptiva en la que debe contrastarse lo previsto o
planificado con observadores de lo que ha sucedido. Para ello, incluye un examen de la base
lógico-conceptual del programa, congruencia/incongruencia desde el punto de vista teórico, y
describe los antecedentes-actividades-consecuencias para examinar si los antecedentes eran
correctos, cómo se llevaron a cabo las actividades y si consiguen o no los resultados. Además,
incluye una fase valorativa para comparar el programa realizado con otro alternativo y con las
normas de calidad establecidas por las distintas partes interesadas.

El proceso que prescribe este modelo para la evaluación de un programa es el siguiente:

• Se recopila y analiza la información que describe el programa y su base conceptual.


• Se identifican las normas de calidad.
• Se recogen datos descriptivos de programas alternativos (normas relativas).
• Se emite un juicio.

Objetivos de la evaluación de programas (II)

Modelo basado en el enfoque científico (Schuman)

Como es de esperar, el modelo científico identifica la evaluación con investigación. Se basa en


recopilar información sobre los procesos del programa, la población y el desarrollo de la
intervención, así como sus efectos.

Para ello, se establecen cinco criterios de valoración:

• Evaluación del esfuerzo: costes.


• Evaluación de los resultados: efectos alcanzados.
• Evaluación de la suficiencia: adecuación del modelo teórico, de las actividades y los
recursos al objetivo planteado.
• Evaluación de la eficiencia: relación entre costes y resultados obtenidos.
• Evaluación del proceso.

11
De este modo, Suchman (1967) consideraba que las conclusiones obtenidas de la evaluación
deberían estar basadas en evidencias científicas. Por ello, el proceso evaluativo debía contar con
la lógica del método científico.

Atendiendo a las definiciones que se han mencionado en el apartado anterior, Espinoza (1983)
también señala que la evaluación de programas tiene dos objetivos fundamentales:

1. El primero consiste en medir alguna de las siguientes dimensiones del programa:

• Idoneidad. Capacidad que tiene el programa para resolver el problema que lo originó
(idoneidad del modelo teórico que justifica el programa).
• Efectividad. Capacidad que tiene el programa para alcanzar los objetivos y las metas
teniendo en cuenta tres objetivos operativos: (a) los resultados (qué hemos conseguido),
(b) la intervención (cuántas intervenciones se llevan a cabo) y (c) la población destinataria
(cuántas personas se benefician). Evidentemente, hay que contrastar estos logros con las
previsiones formuladas en el proyecto. Asimismo, se deben considerar los efectos no
previstos en la planificación original (tanto positivos como negativos).
• Eficiencia. La relación entre los servicios finales y el costo requerido para su prestación.
Esta dimensión relaciona los dos conceptos anteriores, ya que un programa ha podido
resultar eficaz (conseguir los resultados), pero no ser eficiente (se han utilizado recursos
excesivos). De este modo, se puede afirmar que un programa será más eficiente que otro
cuando logre los objetivos con menor asignación de recursos tanto materiales como
temporales.

2. El segundo objetivo consiste en facilitar el proceso de toma de decisiones, como, por ejemplo,
decidir si continuar o interrumpir el programa, o mejorar/modificar los procedimientos.

Objetivos de la evaluación de programas (III)

La literatura algo más reciente ha englobado los múltiples propósitos de la evaluación de


programas en tres bloques:

Mejorar el programa

Este objetivo persigue ofrecer pautas para mejorar y perfeccionar el programa. De este modo,
se logra un programa más dinámico, eficiente, orientado al servicio y adaptado a las
preocupaciones del cliente.

12
Este tipo de diseño de evaluación es altamente deseable en la medida en que facilita detectar
errores e incidencias en el proceso de aplicación y permite subsanar dichos errores mientras el
programa se lleva a cabo.

Se realiza a lo largo de todo el proceso de implementación, constatando así la validez de los


componentes con respecto al logro de los objetivos. Es, por tanto, una evaluación amplia
planteada con el fin de poder ir tomando, de forma fundamentada, las decisiones oportunas.
No se refiere al resultado final, sino a la evaluación de todos los componentes que intervienen
en un proyecto (diagnóstico, actividades, recursos, procedimientos, actuación de profesionales,
funcionamiento, incidencia sobre el medio, comportamiento de los beneficiarios…). Se pone
énfasis en la recogida de información con metodología cualitativa a fin de utilizarla con la mayor
brevedad posible para mejorar el diseño de los programas, dirigir los proyectos en curso o
conocer las percepciones y los sentimientos de la población diana/destinataria.

Valorar el cumplimiento de los objetivos

Se trata de emitir un juicio de valor sobre el programa o sus elementos, remarcando la


evaluación de resultados, el logro de objetivos y el cálculo de la efectividad y la eficacia de las
actividades si se comparan con otras alternativas. El resultado de estos juicios permite tomar
decisiones sobre la continuidad, la ampliación, la reducción o la finalización del programa. Todos
los agentes implicados en el programa tienen intereses diferentes (políticos, usuarios,
trabajadores, etc.), lo que dificulta la toma de decisiones razonables. No obstante, puesto que
los recursos son limitados, las instituciones responsables demandan información rigurosa para
la toma de decisiones fiables, ya que afectará en las partidas presupuestarias y en la
planificación de programas. Por lo tanto, como se utilizan fondos públicos y es preciso saber si
se están malgastando, la responsabilidad política, social y técnica exige garantías y
comprobaciones de que se está trabajando con seriedad y eficacia. Pero no es suficiente que
uno esté dispuesto a explicar cómo gasta el dinero, sino que es necesario estar dispuesto a
justificarlo en términos de resultados conseguidos. Con este objetivo, se toman decisiones
basadas en datos empíricos, pero también se tienen en cuenta la eficacia del programa, la
aceptación social, el nivel de acogida de los participantes, la disponibilidad y el coste de los
recursos, o cuestiones ideológicas.

Aumentar el conocimiento básico

Este objetivo está dirigido a examinar ampliamente los fenómenos que han sido objeto de
estudio analizando las causas de los problemas. Trata de buscar una explicación al
funcionamiento de las operaciones realizadas para aumentar o perfeccionar el conocimiento
disponible sobre los problemas y las posibilidades de intervención. Esto permite generar la
comprensión o entendimiento de los problemas sociales, resaltando la dimensión investigadora
implícita en todo proceso evaluativo.

13
4.3.1. Características

Para que la evaluación sea útil y cumpla los objetivos que se pretenden con esta, es necesario
que cuente con una serie de características:

1. Práctica y útil: debe contribuir a incrementar el conocimiento sobre la problemática


abordada, y sus resultados han de servir para retroalimentar el diseño de otras
intervenciones en el futuro.
2. Sistemática: la evaluación debe efectuarse siguiendo una serie de pasos que hagan
posible replicar el proceso en diferentes contextos, con diferentes colectivos y en
diferentes intervenciones. La replicabilidad es el factor que hace posible enmarcar este
proceso dentro del método científico y hace posible efectuar evaluaciones desde una base
comparativa.
3. Flexible: esta característica no es contraria a la sistematicidad. Supone que la evaluación
debe tener capacidad de adaptación a las peculiaridades del propio programa, de la
población a la que se dirige y del contexto en el que se ejecuta.
4. Ajustada a plazos temporales: la evaluación debe acotarse temporalmente para poder
establecer el grado de consecución de los objetivos en función del momento de ejecución.
5. Valora planes, políticas, proyectos y programas, no a la gente. La evaluación permite
verificar el cumplimiento de objetivos y debe centrarse fundamentalmente en procesos y
resultados directamente imputables a las acciones que dan forma al programa.
6. Emite juicios de valor analizando los elementos que se estudian. Esto supone que de la
evaluación debe derivarse un dictamen que sea entendible por los gestores del programa
y que sirva como base para los procesos de toma decisiones relativos a la intervención.
7. Se puede hacer antes, durante o después de la ejecución: puede hacerse en las
distintas etapas del ciclo de intervención. La decisión acerca de cuándo efectuar la
evaluación debe responder a criterios objetivos y, en buena medida, esta decisión vendrá
determinada por las características de la intervención y de la información que se pretende
recabar a través de la evaluación.
8. El objeto de evaluación varía: en la evaluación, la acción puede dirigirse al diseño de
una actividad, a los procesos de ejecución o a sus resultados y efectos, ya se hayan
previsto o no, estableciendo una prioridad entre un enfoque u otro dependiendo del
objetivo evaluativo, de tal manera que el modelo de evaluación variará dependiendo de lo
que se pretende conseguir con esta.
9. Criterios de evaluación: se analizarán la eficacia, la eficiencia, la pertinencia, el impacto
y la viabilidad, entre otros. El análisis sistemático de estos aspectos puede determinar,
entre otros aspectos, la continuidad del programa, su modificación o el cese de la iniciativa.

Además de la utilidad y la aplicabilidad, se necesita incorporar el rigor, ya que indica si los


resultados finales son creíbles o no. Para que una evaluación pueda considerarse como rigurosa,
algunas de las garantías más potentes son, por ejemplo, las siguientes: a. la sistematicidad con
la que se efectúa la evaluación, b. la variedad de fuentes de recogida de información, c. la
diversidad de actores implicados en el proceso de evaluación (p. ej., aplicadores, beneficiarios y
diseñadores), y d. la combinación de metodologías (p. ej., métodos cualitativos, cuantitativos o
mixtos) y el uso de múltiples indicadores de medidas tanto objetivos como subjetivos.

14
4.4. Tipos de evaluación de programas

Teniendo en cuenta los distintos modelos de evaluación, no sorprende la existencia de numerosos


tipos de evaluaciones. Habitualmente, se suelen clasificar los tipos de evaluaciones en función del
momento temporal en el que se evalúa el programa, de la procedencia de los evaluadores, de los
instrumentos o la metodología empleada, etcétera.

4.4.1. Según el momento temporal en el que se evalúa

1. Evaluación proactiva, ex ante o a priori

La evaluación se realiza antes de la ejecución del programa y su objeto es la recogida de


información para la toma de decisiones respecto al futuro del programa, ya que permite conocer
la situación inicial de la institución o del programa para decidir sobre la conveniencia técnica de
la implementación de un proyecto.

Por lo tanto, la evaluación a priori permite determinar la viabilidad técnica de un proyecto y


jerarquizar los proyectos elegibles al analizar la viabilidad de alcanzar los objetivos propuestos
en un programa con los recursos existentes, estimando y comparando los costos presentes y
futuros de las diferentes alternativas.

2. Durante

Es aquella evaluación que se realiza a lo largo del proceso de ejecución y que recoge datos acerca
del funcionamiento del programa de forma continuada y sistemática. Esto permite valorar si los
resultados que se van obteniendo son coincidentes con los previsibles y, en caso de no ser así o
de que se produzcan discrepancias, introducir las modificaciones que sean pertinentes para
conseguir los objetivos planificados.

15
3. Evaluación retroactiva, ex post o a posteriori

Es la que más desarrollo ha venido mostrando y la que más se ha aplicado en el contexto de la


evaluación de programas y proyectos sociales. Según Briones (2006), la evaluación ex post es el
«estudio que se realiza después de que el programa ha terminado, con la finalidad de establecer
si se obtuvieron o no los resultados esperados y los factores que actuaron en una u otra
dirección». La necesidad de evaluación al término de un proyecto social se relaciona con la
detección y la cuantificación de los resultados de la intervención en relación con los objetivos
específicos del proyecto. Dicho en otras palabras, la evaluación ex post debe compatibilizar la
necesidad de medir el logro de los objetivos del programa o proyecto con el levantamiento de los
datos al concluir la ejecución del proyecto. En este sentido, este tipo de evaluación constituye la
última de las etapas del ciclo de vida de los proyectos sociales y permite generar conclusiones y
correcciones para los proyectos que persigan fines semejantes. De igual modo, la evaluación
retroactiva también permite rendir cuentas de lo realizado y justificar el gasto del programa.

La evaluación ex post, en su nivel micro, es un proceso encaminado a determinar sistemática y


objetivamente la pertinencia, la eficiencia y la eficacia de todas las actividades desarrolladas a la
luz de los objetivos planteados. La finalidad de la evaluación del impacto es medir la durabilidad
del efecto de la intervención (Gertler, Martínez, Premand, Rawlings y Vermeersch, 2017).

Algunos autores han sistematizado los elementos que deben estar presentes para que la
evaluación del impacto sea rigurosa y útil desde el punto de vista de la planificación del programa.
En esta línea, White (2009) propone que esta evaluación debe caracterizarse por las siguientes
propiedades:

1. Debe estar guiada por un modelo teórico previo.


2. Debe incluir elementos para examinar las características del contexto donde la
intervención debe ser operativa.
3. Es necesario que anticipe la heterogeneidad de la población a la que se dirige y la
problemática que motiva la intervención.
4. Debe ser lo suficientemente fuerte para detectar los efectos no atribuibles al programa de
forma directa.
5. Se debe ejecutar un riguroso análisis de los efectos probados atribuibles a la intervención.
6. Debe hacer uso de modelos de investigación que incluyan métodos mixtos (p. ej.,
triangulación metodológica).

4.4.2. Según la procedencia de los evaluadores

Este criterio de clasificación responde a quién efectúa la evaluación.

1. Evaluación interna o desde dentro

Es conducida por los responsables del proyecto o el personal implicado en el programa de


intervención. El conocimiento del programa del que dispongan resultará valioso al efectuar su
tarea evaluativa. En este sentido, la evaluación interna tiene ventajas potenciales, principalmente
aquellas relacionadas con el hecho de que los evaluadores (a) tienen acceso a fuentes primarias
de información, (b) suelen conocer de primera mano el contexto de aplicación del programa y (c)
están en contacto tanto con los profesionales que intervienen en el proceso como con la población
diana (Vedung, 2017).

16
Sin embargo, esto se puede convertir en una desventaja porque la evaluación puede estar
cargada de subjetividad. De hecho, esta falta de objetividad puede influir a la hora de recoger
información y traducirse en actitudes de permanente justificación ante cualquier discrepancia
detectada, lo que podría desembocar en actuaciones poco afortunadas e impedir la introducción
de modificaciones oportunas.

2. Evaluación externa o desde fuera

Este tipo de evaluación es llevada a cabo por personas ajenas a la planificación, la implementación
y/o la ejecución del programa, incluso ajenas a la institución promotora, pero expertas en
evaluación. Con la evaluación externa, se pretende lograr máxima objetividad, pese a que ello
suponga un desconocimiento de los acontecimientos.

Se parte de la premisa de que una labor evaluativa rigurosa redundará en una mayor calidad
técnica. No obstante, no está exenta de limitaciones, entre las que se encuentran las siguientes:
(a) el hecho de que este tipo de procedimiento suele ser más costoso que la evaluación interna,
(b) que puede generar tensiones y resistencias entre el equipo que evalúa y el equipo que
implementa, y (c) que habitualmente los evaluadores externos no tienen acceso a tanta
información como los evaluadores internos. Además, existe el riesgo de que los evaluadores
seleccionen informaciones concordantes con los intereses de los responsables, en cuyo caso la
descripción de la realidad quedaría sujeta a fines partidistas.

3. Evaluación mixta

Es el punto intermedio entre la evaluación interna y la externa, de forma que el equipo evaluador
está compuesto por personas procedentes de ambas posiciones. De este modo, quedarían
superados los problemas de ambos tipos de evaluación, ya que el personal interno se encargaría
de evaluar los aspectos organizativos de la intervención, mientras que el personal externo
examinaría los aspectos más técnicos del programa. Como desventaja, cabe reseñar su alto coste
en tiempo y recursos, por lo que el empleo de este tipo de evaluación debe estar justificado en
función de las características del programa, su complejidad y su amplia cobertura poblacional.

Una variante de este tipo de evaluación consiste en formar un equipo compuesto por evaluadores
externos e internos pertenecientes a la propia institución. En estos casos, resulta positivo generar
un clima de trabajo basado en la cooperación y en la facilitación de roles igualitarios entre ambos
grupos de evaluadores.

4.4.3. Según el aspecto objeto de evaluación

Según su propósito, se puede hablar de evaluación de resultados, de evaluación de objetivos y


de evaluación de procesos.

17
1. Evaluación de resultados (eficacia)

Consiste en valorar si los resultados obtenidos dan respuesta a las necesidades y los problemas
que lo generaron, y examinar si el programa ha sido eficaz o no. Dicho de otro modo, se trata de
determinar cuáles han sido los beneficios y cuántos los costos económicos para conseguirlos,
midiendo el nivel de consecución de eficacia de la iniciativa.

2. Evaluación de objetivos (impacto)

Supone valorar las hipótesis de la acción social que orientan la intervención, lo que implica
analizar si el desempeño del proyecto ha contribuido efectivamente a alcanzar y en qué grado se
ha mejorado la situación y/o calidad de vida de las personas beneficiarias. Este análisis implica
un correcto diseño en el que los objetivos hayan sido definidos de modo operacional a través de
indicadores concretos. Esto permitirá evaluar la pertinencia de la acción, los impactos y la
viabilidad. Al mismo tiempo, es necesario discernir en qué medida los efectos de la intervención
son directamente imputables a las acciones del programa y no a efectos aleatorios o variables no
controladas.

3. Evaluación del procedimiento metodológico seguido (lógica de la intervención)

Consiste en revisar las fases precedentes para determinar si el estudio fue correcto o faltan áreas
importantes que analizar. Esto puede darse como consecuencia de un diagnóstico incompleto o
erróneo que lleve a un mal planteamiento de objetivos y actividades. Se trata de una evaluación
global de las técnicas puestas en marcha a lo largo de todo el proceso, de manera que incluye
aspectos relacionados con el diagnóstico inicial, con el diseño, con la implementación y con el
propio proceso de evaluación. Además, se contemplan otros aspectos:

La cobertura

Examinar si el programa ha llegado efectivamente a la población para la que fue diseñado.

La implementación

Analizar la forma en la que el programa llega a la población, midiendo aspectos como la


participación, el grado de implicación de los aplicadores o el número de sesiones impartidas.

La organización

Contexto institucional en el que se lleva a cabo el programa, considerando cuestiones


estructurales (organigrama, puestos y funciones, desempeño…) y cuestiones de funcionamiento
(comunicación y relación, participación en las decisiones, clima laboral, etc.).

18
En este punto, se examina en qué medida los factores organizacionales pueden estar incidiendo
positiva o negativamente en los resultados del programa.

4.4.4. Según los instrumentos: evaluación cuantitativa y cualitativa

La fundamentación para realizar cualquier valoración debe basarse en una serie de ideas o
posturas que subyacen y determinan su sentido y su alcance definitivo. El origen de estas
diferentes posiciones teóricas radica, en última instancia, en la interpretación que se haga acerca
de la naturaleza de nuestro conocimiento. ¿Cómo conocemos la realidad? ¿De qué manera nos
es posible estudiarla y valorarla? Sintetizando al máximo los diferentes tipos de respuestas que
se dan a esta pregunta, podemos diferenciar dos grandes enfoques (Ventosa, 2002):

1. Enfoque cuantitativo

Desde este enfoque, se intenta explorar la realidad a partir de una perspectiva experimental y
analítica, acotando al máximo las variables que se evalúan y controlando todos aquellos
elementos que intervengan en la realidad con el fin de encontrar relaciones causales entre ellos.
En este contexto, evaluar equivale a investigar. Los métodos, por tanto, serán matemáticos y
estadísticos, y los datos consisten en cifras, tasas, elementos cuantificables, etc. La forma de su
obtención tiende a estar rígidamente predeterminada de antemano y su capacidad de ser flexible
es escasa. No obstante, suelen ser preferidos por su presumible carácter de objetividad y
fiabilidad. La evaluación cuantitativa tiene adicionalmente la ventaja de manejar una gran
cantidad de datos agregados que han podido ser recabados a través de cuestionarios y test de
medidas cumplimentados tanto por los beneficiarios como por el equipo de intervención.

En cuanto a los instrumentos esencialmente cuantitativos, hay dos familias de técnicas de uso
habitual, a las que sumamos la evaluación por indicadores:

• La primera, ligada al mundo de las ciencias económicas, pretende determinar criterios de


rentabilidad de los proyectos para conocer la conveniencia de realizar una acción social o,
en su caso, examinar la rentabilidad económica de un proyecto futuro, en curso o
finalizado. El método tipo es el análisis coste-beneficio (ACB), que compara los flujos de
bienes y servicios producidos por el proyecto con sus respectivos costes, expresando todo
ello en unidades monetarias. Una modalidad derivada, entre otras posibles, es el análisis
coste-efectividad (ACE).
• La segunda familia de procedimientos cuantitativos tiene que ver con el ámbito de las
encuestas formales, que recogen información precisa y estandarizada a través de
cuestionarios aplicados a determinadas muestras representativas. Su utilidad es
incontestable para el tratamiento de datos cuando se necesita realizar generalizaciones o
bien verificar hipótesis. Sin embargo, su alto coste y grado de sofisticación en la recogida
de información aconsejan su uso solo cuando las condiciones del proyecto así lo exijan y/o
lo permitan. No obstante, las nuevas tecnologías permiten abaratar el coste de la recogida
presencial y en formato lápiz-papel al facilitar la recogida de datos a través de
cuestionarios digitalizados.

19
2. Enfoque cualitativo

Su objetivo es estudiar la realidad con una pretensión descriptiva y comprensiva, sin aspirar a
explicarla como en el anterior posicionamiento. Opta por la comprensión global y abierta de los
fenómenos, sin manipular las variables que intervienen en ellos. De este modo, no modifica ni
altera el contexto ni las circunstancias naturales en las que se dan. Los métodos utilizados desde
esta perspectiva son los basados en la observación, la entrevista y la descripción de los fenómenos
(etnografía, estudio de casos, observación sistemática y triangulación). Los datos recogidos
derivan normalmente de actitudes, percepciones, opiniones, perspectivas, comportamientos,
creencias, etc. Un proceso de evaluación cualitativa puede ser tan riguroso como las técnicas
cuantitativas. Sin embargo, es necesario identificar con claridad los criterios de selección de cada
técnica con el objeto de que consiga capturar el fenómeno que se trata de evaluar (Greene,
1994).

A continuación, se detallan algunos de los métodos más habituales en este tipo de estrategias
evaluativas:

1.1. Observación

Existe la posibilidad de realizar la observación como miembro no participante, lo que significa


que quien observa es un agente externo. Las fases de este proceso incluyen la definición del
problema que investigar, la selección de la muestra, la recogida de la información (registro por
categorías), el análisis y la interpretación de los datos.

Por otro lado, el personal investigador también puede tomar parte en las actividades en las que
están inmersos los sujetos que evalúa, intentando reconstruir desde dentro sus actividades e
interacciones mediante las notas de campo.

1.2. Entrevista

Es la conversación establecida entre dos personas, iniciada por la persona entrevistadora, con
el propósito de obtener información relevante sobre algún asunto objeto de estudio. Las
entrevistas pueden realizarse sin un guion de preguntas establecido (no estructuradas) o seguir
un guion preestablecido a priori (estructuradas). En este último caso, el proceso que se debe
seguir sería el siguiente:

a. Definir los objetivos generales y específicos.


b. Convertir los objetivos en preguntas.
c. Redactar las instrucciones para los entrevistadores.
d. Seleccionar a los sujetos que van a ser entrevistados.

20
e. Procurar establecer una relación de calidad con los sujetos entrevistados.
f. Codificar la información.
g. Analizarla e interpretarla.

1.3. Grupo de discusión

Es una entrevista grupal que permite recopilar información relevante sobre un problema de
investigación. Se debe generar un ambiente relajado, distendido y agradable para que los
participantes respondan y discutan sus ideas y comentarios. La conversación está guiada por
una persona que modera al grupo, pero que no interviene en esta. Es importante resaltar que
con esta técnica los participantes se influyen en sus ideas y comentarios.

A pesar de que en la teoría se hace la distinción entre evaluación cualitativa y cuantitativa, lo


cierto es que en la práctica es habitual utilizar ambas metodologías, pues se ofrece una
información más completa del objeto que se está evaluando.

21
Resumen

El éxito o el fracaso de un proyecto depende, en gran medida, de su grado de evaluación, es


decir, de la valoración de sus riesgos, gastos, beneficios, recursos y procesos, facilitando la toma
de decisiones. Todo proceso de evaluación implica situarse en escenarios hipotéticos. El objetivo
es poner el programa en dichos escenarios y, a la vez, tratar de plantear los retos que ello
implicaría para el cumplimiento de las metas iniciales. De este modo, los gestores del proyecto
pueden introducir los cambios que mejoren la ejecución de este.

La evaluación permite comprobar en qué medida la intervención consigue mejorar la situación de


partida (p. ej., en términos de calidad de vida) de la población diana. Al mismo tiempo, la
evaluación sistemática es la que incrementa el conocimiento científico relativo a la problemática
que origina la acción. Por tanto, es necesario que exista una retroalimentación permanente entre
los resultados de la evaluación y la teoría. Este feedback continuo es fundamental para informar
y guiar el diseño de futuros programas de intervención a fin de hacer frente a múltiples fenómenos
sociales.

En ese sentido, la evaluación de programas representa numerosas ventajas y beneficios para las
organizaciones. Repasemos las principales:

• Mejora la toma de decisiones, que puede hacerse efectiva tanto en la fase de


planificación como en etapas posteriores o incluso al final del proyecto. Una buena
evaluación proporciona información valiosa para introducir las reformas convenientes.
• Identifica los principales riesgos, lo cual permite crear estrategias para aminorar los
efectos de esos riesgos y seguir adelante con las tareas propuestas.
• Promueve un alto grado de organización conjunta, ya que una evaluación eficaz
promoverá la eficiencia y el grado de compromiso en los grupos de trabajo.
• Reduce los costes del proyecto, tanto los que estaban previstos en la fase inicial como
aquellos que se derivan de fallos o errores.

Estar familiarizados con la evaluación es clave, por tanto, para el éxito o el fracaso de nuestros
proyectos.

22
Mapa de contenidos

23
Recursos bibliográficos

Bibliografía básica

Aguilar, M. J. y Ander-Egg, E. (1992). Evaluación de servicios y programas sociales. Siglo XXI


de España.

Alvira, F. (1991). Metodología de la evaluación de programas. Centro de Investigaciones


Sociológicas.

Briones, G. (2006). Evaluación de programas sociales. Trillas.

Espinoza, M. (1983). Evaluación de proyectos sociales. Humanitas.

Fernández-Ballesteros, R. (1983). Valoración de intervenciones. En R. Fernández-Ballesteros


(ed.), Psicodiagnóstico. UNED.

Bibliografía complementaria

Dávila, G. y García, C. (2012). Gestión de proyectos. Grupo 5.

Fernández, I., Morales, J. F. y Molero, F. (2011). Psicología de la intervención comunitaria.


Desclée de Brouwer.

García, G. y Ramírez, J. M. (2006). Manual práctico para elaborar proyectos sociales. Siglo XXI.
Colección Trabajo Social.

Gertler, P. J., Martínez, S., Premand, P., Rawlings, L. B. y Vermeersch, C. J. M. (2017). La


evaluación de impacto en la práctica. Banco Internacional de Reconstrucción y Fomento/Banco
Mundial.

Greene, J. C. (1994). Qualitative program evaluation: practice and promise. En N. K. Denzin y


Y. S. Lincoln (eds.), Handbook of Qualitative Research. Sage.

Suchman, E. A. (1967). Evaluative Research: Principle and Practice in Public Service and Social
Action Programs. Sage.

Tyler, R. W. (1950). Basic Principles of Curriculum and Instruction. Universidad de Chicago.

Vedung, E. (2017). Public Policy and Program Evaluation. Routledge.

Ventosa, V. (2002). Desarrollo y evaluación de proyectos socioculturales. CCS.

White, H. (2009). Theory-based impact evaluation: principles and practice. Journal of


Development Effectiveness, 1, 271-284.

Otros recursos

Bustelo, M. (1999). Diferencias entre evaluación e investigación: una distinción necesaria para
la identidad de la evaluación de programas. http://www.etpcba.com.ar/documentos/sitios/ev
aluacion_intitucional/3_evaluac_invest.pdf

24
Domínguez Aranda, R. y Casellas López, L. (2011). Guía para construir el sistema de
seguimiento y evaluación de un proyecto de intervención social. http://www.andaira.net/wp-
content/uploads/2015/09/lcl_2011c_guia_sise.pdf

Plataforma de ONG de Acción Social. (s. f.). Plan Estratégico del Tercer Sector de Acción Social.
http://www.plataformaong.org/planestrategico/ARCHIVO/documentos/6/6.pdf

25

También podría gustarte