Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Resumen ...................................................................................................................... 22
2
UD 4. Implementación y evaluación de programas
En concreto, existen dos motivos fundamentales para llevar a cabo la evaluación de un programa:
Además, la evaluación recopila y examina de manera sistemática la información que nos pueda
llevar a valorar y darle mérito al trabajo. En este sentido, se entiende como buena práctica
profesional que la entidad y el equipo de profesionales que implementan el programa realicen
evaluaciones continuas. Al menos, deberán hacer dos evaluaciones generales: una antes de
iniciar, para tener una línea base, y otra al terminar el programa (memoria) que ayude en la
orientación y la mejora para planificar el siguiente. No obstante, lo aconsejable sería una
evaluación por trimestre o bloque de actividades. Además, cada programa o proyecto tiene que
ser evaluado de manera independiente con respecto a las evaluaciones generales.
3
Implementación y evaluación de programas (II)
Para la finalidad de esta unidad, adoptaremos la definición propuesta por Aguilar y Ander-Egg
(1992), que indican que la evaluación de programas es lo siguiente:
En definitiva, la evaluación describe los procesos que permiten verificar el impacto real de la
intervención. De este modo, se requiere diseñar y establecer aquellos indicadores que se
emplearán para medir los resultados del programa.
Así, la evaluación concebida desde una perspectiva amplia se define como la aplicación
sistemática de métodos cualificados de las ciencias sociales con la intención de conocer y juzgar
el diseño, los procesos, los resultados y los efectos de las intervenciones causadas por un conjunto
de medidas aplicadas en un tiempo y contexto determinados. Esto supone que, de igual modo
que las intervenciones deben adaptarse a la población, a la problemática y al contexto donde
deberán ser operativas, también es preciso adaptar la evaluación a los factores señalados. Esta
definición no está ceñida a los resultados, sino que tiene una visión de conjunto, incluyendo las
necesidades sociales, el diseño, la implementación, los resultados y los efectos. Además, pone el
énfasis en la necesidad de controlar todas las fases que componen la intervención y no solo el
análisis de los resultados, que se efectúa una vez que culmina el programa.
No les falta razón a quienes indican que la evaluación también es una actividad política, ya que
afecta directamente a las decisiones políticas y a la asignación de presupuestos públicos para la
planificación, el diseño, la implementación y la continuidad de los programas dirigidos a mejorar
la calidad de vida de las personas. En esta misma línea de razonamiento, desde la teoría de los
sistemas, se define la evaluación como un elemento relevante en la política o programa, pudiendo
conceptualizarse como input. De este modo, cualquier intervención, programa o política social
puede ser catalogado como input (recursos económicos, humanos, tecnológicos y físicos),
transformación (procesos que permiten convertir los inputs en outputs), output (resultados de
las transformaciones relacionados con alcanzar los objetivos del programa), contexto (factores
facilitadores o incapacitantes de la implementación del programa, como, por ejemplo: normas
sociales, estructuras políticas, agencias financiadoras, intereses grupales, etc.) y
retroalimentación (información proporcionada tras la evaluación tanto para constatar que los
inputs son los adecuados y están organizados como para verificar si se están alcanzando las
metas y satisfaciendo las expectativas de las instituciones responsables de la toma de decisiones).
4
Figura 1. Componentes de la intervención según la teoría de sistemas.
Esto plantea un código ético que debe mantener el profesional a la hora de mejorar las
intervenciones a través del conocimiento y el análisis de los procesos y los resultados. A su vez,
tiene una exigencia científica para sustentarse y desarrollar bases teóricas, a la vez que contrasta
nuevas aportaciones teóricas y metodológicas. De este modo, con la evaluación se persigue
aumentar el conocimiento básico; es decir, examinar ampliamente los fenómenos que han
sido objeto de estudio analizando las causas de los problemas. Trata de buscar una explicación
al funcionamiento de las operaciones realizadas para aumentar o perfeccionar el conocimiento
disponible sobre los problemas y las posibilidades de intervención. Esto permite generar la
comprensión o entendimiento de los problemas sociales, resaltando la dimensión investigadora
implícita en todo proceso evaluativo.
5
4.1. Estrategias de intervención
Como hemos venido explicando a lo largo de la asignatura, el ciclo de intervención consta de siete
fases (Fernández-Ballesteros, 1993). La figura que aparece a continuación servirá de guía para
su mejor comprensión. Las fases son las siguientes: 1) identificación del problema y/o
necesidades, 2) planteamiento de objetivos y metas, 3) preevaluación, 4) formulación del
programa, 5) implementación del programa, 6) evaluación del programa propiamente dicha y 7)
toma de decisiones sobre el programa.
De este modo, queda reflejado que la evaluación de programas no es el proceso final, sino que
es una etapa más en el ciclo de la intervención social, pero de una gran importancia en el proceso.
Como vimos en las primeras unidades didácticas, la fase de planificación del programa es
fundamental para el éxito de la intervención. Esta etapa supone definir de manera clara y
específica las metas, los objetivos y las actividades de intervención de acuerdo con las mejores
opciones posibles. Si bien la planificación y la evaluación de programas pueden parecer
actividades diferenciadas, actúan de manera interdependiente. De hecho, la planificación y la
implementación de la evaluación son claves en el diseño y el rediseño de los programas. En
concreto, el diseño del plan de evaluación debe ir emparejado con el diseño del programa para
facilitar la realización de las actividades evaluativas y minimizar las discrepancias entre
planificadores, directores de programa y evaluadores.
6
Recuerda
En este sentido, la definición exhaustiva de metas y objetivos ofrece una coherencia interna del
programa, a la vez que permite realizar una evaluación orientada por la teoría; es decir, la
experiencia previa de implementación proporciona conocimiento para ajustar y depurar los
elementos que sean necesarios no solo para mejorar la eficacia del programa en sí mismo, sino
también para incrementar la capacidad de alcance de la población objetivo.
Recuerda
Una evaluación orientada a la teoría permite, a su vez, llevar a cabo una evaluación de entrada
que destaca la necesidad de incorporar, mejorar y revisar la propia definición del problema. Esto
implica desarrollar conocimiento sobre cómo localizar a la población objetivo y cómo trabajar con
ella, por qué se esperan cambios específicos asociados a actividades concretas y cómo organizar
el servicio que se va a prestar. De este modo, el diseño del programa requiere concretar el sistema
de servicios que se pondrá en marcha para realizar las actividades previstas en la justificación
teórica del programa.
7
Una vez establecidos los objetivos del programa, es necesario establecer una línea base que
permita evaluar los efectos de la intervención. Se trata de fijar parámetros de partida del
programa con los que poder comparar la situación final (tras la aplicación del programa) y extraer
conclusiones sobre los cambios obtenidos.
Una vez realizada la planificación del programa, los objetivos, los recursos, las actividades, el
tiempo de desarrollo y la población diana deberán estar recogidos en un documento. Esto permite
implantar el programa fielmente a su diseño y formulación, cuyo funcionamiento exige la
coordinación y la colaboración de diversos factores humanos, materiales, económicos y
conceptuales. Sin embargo, la puesta en marcha del programa puede traer algunos obstáculos e
imprevistos. De este modo, se deben llevar a cabo acciones de control y seguimiento periódico
de aquellas acciones que se van realizando con el objetivo de identificar los fallos y las carencias
del programa que dificultan su aplicación y que pueden elevar el coste de la intervención.
Cronograma de actividades
• La marcha del programa y la distribución del tiempo para cada fase, actividad, tarea y
consecución de cada objetivo. De este modo, la duración total puede ser adecuada o no.
• Viabilidad del programa. Se trata de juzgar si los plazos son realistas, la distribución de
las actividades, si el tiempo es suficiente para alcanzar los objetivos de cada una de las
acciones, si la coordinación del tiempo es adecuada, etcétera.
• Supone un indicador fundamental de la relación coste-beneficio del programa.
8
Registro de actividades
Como se mencionó anteriormente, debe realizarse un control periódico que debe estar en
coherencia con las actividades programadas. Para llevar a cabo este control, se tiene que
establecer un procedimiento sistematizado con instrumentos adecuados (fichas de caso,
memorias, registros de las sesiones, resultados de aplicación de pruebas, registro de tareas,
etc.) que recojan la información más relevante de cada momento programado: actuaciones,
recursos materiales y humanos, temporalidad, etc. Una vez recogida esta información, los datos
deben depurarse para su adecuado tratamiento. Este registro puede ser realizado por los
responsables de la implementación del programa, pero también por agentes externos
(observación de expertos) o autoinformes de los usuarios.
Consiste en garantizar que las acciones diseñadas se están llevando a cabo tal y como se
planificaron, para actuar inmediatamente en caso de imprevistos o efectos secundarios que
impidan el proceso. De este modo, se controla si existe ajuste entre lo planificado y lo
ejecutado, y entre la planificación y el contexto y las necesidades de la población. Se deben
seguir tres pasos:
Con toda la información recabada en los elementos previos, se pueden identificar los factores
que influyen en el funcionamiento y los efectos del programa, y determinar qué áreas pueden
ser mejoradas, a la vez que se mantienen los puntos fuertes de este. De este modo, se pueden
tomar decisiones sobre la gestión, la continuidad o la financiación del programa.
9
Las estrategias de monitorización son realizadas por las personas responsables de implementar
el programa, que, mediante un sistema interno de seguimiento y control, verifican el logro de
metas e identifican las alteraciones producidas. En concreto, los objetivos que se persiguen con
la monitorización son los siguientes:
Se han propuesto diferentes modelos de evaluación que varían en los objetivos (énfasis solo en
los resultados y/o en otros aspectos como costes, validez teórica…), el método y el grado de
participación de las personas implicadas en el programa. Estos modelos, a su vez, proporcionan
distintas tipologías de evaluación. De esta forma, las teorías pueden entenderse relacionándolas
unas con otras como si fueran un cuerpo global fundamental para la práctica.
Surge en los años cuarenta/cincuenta de la mano del estadounidense Ralph Tyler (1950), quien
señala que la evaluación es «esencialmente el proceso de determinar hasta qué punto los
objetivos han sido actualmente alcanzados mediante el proyecto». Este modelo suele definirse
como analítico, puesto que el proceso de evaluación que propone este autor es el siguiente:
10
El modelo tyleriano recibe principalmente dos tipos de críticas. Por un lado, que no tiene un
carácter formativo (proceso), sino sumativo (resultado), porque se centra únicamente en el
cumplimiento de los objetivos sin plantearse cómo se han conseguido o no, qué partes del
programa funcionan y cuáles no.
Este modelo se denomina así porque acomoda sus objetivos a las necesidades del cliente de la
evaluación. Este modelo consta de una fase descriptiva en la que debe contrastarse lo previsto o
planificado con observadores de lo que ha sucedido. Para ello, incluye un examen de la base
lógico-conceptual del programa, congruencia/incongruencia desde el punto de vista teórico, y
describe los antecedentes-actividades-consecuencias para examinar si los antecedentes eran
correctos, cómo se llevaron a cabo las actividades y si consiguen o no los resultados. Además,
incluye una fase valorativa para comparar el programa realizado con otro alternativo y con las
normas de calidad establecidas por las distintas partes interesadas.
11
De este modo, Suchman (1967) consideraba que las conclusiones obtenidas de la evaluación
deberían estar basadas en evidencias científicas. Por ello, el proceso evaluativo debía contar con
la lógica del método científico.
Atendiendo a las definiciones que se han mencionado en el apartado anterior, Espinoza (1983)
también señala que la evaluación de programas tiene dos objetivos fundamentales:
• Idoneidad. Capacidad que tiene el programa para resolver el problema que lo originó
(idoneidad del modelo teórico que justifica el programa).
• Efectividad. Capacidad que tiene el programa para alcanzar los objetivos y las metas
teniendo en cuenta tres objetivos operativos: (a) los resultados (qué hemos conseguido),
(b) la intervención (cuántas intervenciones se llevan a cabo) y (c) la población destinataria
(cuántas personas se benefician). Evidentemente, hay que contrastar estos logros con las
previsiones formuladas en el proyecto. Asimismo, se deben considerar los efectos no
previstos en la planificación original (tanto positivos como negativos).
• Eficiencia. La relación entre los servicios finales y el costo requerido para su prestación.
Esta dimensión relaciona los dos conceptos anteriores, ya que un programa ha podido
resultar eficaz (conseguir los resultados), pero no ser eficiente (se han utilizado recursos
excesivos). De este modo, se puede afirmar que un programa será más eficiente que otro
cuando logre los objetivos con menor asignación de recursos tanto materiales como
temporales.
2. El segundo objetivo consiste en facilitar el proceso de toma de decisiones, como, por ejemplo,
decidir si continuar o interrumpir el programa, o mejorar/modificar los procedimientos.
Mejorar el programa
Este objetivo persigue ofrecer pautas para mejorar y perfeccionar el programa. De este modo,
se logra un programa más dinámico, eficiente, orientado al servicio y adaptado a las
preocupaciones del cliente.
12
Este tipo de diseño de evaluación es altamente deseable en la medida en que facilita detectar
errores e incidencias en el proceso de aplicación y permite subsanar dichos errores mientras el
programa se lleva a cabo.
Este objetivo está dirigido a examinar ampliamente los fenómenos que han sido objeto de
estudio analizando las causas de los problemas. Trata de buscar una explicación al
funcionamiento de las operaciones realizadas para aumentar o perfeccionar el conocimiento
disponible sobre los problemas y las posibilidades de intervención. Esto permite generar la
comprensión o entendimiento de los problemas sociales, resaltando la dimensión investigadora
implícita en todo proceso evaluativo.
13
4.3.1. Características
Para que la evaluación sea útil y cumpla los objetivos que se pretenden con esta, es necesario
que cuente con una serie de características:
14
4.4. Tipos de evaluación de programas
2. Durante
Es aquella evaluación que se realiza a lo largo del proceso de ejecución y que recoge datos acerca
del funcionamiento del programa de forma continuada y sistemática. Esto permite valorar si los
resultados que se van obteniendo son coincidentes con los previsibles y, en caso de no ser así o
de que se produzcan discrepancias, introducir las modificaciones que sean pertinentes para
conseguir los objetivos planificados.
15
3. Evaluación retroactiva, ex post o a posteriori
Algunos autores han sistematizado los elementos que deben estar presentes para que la
evaluación del impacto sea rigurosa y útil desde el punto de vista de la planificación del programa.
En esta línea, White (2009) propone que esta evaluación debe caracterizarse por las siguientes
propiedades:
16
Sin embargo, esto se puede convertir en una desventaja porque la evaluación puede estar
cargada de subjetividad. De hecho, esta falta de objetividad puede influir a la hora de recoger
información y traducirse en actitudes de permanente justificación ante cualquier discrepancia
detectada, lo que podría desembocar en actuaciones poco afortunadas e impedir la introducción
de modificaciones oportunas.
Este tipo de evaluación es llevada a cabo por personas ajenas a la planificación, la implementación
y/o la ejecución del programa, incluso ajenas a la institución promotora, pero expertas en
evaluación. Con la evaluación externa, se pretende lograr máxima objetividad, pese a que ello
suponga un desconocimiento de los acontecimientos.
Se parte de la premisa de que una labor evaluativa rigurosa redundará en una mayor calidad
técnica. No obstante, no está exenta de limitaciones, entre las que se encuentran las siguientes:
(a) el hecho de que este tipo de procedimiento suele ser más costoso que la evaluación interna,
(b) que puede generar tensiones y resistencias entre el equipo que evalúa y el equipo que
implementa, y (c) que habitualmente los evaluadores externos no tienen acceso a tanta
información como los evaluadores internos. Además, existe el riesgo de que los evaluadores
seleccionen informaciones concordantes con los intereses de los responsables, en cuyo caso la
descripción de la realidad quedaría sujeta a fines partidistas.
3. Evaluación mixta
Es el punto intermedio entre la evaluación interna y la externa, de forma que el equipo evaluador
está compuesto por personas procedentes de ambas posiciones. De este modo, quedarían
superados los problemas de ambos tipos de evaluación, ya que el personal interno se encargaría
de evaluar los aspectos organizativos de la intervención, mientras que el personal externo
examinaría los aspectos más técnicos del programa. Como desventaja, cabe reseñar su alto coste
en tiempo y recursos, por lo que el empleo de este tipo de evaluación debe estar justificado en
función de las características del programa, su complejidad y su amplia cobertura poblacional.
Una variante de este tipo de evaluación consiste en formar un equipo compuesto por evaluadores
externos e internos pertenecientes a la propia institución. En estos casos, resulta positivo generar
un clima de trabajo basado en la cooperación y en la facilitación de roles igualitarios entre ambos
grupos de evaluadores.
17
1. Evaluación de resultados (eficacia)
Consiste en valorar si los resultados obtenidos dan respuesta a las necesidades y los problemas
que lo generaron, y examinar si el programa ha sido eficaz o no. Dicho de otro modo, se trata de
determinar cuáles han sido los beneficios y cuántos los costos económicos para conseguirlos,
midiendo el nivel de consecución de eficacia de la iniciativa.
Supone valorar las hipótesis de la acción social que orientan la intervención, lo que implica
analizar si el desempeño del proyecto ha contribuido efectivamente a alcanzar y en qué grado se
ha mejorado la situación y/o calidad de vida de las personas beneficiarias. Este análisis implica
un correcto diseño en el que los objetivos hayan sido definidos de modo operacional a través de
indicadores concretos. Esto permitirá evaluar la pertinencia de la acción, los impactos y la
viabilidad. Al mismo tiempo, es necesario discernir en qué medida los efectos de la intervención
son directamente imputables a las acciones del programa y no a efectos aleatorios o variables no
controladas.
Consiste en revisar las fases precedentes para determinar si el estudio fue correcto o faltan áreas
importantes que analizar. Esto puede darse como consecuencia de un diagnóstico incompleto o
erróneo que lleve a un mal planteamiento de objetivos y actividades. Se trata de una evaluación
global de las técnicas puestas en marcha a lo largo de todo el proceso, de manera que incluye
aspectos relacionados con el diagnóstico inicial, con el diseño, con la implementación y con el
propio proceso de evaluación. Además, se contemplan otros aspectos:
La cobertura
La implementación
La organización
18
En este punto, se examina en qué medida los factores organizacionales pueden estar incidiendo
positiva o negativamente en los resultados del programa.
La fundamentación para realizar cualquier valoración debe basarse en una serie de ideas o
posturas que subyacen y determinan su sentido y su alcance definitivo. El origen de estas
diferentes posiciones teóricas radica, en última instancia, en la interpretación que se haga acerca
de la naturaleza de nuestro conocimiento. ¿Cómo conocemos la realidad? ¿De qué manera nos
es posible estudiarla y valorarla? Sintetizando al máximo los diferentes tipos de respuestas que
se dan a esta pregunta, podemos diferenciar dos grandes enfoques (Ventosa, 2002):
1. Enfoque cuantitativo
Desde este enfoque, se intenta explorar la realidad a partir de una perspectiva experimental y
analítica, acotando al máximo las variables que se evalúan y controlando todos aquellos
elementos que intervengan en la realidad con el fin de encontrar relaciones causales entre ellos.
En este contexto, evaluar equivale a investigar. Los métodos, por tanto, serán matemáticos y
estadísticos, y los datos consisten en cifras, tasas, elementos cuantificables, etc. La forma de su
obtención tiende a estar rígidamente predeterminada de antemano y su capacidad de ser flexible
es escasa. No obstante, suelen ser preferidos por su presumible carácter de objetividad y
fiabilidad. La evaluación cuantitativa tiene adicionalmente la ventaja de manejar una gran
cantidad de datos agregados que han podido ser recabados a través de cuestionarios y test de
medidas cumplimentados tanto por los beneficiarios como por el equipo de intervención.
En cuanto a los instrumentos esencialmente cuantitativos, hay dos familias de técnicas de uso
habitual, a las que sumamos la evaluación por indicadores:
19
2. Enfoque cualitativo
Su objetivo es estudiar la realidad con una pretensión descriptiva y comprensiva, sin aspirar a
explicarla como en el anterior posicionamiento. Opta por la comprensión global y abierta de los
fenómenos, sin manipular las variables que intervienen en ellos. De este modo, no modifica ni
altera el contexto ni las circunstancias naturales en las que se dan. Los métodos utilizados desde
esta perspectiva son los basados en la observación, la entrevista y la descripción de los fenómenos
(etnografía, estudio de casos, observación sistemática y triangulación). Los datos recogidos
derivan normalmente de actitudes, percepciones, opiniones, perspectivas, comportamientos,
creencias, etc. Un proceso de evaluación cualitativa puede ser tan riguroso como las técnicas
cuantitativas. Sin embargo, es necesario identificar con claridad los criterios de selección de cada
técnica con el objeto de que consiga capturar el fenómeno que se trata de evaluar (Greene,
1994).
A continuación, se detallan algunos de los métodos más habituales en este tipo de estrategias
evaluativas:
1.1. Observación
Por otro lado, el personal investigador también puede tomar parte en las actividades en las que
están inmersos los sujetos que evalúa, intentando reconstruir desde dentro sus actividades e
interacciones mediante las notas de campo.
1.2. Entrevista
Es la conversación establecida entre dos personas, iniciada por la persona entrevistadora, con
el propósito de obtener información relevante sobre algún asunto objeto de estudio. Las
entrevistas pueden realizarse sin un guion de preguntas establecido (no estructuradas) o seguir
un guion preestablecido a priori (estructuradas). En este último caso, el proceso que se debe
seguir sería el siguiente:
20
e. Procurar establecer una relación de calidad con los sujetos entrevistados.
f. Codificar la información.
g. Analizarla e interpretarla.
Es una entrevista grupal que permite recopilar información relevante sobre un problema de
investigación. Se debe generar un ambiente relajado, distendido y agradable para que los
participantes respondan y discutan sus ideas y comentarios. La conversación está guiada por
una persona que modera al grupo, pero que no interviene en esta. Es importante resaltar que
con esta técnica los participantes se influyen en sus ideas y comentarios.
21
Resumen
En ese sentido, la evaluación de programas representa numerosas ventajas y beneficios para las
organizaciones. Repasemos las principales:
Estar familiarizados con la evaluación es clave, por tanto, para el éxito o el fracaso de nuestros
proyectos.
22
Mapa de contenidos
23
Recursos bibliográficos
Bibliografía básica
Bibliografía complementaria
García, G. y Ramírez, J. M. (2006). Manual práctico para elaborar proyectos sociales. Siglo XXI.
Colección Trabajo Social.
Suchman, E. A. (1967). Evaluative Research: Principle and Practice in Public Service and Social
Action Programs. Sage.
Otros recursos
Bustelo, M. (1999). Diferencias entre evaluación e investigación: una distinción necesaria para
la identidad de la evaluación de programas. http://www.etpcba.com.ar/documentos/sitios/ev
aluacion_intitucional/3_evaluac_invest.pdf
24
Domínguez Aranda, R. y Casellas López, L. (2011). Guía para construir el sistema de
seguimiento y evaluación de un proyecto de intervención social. http://www.andaira.net/wp-
content/uploads/2015/09/lcl_2011c_guia_sise.pdf
Plataforma de ONG de Acción Social. (s. f.). Plan Estratégico del Tercer Sector de Acción Social.
http://www.plataformaong.org/planestrategico/ARCHIVO/documentos/6/6.pdf
25