TEMA 4.

EVALUACIÓN ANTES DE PONER EN MARCHA UN PROGRAMA

1. Evaluación de necesidades
2. Evaluación del diseño del programa
3. Evaluación de la evaluabilidad del programa

*Conectando con el tema 1, punto 3*

3. Relación entre intervención y evaluación

Modelo estático (o lineal)

‘’Se podría pensar que el modo en que se lleva a cabo una valoración sigue una secuencia rígida, donde el primer paso es la identificación de un problema o
necesidad social sobre la que se quiere actuar; después se derivan y definen los objetivos que se quieren alcanzar con la actuación y, una vez que están definidos,
se diseña el programa de intervención que se quiere implantar. A continuación se implanta y ejecuta el programa y se procede a su evaluación. La idea
subyacente a esta idea de evaluar está muy ligada con el concepto de evaluación de resultados (cuestión básica que preocupó desde los años 30 a los 70) donde
la pregunta a la que la evaluación debe responder es ¿está el programa alcanzando los objetivos que pretendía lograr?, o de forma más amplia, ¿cuáles son los
resultados obtenidos por este programa? Nos referiremos a este modelo tradicional como modelo lineal o estático de evaluación de programas.
Se trata de una valoración holística y finalista, que atañe únicamente al producto final y que no permite actuar, en virtud de resultados intermedios, sobre el
desarrollo y el proceso de implementación. Es evidente que esta forma de acción es plausible y realista, sin embargo se pierde una gran cantidad de información
intermedia que, además de tener valor en sí misma a la hora de la valoración final, puede modular y mejorar cuestiones que en el planteamiento de los objetivos
del programa no habían quedado suficientemente debatidos y/o mejorar procesos intermedios que no habían sido bien planteados inicialmente y que,
indudablemente, benefician también al objetivo último del programa.’’
Modelo dinámico (o no lineal)
El más efectivo.

‘’Actualmente la visión es más dinámica; así, la evaluación corre pareja a la planificación y a la intervención, convirtiéndose el proceso evaluativo en un estudio
en el que se contempla necesariamente la retroalimentación (feedback) que se produce de forma continuada entre la planificación y la intervención. Nos
referiremos a este modelo de evaluación de programas como modelo no lineal o dinámico.
En esta visión se pone de manifiesto que cada una de las cuestiones principales que componen el programa, planificación e intervención, influyen y son
decisivas en el paso siguiente, de forma que deben ser y son objeto de evaluación en sí mismas, y ello por cuanto, precisamente, el buen planteamiento y
desarrollo de cada una de ellas incide de forma decisiva, tanto en la programación de la siguiente fase como en sus resultados potenciales.‘’

- Modelo predominante en la actualidad.

- La intervención y la evaluación tienen que planificarse previamente a la puesta en marcha del
programa.
- La intervención y la evaluación son simultáneas y continuadas en el tiempo.
- Cada una de las cuestiones que componen el programa deben ser objeto de evaluación.

1. EVALUACIÓN DE NECESIDADES

- Diagrama descriptivo de la relación entre las

actividades de evaluación y las decisiones
que contribuyen a optimizar el proceso.
- Es el punto de partida de la conceptualización e
implementación de programas (ver tema 2).
- Generalmente se usa con 2 propósitos:
- Comprender mejor el problema y
buscar la forma de abordarlo.
- Línea base: establecer datos
preliminares con los cuales se pueda
medir el cambio. Posteriormente se
comparan con los obtenidos al
finalizar el programa para determinar
sus efectos.
- Para elegir los métodos de evaluación de las
necesidades, hay que considerar: el tiempo
 disponible, la información con la que ya se cuenta, y los recursos necesarios para ejecutar las
diferentes metodologías.

La situación de las necesidades en relación con su identificación por los diferentes interesados

Características de la evaluación (diagnóstico) de necesidades :

- Se interesa por el entorno y las características de la población.
- Es una actividad previa a la planificación del programa
- Permite analizar las condiciones en las que, en un ámbito específico (educación, salud, etc.) se
encuentra una población o comunidad.

Herramientas útiles para la evaluación de necesidades:

- Indicadores sociales, económicos y de salud.
- Datos de archivo.
- Encuestas y auto-informes.
- Entrevistas.
- Observaciones.
- Grupo de discusión.
- Grupo nominal.
- Método Delphi.

Ejemplo:
 2. EVALUACIÓN DEL DISEÑO

- Analizar posibles problemas en el diseño del programa, con el fin de identificar problemas
conceptuales preexistentes.
- Esta evaluación interna del proceso de planificación o diseño de un programa presenta una
finalidad preventiva:
Evitar dificultades posteriores durante la implantación del programa.

Es deseable que en estos momentos, mientras se realiza el diseño del programa, aquellas personas que
están inmersas en él, los diseñadores, lleven a cabo sus valoraciones. Esta evaluación interna del
proceso de planificación o diseño de un programa presenta una finalidad preventiva (en su significado
más etimológico: “venir antes”), en aras a evitar dificultades posteriores durante la implantación del
programa.

Para ello resulta de gran importancia:

- Realizar un análisis bibliográfico minucioso sobre el contexto teórico en el que se desarrolla
el programa.
- Buscar programas ya realizados que den respuesta a objetivos similares Conocer variables
relevantes así como problemas que se han planteado antes (y cómo se han resuelto).

Herramientas útiles para la evaluación del diseño:

- Revisión de la literatura sobre el tema.
- Análisis bibliográfico y documental de programas similares.

Diseñar es como ‘’preparar el equipaje para unas vacaciones’’

- Debemos incluir todas las prendas y objetos que suponemos necesarios, ni más ni menos.
- Pero para diferenciar entre una maleta bien hecha de una mal preparada, un viajero
experimentado no solo se basará en el volumen y contenido, sino que también tendrá en
cuenta cómo se han distribuido las prendas para que no deterioren su apariencia y para que
sean fácilmente accesibles

ALGUNAS PREGUNTAS CLAVE EN LA EVALUACIÓN DEL DISEÑO

• ¿Existen recomendaciones de organismos sobre la necesidad de este tipo de programas?
• ¿Ha sido adecuada y suficiente la revisión de otros programas similares?
• ¿Existen antecedentes que justifican la relación causal entre el programa y los efectos que esperan
alcanzarse?
• ¿Está bien diseñado y planificado el programa a nivel metodológico?

3. EVALUACIÓN DE LA EVALUABILIDAD

- Analizar hasta qué punto un programa puede ser evaluado.

- Dependerá de si ha sido bien planificado y de si existen barreras que dificulten la
evaluación.
- Conocer su “calidad a priori ” y determinar si las acciones que está previsto llevar a cabo
reúnen las mínimas condiciones que garanticen que puede ser evaluado.

Herramientas útiles para la evaluación de la evaluabilidad:

 1. Listado de Cuestiones Relevantes en Evaluación de Programas (LCREP)
(Fernández-Ballesteros y Hernández, 1989)
- 53 ítems. Formato de respuesta: Sí / No / No sabe.
- 1 punto por cada respuesta afirmativa.
- 0 punto por cada respuesta negativa o no sabe.
- Ítems se agrupan en dos dimensiones:
- Dimensión de calidad (37 ítems)
- Dimensión de barreras (16 ítems)

2. Cuestionario para la Valoración de la Evaluabilidad de Programas (CVE-P)

(Pérez-Llantada et al., 2009).

‘’ APLIQUEMOS LA TEORÍA’’

- Programa de estimulación cognitiva en un centro de día para personas con discapacidad.

- Objetivo general del programa: mejorar y potenciar las capacidades cognitivas de atención,
memoria y razonamiento que contribuyen al desarrollo de la autonomía de la persona en su
entorno.
- Idea inicial:
- Sesiones de 60 minutos, con una frecuencia semanal. Duración de 9 meses.
- Las sesiones se desarrollarán en grupo, con un mínimo de 5 participantes y un
máximo de 8.
 - En cada sesión estarán presentes tanto la psicóloga como la terapeuta ocupacional.

¿Qué tipo de evaluación sería cada ejemplo?

a. Consultamos en qué consisten los programas de intervención cognitiva que se han realizado
previamente en el centro de día y revisamos cómo han funcionado. Evaluación del diseño
b. Aplicamos una versión simplificada del Listado de Cuestiones Relevantes en Evaluación de
Programas (LCREP). Evaluación de la evaluabilidad
c. Cuando una persona accede al centro, evaluamos su capacidades cognitivas a través de
entrevista y de instrumentos estandarizados, como el Test Barcelona y el Mini-mental. En
función de los resultados, se valora la entrada de cada persona en ese programa. Evaluación
necesidades
d. Revisamos la bibliografía sobre programas de intervención cognitiva en personas con
discapacidad, con el propósito de que nos sirva como guía para diseñar adecuadamente este
programa. Evaluación del diseño