TEMA 6.

EVALUACIÓN DE RESULTADOS

1. EVALUACIÓN DE LOS RESULTADOS

Doble objetivo:
A. Analizar si se han conseguido los objetivos propuestos en el programa.
Resultados esperados (= Los objetivos del programa).
B. Analizar posibles resultados del programa que no habían sido previstos.
Resultados no esperados: pueden ser deseables o no deseables.

Resultados a corto plazo

Resultados a medio plazo
Resultados a largo plazo

Hay que evaluar eficacia, efectividad y eficiencia.

Eficacia: en qué grado se han logrado los objetivos del programa

Efectividad: si, independientemente de los objetivos, se ha logrado algún efecto positivo más o
menos relacionado con el programa
Eficiencia: análisis costes-beneficios

En el ámbito científico e investigador, los conceptos de EFICACIA y de EFECTIVIDAD son

distintos que en el ámbito de la evaluación de programas.

1. Evaluación de la efectividad, en relación a:

- La satisfacción de las necesidades de usuarios y consumidores.

- Los efectos del programa tal y como son vistos por el personal técnico, los administradores y
los usuarios.
- Los factores o criterios a utilizar en el futuro por parte de los que toman las decisiones sobre
el programa.
- Las necesidades de información de las partes interesadas.
- Las consecuencias/efectos totales del programa.

2. Evaluación de la eficacia, en relación a:

- La comprobación empírica de que el programa ha causado, sobre la población diana, los

cambios en la dirección y el grado deseados.
- Los objetivos se entienden como la operacionalidad de las metas
- Las metas suelen ser más difíciles, difusas y abstratas.
- Los objetivos son concretos y medibles y pueden definirse en términos absolutos o relativos.
- “ reducir la incidencia de casos de cancer de mama”.

3. Evaluación de la eficiencia, en relación a:

- ¿Está el programa produciendo suficientes beneficios en relación con los costes que incurre?
- ¿Se logra producir un beneficio particular a un menor coste que con otras intervenciones
diseñadas para obtener los mismos objetivos?

El evaluador debe preguntarse:

- ¿Se ha registrado los datos necesarios para esta evaluación?
- ¿Qué tipo de análisis podemos realizar?
- ¿Con los datos registrados podemos deteminar la efectividad y la eficacia?
- ¿Se cuenta con información para realizar un análisis de eficiencia?

Evaluación de eficacia y efectividad

- Programa diseñado en los años 60 en EE.UU.

- OBJETIVO: compensar las desigualdades entre distintas clases sociales en el aprendizaje
escolar.
- Tras su implantación en diversas condiciones y utilizando un diseño muy riguroso, la
evaluación de resultados mostró que:

El programa no era eficaz.

El programa sí era efectivo.
Actividad en pequeños grupos
Para realizar la actividad, podéis buscar información con vuestros móviles/portátiles

1. Entre los siguientes programas, seleccionad dos:

- Programa Hábitat (RAIS)
- Programa de detección precoz del cáncer de mama (Comunidad Madrid)
- Programa CONVIVE (Solidarios para el Desarrollo)
- Programa para la prevención del acoso escolar (TEI) (Alicante)

2. Buscad información sobre su evidencia.

- Por ejemplo, ¿qué efectos ha demostrado? ¿cuál es la tasa de éxito?

Programa Hábitat (RAIS)

Programa de detección precoz del cáncer de mama (Comunidad de Madrid)
Programa CONVIVE (Solidarios para el Desarrollo)
Programa para la prevención del acoso escolar (TEI) (Universidad de Alicante)
Programa No te cortes (Comunidad de Madrid)

1. EVALUACIÓN DE LOS RESULTADOS

¿Qué resultados evaluar y cómo?

- Debe de estar especificado en los objetivos del programa y en los indicadores de evaluación.
- Los instrumentos de medida estarán en función del tipo de variable que se va a medir.
- Con frecuencia se van a medir aspectos como:
- Conocimientos
- Conductas
- Actitudes
- Apoyo social
- Calidad de vida
- Satisfacción

Los objetivos específicos a veces no se cumplen como tal, pero sí los más generales/abstractos → esto
no quiere decir que nuestro programa haya sido un fracaso, y de hecho es algo que puede ocurrir

PROGRAMA DE INTERVENCIÓN EN REDUCCIÓN DEL ESTRÉS EN CUIDADORES DE

PERSONAS DEPENDIENTES
¿Cuándo evaluar los resultados?

- “Al finalizar el programa” . No resulta tan sencillo. Existen diferentes efectos que pueden
afectar a los resultados.
- Para decidir cuándo evaluar podemos basarnos en:
- Estudio piloto.
- Resultados publicados de otros estudios para conocer el patrón.
- Seguimiento continuado de los participantes.

A) El efecto dormilón

Los efectos no se detectarían si solo se evalúa en el tiempo 3.

Los efectos se aprecian realmente en tiempo 4 y 5.

B) El efecto recaída
Los efectos son inmediatos pero duran poco.
Si se mide en el tiempo 5 no se apreciaría el resultado.

C) El efecto histórico

Muchas veces un comportamiento mejora gradualmente a lo largo del tiempo.

La evaluación puede captar este efecto y atribuirlo erróneamente al programa, aunque no guarda
relación.

D) El efecto rebote

Una interrupción prematura del programa conduce a niveles peores que antes de iniciar el
programa.
Si solo se mide en el tiempo 3, no se reflejarían los verdaderos resultados del programa.

Herramientas útiles para evaluar los resultados:

- Observación y registros
- Auto-observación y auto-registros
- Entrevistas (a los participantes o con informantes clave)
- Cuestionarios, escalas (a los participantes o con informantes clave)
2. EVALUACIÓN DEL IMPACTO

Objetivo:
- Analizar posibles efectos del programa sobre otras personas o grupos (distintos de los
participantes en el programa).
Es decir, evaluamos los efectos sobre una población más amplia: la comunidad, el barrio, familiares
de los participantes, amigos, profesionales del equipo, etc.
- Personas que no participan en la intervención pero que tienen características muy parecidas
a las que sí lo hacen.
- Personas que no participan en la intervención y que tienen algún vínculo/conexión con los
participantes (familiar, profesional, por el lugar de residencia…).

Herramientas útiles para evaluar el impacto:

- Observación y registros.
- Auto-observación y auto-registros.
- Entrevistas.
- Cuestionarios, escalas.

La metodología de la evaluación de resultados y de la evaluación del impacto es muy similar.

Diferencia clave: en qué tipo de población se realiza el análisis de los efectos del programa.

Ejemplo:

Se ha realizado un programa en 1º de Primaria del Colegio María de Zambrano para favorecer hábitos
de alimentación saludable entre los niños y niñas.
¿Cómo se podría evaluar el impacto del programa?
A. Entrevista a los padres/madres sobre los hábitos alimentarios de la familia (antes y
después del programa).
B. Cuestionario y entrevista a los padres/madres sobre los hábitos alimentarios del niño/a
participante (antes y después del programa). NO
C. Cuestionario y entrevista a los padres/madres y a los hermanos/as sobre los hábitos
alimentarios del niño/a participante (antes y después del programa). NO
D. Cuestionario al profesorado del Colegio sobre sus propios hábitos alimentarios (antes y
después del programa).
 E. Cuestionario al resto de grupos de Primaria sobre sus hábitos alimentarios (antes y
después del programa).

3. EVALUACIÓN ECONÓMICA

Objetivo:
- Analizar el coste del programa en relación con los resultados que consigue.

Es decir, los programas no basta con que persigan objetivos positivos (eficacia), es necesario que los
logren con la mejor relación costes-beneficios (eficiencia).

Implica:
- Cuantificar costes (directos, indirectos, de oportunidad)
- Cuantificar beneficios (tangibles e intangibles)
- Comparar (con intervenciones parecidas realizadas en otro lugar, comparar presupuesto
planificado vs. ejecutado…)

Control de costos indirectos de fabricación

Materiales indirectos.
Mano de obra indirecta.
Calefacción, luz y energía para la fabrica.
Depreciación del edificio de la planta productora y el equipo de fabrica.
Mantenimiento del edificio y equipo de fabrica.
Impuesto a la propiedad sobre el edificio de fabrica.

COSTE OPORTUNIDAD: Podría decirse que el costo de oportunidad está vinculado a aquello a lo que un agente
económico renuncia al elegir algo. El costo de oportunidad también es el costo de una inversión que no se realiza (calculado,
por ejemplo, a partir de la utilidad que se espera según los recursos invertidos).
En la vida cotidiana de las personas se toman innumerables decisiones que implican la elección de una alternativa entre
varias. Ejemplo 1: ¿Voy al trabajo caminando o en taxi? Si voy caminando, el no voy a pagar dinero, sin embargo, desde el
punto de vista del costo de oportunidad no puedo afirmar que el costo es cero, debido a que debo tener en cuenta que ir
caminando me tomará un tiempo. Si ir caminando al trabajo me toma 30 minutos, mientras que ir en taxi me toma 10
minutos, el costo de oportunidad de ir caminando al trabajo expresado en tiempo será 20 minutos. Si considero que caminar
me reporta un beneficio a la salud, el costo de oportunidad de ir en taxi está representado por la suma de lo mejor que
pudiera haber hecho con el dinero que me cobró el taxista, mas los beneficios para la salud que dejé de recibir por no ir
caminando.
Ejemplo 2: Un ejemplo clásico de costo de oportunidad se presenta cuando una persona debe decidir entre estudiar una
carrera universitaria, o trabajar. Si decide estudiar, el costo de oportunidad es lo que recibiríamos en el mejor trabajo que
podríamos encontrar si no estudiásemos. Esto puede estar representado por el salario del trabajo, la experiencia laboral, el
prestigio social que implica ese trabajo, etc.

Dada las dificultades prácticas, la evaluación económica se centra habitualmente en comparar el

gasto efectivo con el gasto inicial que había sido planificado.
Se analizará:
- Si se han producido o no desviaciones respecto al dinero presupuestado.
- El sentido de dichas desviaciones (gasto superior/gasto inferior del previsto).
- Los factores que han dificultado o impedido ajustarse a la dotación presupuestaria.

4. EL INFORME
Representa el instrumento para la difusión de los resultados de la evaluación de programas. La
apariencia del informe dependerá de la fase de evaluación

- Fase de evaluación de la planificación:

- Permitirá tomar decisiones sobre la implantación o relegación y sugerir
modificaciones.
- Fase de monotorización.
- El fin es mejorar el programa, se presentará Informes a lo largo de todo el proceso.
- Fase de Evaluación de resultados.
- Se debe tomar decisiones acerca del programa.

TIPOS DE INFORME
❖ Resumen ejecutivo
a. Breve introducción teórica
b. Resumen de método seguido (población diana, procedimiento e intervenciones realizadas)
c. Datos destacables de los resultados
d. Conclusiones y recomendaciones futuras

❖ Informe preliminar (se producen a lo largo de todo el proceso)

a. Problemas encontrados en la implementación y soluciones posibles.
b. Resultados de otros estudios y resultados preliminares de nuestro programa.

❖ Informe final
a. Introducción
- Información general sobre el problema estudiado
- Breve resumen de la literatura
- Objetivos planteados e hipótesis de trabajo
b. Método
- Participantes
- Control de variables relevantes
- Procedimiento ( tanto de la planificación como de la evaluación)
- Recursos materiales
- Análisis de los datos
c. Discusión, conclusiones y recomendaciones
d. Referencias bibliográficas

ESTRATEGIAS PARA LA RECOGIDA DE INFORMACIÓN

Meta final:
Responder a las preguntas de: como, cuando y cuántas veces y en qué grupos debe recogerse la
información.
Señalar que tipo de análisis de datos debe realizarse con los resultados.

Así se conseguirá que los resultados obtenidos presenten:

- Validez interna: posibilidad de establecer relaciones entre las variables.
- Validez externa: posibilidad de generalizar.
- Validez de constructo: adecuación de los indicadores y mediadores.
- Validez de conclusión estadística. Posibilidad de detectar efectos y exactitud en la detección
Metodología cualitativa

- Entrevistas en profundidad
- Observación directa
- Documentos escritos

Un informe cualitativo ofrecerá la siguiente información:

1. Una descripción detallada de la implementación del programa.

2. Un análisis de los principales procesos del programa.
3. Una descripción de los diferentes tipos de participantes y los diferentes tipos de participación.
4. Descripciones de cómo el programa ha afectado a los participantes.
5. Cambios observados , resultados e impactos.
6. Análisis de los puntos fuertes y débiles del programa
7. Los datos cualitativos se pueden presentar solos o en combinación con datos cuantitativos

Datos cuantitativos vs cualitativos:

¿Que nos tenemos que preguntar?
- ¿Quién necesita la información y quién utilizará los resultados de la evaluación?
- ¿Qué tipos de información son requeridos?
- ¿Cómo se utilizará la información? ¿Con que propósitos se realiza la evaluación?
- ¿Cuándo se requiere la información?
- ¿Qué recursos están disponibles para realizar la evaluación?

La Observación

- La observación permite al evaluador entender el contexto del programa.

- Es más costosa.
- Los datos observacionales deben tener profundidad y detalle.
- La información debe ser objetiva.
- El evaluador es el instrumento por lo tanto está condicionado a cambios personales, formación,
conocimiento, cooperación.

Principales características en la recogida de datos cualitativa

- Investigación naturalista.
- Análisis inductivo.
- Estudio de caso.
- Investigación – acción.
- Investigación - colaborativa

Cuándo usar métodos cualitativos:

- Falta de instrumentación cuantitativa probada.
- Investigación evaluativa exploratoria. Detectar que resultados interesantes para identificar las
variables claves para ser operacionalizadas cuantitativamente.
- Evaluaciones del proceso. Porque tratan de aclarar y comprender las dinámicas internas.
- ¿Cuáles son los factores que se conjuntan para hacer que el programa sea como es?
- ¿Cuáles son los puntos fuertes y débiles del programa?
 - ¿Cuál es la naturaleza de las interacciones?

Cuándo usar métodos cualitativos:

- Evaluación de resultados individualizados
- Evaluación de la calidad
- Observaciones no intrusivas