TEMA 9: VALORACIÓN DE PROGRAMAS

1. Evaluación vs Valoración
Sinónimos en inglés, la disciplina emerge en países anglosajones bajo “evaluation”.
Evaluación (Assessment) y Valoración (Evaluation).

Valoración es el conjunto de actividades por las que se establece el mérito, valor o eficacia de
“algo” en la realidad con el fin de provocar determinados cambios.
Investigación del mérito, valor o éxito de concretos tratamientos, intervenciones o programas
llevados acabo con la finalidad de producir cambios.

JUICIOS VALORATIVOS
EFICAZ EFECTIVO EFICIENCIA
Cuando los objetivos Cuando con independencia de Relación costes-beneficios.
establecidos han sido los objetivos establecidos, el
conseguidos. Meta del programa ha conseguido unos
programa. efectos positivos.

2. Concepto programas
Sistemáticos esfuerzos realizados para lograr objetivos preplanificados con el fin de mejorar la
salud, el conocimiento, las actitudes y la práctica. (Fink, 1993). Ejemplo: mejorar EA.
Previa especificación -> Diseño previo -> Implantación rigurosa y coordinada.

La Valoración de Programas se centra en los efectos de la intervención, responde a interrogantes

relacionados con aspectos sociales, políticos, psicológicos…

EJEMPLO, política:Erradicar la violencia de género

PROGRAMA: Médicos de atención primaria. Detección precoz y Concienciación general de la
población. Sensibilización
SUBPROGRAMAS: Curso de psicología a los médicos, Publicidad para población general y
Movilización de la población
ACCIONES: Jueves 31 Marzo: taller para la policía local…

3. Valor de un programa
Juicios valorativos del programa y de los efectos de la intervención.
1. Pertinencia, el programa responde a unas necesidades de la población. Ejemplo: viajes del
IMSERSO en época de crisis.
2. Suficiencia, las acciones establecidas son suficientes y adecuadas para los propósitos.
Ejemplo: beca de 50 euros para estudiantes
3. Progreso, se determina cómo está actuando el programa (implantación). Ejemplo: ¿cómo
está yendo? ¿en qué ha fallado? ¿qué pasa cuando no ocurre? Gobierno en funciones
4. Eficaz, el programa responde a unas necesidades de la población. Alcanzar los objetivos
establecidos: Sí / No. Ejemplos: terapia, barrio sésamo.
 5. Efectivo, recoge otros efectos producidos por el programa. Ejemplo: anuncios en tv de
carnet por puntos.
6. Eficiente, relación medios-fines o costes beneficios. Si los resultados obtenidos están en
relación con los medios a contribución para conseguir un objetivo. Ejemplo: atención
domiciliaria o residencia.

4. Tipos de evaluación
SUMATIVA FORMATIVA
Lineal No lineal
Pendiente de los resultados Pendiente del proceso o progreso
Estima magnitud de los efectos del programa en Finalidad explicativa: entender por qué se ha
función de hipótesis producido el resultado
Finalidad demostrativa Evaluador implementador del programa
Evaluador externo e independiente Continua interacción y modulación recíprocra
Planificación, evaluación e implementación
estructuradas

Proactiva:

Retroactiva:

DESDE DENTRO DESDE FUERA

+ - + -
Optimiza la mejora del Minimiza la Maximiza la Más cara
programa objetividad objetividad
Minimiza la reactividad La credibilidad social Maximiza el uso de Minimiza la reactividad
de los sujetos de la evaluación tecnologías de los sujetos
Menos costosa Menos fiable Maximiza la Minimiza la posibilidad
credibilidad social de mejora
Mayor influencia en el Maximiza el uso de Menor influencia sobre
programa estándares el progreso

“LA EVALUACIÓN DE LA EVALUABILIDAD”

1. Evaluación de necesidades. ¿Hay sondeos?
2. Establecimiento de objetivos. ¿Están bien definidos?
3. Definición del programa. ¿Recursos humanos definidos?
4. Criterios de selección del programa. ¿Existen datos empíricos?
5. Nivel de implantación. ¿Todos los elementos han sido implantados?
6. Diseño de evaluación. ¿Es apropiado el diseño?
7. Calidad de las operaciones a observar. ¿Existen datos fiables a tener en cuenta?
8. Información sobre el contexto. ¿Se recogieron datos durante la implantación?

5. Ciclo de intervención
La valoración de programas, es un recurso para mejorar acciones con su consiguiente implantación
en un contexto social. Supone una metodología científica aplicada, cuyo objetivo es emitir juicios
sobre un objetivo determinado. Por tanto es una etapa más del proceso de intervención realizada
para poder tomar decisiones.
Etapas ciclo de intervención
1. Identificación del problema y necesidades
Normativas. Derivan de una recomendación, norma, ley o propuesta. Ejemplo: OMS
Percibidas. Información que dan los usuarios o personas cercanas. Ejemplo: centros de ayuda para
la renta
Expresadas. Se expresan por los productos del comportamiento. Ejemplo: colas
Relativas. Comparación entre países y poblaciones. Ejemplo: piscina, AVE
2. Planteamiento de objetivos y metas
Definidos claramente
Específicos, Medibles y Factibles
Identificados fácilmente
No incompatibles con otros objetivos
Expresados temporalmente
Operativos y Cuantificados.
3. Pre-evaluación potencial, curso de acciones y selección del más adecuado
Necesario análisis de literatura especializada, necesario análisis del problema (causas potenciales y
posibles soluciones), análisis de cadenas funcionales entre variables. Simulación de cursos de
acción potenciales (ensayos clínicos).
4. Diseño y configuración del programa
Quienes dirigen y aplican el programa-- Sistema organizativo--Acciones a implantar--Recursos,
infraestructura necesaria--Descripción de unidades/usuarios--Lugares y tiempo de implantación
5. Implantación del programa
Se debe implantar tal como fue previsto, se utilizaran diversas herramientas para indagar la
implantación: observación, cuestionarios, entrevista.
6. Evaluación sumativa
Incluye informe--Eficacia / Efectividad / Eficiencia. Evaluación basada en las metas (eficacia).
Evaluación libre de metas (efectividad)
7. Toma de decisiones del programa
Eliminar el programa, mejorarlo, implantarlo nuevamente.
 6. Proceso de valoración de programas
Todo tipo de evaluación (psicológica, médica, educativa, social) y cualquier que sea su objeto
(referido a personas, programas o máquinas) se lleva a cabo por un profesional mediante un proceso
de toma de decisiones mediante el cual tratará de contestar una serie de preguntas a través de la
ejecución de una serie de tareas o acciones.

Puede ser aplicable al proceso de evaluación sumativo (de resultados o impacto) o formativa (de
proceso o implantación).

Las tareas han sido reguladas a través de una serie de estándares o normas emitidas por la
comunidad científica y profesional implicada en nuestra disciplina, que deben ser seguidos por el
evaluador de programas.

La evaluación de programas se lleva a cabo mediante la toma de decisiones a través del cual se
planifica, se examina, se recogen datos, y se informa sobre el valor o mérito del objeto de
evaluación.

Distintos autores, han puesto de relieve las etapas básicas en este proceso (Alvira, 1991;
Brinkerhorf et al, 1983)

1. Fase 1: Planteamiento de la evaluación

¿Quién solicita la evaluación? ¿Para qué se solicita? ¿Qué se va a evaluar? ¿Qué obstáculos podría
haber en la evaluación? ¿Se puede realizar la evaluación? Se requieren constante evaluación y toma
de decisiones.
2. Fase 2: Selección de operaciones/variables a observar
Las manifestaciones que registramos en las unidades que han recibido el programa, y que expresan
sus efectos. Se especificará: Variables a observar o evaluar (sensibles al programa), con qué
procedimientos (fiabilidad y validez), qué fuentes de información utilizar, datos sobre el contexto de
implantación. En ocasiones el evaluador indagará objetivos (ausentes, sólo se especifican o
instrumentales) y los operacionalice (construya instrumentos).
3. Fase 3: Selección del diseño
¿Existe un diseño de evaluación establecido desde el programa? ¿Qué diseños alternativos son
posibles? Posibles amenazas a la validez interna y externa. Unidades que van a ser seleccionadas
4. Fase 4: Recogida de información
Pasos que van a seguirse en la recogida de información: Instrumentos, medidas, indicadores
seleccionados--Fuentes de información--Sesgos potenciales--Calendario para recogida de
información
5. Fase 5: Análisis de datos
Forma en que se va a almacenar la información obtenida. Análisis que se pueden realizar. Revisar
cuestiones planteadas; prepara análisis descriptivos, examen de hallazgos y posible realización de
nuevos análisis, valoración de la evidencia final.
6. Fase 6: Informe
Delimitar si se trata de una valoración formativa o sumativa--Preguntas relevantes que han
formulado los clientes -Audiencia implicadas a quién ha de contestar

A quién va dirigido el informe. Estará estructurado en: Portada (Denominación del programa,
Nombre evaluador, Quién solicito la evaluación, A quién va dirigido, Fecha y duración de la
evaluación, y Fecha del informe y firma del evaluador), resumen (Objetivos de la evaluación, Breve
descripción del programa, Hallazgos más importantes y Recomendaciones más importantes),
información del objeto a evaluar (programa: Datos sobre la planificación del programa, Recursos e
infraestructuras necesarios, Formulación de la teoría del programa, Metas y objetivos, Diseño de
sesiones describiendo actividades, Contextos de implantación, Procedimiento de aplicación, Grado
o nivel de implantación del programa), evaluación del programa (estudio empírico: Objetivos,
Diseño, Hipótesis, Variables dependientes, Instrumentos, Muestra, Procedimiento o fases de
evaluación), análisis y resultados (Se presentan de forma ordenada, según los propósitos de la
evaluación, y según los análisis efectuados), conclusiones y discusión (Resultados significativos
que avalan el mérito o valor del programa, Etiquetas valorativas, ¿Resultados contradictorios?,
Esencia de los resultados, Cambios que se proponen en el programa, Limitaciones y Prospectiva) y
referencias bibliográficas.
¿Cómo informar? Conocer a los implicados, diferencias entre contexto oral/escrito y ser honesto, no
ir más allá de los datos.
Cumplir cuatro condiciones básicas: Una evaluación debe ser útil (utilidad), factible (factibilidad),
ética y legal (probidad) y exacta (adecuación).

7. Marco de evaluación para programas de promoción de la salud en el entorno local

PROYECTO: Mejorando las acciones de salud pública mediante una mejor información sobre la
equidad y los determinantes sociales de la salud y mejores herramientas para evaluar las
intervenciones de promoción de la salud. Presentado por: ICF (asesor en administración de
empresas). Presentado al Ministerio de Sanidad.

¿QUÉ ES UN MARCO DE EVALUACIÓN? Documento que detalla cómo monitorizar y evaluar

diferentes programas o diferentes aspectos de un programa único y permite la comparabilidad entre
ellos. Establece cómo utilizar los resultados de la evaluación para la mejora del programa y la toma
de decisiones. Reúne la descripción del programa y cómo se vinculan sus actividades con los
resultados esperados.

¿POR QUÉ EVALUAR LOS PROGRAMAS? Demostrar que la promoción de la salud funciona y
constituye una estrategia de salud pública efectiva. Identificar las mejores maneras posibles de
promover la salud. Mejorar los programas. Justificar el uso de recursos.

USOS DE LA EVALUACIÓN: ¿Cómo incorporan los actores implicados los resultados a la toma
de decisiones y cómo podría ayudar la evaluación en este aspecto? ¿Qué desean conocer? ¿Cuáles
son los datos que consideran interesantes? ¿Cómo pueden utilizar los resultados de la evaluación?

PRINCIPIOS DE LA EVALUACIÓN:
– Utilidad: ¿Proporcionará la evaluación información relevante y útil? ¿Sirve para lo que
queremos evaluar?
– Factibilidad: ¿Las actividades de evaluación planificadas son realistas teniendo en cuenta el
tiempo, los recursos y los conocimientos disponibles?
– Adecuación: ¿Es respetuosa la evaluación con los derechos de las personas implicadas y
protege su bienestar? ¿Involucra a quienes atañe el programa y a la comunidad?
– Equidad: ¿Incorpora un enfoque de equidad en los aspectos a evaluar? ¿Se estructura con
enfoque de equidad?
– Precisión: ¿La evaluación generará unos resultados fiables y veraces, teniendo en cuenta las
necesidades de las personas que los utilizarán?
– Transparencia y rendición de cuentas: ¿Son los resultados de la evaluación públicos y
accesibles para los actores implicados y para la población interesada?