Diseño de

intervenciones
psicoeducativas

Profesor: Fabián Barrera P., PhD

Fecha: 22 Octubre 2021

1
 Unidad III.
Monitoreo
y evaluación de
intervenciones
psicoeducativas

“En la ciencia el reconocimiento

se concede al hombre que
convence al mundo, no a aquel
a quien se le ocurre la idea”
William Osler

2
 VALIDACIÓN SOCIAL
4. Aceptabilidad, factibilidad y
utilidad
MONITOREO DE LA
IMPLEMENTACION
3. Dimensiones de la
EVALUACION DE implementación
RESULTADOS
2. Condiciones para
evaluar impacto

DISEÑO DE INTERVENCIÓN Monitoreo y evaluación

1. Matriz de marco lógico de la intervención

3
 Matriz de ML

Objetivo Indicador Medio de verificación Supuestos

Resultado final Herramienta que Señalan las fuentes Condiciones que

Fin
(outcome) entrega información de información de los deben ocurrir para
Resultado directo cuantitativa respecto indicadores. Incluyen que se logren los
Propósito del nivel de logro material publicado, distintos niveles de
(output)
alcanzado por un inspección visual, objetivos y que están
Productos programa. Es una encuestas, registros fuera del control de
Componentes
expresión que de información, la administración de
Tareas establece una reportes estadísticos, la institución
relación entre dos o etc. responsable del
más variables, la que programa
comparada con
períodos anteriores,
Actividades productos (bienes o
servicios) similares o
una meta o
compromiso, permite
evaluar desempeño

4
 Matriz de ML
(DIPRES, 2009, Ortegón, 2005)
resultados/impacto
Evaluación de

Medio de
Objetivo Indicador Supuestos
verificación

Descripción de cómo la intervención contribuye, en el largo plazo, a la solución del

problema o satisfacción de una necesidad que se ha diagnosticado. No implica que la
Fin
intervención, en sí misma, será suficiente para lograr el Fin, pudiendo existir otras
intervenciones que también contribuyen a su logro.
Resultado directo a ser logrado en la población objetivo, como consecuencia de la
utilización de los componentes (bienes y/o servicios) producidos por la intervención. Es
Propósito
una hipótesis sobre el beneficio que se desea lograr. Es la contribución específica a la
solución del problema diagnosticado.
Son los bienes y/o servicios que produce o entrega la intervención para cumplir su
propósito. Deben expresarse como un producto logrado o un trabajo terminado
Componentes
(sistemas instalados, población capacitada, alumnos egresados, etc). El conjunto de los
componentes permite el logro del propósito
Son las principales tareas que se deben cumplir para el logro de cada uno de los
implementación
Monitoreo de la

Actividades componentes del programa. Corresponden a un listado de actividades en orden

cronológico y secuencial, para cada uno de los componentes

5
 Monitoreo de la
implementación

6
 Evaluación de impacto
¿Qué habría pasado si la intervención no se hubiese implementado?
(Rubin, 1974)

+ Teoría de cambio consistente (diseño) ¿Es el impacto (efecto) estadísticamente

+ Variable de resultado válida y confiable significativo?
+ Equivalencia inicial entre grupos ¿Es atribuible al diseño de la intervención?

7
 Monitoreo
¿En qué medida se implementó lo que estaba (bien) diseñado?
(Humphrey et al., 2016)

Proceso de
implementación:
Estudia cómo una
intervención es
puesta en practica,
cómo opera para
lograr sus resultados
esperados y los
factores que
influencian tales
procesos

8
 Dimensiones del proceso de implementación
¿Cuánto de lo planificado se llevó a cabo finalmente?

Exposición
03 Involucramiento
Adaptación
02
Tiempo de
participación
04 Cuanti/cuali/mixto
Entusiasmo,
Naturaleza de participación
los cambios
Calidad Flexibilidad
Fidelidad 05
01
Grado de
En la entrega
de los
componentes
Componentes y
adherencia al actividades
diseno

“There is no such thing as a typical [implementation and]

process evaluation” (Evans, Scourfield & Murphy, 2015, p.1)

9
 Dimensiones del proceso de implementación
Cuanto de lo planificado se llevó a cabo finalmente?

Definición
Grado en que los implementadores adhieren al modelo de
Fidelidad
01
intervención propuesto

• Se puede evaluar, por ejemplo, la proporción de sesiones

Grado de cubiertas y / o el grado en que el implementador siguió el
adherencia al protocolo de la sesión.
diseno • Las calificaciones cuantitativas, como las generadas a
través de encuestas u observaciones estructuradas,
pueden complementarse con entrevistas con los
implementadores para explorar sus razones por la falta
de adherencia, los desafíos a la fidelidad y hasta qué
punto la fidelidad es factible.

10
 Dimensiones del proceso de implementación
Cuanto de lo planificado se llevó a cabo finalmente?

Definición
Adaptación Naturaleza de los cambios hechos a la intervención

02 Para cada actividad no implementada de acuerdo al

programa (v.g. adaptación), se debe indicar el tipo de ajuste,
Naturaleza de
los cambios la temporalidad y valencia.
• Ajuste
• logístico (se entregó una versión abreviada de la
actividad para cumplir con los tiempos del
programa)
• profundo (se varió el contenido de la actividad
por considerarlo poco pertinente para la
audiencia).
• Temporalidad
• proactiva (problemas de ajuste son anticipados
y los cambios se definen antes de la sesión)
• reactiva (realizados durante la sesión en
respuesta a la contingencia).
• Valencia
• positiva (alineada con los objetivos de la sesión)
• neutral (ni alineada ni desviada de los objetivos
de la sesión)
• negativa (divergente de los objetivos de la
sesión).

11
 Dimensiones del proceso de implementación
Cuanto de lo planificado se llevó a cabo finalmente?

Exposición
03
Tiempo de
participación
Definición
Tiempo total de participación en la intervención

• Se puede evaluar por el número de horas o la proporción

de sesiones de intervención administradas y / o la
cantidad de tiempo dedicado a la entrega de la
intervención.
• Los datos de entrevista pueden explicar por qué la dosis
es variable
• Buen indicador por participante: asistencia X cantidad de
sesiones realizadas

12
 Dimensiones del proceso de implementación
¿Cuanto de lo planificado se llevo a cabo finalmente?

Involucramiento

04
Entusiasmo,
participación

Definición
Grado en que los participantes se involucran o
comprometen con la intervención (engagement)

• Permite explorar si los participantes se involucran

particularmente bien con algunos aspectos de la
intervención y no con otros, y las razones para esto.
• También se puede examinar cuantitativamente, por
ejemplo, la medida en que los destinatarios parecen estar
comprometidos y interesados en los componentes y
actividades de la intervención

13
 Dimensiones del proceso de implementación
¿Cuanto de lo planificado se llevo a cabo finalmente?

Definición
Que tan bien los componentes de la intervención fueron
entregados

Calidad
05
En la entrega
de los
componentes

• Supone la definición de estándares a priori.

• Puede evaluarse mediante escalas, por ejemplo, claridad
del implementador, preparación, claridad de expresión y
receptividad durante la entrega de una sesión.

14
 Matriz de ML
(DIPRES, 2009, Ortegón, 2005)
resultados/impacto
Evaluación de

Medio de
Objetivo Indicador Supuestos
verificación

Descripción de cómo la intervención contribuye, en el largo plazo, a la solución del

problema o satisfacción de una necesidad que se ha diagnosticado. No implica que la
Fin
intervención, en sí misma, será suficiente para lograr el Fin, pudiendo existir otras
intervenciones que también contribuyen a su logro.
Resultado directo a ser logrado en la población objetivo, como consecuencia de la
utilización de los componentes (bienes y/o servicios) producidos por la intervención. Es
Propósito
una hipótesis sobre el beneficio que se desea lograr. Es la contribución específica a la
solución del problema diagnosticado.
Son los bienes y/o servicios que produce o entrega la intervención para cumplir su
propósito. Deben expresarse como un producto logrado o un trabajo terminado
Componentes
(sistemas instalados, población capacitada, alumnos egresados, etc). El conjunto de los
componentes permite el logro del propósito
Son las principales tareas que se deben cumplir para el logro de cada uno de los
implementación
Monitoreo de la

Actividades componentes del programa. Corresponden a un listado de actividades en orden

cronológico y secuencial, para cada uno de los componentes

15
 ¿Por qué hacer todo
esto?

16
¿Las intervenciones
psicoeducativas…
…hacen una diferencia?
% Asistencia
¿Cuántos docentes y alumnos participan de la intervención?

% Practica
¿Cuántos experimentan
un cambio en su proceso
educativo?

% Impacto
¿Cuál es el efecto?

Poco sabemos Muy pocos Datos de fácil acceso

17
 Diseño de
intervenciones
psicoeducativas

Profesor: Fabián Barrera P., PhD

Fecha: 22 Octubre 2021

18