Diseño de

intervenciones
psicoeducativas

Profesor: Fabián Barrera P., PhD

Fecha: 8 Octubre 2021

1
 Marco lógico

Diagnóstico y diseño de intervenciones

Objetivo
Llegar a un consenso sobre el
problema a resolver y
comunicar con claridad la
intervención diseñada para
Involucrados Problema Objetivos resolverlo

Alternativas Matriz de ML

2
 Unidad III.
Monitoreo
y evaluación de
intervenciones
psicoeducativas

“En la ciencia el reconocimiento

se concede al hombre que
convence al mundo, no a aquel
a quien se le ocurre la idea”
William Osler

3
 VALIDACIÓN SOCIAL
4. Aceptabilidad, factibilidad y
utilidad
MONITOREO DE LA
IMPLEMENTACION
3. Dimensiones de la
EVALUACION DE implementación
RESULTADOS
2. Condiciones para
evaluar impacto

DISEÑO DE INTERVENCIÓN Monitoreo y evaluación

1. Matriz de marco lógico de la intervención

4
 Matriz de ML

Objetivo Indicador Medio de verificación Supuestos

Resultado final Herramienta que Señalan las fuentes Condiciones que

Fin
(outcome) entrega información de información de los deben ocurrir para
Resultado directo cuantitativa respecto indicadores. Incluyen que se logren los
Propósito del nivel de logro material publicado, distintos niveles de
(output)
alcanzado por un inspección visual, objetivos y que están
Productos programa. Es una encuestas, registros fuera del control de
Componentes
expresión que de información, la administración de
Tareas establece una reportes estadísticos, la institución
relación entre dos o etc. responsable del
más variables, la que programa
comparada con
períodos anteriores,
Actividades productos (bienes o
servicios) similares o
una meta o
compromiso, permite
evaluar desempeño

5
 Evaluación de
resultados/impacto

6
 Evaluación de impacto
¿Qué habría pasado si la intervención no se hubiese implementado?
(Rubin, 1974)

+ Teoría de cambio consistente (diseño) ¿Es el impacto (efecto) estadísticamente

+ Variable de resultado válida y confiable significativo?
+ Equivalencia inicial entre grupos  ¿Cuál es la regla de asignación
¿Es atribuible a la intervención?
al diseño de la intervención?
 Estimación del contrafactual

7
 Reflexión
¿Hasta qué nivel podemos reportar los resultados de nuestra innovación?

Para preguntas de nivel descriptivo, las dimensiones de resultado corresponden a los indicadores, pero
estos se utilizan para caracterizar o dar cuenta del objetivo a nivel del propósito.

En las preguntas de nivel normativo, las dimensiones de resultado corresponden a los indicadores del
nivel de propósito, pero dado que se plantean criterios de logro, deben estos acompañarse del valor
que tiene cada indicador antes (línea de base) y después (meta) de implementado el proyecto.

En las preguntas de tipo causal, el éxito de la innovación se interpreta a partir de la fluctuación de los
indicadores a nivel del fin del proyecto. Dado el tipo de diseño que utilizan estas preguntas, esta
fluctuación puede interpretarse como el efecto o impacto de la innovación.

Objetivo Indicadores Línea de base Meta

Fin

Propósito

8
 ¿Cómo redactar los indicadores?
Los indicadores pueden ser promedios o porcentajes:
Por ej: promedio de puntaje en un test o cuestionario; porcentaje de asistencia a una clase
Nivel Diseño Indicador
Descriptivo Posttest grupo interv.; final
Normativo Posttest META - grupo interv.; final
Cuasi- grupo interv.; final - grupo interv.; inicio
experimental
pre-posttest
Cuasi- (grupo interv.; final - grupo interv.; inicio)
Causal experimental - (grupo control; final - grupo control; inicio)
con grupo de
control
Experimental (grupo interv.; final - grupo interv.; inicio)
Al utilizar muestras suficientes, los indicadores de- nivel
(grupo control;
normativo y causalfinal
deben- acompañar
grupo control; inicio)
la estimación puntual
con el resultado de significatividad estadística.

Ejemplo en pre-posttest:
(promedio en un test del grupo de intervención al final – promedio en el test del mismo grupo al inicio)
= (120 puntos – 90 puntos) = 30 puntos promedio, p=.06
9
La estimación puntual fue de 30 puntos, pero valor p >.05
por lo que no hay evidencia de que esta diferencia de 30 puntos sea estadísticamente significativa
 Terreno
Antes de utilizar tus indicadores de resultado, evalúa la calidad de los mismos junto a tus compañeros
y docentes del curso. Puedes utilizar esta lámina para pedirles que marquen qué tan bien les parece
que están formulados de acuerdo a los criterios propuestos por Kuzek & Rist (2004)

Nivel de la MML Objetivo Indicador

Fin_____ Propósito _____

1. Refleja
directamente su
objetivo

6. Está correctamente
formulado como
2. Permite una variable cuantitativa
medición
suficientemente
objetiva
Excelente

3. Recoger este dato 5. No es sensible a

es costo-efectivo otros factores
distintos del
proyecto

4. Es sensible a la
implementación del
10 proyecto
 Evaluación de impacto
¿Qué habría pasado si la intervención no se hubiese implementado?
(Rubin, 1974)

+ Teoría de cambio consistente (diseño) ¿Es el impacto (efecto) estadísticamente

+ Variable de resultado válida y confiable significativo?
+ Equivalencia inicial entre grupos  ¿Cuál es la regla de asignación
¿Es atribuible a la intervención?
al diseño de la intervención?
 Estimación del contrafactual

11
 Diseño experimental
(RCT - Randomised controlled trial)

Asignación aleatoria antes de la intervención…

la mejor estimación del contrafactual

12
 Diseño experimental
Randomised controlled trial (Gertler et al, 2017)

La asignación aleatoria producirá dos grupos que tienen una alta probabilidad de ser estadísticamente idénticos
siempre que el número de unidades elegibles sea suficientemente grande
(v. gr. grupos con promedios estadísticamente equivalentes en todas sus características)

Ejemplo
Inscripción: 470

Muestra aleatoria: 180

Validez externa (años experiencia)

.06 .04
kdensity exp_tot
.02 0
¿Cuando ocupar? 0 10 20
x
30 40 50

survey sample

• Población elegible > vacantes

Intervención: 87 ; Control: 93
• Ampliación progresiva a la población Validez interna (años experiencia)
t(1)=-.24, p=.8

13
 Diseño experimental Probabilidad de detectar una
diferencia entre grupos después de la
intervención (cuando esta NO existe en
¿Cuánta muestra es “suficiente”? la realidad)

Probabilidad de
detectar la Tamaños de efecto a detectar
diferencia entre (Cohen, 1988)
grupos después de
la intervención Pequeño >.2
(si esta existe en la Moderado >.5
realidad) Grande >.8

Son diferencias entre los promedios de los

grupos después de la intervención medidas
en proporciones de desviaciones estándar

14
 Diseño cuasi-experimental
(Emparejamiento)

Asignación aleatoria es imposible antes de la intervención…

estimación “artificial” del contrafactual

15
 Diseño cuasi-experimental
Matching (Gertler et al., 2017)

Utiliza grandes bases de datos y técnicas estadísticas para construir el mejor grupo de comparación posible sobre
la base de características observables.
(v. gr. para cada unidad de intervención, el procedimiento intenta encontrar una unidad de no tratamiento que tenga
características lo más parecidas posible)

¿Cuando ocupar?
• Gran cantidad de casos
• Variables de selección disponibles

Si se poseen conocimientos sobre

regresión múltiple y probabilidades,
intentar uso de puntaje de propensión
(Rosenbaum & Rubin, 1983).

Principal limitación: falta de rango común,

pueden haber unidades de intervención
que no tengan un par en el grupo de control.

16
 Diseño cuasi-experimental
Matching + Diferencias en diferencias (Gertler et al., 2017)

El matching no puede dar cuenta de características no observables que podrían explicar por qué un grupo decide
inscribirse en una intervención, y eso también podría afectar los resultados.
Combinado con diferencias en diferencias al menos se tienen en cuenta cualquier característica no observable que
sea constante a lo largo del tiempo entre ambos grupos

PASOS:
1. Realizar matching a partir de las características
observables de la línea de base.
2. 1ra DIFERENCIA: Para cada unidad de intervención,
calcular la diferencia de resultados antes-después.
3. 2da DIFFERENCIA: Para cada unidad de intervención,
calcular la diferencia de resultados antes-después
de la comparación pareada de esta unidad.
4. (1ra DIFFERENCIA – 2da DIFFERENCIA)
5. Promedio del paso anterior

17
 Diseño cuasi-experimental
(pre-post test)

Son imposibles:
1. La asignación aleatoria antes de la intervención
2. La estimación “artificial” del contrafactual

18
 Diseño cuasi-experimental

Revisiones sistemáticas

Meta-análisis

RCT (experimental)

Cuasi-experimental

Pre-post test

Post test

Estudios de casos cualitativos

Juicio clínico

Raines, J. C. (2008). Evidence Based Practice in School Mental Health : a

primer for school social workers, psychologists and counselors. Oxford:
19
Oxford University Press.
 Diseño de
intervenciones
psicoeducativas

Profesor: Fabián Barrera P., PhD

Fecha: 4 Septiembre 2020

20