BASES CONCEPTUALES Y METODOLGICAS EN EL DISEO Y LA EVALUACIN DE PROGRAMAS DE INTERVENCIN O TRATAMIENTOS PSICOLGICOS

Maite Garaigordobil Landazabal Facultad de Psicologa Universidad del Pas Vasco E-mail: maite.garaigordobil@ehu.es http://www.sc.ehu.es/garaigordobil

INDICE

Bases conceptuales Definicin y juicios valorativos Modelos: lineal y no lineal Fases y tareas en el proceso Cuestiones metodolgicas

Tipos de diseos de investigacin Instrumentos de evaluacin Problemas metodolgicos del programa Anlisis de datos

BASES CONCEPTUALES
DEFINICIN Y JUICIOS VALORATIVOS
INVESTIGACIN DEL MRITO, VALOR O XITO DE CONCRETOS TRATAMIENTOS, INTERVENCIONES O PROGRAMAS LLEVADOS A CABO CON LA FINALIDAD DE PRODUCIR CAMBIOS COMPORTAMENTALES INVESTIGACIN DE LOS RESULTADOS DE UNA INTERVENCIN

DEFINICIN

JUICIOS VALORATIVOS

EFICAZ : CUANDO LOS OBJETIVOS ESTABLECIDOS HAN SIDO CONSEGUIDOS. META DEL PROGRAMA. EFECTIVO: CUANDO CON INDEPENDENCIA DE LOS OBJETIVOS ESTABLECIDOS, EL PROGRAMA HA CONSEGUIDO UNOS EFECTOS POSITIVOS. EFICIENCIA: RELACIN COSTES-BENEFICIOS.

MODELOS

LINEAL
EVALUACIN SUMATIVA

Estima magnitud de los efectos del programa en funcin de las hiptesis Finalidad demostrativa Evaluador externo e independiente Planificacin, evaluacin, e implementacin estructuradas desde el principio

NO LINEAL
EVALUACIN FORMATIVA

Entender porqu se ha producido determinado resultado Finalidad explicativa Evaluador implementador del programa Continua interaccin y modulacin recproca entre planificacin, implementacin y evaluacin

FASES Y TAREAS DEL PROCESO

FASE 1. DISEO DEL PROGRAMA DE INTERVENCIN

JUSTIFICACIN Y ANTECEDENTES DEL PROGRAMA

FUNDAMENTACIN TERICO-EMPRICA DEL PROGRAMA

OBJETIVOS DEL PROGRAMA

CARACTERSTICAS DEL PROGRAMA

FASES Y TAREAS DEL PROCESO

FASE 1. DISEO DEL PROGRAMA DE INTERVENCIN

CONFIGURACIN DEL PROGRAMA: MDULOS

ACTIVIDADES O ACCIONES DEL PROGRAMA

PROCEDIMIENTO PARA LA IMPLEMENTACIN DEL PROGRAMA

FACTORES DE INFLUENCIA EN EL PROGRAMA

FASES Y TAREAS DEL PROCESO

FASE 2. DISEO DE LA EVALUACIN DEL PROGRAMA

FINALIDAD DE LA EVALUACIN Y FACTIBILIDAD

IDENTIFICAR VARIABLES DEPENDIENTES INSTRUMENTOS DE EVALUACIN

FASES Y TAREAS DEL PROCESO

FASE 2. DISEO DE LA EVALUACIN DEL PROGRAMA

SELECCIN DEL DISEO DE INVESTIGACIN

ELEGIR ENTRE LOS 2 MACROMODELOS

ELEGIR EL DISEO DE INVESTIGACIN: EXPERIMENTALES - NO EXPERIMENTALES AMENAZAS A LA VALIDEZ INTERNA Y EXTERNA

CALENDARIO DE LA EVALUACIN

FASES Y TAREAS DEL PROCESO

FASE 3. IMPLEMENTACIN Y EVALUACIN DEL PROGRAMA

IMPLEMENTACIN DEL PROGRAMA

RECOGIDA DE DATOS PARA LA EVALUACIN

ANLISIS DE LOS DATOS

FASES Y TAREAS DEL PROCESO

FASE 4. ELABORACIN DEL INFORME DE LA EVALUACIN DEL PROGRAMA PORTADA DEL INFORME

RESUMEN OBJETIVOS E HIPTESIS DEL ESTUDIO

DISEO Y PROCEDIMIENTO DE LA INVESTIGACIN

PARTICIPANTES

DESCRIPCIN DEL PROGRAMA DE INTERVENCIN

METODOLOGA E INSTRUMENTOS DE EVALUACIN DEL PROGRAMA

RESULTADOS

CONCLUSIONES

RECOMENDACIONES

CUESTIONES METODOLGICAS
DISEOS DE INVESTIGACIN
La estructura que acta como gua para facilitar la ordenacin de los datos desde su obtencin, almacenamiento, y posterior tratamiento En funcin de las caractersticas del programa

ELECCIN DISEO

DISEOS EXPERIMENTALES Y CUASI-EXPERIMENTALES TIPOS DE DISEO Diseos experimentales de caso nico Diseos clsicos de grupos DISEOS NO EXPERIMENTALES: DESCRIPCIN NATURALISTA

DISEOS CLSICOS DE GRUPOS

PRETEST-POSTEST CON GRUPO DE CONTROL EQUIVALENTE

DISEO POSTEST CON GRUPO DE CONTROL EQUIVALENTE

DISEO PRETEST-POSTEST CON GRUPO DE CONTROL NO EQUIVALENTE

DISEO DE SERIES TEMPORALES CON GRUPO EXPERIMENTAL

DISEO DE SERIES TEMPORALES CON UN GRUPO DE CONTROL NO EQUIVALENTE

DISEO PRE-EXPERIMENTAL ANTES-DESPUS

INSTRUMENTOS DE EVALUACIN CARACTERSTICAS

Objetividad: Que los procedimientos de recogida de informacin estn libres de los errores procedentes de la interpretacin del evaluador Estabilidad: Que la medida no presente excesivas fluctuaciones debidas a su propia naturaleza, de forma que al juzgar los cambios debidos al programa stos no puedan confundirse con fluctuaciones en el tiempo del propio instrumento Exactitud, Precisin o Validez: Que la medida elegida refleje lo que se pretende juzgar, es decir, que las tcnicas utilizadas sean una medida, lo ms precisa posible, de lo que se pretende dar cuenta

Sensibilidad al cambio: Que el procedimiento elegido sea sensible ante el programa de accin propuesto.

INSTRUMENTOS DE EVALUACIN TIPOS DE INSTRUMENTOS

CUALITATIVOS CUANTITATIVOS

Entrevista abierta. Observacin no estructurada: diarios.... Tcnicas sociomtricas. Grupos de discusin. Cuestionarios o encuestas abiertas. Tcnicas etnogrficas: entrevista callejera Autobiografa Anlisis histricos: a travs de distintos tipos de datos como peridicos o informes con los que se pretende establecer la historia pasada de un evento. Mtodo Delphi: expertos a los que se envan los cuestionarios y los resultados de los mismos

Entrevista estructurada. Autoinformes: el sujeto se valora a s mismo Cuestionarios: medidas de autoinforme sobre habilidades, nivel de satisfaccin, logros obtenidos con el programa desde la percepcin subjetiva del cambio Indicadores estadsticos y sociales: nmero de toxicmanos, tasas de empleo... Observacin estructurada y/o sistemtica: frecuencia de conductas observables... Archivos: calificaciones, hojas de servicio... Medidas de rastro y erosin: nmero de cigarros, botellas Escalas de apreciacin: jueces (padres o profesores) califican al sujeto en una escala de estimacin en relacin a alguna conducta Pruebas de ejecucin y de inteligencia: piezas insertadas, nmero de aciertos, tiempo de ejecucin... Pruebas de rendimiento: exmenes...

PROBLEMAS METODOLGICOS DEL PROGRAMA

DEFECTOS DE PLANTEAMIENTO
Programas mal definidos Vaguedad en los objetivos Fines no realistas Objetivos contrapuestos Falta de claridad en el enunciado de las tareas requeridas Inexistencia de organigrama relativo a la secuenciacin Falta de calendario Imprecisin respecto al estudio emprico

IRREGULARIDADES EN LA IMPLEMENTACIN
Falta de formacin Incorrecta cumplimentacin

ANALISIS DE DATOS

ANLISIS EXPLORATORIO DE LOS DATOS: ESTADSTICOS DESCRIPTIVOS: FRECUENCIA, MEDIA, MEDIANA, MODA, DESVIACIN TPICA... ANLISIS INFERENCIAL PRIMARIO: UNIVARIADO O MULTIVARIADO (ANOVA, MANOVA, ANCOVA, MANCOVA, REGRESIN MLTIPLE...)

REANLISIS COMPARATIVO
INTERPRETACIN DE LOS RESULTADOS