Departamento Federal de Asuntos Exteriores DFAE Agencia Suiza para el Desarrollo y la Cooperacin COSUDE

Panorama de los MTODOS cualitativos y cuantitativos reconocidos para la medicin y la evaluacin en la cooperacin al desarrollo

Simon Zbinden
Seminario sobre el MONITOREO DE EFECTOS La Habana, Junio 2009

Una presentacin basada en: DeGeVal, 2009. Verfahren der Wirkungsanalyse Eine Landkarte fr die entwicklungspolitische Praxis. Arbeitskreis Evaluation von Entwiclungspolitik, Arbeitsgruppe Wirkungsanalyse. Berlin, Germany.

1/2 2

Porqu un tal panorama - objetivos

Conocer los mtodos existentes ms reconocidos -> saber donde recoger mayor informacin Mtodos comprobados y reconocidos, todos con caractersticas y usos diferentes -> no hay solucin "one-size-fits-all" -> hacer una seleccin medida Aplicar mtodos comprobados y reconocidos versus desarrollar mtodos propios -> crear mayor validad y credibilidad Mezclar para optimizar evaluacin -> seleccionar mtodos cualitativos y cuantitativos

2/2 2

Centros de recursos
Network of Networks on Impact Evaluation (NONIE)
www.worldbank.org/ieg/nonie

International Initiative for Impact Evaluation (3ie)

www.3ieimpact.org

DAC Network on Development Evaluation

www.oecd.org/dac/evaluationnetwork

Poverty Action Lab

http://www.povertyactionlab.org/

Metodologas, ejemplos & casos

3/2 2

DAC estndares de calidad1 para evaluaciones

exigen: 1) Anlisis del contexto socio-poltico-institucional y otros factores externos que influencian las intervenciones

2) Descripcin detallada del mtodo y tcnica (incluso tomar la muestra) de la coleccin y el anlisis de los datos / informaciones
3) Participacin de todos los actores involucrados 4) Transparencia de todas las fuentes de informacin 5) Validacin de los fuentes de informacin

DAC Guidelines and Reference Series: Quality Standards for Development Evaluation.

4/2 2

Un granito de teora

5/2 2

Dos preguntas fundamentales

1. Funciona?
2. Porqu funciona?

Ambas son crucial, pero raramente abordado simultneamente

6/2 2

1era Pregunta: Funciona? -> atribucin y causalidad

"Curtis, necesito que me busques un mtodo para echar toda la culpa de esto a el nio"

7/2 2

1era Pregunta: Funciona?

Problema fundamental: la misma persona no puede ser observado simultneamente "con" y "sin" la intervencin Conclusin: "evidencia" solo con lo contrafactual > que hubiera pasado al grupo meta sin la intervencin, politica o medida el efecto neto
validad interna-> concluir que x causo y

8/2 2

1era Pregunta: Funciona?

Perspectiva investigacin social emprica trabajar con grupo de control = comparacin "sin y con" -> nica manera para evidenciar causalidad, pero mtodo de ms alto valor informativo En practica no siempre posible (25 40% de los casos) -> metodo alternativo: "antes-despus"

9/2 2

2nda Pregunta: Porqu y como funciona?

Dos formas para abordarlos

Enfoques con regresiones de datos cuantitativos -> comprobar un modelo terica

Mtodos cualitativos

10/ 22

Conclusiones
Idealmente aspirar a

comparacin contrafactual "sin y con", combinado con "antes despus" (funciona?)

mezcla de mtodos cuantitativos y cualitativos (porqu y como funciona?)

11/ 22

Los mtodos

"Carlito, puedes quitar tu mtodo de orientacin, el da laboral est terminado"

12/ 22

Mtodos cuantitativos - rigurosas

-> Para generar informacin primaria

diseos cuantitativos experimentales diseos cuantitativos quasi-experimentales

-> Feria

13/ 22

Mtodos cualitativos - participativos

-> Para generar informacin primaria

Enfoque CeVal segn Stockmann Do-No-Harm (DNH) e-Val Drivers of Change (DoC) by DFID Impact Monitoring Assessment segn Herweg&Steiner Impact Pathway KAP (Knowledge, Attitude and Practice) Method for Impact Assessment of Programs and Projects (MAPP) Most Significant Change (MSC) NGO-IDEA Toolbox -> Feria Outcome Mapping (OM) Participatory Impact Monitoring / FAKT Participatory Impact Monitoring / SLE Participatory Livelihood System Analysis (PalSa) Participatory Methodology for Measuring the Contribution of Volunteering to Dev Peace and Conflict Assessment (PCA) Programm-integriertes Planungs-, Monitoring- und Evaluationssystem (PriMe) segn InWent Real Time Evaluation RTE Tracer Study Monitoreo hacia efectos de la GTZ

14/ 22

Most Significante Change Technique (MSC)

Tcnica acerca del cambio ms significativo
Mtodo de monitoreo y evaluacin participativo de efectos e impactos Durante y al fin del ciclo de proyecto Principio de base:

actores "identifican" posibles cambios por el proyecto (abierto, no hay indicadores pre-definidos)
coleccionar cuentos de cambios significativos anlisis sistemtica participativa por los actores seleccin del historia ms significativo

15/ 22

Most Significante Change Technique (MSC)

Tcnica acerca del cambio ms significativo

16/ 22

Tracer Studies
Mtodo para estudiar "rastros" en formacin / capacitacin

Mtodo para monitorear formacin y capacitacin en los sectores educacin, caplab, universidades
Autoevaluacin de los graduados (abierto, sin indicadores predefinidos) Medicin antes, despus y despus + x aos Principio de base
establecer poblacin de base establecer indicadores, reas de observacin (cuestionarios semi-abiertos)

seleccionar muestra significativa (voluntaria) de graduados

antes, despus y despus + x aos triangulacion con evaluaciones de empleadores

17/ 22

Gracias ahora S, medimos!

MCR

18/ 22