Diapositiva 46

Qué medir Cómo medir

3. Observar y escuchar

46

Diapositiva 47

Qué medir Cómo medir

Entrevistas
semi-estructuradas
 Qué es:
El entrevistador lleva una pauta o guía con los
temas a cubrir, los términos a usar y el orden de las
preguntas.
Frecuentemente, los términos usados y el orden de
los temas cambian en el curso de la entrevista, y
surgen nuevas preguntas en función de lo que dice
en entrevistado.
A diferencia de los cuestionarios, se basan en
preguntas abiertas, aportando flexibilidad
47

También existen las entrevistas no estructuradas, donde el entrevistador tiene una idea
general acerca del tema de conversación, pero la conversación se desarrolla más
espontáneamente dentro de ese tema. Puede ser completamente informal.

Los cuestionarios de encuesta se pueden clasificar como entrevistas completamente

estructuradas, donde tanto las preguntas como las respuestas son fijas.
Diapositiva 48

Qué medir Cómo medir

Entrevistas
semi-estructuradas
 Ventajas de la entrevista abierta frente al cuestionario
con preguntas cerradas:
Permiten más profundidad y aclarar cualquier
malentendido
Permite ver hasta dónde llega el conocimiento del
entrevistado
Facilitan la cooperación y la empatía
Permiten evaluar mejor qué piensa realmente el
entrevistado
Pueden producir respuestas no esperadas

48

Diapositiva 49

Qué medir Cómo medir

Entrevistas
semi-estructuradas
 La tarea del entrevistador es intentar que los
entrevistados hablen libre y abiertamente.
 Para ello:
Escucha más de lo que hables: la entrevista no es un
espacio para que el entrevistador cuente sus
experiencias u opiniones
Formula tus preguntas de forma directa, clara y no
amenazante
Evita direccionar las respuestas

49
Diapositiva 50

Qué medir Cómo medir

Grupos de discusión
 Qué es:
Similar a una entrevista semi-estructurada, pero
con varios participantes
El entrevistador pasa a ser un moderador: su papel
es que la conversación se mantenga dentro del
tema de interés y cubra los subtemas deseados

50

Diapositiva 51

Qué medir Cómo medir

Grupos de discusión
 Ventajas:
La interacción grupal puede aportar incentivos y generar
información que no obtendríamos en entrevistas
personales.
Puede ser útil para temas poco interesantes
(investigación de mercados) y también para temas
sensibles o tabú.
Es un método eficiente para obtener información
cualitativa

51
Diapositiva 52

Qué medir Cómo medir

Observación directa
 Qué es:
En ocasiones puede ser útil observar directamente el
comportamiento de interés en el momento mismo en
que sucede. En evaluación de programas, los más
frecuentes son:
• Visitas aleatorias

• Clientes fantasma

• Encuestadores incognitos

52

Visitas aleatorias: por ejemplo, visitas a colegios para comprobar asistencia de los
profesores. El objetivo es capturar el estado normal de las cosas. Para obtener una idea
representativa, es necesario hacer un número suficiente de visitas aleatorias. La hora y día
de la visita son aleatorios.

Clientes fantasma: una persona se hace pasar por un cliente o ciudadano y registra la
calidad del servicio u otros indicadores de interés. También puede ser el envío de una
postulación o solicitud en papel, si el programa requiere esto en su funcionamiento
normal. Ejemplo: en un estudio en la India acerca de reformas en el sistema policial, se
enviaron clientes fantasma que trataban de registrar delitos en las comisarías.

Encuestadores incognitos: parecido al cliente misterio pero más pasivo. Experiencian el

proceso que queremos medir y registra indicadores acerca de los resultados de interés.
Observa de primera mano los procesos y anota las incidencias. A diferencia del cliente
misterio, estos no hacen preguntas o toman iniciativas inusuales.
Diapositiva 53

Qué medir Cómo medir

Los métodos cualitativos en

evaluación de programas
 Evaluación de los instrumentos de medición
 Evaluación de necesidades
Exploración previa a medición mediante encuestas
 Evaluación de procesos
Observación directa de procesos, opiniones de usuarios
e implementadores
 Evaluación de impacto
“Descubrimiento” de resultados potenciales no
anticipados. Interpretación de los resultados
53

• Evaluación de los instrumentos de medición: grupos de discusión para ver cómo las
personas hablan del tema de interés, qué términos usan, qué cosas son importantes
para ellos, cómo categorizan la realidad, qué saben y qué no saben…Entrevistas
cognitivas para ver cómo los encuestados potenciales procesan las preguntas y
respuestas.

• Evaluación de necesidades/estudio de contexto: una encuesta puede ser util para medir
aquello que “sabemos que queremos saber”; pero no podemos medir lo que no
sabemos que no sabemos. Entrevistas en profundidad, grupos de discusión y
observación pueden aportar información muy útil en este sentido.

• Evaluación de procesos: además de cuantificar si los beneficiarios están recibiendo

efectivamente los bienes y servicios del programa, me puede interesar saber qué
opinan los usuarios acerca de estos productos, por qué los usan o por qué no; y para
ello puedo necesitar métodos cualitativos. También puedo obtener información valiosa
conversando con los implementadores del programa acerca de las dificultades que
enfrentan.

• Evaluación de impacto: si bien la evaluación de impacto rigurosa (con métodos

estadísticos y experimentales) solo se puede hacer usando indicadores medidos
cuantitativamente, la información cualitativa puede ser crucial tanto a la hora diseñar
una evaluación de impacto (cómo lo puedo medir) como a la hora de interpretar los
resultados que este análisis arroja (por qué se observan los impactos que se observan).
Veremos esto con un ejemplo.
Diapositiva 55

Qué medir Cómo medir

Los métodos cualitativos en

evaluación de impacto
 Ejemplo: programa de subsidios de vivienda en
Estados Unidos: Moving to Opportunity
 ¿Cuáles podrían ser los impactos de este programa?
 Literatura previa indicaba que las razones más importantes
para querer trasladarse a un barrio mejor era poder optar a
mejores colegios y mejores casas.
 Efectos sobre los niños: mejoras en rendimiento educativo.
 Efectos sobre los padres: empleo, capacitación laboral e
ingresos.

55

El programa se implementó en 1995. Los beneficiarios eran familias con hijos viviendo en
proyectos de vivienda pública con mucha pobreza. Recibían un subsidio considerable (700
US mensual) para arriendo de departamentos en el mercado de viviendas. Al aportar
mayor capacidad adquisitiva en el alquiler, era esperable que los beneficiarios se
trasladaran a barrios más favorecidos.

Economistas dedicados al mercado laboral, pensaron que los efectos serían en términos de
mejora en la educación, empleo e ingresos (Mayor cercanía con los lugares de empleo)

En EEUU, en general, no hay elección de colegios, sino que a cada estudiante se le asigna
un establecimiento de su barrio. Además, el financiamiento de cada establecimiento
depende de las autoridades locales, que se financian mayoritariamente por impuestos
locales. Por lo tanto, cambiarse a un barrio más acomodado significa, generalmente, tener
acceso a establecimientos educacionales con mayores recursos.

Fuente: Evaluación experimental (Kling, Leibman y Katz 2004). Jeffrey R. Kling , Jeffrey B.
Liebman y Lawrence F. Katz “Bullets Don’t Got No Name: Consequences of Fear in the
Ghetto” en Discovering Successful Pathways in Children's Development: Mixed Methods in
the Study of Childhood and Family Life. Edited by Thomas S. Weisner. Chicago: The
University of Chicago Press, 2004.
Diapositiva 56

Qué medir Cómo medir

Los métodos cualitativos en

evaluación de impacto
 Sin embargo, los datos de línea de base mostraron
una realidad que les invitó a cuestionar sus intuiciones:

Razón principal para querer cambiar de barrio:

“alejarse de las bandas y las drogas”.
Alta frecuencia de asaltos sufridos por los participantes.

 El miedo y la inseguridad aparecieron como un

fenómeno central.

56

• Apareció que la mitad de los postulantes (mujeres jefas de hogar

mayoritariamente) puso que la mayor razón de querer mudarse era “alejarse de
las bandas y las drogas”, un cuarto dijo que la razón era el crimen y solo un 13%
puso a los colegios como la razón.

• Además, un cuarto de los jefes de hogar dijo que alguien de su hogar ha sido
asaltado, golpeado, acuchillado o le han disparado en los últimos seis meses. Esto
los sorprendió muchísimo, al ser 4 mayor que las tasas nacionales.
Diapositiva 57

Qué medir Cómo medir

Los métodos cualitativos en

evaluación de impacto
 A la vista de estos hallazgos, los responsables del
estudio decidieron llevar a cabo una investigación
cualitativa con tres objetivos:

1) Entender los detalles de la intervención.

2) Explorar con mayor profundidad la importancia de las bandas y

las drogas.

3) Escuchar con detalle las historias de las familias para pensar

en aspectos de la investigación que no habían incluido.

57

La investigación cualitativa consistió en 12 entrevistas en profundidad de 90 minutos cada

una. Los profesores/investigadores mismos hicieron las entrevistas. Llevaban una pauta
para asegurarse que se cubrían una seria de temas, pero las preguntas eran abiertas.

• Entender los detalles institucionales de la intervención, cosa de (i) saber en qué

consiste exactamente el programa, de manera de poder replicarlo en otros
lugares; y (ii) no equivocarse a la hora de interpretar los resultados cuantitativos.

• Explorar con mayor profundidad la importancia de las bandas y las drogas, a partir
de lo visto en línea de base.

• Escuchar con detalle las historias de las familias para pensar en aspectos de la
investigación que no habían incluido.

Una mezcla de “apertura a lo nuevo” con “profundizar en el marco ya planteado”.

Diapositiva 58

Qué medir Cómo medir

Los métodos cualitativos en

evaluación de impacto
 Hallazgos en las entrevistas semi-estructuradas:

1) Se confirmó la importancia del miedo y la inseguridad como

motivos para trasladarse a otro barrio

2) Se profundizó en cómo esa inseguridad afectaba a la vida

cotidiana de las familias: “Bullets don’t got no name”

3) El cambio de barrio contribuía a la paz mental de los adultos y

una mayor libertad para los niños

58

Se profundizó en cómo esa inseguridad afectaba a la vida cotidiana de las

familias:

El miedo en los barrios no era por enemistad con las bandas, sino porque la
violencia entre ellas llevaba a que todos sufrieran de él. “Bullets don’t got no
name”, “las balas no tienen nombre” es la frase clave: las balas azarosas
podían llegarle a sus hijos jugando en la plaza, o caminando a la casa.

El resultado de este miedo es que las familias tendieron a encerrarse en su

departamento, no permitir a los niño(a)s hacer actividades afuera y estar todo
el tiempo con un ojo en ellos.

•De alguna manera, estas madres terminaron por organizar su vida

entera en función de proteger a sus hijos e hijas de los peligros del
barrio.
•Difícil pensar en la situación laboral (capacitación laboral o
búsqueda intensa de trabajo) en este contexto
Diapositiva 59

Qué medir Cómo medir

Los métodos cualitativos en

evaluación de impacto
 A raíz de los hallazgos cualitativos, se incluyeron
nuevas preguntas sobre seguridad y salud en la
encuesta de seguimiento.
 Los impactos más grandes se relacionaban con estas
variables:

1) Adultos: debido a una mayor seguridad en el barrio, se

produjeron mejoras en el bienestar emocional

2) Niños: debido a una mayor seguridad en el barrio, hubo menos

instancias de agresiones y lesiones, y también menos asma
(en parte causado por el estrés).

59

Diapositiva 60

Qué medir Cómo medir

Métodos de recogida de
datos: resumen
 Para averiguar qué hace la gente en público:
observación directa
 Para averiguar qué hacen en privado: entrevistas,
grupos de discusión y cuestionarios
 Para averiguar qué piensan, sienten o creen:
entrevistas, grupos de discusión y cuestionarios
con escalas de actitud
 Para determinar habilidades o conocimientos:
tests estandarizados

60

Extraído del libro “Real World Research”, Colin Robson, 2011.

Diapositiva 61

¡Gracias!
José Vila-Belda Montalt
Analista de Capacitación
J-PAL LAC

61