Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Las estimaciones pueden estar sesgadas si las propias personas se seleccionan dentro
o fuera de cualquiera de los dos grupos – integrarse o abandonar – durante el curso
del experimento y sus razones para hacerlo están sistemáticamente relacionadas con
el tratamiento. Si bien esto se puede ver como un efecto del programa, hace más
difícil la interpretación de cualquier diferencia en los resultados. En un sentido, el
desgaste correlacionado al tratamiento presenta nuevamente el sesgo de selección.
Los grupos experimentales al final comprenden diferentes personas; no son más
equivalentes y la comparación planificada puede que no siga siendo válida.
Algunas personas asignadas al grupo de control puede que accedan a servicios del
programa o además obtengan servicios equivalentes de otro proveedor. Por ejemplo,
niños asignados al grupo de control de tutoría después de clase puede que obtengan
ayuda extra de profesores o consigan materiales y métodos del programa de sus
compañeros de clase. Si esto pasa de manera sistemática, el contraste o la variación
del tratamiento entre grupos comienza a desaparecer y la comparación del impacto
comienza a pasar a ser inválida. Esto a veces se llama contaminación o en forma más
positiva, difusión del tratamiento al control.
Las personas asignadas al grupo de control pueden comenzar a competir con las
personas en el grupo de tratamiento. Por lo tanto, por ejemplo, en un programa que
usa profesores de contrato (tratamiento), los profesores regulares (control) puede que
trabajen más, más que lo normal, durante el curso del experimento para no ser
sobrepasados por los profesores de contrato. Y una vez que se termina el
experimento, ellos pueden volver a su nivel de esfuerzo normal. La competencia hace
que los resultados del grupo de control sean mayores que lo normal, inclinando
cualquier impacto hacia abajo. Estos efectos a veces son llamados Efectos de John
Henry. 1
¿Se puede comprobar que los grupos son equivalentes al comienzo del programa?
2.
¿Cómo?
Tome la media de los grupos respecto de las características que son importantes. Lo
mismo que al revisar si “la aleatorización fue exitosa”.
¿Qué puede ocurrir a lo largo de la evaluación que pudiese volver los grupos no
3.
equivalentes?
Las personas pueden elegir estar dentro o fuera de los grupos experimentales, tanto
de tratamiento como control – desgaste
1 Estos efectos se llaman efectos John Henry en nombre del obrero Afroamericano que trabajaba
martillando rieles en Virginia a fines del siglo diecinueve. Cuando se introdujeron los martillos a vapor,
amenazando el tendido de rieles hecho por humanos. Se dice que John Henry retó al martillo a vapor a una
competencia, diciéndole a su capataz “un hombre no es nada más que un hombre, moriré con este martillo
en la mano antes de ser mordido por ese martillo a vapor”. John ganó la competencia, pero murió “con el
martillo en la mano” debido a un sobreesfuerzo. Su historia vive en la música folclórica de Estados Unidos.
2 En un estudio llevado a cabo por Western Electric Company’s Hawthorne, USA, en 1930, se pensaba que
los trabajadores respondían al hecho de estar bajo observación aumentando la productividad. Desde
entonces esta interpretación ha sido cuestionada, pero el nombre prevalece.
Pero los niños infectados están enfermos y no tienen ánimo ; es menos probable que
estén en la escuela. Y por lo tanto, cuando el encuestador hace su visita al azar, es más
probable que los niños tratados estén presentes y sus – mejores – resultados sean
medidos.
b. ¿Es este diferencial de resultados un estimador preciso del impacto del programa?
NO, porque omite los abandonos
4. Porque el grupo de tratados fue tratado, usted esperaba que hubiera una diferencia
entre los grupos a fines de año.
a. Si esta diferencia es un efecto ¿Cuál es la fuente de sesgo por desgaste, si es que lo
hay?
Es que no medimos a los niños faltantes; ellos abandonaron la muestra y su
razón para el abandono estaba correlacionado con el tratamiento; los niños que
abandonaron estaban en peor condición que el niño promedio (que tenían una
carga parasitaria igual a 2 comparado con 3 de los que abandonaron)
3 The Abdul Latif Jameel Poverty Action Lab
@MIT, Cambridge, MA 02130, USA | @IFMR, Chennai 600 008, India
@PSE, Paris 75014, France | @PUC, Santiago, Chile..
Caso 4: Desparasitación en Kenia
b. ¿Cómo se puede resolver el problema para obtener una mejor estimación del impacto
del programa?
Hacer seguimiento a todos (intención de tratar – tome el promedio de la gente
de la muestra al comienzo y al final – compare los promedios del grupo de
tratamiento y del grupo de control basado en las asignaciones originales)
5. a. ¿Cuál es la carga parasitaria promedio del grupo de control posterior al experimento,
si se incluyese a los 5.000 niños que abandonaron la escuela (asumiendo que
hubiesen tenido carga parasitaria 3)? 2
7. En el Caso 1, usted aprendió sobre otros métodos para estimar el impacto del
programa, como diferencia simple, regresión múltiple, regresión múltiple con datos de
panel y matching.
a. Para cada amenaza que usted acaba de identificar, explique si la amenaza existe
para cada uno de estos métodos y de qué modo.
b. ¿Son estas amenazas a la integridad experimental exclusivas para las evaluaciones
aleatorias?
Esta pregunta se supone que demuestra que las amenazas son generales para
todos los métodos de estimación de impacto. Es para asegurarse que las
personas no se vayan pensando que las amenazas existen solo si usted está
haciendo una evaluación aleatorizada.
c. Esta es una estimación precisa del efecto del programa, pero ¿es una medida
adecuada? ¿cuáles son las consideraciones? ¿Cuándo es útil? ¿Cuándo no lo es?
Depende de qué quieran aprender. ITT puede relacionarse más con
programas reales. Por ejemplo, puede que no estemos interesados en el
efecto médico del tratamiento antiparasitario, más bien qué pasaría bajo un
programa real antiparasitario. Si los estudiantes a menudo faltan a clases y
por lo tanto no consiguen la medicina antiparasitaria, la estimación de la
intención de tratar puede en realidad ser de mucha ayuda.
Usted está interesado en conocer el efecto del tratamiento sobre aquéllos que
efectivamente fueron tratados.
2. Cinco de sus colegas están pasando por su escritorio; están de acuerdo en que debería
calcular el efecto del tratamiento usando únicamente los 10.000 niños tratados.
a. ¿Cuál es el impacto de emplear solamente a los tratados?
(10/10 – 2) – (2-2) = -1
3. Otro colega afirma que no es una buena idea descartar completamente a los no
tratados; debería incluirlos en el análisis pero considerarlos como parte del grupo de
control.
a. ¿Cuál es el impacto estimado basado en esta estrategia?
(10/10 – 1.5) – (45/20 - 45/20) = - 0.5
5. El programa elevó el nivel de conocimiento acerca de los parásitos, por lo que algunos
padres en el grupo de control compraron los medicamentos y trataron a los niños en
su propio hogar. En total 2.000 niños del grupo de control fueron tratados.
Es más probable que los niños en edad escolar contagien a otros ya que tienen malas
prácticas de higiene (más probable que naden en aguas contaminadas, más probable
que no usen las letrinas, menos probable que se laven las manos antes de comer).
Por lo que tratar a un niño no solo reduce su propia carga parasitaria, puede también
reducir la trasmisión de enfermedades – y así beneficiar a los niños no tratados.
Tiene que comparar los efectos en todas las comunidades, ya que las
densidades del tratamiento varían de comunidad en comunidad
4. Establezca un ranking para las áreas A, B y C, en términos de la cantidad de
externalidades esperadas para el año 1, 2 y 3.
En el año 1: A luego B luego C
En el año 2: No más escuelas de control en A; mayor densidad en B que en
C por lo que escuela control en B probablemente se beneficie más de la
externalidad que escuelas control en C.
En año 3: No más escuelas control. Ningún efecto de externalidades.