Documentos de Académico
Documentos de Profesional
Documentos de Cultura
ii.
iii.
iv.
servicios?
Beneficiarios: A quin est dirigida o a quin beneficiar la evaluacin?
Usos: Cmo se utilizarn los resultados de la evaluacin?
Preguntas: Cules son las preguntas ms importantes que debe
v.
responder la evaluacin?
Mtodos: Cules son los mtodos para proporcionar informacin a fin
vi.
i.
ii.
iii.
Investigacin formativa;
Indicadores de proceso;
Diseo
Reunir datos
Ejecutar el
Reunir datos
antes del
programa o la
despus del
programa
estrategia
programa
No
Tal vez
Tal vez
Reunir datos de
seguimiento
Slo pruebas
posteriores a la
intervencin
Pruebas
anteriores y
posteriores a la
intervencin
Pruebas
anteriores y
posteriores a la
S (grupo del
S (ambos
programa)
S (ambos
grupos)
No (grupo de
grupos)
grupos)
intervencin
con grupo de
control)
control
Pruebas
S (grupo del
posteriores a la
No
intervencin
con grupo de
Ensayo
grupos)
S (ambos
programa)
S (ambos
grupos)
No (grupo de
grupos)
grupos)
S, varias veces
control
cronolgica
S (grupo del
grupo de
Serie
No (grupo de
control)
control
aleatorio con
programa)
comparacin)
S, varias veces
REALICE
PRUEBAS
ANTERIORES
LA
UTILIZACIN
DE
LOS
i.
ii.
SELECCIONE
RESULTADOS
REALISTAS
AL
PLANIFICAR
LA
EVALUACIN
Si bien los programas de prevencin de la violencia procuran, en definitiva, el
logro de cambios de comportamiento asociados con la violencia, a menudo se
requiere mucho tiempo para lograr tales cambios, y es preciso que los
programas recopilen datos sobre los resultados durante un perodo prolongado.
Por lo tanto, algunos resultados ms realistas de muchos programas de
UTILIZARSE
EN
LUGAR
DE
BUSCAR
CAMBIOS
DE
ii.
iii.
iv.
ii.
iii.
iv.
a cabo
violencia entre
descargarse en ingls.
7. Measuring Intimate Partner Violence Victimization and Perpetration: A
Compendium of Assessment Tools (Cmo medir la victimizacin y el
maltrato en la violencia de pareja) elaborada por CDC (Estados Unidos).
Esta publicacin proporciona a los investigadores y a los especialistas
en prevencin una recopilacin de los recursos concebidos para medir la
Domestic
Violence
Against
Women
(La
mujer
primero:
and
and
Safety
Monitoring
Recommendations
Sexual
Violence
for
Researching,
in
Emergencies
Qu es una Evaluacin?
La palabra evaluacin puede ser interpretada de manera bastante amplia.
Significa cosas distintas para distintas personas y organizaciones. Los
ingenieros, por ejemplo, pueden evaluar o probar la calidad del diseo de un
producto, la durabilidad del material, la eficiencia de un proceso productivo o la
seguridad de un puente. Los crticos evalan o resean la calidad de un
restaurant, pelcula o libro. Un psiclogo de nios puede evaluar o valorar el
proceso de decisin de los nios.
malgastando
nuestro
dinero?
Eso
puede
sentirse
como
un
1.
Evaluacin de Necesidades
2.
3.
Evaluacin de Procesos
4.
Evaluacin de Impacto
5.
6.
Evaluacin de Necesidades
Los programas y polticas se realizan para enfrentar necesidades especficas.
Por ejemplo, podramos observar que la incidencia de la diarrea en una
comunidad es particularmente alta. Esto puede deberse a comida o agua
contaminada, mala higiene o cualquier otra explicacin plausible. Una
evaluacin de necesidades puede ayudarnos a identificar la fuente del
problema y a aquellos ms perjudicados.
Por ejemplo, el problema podra deberse al escurrimiento de fertilizantes
orgnicos que estn contaminando el agua que beben ciertas comunidades.
La evaluacin de necesidades es un enfoque sistemtico para identificar la
naturaleza y el alcance de un problema social, definir la poblacin objetivo a ser
atendida, y determinar la atencin que necesitan para hacer frente al problema.
Una evaluacin de necesidades es esencial, porque los programas sern
inefectivos si el servicio no se disea adecuadamente para atender las
necesidades o si las necesidades realmente no existen. Por ejemplo, si las
fuentes que contaminan el agua potable estn relacionadas con la agricultura,
las inversiones en infraestructura de saneamiento, tales como baos y sistemas
de alcantarillado, podran no resolver el problema. La evaluacin de
necesidades puede ser conducida utilizando indicadores sociales, encuestas y
censos, entrevistas, etc.
Evaluacin Terica del Programa
Los programas y polticas se realizan para enfrentar necesidades especficas.
Encontrar esa necesidad, usualmente, requiere ms reflexin que el encontrar
y presionar un botn o tomar una pldora. Para los responsables de hacer
polticas pblicas, requiere la identificacin de las razones que causan esos
resultados indeseables (ver evaluacin de necesidades), y elegir estrategias de
una larga lista de opciones para lograr tratar de tener distintos resultados.
Por ejemplo, si las personas estn tomando agua contaminada, un programa
podra ser diseado para prevenir que el agua sea contaminada mejorando la
infraestructura de saneamiento mientras que otra podra ser diseada para
El por qu se usa este mtodo es un tema que ser cubierto en la seccin Por
qu Aleatorizar?.
Las Evaluaciones Aleatorias tienen varios nombres:
Experimentos Sociales
Ms fciles de transmitir
personas estn usando cloro para tratar el agua, Por qu estn enfermndose
cuando llueve?. An cuando el agua pueda estar ms contaminada, las
tabletas de cloro son efectivas para matar bacterias. La ONG podra
preguntarse si las pastillas de cloro son realmente efectivas para matar
bacterias. Estarn las personas utilizando la proporcin adecuada? Tal vez
nuestros empleados en terreno no nos estn diciendo la verdad. Tal vez los
beneficiaros no estn usando las tabletas. Tal vez ni siquiera estn recibiendo
las tabletas. Y al confrontar estos hechos, los empleados en terreno se quejan
de que durante las lluvias es difcil llegar a los hogares y distribuir tabletas. Los
hogares, por otro lado, van a responder que ellos usan las tabletas durante las
lluvias y que les ayudan bastante.
Hablar con individuos en distintos niveles de la organizacin as como con
grupos de inters puede permitirnos descubrir muchas historias acerca de qu
est pasando. Estas historias pueden ser la base de teoras. Pero explicaciones
plausibles no son lo mismo que respuestas. Las evaluaciones incluyen el
desarrollo de hiptesis acerca de qu est pasando, para despus probar estas
hiptesis.
Por qu aleatorizar?
Qu es impacto? En nuestro ejemplo del cloro, impacto es cunto ms
saludables estn las personas gracias al programa, de lo que estaran si no se
hubiese aplicado el mismo. O ms especficamente, en cunto disminuy la
incidencia de diarrea de lo que lo hubiese hecho si no se hubiera aplicado el
programa.
Obtener este nmero correctamente es ms difcil de lo que parece. Es posible
medir la incidencia de la diarrea en una poblacin que recibe el programa, pero
el Qu hubiese pasado sin ste? (denominado, el contrafactual) es imposible
de medir directamente, slo puede ser inferido.
Construyendo el grupo de Comparacin
Las evaluaciones de impacto estiman la efectividad del programa usualmente al
comparar los resultados de aquellos (individuos, comunidades, escuelas, etc.)
que participaron en el programa frente a aquellos que no lo hicieron. El desafo
2 Las otras dos que trabajan en desarrollo internacional, pero que no se han
unido con J-PAL son la Fundacin W.K. Kellogg y la Fundacin David and
Lucile Packard. Las cuatro que hemos considerado que tienen un foco local en
Estados Unidos son Getty Trust, Robert Wood Johnson Foundation, Lilly
Endowment Inc., y Andrew W. Mellon Foundation.
3 Cuando se mide por asistencia oficial al desarrollo otorgada, incluyendo
Banco Mundial, Grupo Banco Africano de Desarrollo, The Global Fund, Banco
Asitico de Desarrollo, Fondo Monetario Internacional, Unicef, UNRWA, Banco
Asuntos ticos
estndares
de
tica
justicia?
comparacin
como
de
Cundo?
Para una pequea resea sobre la historia de las evaluaciones aleatorias, ver
Cundo comenzaron las evaluaciones aleatorias?
Para leer cundo son apropiadas las evaluaciones aleatorias, ver : Cundo
conducir una evaluacin aleatoria? o Cundo (no) es apropiada la
aleatorizacin?
Cundo Comenzaron las Evaluaciones Aleatorias?
1. Ensayos Clnicos
El concepto de grupo experimental y de control fue introducido en 1747 por
James Lind cuando demostr los beneficios de los frutos ctricos para prevenir
el escorbuto a travs de un experimento cientfico.1 Por los resultados de su
trabajo, Lind es considerado como el padre de los ensayos clnicos. El mtodo
de asignacin aleatoria a grupos de control y tratamiento, sin embargo, no se
desarroll sino hasta la dcada de 1920.
2. Experimentos Agrcolas
La aleatorizacin se introdujo en la experimentacin cientfica en la dcada de
1920 cuando Neyman y Fisher condujeron las primeras pruebas aleatorias en
experimentos agrcolas. El experimento de campo de Fisher culmin con su
No.
W14356.
Disponible
en
SSRN:
http://ssrn.com/abstract=1271388
3. ibid
Cundo Conducir una Evaluacin?
El valor agregado de evaluar una poltica pblica rigurosamente depende del
momento en el ciclo de vida del programa en el que se lleva a cabo dicha
fue
exitoso,
no
hay
suficientes
observaciones como
para
El primer paso en una evaluacin es revisar las metas del programa y cmo
esperamos alcanzarlas. Un marco lgico o un modelo de teora de cambios
son tiles en este proceso (ver Evaluacin Terica del Programa). Al evaluar el
propsito y estrategia de un programa, debemos identificar los resultados clave,
los caminos esperados para lograr aquellos resultados, y algunos hitos que nos
indiquen que vamos por buen camino. Como es de esperar en una evaluacin,
estos resultados e hitos necesitarn ser medidos, y por lo tanto transformados
en indicadores y, finalmente, en informacin (ver Objetivos, Resultados y
Mediciones).
Slo despus de tener una buena nocin de las vas y mbitos de influencia, y
de tener planificado cmo medir nuestros progresos, podemos pensar en el
diseo de la evaluacin.
Cmo Disear una Evaluacin
El diseo de una evaluacin requiere una cantidad considerable de
pensamiento. Primero viene la parte conceptual: Qu planeamos aprender de
esta evaluacin?, Cules son las preguntas relevantes? , Qu resultados se
esperan?,
Cmo
se
pueden
medir?
1. Unidad de Aleatorizacin
puede que nunca sepa nada al respecto y por lo tanto no tenga quejas, o
puede que piense que fue una decisin tomada a nivel de pueblo, y que la ma
decidi no invertir en pastillas de cloro. Por supuesto, las personas tambin
podran enojarse con una asignacin a nivel comunitario. Podramos tratar de
expandir la unidad de asignacin aleatoria, o pensar en otras estrategias para
mitigar el descontento de la gente que no sali beneficiada. El hecho de que no
todos son favorecidos puede ser injusto (ver asuntos ticos). Pero dado que no
podemos ayudar a todos (usualmente debido a restricciones de capacidad), y
nuestro deseo de mejorar y evaluar, podemos repartir los recursos de una
forma que nos ayude a crear un grupo de control y que al mismo tiempo sea
visto como justo por las personas que estamos tratando de ayudar.
4. Factibilidad Poltica: Puede que no sea factible hacer una asignacin
aleatoria a nivel de hogar. Por ejemplo, la comunidad puede exigir que toda
persona en necesidad debe recibir asistencia, lo que hace imposible escoger
aleatoriamente los hogares a los cuales darles las pldoras de cloro. En algunos
casos, el lder solicita que todos los miembros de su comunidad reciban
asistencia. O puede que se sienta ms tranquilo si la mitad obtiene el beneficio
al azar (con absoluta certeza, en el caso de asignacin individual), que si
afronta el riesgo de que nadie en su comunidad sea tratado (en el caso de que
la asignacin sea comunitaria y su pueblo no salga escogido). En algunos
casos, el lder puede colaborar con el estudio; en otros, no.
5. Factibilidad logstica: A veces es logsticamente imposible asegurarnos de
que algunos hogares permanezcan en el grupo de control. Por ejemplo, si la
entrega del cloro requiere que un distribuidor en cada pueblo monte un puesto
donde los vecinos pueden ir a buscar sus pldoras, puede ser ineficiente pedirle
que no considere a los hogares en el grupo de control. Esto puede aadir
burocracia, perder tiempo y distorsionar la idea original del programa. Incluso si
el distribuidor pudiera discriminar fcilmente, los hogares que reciben pldoras
podran compartirlas con sus vecinos que no fueron beneficiados. Entonces, el
grupo de control se vera tambin impactado por el programa y no servira
como grupo de comparacin. (Recordemos que el grupo de control
supuestamente representa cmo sera la vida sin el programa) (ver Qu es
una evaluacin de impacto?). En este caso, hara sentido asignar a nivel de
organizacin responsable, del programa, y del contexto y del trabajo del equipo
para determinar el nivel de asignacin apropiado para cada circunstancia en
particular.
2. Diferentes Mtodos de Aleatorizacin
Si mi organizacin puede dar mil pldoras de cloro cada da, entonces puedo
beneficiar a mil personas de un grupo de dos mil postulantes cada da, y puedo
escoger beneficiar siempre a los mismos. Alternativamente, puedo ir rotando
da por medio para que cada hogar pueda beber agua limpia da por medio.
Puede ser que la ltima opcin no me parezca razonable. Si todos beben agua
sucia la mitad de los das, no esperara ningn efecto sobre nadie. Entonces,
puedo escoger a la mitad de los postulantes que recibirn la pldora de cloro
perpetuamente. Para aleatorizar, puedo realizar una lotera simple para elegir
los mil hogares que recibirn las pldoras: escribir los nombres de las dos mil
personas en pequeos trozos de papel, pondr estos pedazos en una caja,
agitar la caja, cerrar mis ojos y sacar mil papeles. Intuitivamente, esto es lo
que se conoce como diseo usando lotera.
Alternativamente, si quiero rotar los hogares que reciben el tratamiento cada
ao en vez de cada da, y asignar aleatoriamente el orden en el cual sern
tratados, entonces en un ao algunos hogares sern considerados dentro del
grupo de tratamiento, y en el prximo sern parte del grupo de control. Si voy a
medir los resultados al final de cada ao, esto sera un diseo por rotacin.
Digamos que este ao puedo entregar quinientas pldoras de cloro cada da,
pero para el prximo ao espero poder entregar mil diarias, y el ao siguiente
dos mil diarias. Podra escoger aleatoriamente quinientos hogares para ser
tratados el primer ao, aadir otros quinientos que se sumen en el segundo
ao, y aadir a los mil hogares restantes el tercer ao. Esto es lo que
llamaramos diseo escalonado.
Existen siete posibles modos de diseo de aleatorizacin los diseos usando
lotera, diseo escalonado, diseo por rotacin, diseo por estmulos a
participacin, diseo con tratamientos con diferente intensidad, y la asignacin
aleatoria en dos etapas. Estos diseos no son necesariamente mutualmente
excluyentes. Sus ventajas y desventajas vienen resumidas en la siguiente tabla.
3. Amenazas al diseo
(a) Externalidades
Un efecto de externalidad ocurre cuando un programa, diseado para ayudar a
un grupo objetivo, afecta de modo no intencional al grupo de control (ya sea
positiva o negativamente). El grupo de control debera representar el resultado
si el programa no hubiera sido implementado (ver contrafactual). Si este grupo
de comparacin ha sido alterado por el programa, su rol de emulador del
contrafactual se ve comprometido, y la medicin del impacto puede estar
sesgada. Existen maneras de mitigar los efectos de externalidad, por ejemplo,
cambiando el nivel de aleatorizacin.
Por ejemplo, beber aguas contaminadas puede provocar enfermedades. Pero
jugar con los nios del vecindario que estn enfermos tambin las provoca. Si
estoy en el grupo de control y el programa beneficia a mis vecinos, esos
vecinos ya no estarn enfermos, lo que reduce mi posibilidad de enfermarme.
Entonces, incluso cuando estoy en el grupo de control, el tratamiento a mis
vecinos me afecta indirectamente. Ya no soy un buen grupo de comparacin.
Esto es conocido como el efecto de externalidad, en particular, se trata de una
externalidad positiva. Para mitigar esto, podramos aleatorizar a nivel de
comunidad. Hacer esto significara que si nuestra comunidad fue asignada al
grupo de control, yo y mis vecinos tendremos el mismo estatus. Tengo menos
probabilidades de jugar con nios de otros pueblos, y por lo tanto tengo menos
probabilidades de ser impactado indirectamente por el tratamiento. O, si
nuestra comunidad fuera asignada al grupo de tratamiento, no podramos
impactar positivamente a los dems.
(Por supuesto, podra interesarnos conocer cmo ocurren estas externalidades,
y hacer diseos acorde con esto. Ver mtodos de aleatorizacin).
b) Efecto Control-Tratado
Otra posibilidad es que mi hogar haya sido asignado al grupo de control, pero
mi vecino est en el grupo de tratamiento, y por tanto mi madre sabe que su
agua est limpia y me manda a su casa a beberla. De este modo, me infiltro en
el grupo de tratamiento, aun cuando yo fui asignado al grupo de control.
nuestra evaluacin y de otros contextos en los que nos gustara generalizar los
resultados, nuestras suposiciones pueden ser ms o menos razonables.
Sin embargo, la metodologa que elegimos -una evaluacin aleatoria- no provee
validez interna a costa de la validez externa. La validez externa es una funcin
del diseo del programa, los proveedores de servicios, los beneficiarios, y el
entorno en que se llev a cabo la evaluacin del programa. Los resultados de
cualquier evaluacin de programas estn sujetos a esas mismas realidades
contextuales cuando se utilizan para obtener conclusiones respecto a
programas similares o a las polticas aplicadas en otros lugares. Lo que la
evaluacin aleatoria nos compra es la certeza de que nuestros resultados al
menos son vlidos internamente.
HACIENDO LA PREGUNTA DE INVESTIGACIN CORRECTA
Al tratar de mejorar la eficacia de las polticas y programas, tenemos que hacer
frente a una amplia gama de preguntas ... una evaluacin de impacto puede
responder a la pregunta bsica de si un programa o poltica obras. Pero
tambin puede responder a una serie de otras cuestiones.
Hay varias preguntas crticas para responder a la hora de considerar la
realizacin de una evaluacin aleatoria:
I.
II.
III.
IV.
intervencin?
Tenemos un tamao de muestra suficientemente grande para medir
nuestros resultados con precisin? (Esto puede ser determinado por el
presupuesto de investigacin, o por el tamao, el alcance y otros detalles
V.
El objetivo y los resultados que nos importa deberan ser definidos por nuestra
pregunta de investigacin. Para la poblacin objetivo, tenemos que contestar
una serie de preguntas: Cules son los beneficiarios directos e indirectos de
nuestro programa? Quines son los beneficiarios ltimos si vamos a escalar
hasta el programa? Para quin vamos a querer idealmente estos resultados
que deben aplicarse a? Los detalles de cmo medir los resultados en nuestra
poblacin objetivo se tratan en la siguiente seccin sobre la medicin y
recopilacin de datos.
MUESTREO
En algunos casos, la muestra puede ser toda la poblacin objetivo en nuestro
estudio de investigacin. Por ejemplo, si una evaluacin del 3er grado de
orientacin se lleva a cabo en 100 escuelas, que puede ser capaz de obtener
los resultados del examen de todos los estudiantes en las escuelas. No hay
necesidad de probar al azar el que los estudiantes que queremos estudiar o
prueba. Sin embargo, en ms casos que no, vamos a probar aleatoriamente
encuestados. En tales casos, muchas de las mismas preguntas surgen con el
muestreo como con asignacin al azar.
DISEO DE LA ALEATORIZACIN
La asignacin al azar en concepto puede ser muy simple; resultado aleatorio
puede ser generado por lanzamiento de una moneda, o utilizando un generador
de nmeros aleatorios. Hay, sin embargo, a menudo muchas maneras posibles
para asignar el tratamiento y control de estado. Las principales preguntas que
debemos hacernos son:
I.
II.
III.
IV.
V.
frontera de elegibilidad?
No aceptar un diseo en el que un individuo tiene una mayor
probabilidad de ser asignado a, por ejemplo, el grupo de tratamiento que
VI.
otro individuo?
Hay que estratificar, cunto y por qu variables? Para una discusin
sobre las ventajas y detalles de la estratificacin, pensamientos ver esta
Guido Imbens 'sobre el diseo experimental para la unidad y agrupar los
VII.
ensayos aleatorios.
Si no tenemos una lista completa de las unidades al principio, podemos
VIII.
IX.
X.
XI.
podemos
volver
cambiar
aleatoriamente?
Para
una
I.
II.
III.
IV.
de resultado?
Calidad de Datos: Cmo podemos asegurar que los estndares de
calidad de datos se cumplen en el proceso de recoleccin de datos?
II.
procesar)?
Qu resultados basal medir las diversas formas en que nuestra
muestra es heterognea, para ayudarnos a entender el contexto, para
ayudarnos a medir los efectos del tratamiento heterogneos, as como
III.
IV.
VI.
resultados?
Cmo podemos registrar de forma sistemtica los resultados difciles
de medir, como en un estudio de J-PAL que intent medir el sesgo en
VII.
RECOPILACIN DE DATOS
Habiendo determinado los indicadores sobre la base de nuestra teora del
cambio, la siguiente pregunta es: Cmo obtenemos datos sobre los
indicadores de los individuos de la muestra? En trminos generales existen dos
tipos de datos: datos primarios y datos secundarios.
Los datos primarios son los que los investigadores recogen s mismos, por lo
general como parte del experimento. (Los datos primarios no deben ser
confundidos con los resultados primarios!)
Los datos secundarios provienen de otras fuentes de datos administrativos -tal
vez de un socio de gobierno, datos de encuestas de otro organismo de
investigacin, estudio o la oficina de estadsticas.
I.
II.
II.
III.
IV.
Algunas opciones utilizadas por los investigadores del IPA y J-PAL en el pasado
incluyen:
CALIDAD DE LOS DATOS
Cmo podemos monitorear el proceso de recoleccin de datos, tanto durante
el proceso de recoleccin de datos y despus de los datos ha entrado, para
asegurar la calidad de los datos? Algunos recursos que IPA y J-PAL han
desarrollado incluyen (stos sern publicados en una fecha futura ya que
estamos en el proceso de finalizacin de ellos):
TRABAJAR CON DATOS
II.
III.
equipo?
Lo que constituye informacin de identificacin personal, u otros datos
IV.
V.
VI.
LIMPIEZA DE DATOS
Incluso los datos de las encuestas mejor diseados normalmente requieren
algn trabajo de preparacin y limpieza antes de que est listo para su anlisis.
Algunas de las preguntas que vamos a necesitar para hacer frente a los datos
de entrada son:
I.
II.
III.
IV.
V.
II.
III.
IV.
V.
VI.