Metodología de los Estudios Políticos

Mg. Andrés Miño

Clase 5. Estudios experimentales en Ciencias Sociales

Texto de la clase:
Gertler, P. J., Martínez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M. (2017). Cap. 4
Métodos de selección aleatoria, en La evaluación de impacto en la práctica, Segunda edición.
The World Bank (selección).

Ideas clave: Modelo contrafáctico de la causalidad. Experimentos. Efecto del tratamiento.

Asignación aleatoria del tratamiento. Problemas de aplicabilidad.

Contenido:

Continuando con el análisis de las distintas estrategias metodológicas para estimar efectos
causales, en esta clase profundizaremos sobre las ventajas y desventajas de los experimentos
en ciencias sociales.

Como vimos anteriormente, según el modelo contrafactual de la causalidad, precisar con certeza
si una variable influye causalmente en otra implicaría conocer qué hubiese pasado con el
fenómeno de interés en ausencia de la variable explicativa. El Problema Fundamental de la
Inferencia Causal consiste en que la posibilidad de conocer el efecto causal depende de la
comparación con algo que no ocurrió, una situación, fenómeno o evento que no tuvo existencia
real, y por lo tanto no puede ser conocido.

Entonces, una forma imperfecta de conocer el efecto causal sería comparar casos muy similares
en todo, salvo en la variable de interés. Los experimentos buscan recrear este escenario
construyendo un grupo de tratamiento y otro de control mediante la asignación aleatoria.

En contraposición, en estudios observacionales no hay asignación aleatoria de la variable

independiente. Cuando se trabaja con datos producidos en entornos no controlados, los grupos
no son iguales en cuanto a sus características de base. Los individuos, grupos o países difieren

1
en muchas cosas además de la variable explicativa, lo que entorpece observar con claridad si las
diferencias se deben a la causa supuesta por el investigador o a otra variable no observada. La
endogeneidad de los datos empíricos significa que la asociación teorizada entre la variable
dependiente e independiente puede ser explicada, en todo o en parte, por factores confusores.
El problema con ello es que si la variable explicativa está correlacionada con otras variables que
también tienen un impacto sobre la variable dependiente, nuestra estimación va a reflejar el
impacto de la variable de interés, más el impacto de la variable Z con la que está correlacionada,
con lo que se tendrá una estimación sesgada (sobrestimada o subestimada) del impacto causal.
De esta manera, en el peor de los casos, si el efecto de la variable de interés en realidad no
existe, se imputará causalidad a un factor que no está relacionado causalmente con la variable
dependiente, sino indirectamente a través de otro factor (Z).

En cambio, los experimentos se definen por la intervención del investigador en el proceso de

generación de datos, lo que brinda un alto grado de control sobre las condiciones de tratamiento
y permite descartar explicaciones rivales.

Los experimentos buscan construir dos grupos idénticos valiéndose de la aleatoriedad. El

investigador asigna por azar una cantidad relativamente grande de unidades (países, ciudades,
personas, etc.) a los distintos grupos. Uno de los grupos recibirá la variable independiente -el
que se denominará grupo de tratamiento- y otro no recibirá nada y servirá como control. Dado
que la asignación a los dos grupos fue por azar, puede asumirse que los integrantes son iguales
en todos los aspectos, tanto aquellos que pueden ser conocidos (género, edad, nivel educativo,
opiniones políticas, etc.) como aquellos que son desconocidos. La única diferencia entre ellos es
la variable independiente asignada como tratamiento. Si los dos grupos son iguales en todo,
entonces el grupo de control es una buena simulación de la situación contrafáctica y es
informativa de qué hubiese pasado con el grupo de tratamiento en ausencia del tratamiento.
Así, puede asumirse que las diferencias resultantes luego de la aplicación de la variable
independiente se deben, exclusivamente, al tratamiento, y no a la presencia de factores
confusores. Gracias a la aleatoriedad, los investigadores pueden ignorar la posible existencia de
variable Z. Si la asignación del tratamiento es aleatoria, los grupos de tratamiento y control son
equivalentes y solo difieren en la variable independiente, lo que garantiza gran confianza en la
“validez interna” del estudio. Es por eso que el diseño experimental es el método existente más
confiable y transparente para realizar inferencias causales.

En ciencias sociales, la manipulación experimental puede ser realizada en laboratorios, pero

también es implementada en trabajos de campo y a través de encuestas. Para ejemplificar una
de las formas en la que los experimentos son posibles en la investigación social, analicemos el

2
realizado por Alan Gerber y Donald Green, profesores de Yale University y pioneros en el uso de
estas metodologías en ciencia política.

En su artículo “The effects of canvassing, telephone calls, and direct mail on voter turnout: A field
experiment” (el efecto de los voluntarios de campaña, las llamadas telefónicas y publicidad por
correo en la participación electoral: un experimento de campo), publicado en la American
Polítical Science Review, investigan el efecto de distintas estrategias políticas (X) en la
participación electoral (Y), es decir, en la concurrencia a votar.

En las antiguas campañas políticas, la estrategia dominante de los partidos y candidatos era el
contacto cara a cara de los militantes con los ciudadanos, pero especialmente desde la década
de los 90s, se comenzaron a instrumentar nuevas técnicas de marketing y comunicación,
basadas en la publicidad, que se caracterizan por la masividad y el vinculo indirecto e impersonal.
Para Gerber y Green, estos cambios en las formas de movilización política explican por qué se
observó un declive de la participación electoral en EEUU. Su hipótesis es que el contacto cara a
cara de los militantes con los electores es una forma más efectiva de movilización política que
otras como dejar folletos en las casas o llamadas telefónicas.

No obstante, cuando se observan datos observacionales, existen otros factores que podrían
explicar la correlación en la disminución de la participación electoral y un aumento de estrategias
masivas de comunicación. Desde la década del 60, tanto los partidos como las asociaciones no
partidarias también vieron declinar su participación. Antes las personas participaban más de
actividades comunitarias, clubes y asociaciones que en la actualidad. La baja en la participación
electoral podría ser el resultado de una transformación mayor en las formas de interacción
social, y no solo de la política. Estas transformaciones sociales también podrían explicar por qué
los partidos utilizan estrategias de mercadotecnia: los ciudadanos se comprometen y participan
menos de la vida cotidiana de los partidos, ya no leen periódicos partidarios ni son un espacio
privilegiado de encuentro social, por lo que debe recurrirse a otras estrategias.

Para probar su argumento sobre que el declive de la movilización personal, impulsada por
militantes, ha contribuido a la erosión de la participación electoral y descartar factores
confusores, realizaron un experimento en New Haven, Connecticut (EEUU). Obtuvieron el
padrón electoral de toda la ciudad, y a partir de él dividieron a los hogares en dos grupos -uno
de tratamiento y otro de control- valiéndose de la aleatoriedad.

A su vez, subdividieron al grupo de tratamiento en tres, para aplicar distintos tratamientos:

contacto personal, envío de publicidad por correo y llamada telefónica invitando a votar. Un
primer subgrupo recibió publicidad partidaria por correo. Un segundo grupo fue contactado

3
personalmente por voluntarios. Y un tercer grupo recibió llamadas por teléfono. Por su parte, el
grupo de control, que simula la situación contrafáctica, no recibió ningún tratamiento.

A quienes recibieron contacto personal y llamadas telefónicas se les transmitió un mensaje

incentivando a votar, como el siguiente: “Hola. Mi nombre es…. Soy parte de New Haven Vota
’98, un grupo no partidario que trabaja junto con la Liga de Mujeres Votantes para alentar a las
personas a votar. Solo quiero recordarte que las elecciones son el 3 de noviembre. Queremos
alentar a todos a cumplir con sus obligaciones ciudadanas y ejercitar el derecho de voto. La
democracia depende de la participación de los ciudadanos de nuestro país”. En cambio, al
subgrupo que debía recibir un folleto por correo se le envió una tarjeta con una imagen de
veteranos de guerra con una leyenda que reza ““Ellos pelearon para que pudiéramos tener algo
por lo que votar”.

Dado que los grupos fueron construidos a partir del azar, se tiene una alta confianza en que los
grupos sean iguales en todos los aspectos, como género, edad, clase social, preferencia política,
etc. La única diferencia entre ellos es el tratamiento aplicado por los investigadores. Es por eso
que las inferencias se reducen a pocas opciones. Si la hipótesis sobre el impacto del contacto
personal sobre la probabilidad de votar fuera cierta, debería esperarse que quienes fueron
visitados por voluntarios tengan mayor tasa de participación electoral que quienes recibieron
otro tratamiento o no recibieron ninguno. En cambio, si el tipo de estrategia no fuera relevante
para explicar la participación, debería observarse que quienes recibieron cualquier forma de
contacto (publicidad, visita o llamada) participaron más que los individuos en el grupo de
control. Finalmente, si las personas no modificaran su comportamiento por ninguna estrategia
debería observarse que la participación electoral de los grupos converge.

Los resultados del experimento mostraron que el contacto personal aumentó significativamente
la tasa de participación del grupo que fue visitado por voluntarios. En este grupo se observó una

4
tasa de participación de aproximadamente 10 puntos porcentuales en comparación con el grupo
de control (54% vs 44%). En tanto, la publicidad dejada en los hogares aumentó
aproximadamente 1 punto la participación sobre el grupo de control, mientras que la llamada
telefónica no tuvo ningún efecto. La concurrencia a las urnas entre el grupo que recibió una
llamada y quienes no recibieron ningún tratamiento fue la misma. A partir de estos hallazgos,
los investigadores infieren que los cambios en las formas de movilización de los partidos políticos
tuvieron impacto en el declive de la participación electoral.

Este ejemplo muestra las fortalezas y debilidades de los experimentos para la realización de
inferencias causales. La principal ventaja reside justamente en la posibilidad de asignar
aleatoriamente la variable explicativa entre un grupo de tratamiento y otro de control que
simula la situación contrafáctica. La aleatoriedad garantiza que los grupos sean iguales en todas
sus características, a excepción de la variable independiente de interés, por lo que se tiene una
alta confianza en que las diferencias observadas, si existen, se deban exclusivamente al
tratamiento.

De acuerdo con esto, puede afirmarse que los diseños experimentales ofrecen el más alto
estándar para evaluar relaciones causales. La manipulación experimental, frente a cualquier otro
método, permite identificar un efecto causal sin sesgos y descartar explicaciones alternativas,
manteniendo constantes factores confusores, tanto aquellos que el investigador conoce como
los que no advierte. Es por eso que se dice que los experimentos son la única metodología que
garantiza la “ignorabilidad” de factores confusores no observados.

Además, el experimento permite recrear condiciones que no existen en los datos

observacionales e inducir un amplio rango de variación en la variable explicativa, llevando hasta
las últimas consecuencias las predicciones teóricas, incluso más allá del comportamiento actual
de los fenómenos observables. Es decir, el tratamiento experimental puede representar
situaciones posibles o niveles extremos de la variable independiente pero que rara vez ocurren
en la realidad.

Según se dijo, la aleatorización de tratamiento es un elemento importante para aumentar la

confianza en los experimentos, pero este procedimiento en la investigación social puede ser
difícil de realizar. Implementar la asignación aleatoria implica una serie de decisiones del
investigador sobre qué aleatorizar y a través de qué grupos de individuos hacerlo, y ninguna de
estas decisiones es sencilla de resolver. Los experimentos enfrentan problemas de aplicabilidad
como la no respuesta, la pérdida de datos (attrition), el contagio entre unidades (spillover) y el
cumplimiento parcial del tratamiento (no compliance), que requieren el control consciente del
investigador y el uso de técnicas complementarias para resolverlos.

5
Más allá de estas ventajas y dificultades, existen también algunos motivos por los cuales los
experimentos no siempre son útiles. En primer lugar, aunque el investigador cuente con
conocimiento en el área, muchas de las preguntas interesantes con las que se enfrentan los
politólogos no son posibles de manipulación experimental. No se pueden asignar aleatoriamente
características como las instituciones, sistemas o procesos políticos, u otorgar democracia a
algunos países, y dictadura a otros, por ejemplo. Comúnmente, las variables de nivel macrosocial
no son susceptibles de experimentación, a riesgo de un alto grado de artificialidad que haga
poco creíbles las inferencias. Por ejemplo, en el caso presentado más arriba, es válido
preguntarse si los diferentes tratamientos (llamada telefónica, visita personal o entrega de un
folleto por correo) son realmente equivalentes a los cambios macrosociales experimentados
entre las décadas del 60 y 90 en las formas de socialización y movilización política.

Es por esta razón que, en ciencia política, este tipo de diseños es más útil para enfoques teóricos
como el de la elección racional (rational choice), que realiza supuestos teóricos a partir de
individuos, pero puede ser dificultoso para evaluar hipótesis de nivel agregado o basadas en
grupos, como el estudio de los partidos, los sindicatos o el Estado. En general hay mucho
desarrollo en investigación experimental en estudios electorales y opinión pública, y muy poco
sobre el comportamiento de las elites políticas y las hipótesis macrosociales.

Por otro lado, trabajar con métodos experimentales requiere, a menudo, de la utilización de un
nivel alto de abstracción conceptual, para poder incluir a la mayor cantidad de casos posible,
que permita que varíen tanto como se pueda los datos con los que se trabaja. Cuando esto es
así siempre existe el riesgo de trabajar con definiciones toscas sobre los conceptos sociales, con
lo cual a menudo se tienen aproximaciones teóricas vagas o distantes de los fenómenos.

Finalmente, por su naturaleza, este método provee poca información relativa a mecanismos
causales complejos. Es útil para estimar el impacto causal, pero difícilmente logra recrear o
captar la intensidad relativa a los procesos históricos, ni es útil para comprender los significados
más profundos, situados en contextos particulares.

Con este marco, y en base a la literatura de la clase, se sugiere focalizarse en las siguientes
preguntas:

Guía de lectura

1. a) ¿Cuál es la diferencia crucial entre los experimentos y los estudios observacionales en

cuanto a las características de su diseño de investigación?, y b) ¿qué es la asignación
aleatoria del tratamiento, y por qué razones se considera que esta herramienta genera
una muy buena estimación del contrafáctico?

6
2. a) ¿Qué es la validez externa e interna de una investigación?, b) ¿todos los experimentos
son fuertes o débiles en ambas dimensiones simultáneamente?, y c) ¿de qué depende
que un experimento sea fuerte en cada una de ellas?
3. Resuma y explique cada una de las ventajas y desventajas de los experimentos para el
análisis de la causalidad respecto a otros métodos.