El "Talibán de la identificación" en las ciencias sociales

Por BLOGOECONOMIA · 10 DE NOVIEMBRE DE 2014

Por Leopoldo Fergusson (@LeopoldoTweets)

Es obvio que correlación no implica causalidad. Que un barrio con muchos guardias de seguridad
tenga un índice inusualmente elevado de robos, no implica que los guardias causen más crímenes.
Posiblemente, la causalidad va en el sentido contrario. Que los estudiantes con mejores notas en
la Universidad obtengan mayores ingresos a lo largo de su vida no demuestra que un trabajo
académico aplicado mejora sus habilidades y productividad. Bien podría ser algo más (su
coeficiente intelectual, su tenacidad y disciplina) la causa tanto de las buenas notas como de los
altos ingresos.

Aunque estos problemas (de endogeneidad por causalidad inversa o variables omitidas, en el argot
econométrico) sean fáciles de reconocer, lo cierto es que, en la vida diaria, y en la ciencia también,
es común sacar conclusiones causales de simples correlaciones. Nuestros rigurosos medios con
frecuencia citan algún estudio igualmente riguroso que, encontrando una simple correlación,
sugiere una relación causal que no está demostrada. Sobre sexualidad muchas veces, pues
supongo que es lo que da rating. "Los hombres fieles son más inteligentes" o el "signo zodiacal
incide en la infidelidad”, reportan, sin importar que la fuente sea una página web que promueve
encuentros entre infieles.

En economía y en las ciencias sociales en general, este problema de identificación (como se llama
comúnmente al reto de separar causalidad de correlación) es particularmente grave porque lo que
el mundo nos ofrece para estudiarlo son correlaciones. La tienen más fácil otras ciencias donde se
puede aplicar sin problema el método experimental. En un ambiente controlado, yo puedo
estudiar dos ratones casi idénticos, gemelos, sometidos al mismo régimen alimenticio, al mismo
ambiente, a las mismas rutinas de ejercicio y encontrar, por ejemplo, el impacto de una droga. Con
muchas observaciones para muchos ratones puedo tener más certeza sobre los efectos de la
droga. En medicina, los experimentos aleatorios controlados en que un grupo de personas recibe
un medicamento y otro grupo similar (“estadísticamente equivalente") no recibe el tratamiento o
recibe un placebo, permiten establecer el efecto del medicamento.

Pero en las ciencias sociales no podemos hacer este tipo de experimentos. ¿O sí?

Desde hace algunos años un movimiento cada vez más popular que algunos llamamos el Talibán
de la identificación (confieso que soy un miembro, moderado eso sí, del grupo) responde a esta
pregunta enfatizando que sí podemos, y además debemos.

Lo podemos hacer de dos maneras.

Primero, aunque algunos experimentos son imposibles, los accidentes de la historia producen algo
muy similar. Un ejemplo de un experimento natural relevante para la economía es la división de
las dos Coreas (o de las dos Alemanias, ahora que está de moda por los 25 años desde la
reunificación). Dos zonas geográficas, con dotaciones similares en recursos naturales, cultura, nivel
de ingreso, sometidas a medicinas muy distintas en términos de organización social. Otro es el de
las becas asignadas por sorteo: dos estudiantes con calificaciones similares, uno con acceso a
educación privada y otro no.

Segundo, en algunos casos se puede, de hecho, hacer el experimento social controlado. Es cierto
que no se puede, al azar, someter a unos países a la democracia y otros a la dictadura para
estudiar los efectos del sistema de gobierno. Pero eso no impide hacer experimentos sobre
aspectos de las instituciones políticas, tanto que hay centros dedicados a promoverlos. Y ni hablar
de los centenares de experimentos aleatorios controlados de los economistas para estudiar
educación, nutrición, adopción de tecnología, o de los politólogos para estudiar las elecciones o los
medios de comunicación.

El entusiasmo con los experimentos naturales y controlados es más que bienvenido, pues es
mucho más interesante, y avanza más el conocimiento, cuando podemos pasar de simples
correlaciones a relaciones de causalidad. Pero, como con cualquier moda, hay riesgos con el
exagerado entusiasmo. Un riesgo es la “trivialización" de la ciencia. Aunque los experimentos no
son más que un medio cuyo fin es arrojar luces sobre preguntas importantes para el avance de la
ciencia, tanto fervor puede deslumbrar a los investigadores convirtiendo al experimento un fin en
sí mismo. Y así, como en el cuento del borracho que busca una moneda dos cuadras más abajo de
donde la perdió “porque ahí la luz es mejor", a los economistas nos han acusado de emprender
una búsqueda frenética por experimentos sin detenernos a pensar si las preguntas que contestan
son, de hecho, relevantes.

Steve Levitt, el famoso autor de Freakonomics que muchos lectores reconocerán, fue acusado
hace unos años de contribuir a esta trivialización promoviendo el estudio de experimentos
naturales en situaciones insospechadas, como el caso de los luchadores de sumo en el Japón.
Levitt se puede defender diciendo que su estudio, más que sobre los luchadores de sumo, es sobre
la corrupción (la investigación esencialmente mostró que los luchadores de sumo hacían trampa
para maximizar sus ganancias). Pero no es claro que estas conclusiones tengan validez externa, es
decir, que comprendiendo la corrupción de los luchadores de sumo podamos aprender sobre la
corrupción en las empresas o en el gobierno. Para ser francos, Levitt ha estudiado más
experimentos naturales y muchos en contextos de obvia relevancia. Sin embargo, es verdad que la
economía ha estado tan obsesionada con resolver el problema de identificación que le ha dado
mucho valor a estudios ingeniosos de este estilo, incluso cuando su importancia no es obvia.

La trivialización no sólo es consecuencia de la confusión de medios y fines. También es resultado

directo de una realidad más difícil de escapar: cuanto más interesante e importante la pregunta
que hagamos, más difícil encontrar experimentos naturales o hacer experimentos controlados. Por
ejemplo, no hay pregunta más importante en economía que la pregunta por las causas
fundamentales del desarrollo económico. Pero es inconcebible hacer un experimento mundial a
gran escala en la que unos economistas podamos hacer un análisis de los efectos de distintas
“píldoras” y sus efectos sobre el desarrollo. Entonces, los economistas del desarrollo se han
dedicado a estudiar con experimentos preguntas mucho más modestas, con la esperanza de que
contestar muchas pequeñas preguntas permita acumular un conocimiento grande (dos fuertes
defensores de esta visión son Abhijit Banerjee y Esther Duflo, autores de Poor Economics y los
cerebros detrás del Poverty Action Lab del MIT).
Sin restarle mérito a los avances logrados atacando las pequeñas preguntas, otros investigadores
creemos que no debemos evadir las grandes preguntas. Lant Pritchett propuso recientemente un
test muy sencillo, de puro sentido común, para verificar si las evaluaciones que con tanto
entusiasmo hacen los economistas del desarrollo pueden ayudarnos a entender porqué unos
países son ricos y otros pobres. Si usted toma el test, creo que la respuesta es elocuente: esta
agenda resuelve muchas preguntas, pero no va al fondo de las causas de la riqueza de las
naciones.

Otro riesgo salió a relucir recientemente, con ocasión de un experimento que científicos de
Stanford y Darthmouth hicieron en el estado de Montana, en los Estados Unidos. Los
investigadores aprovecharon la elección de jueces para la Corte Suprema para examinar los
efectos sobre los votantes de entregar información acerca de la tendencia ideológica de los
candidatos. Con dos complicaciones: entregaron información sobre afiliación partidista en una
elección no partidista y, en un error increíble, emplearon en las cartas enviadas el sello del estado
de Montana sin autorización.

Las reacciones sobre las implicaciones legales y éticas no se hicieron esperar. El debate es amplio y
daría para otra entrada. Pero las posiciones van desde quienes opinan que el único error de los
investigadores fue usar un sello sin autorización, hasta quienes consideran que los investigadores
no deberían hacer absolutamente nada que pueda interferir en el resultado de unas elecciones
democráticas. Yo no llegaría al extremo de decir esto último. Resultaría paradójico criticar a los
investigadores sociales por vivir en una torre de marfil aislados de la realidad, y criticarlos también
por involucrarse para poder contestar sus preguntas sobre el mundo real ensuciándose las manos.
Pero lo que sí es cierto es que los investigadores debemos tener mucho cuidado con las
consecuencias éticas de nuestras intervenciones y experimentos, evitando además engañar a las
personas involucradas y obteniendo siempre que sea relevante un consentimiento informado por
su participación.

Al final, la culpa no la tiene el talibán de la identificación. Más bien, diría que la posible
trivialización de las ciencias y el error de Montana reflejan vacíos en la formación académica. No
está mal entusiasmarnos con los experimentos. Pero si lo vamos a ser tenemos que ser mucho
más exigentes en al menos dos dimensiones: las preguntas que nos estamos planteando y las
consecuencias éticas de lo que hacemos. Nada peor que acabar con una ciencia que sea al mismo
tiempo trivial en sus temas y peligrosa en sus implicaciones éticas. Y eso sin contar otros temas
que merecen mucha atención, quizás para otra entrada en blogoeconomía, como el papel de la
teoría en todo esto.
Wooldridge, Cap. 1
1.1 Suponga que se le pide que realice un estudio para determinar si grupos de clase pequeños
contribuyen a un mejor desempeño de los estudiantes de cuarto grado.
i) Si pudiera realizar cualquier experimento que deseara, ¿qué haría? Explique con claridad.
ii) Siendo más realistas, suponga que puede obtener datos observacionales de varios miles
de estudiantes de cuarto grado de un determinado estado. Puede conocer el tamaño de sus
grupos y las calificaciones estandarizadas obtenidas en el examen final. ¿Por qué puede
esperarse una correlación negativa entre el tamaño de los grupos y las puntuaciones en el
examen final?
iii) Una correlación negativa, ¿indicaría necesariamente que tamaños de grupo menores causan
un mejor desempeño?
1.2 Para justificar los programas de capacitación laboral se ha dicho que éstos mejoran la
productividad de los trabajadores. Suponga que se le pide que evalúe si una mayor capacitación
para el trabajo hace que los trabajadores sean más productivos. Pero, en lugar de que se le
proporcionen datos sobre trabajadores individuales, se le facilitan datos de fábricas en Ohio. De
cada firma se le proporcionan horas de capacitación laboral por trabajador (capacitación) y la
cantidad de artículos no defectuosos producidos por hora por cada trabajador (producción).

i) Establezca cuidadosamente el experimento ceteris paribus subyacente a esta pregunta.

ii) ¿Parece razonable que la decisión de una empresa de capacitar a sus trabajadores sea
independiente de las características de los mismos? ¿Cuáles son algunas de esas características
medibles y no medibles de los trabajadores?
iii) Nombre un factor, que no sea una característica de los trabajadores, que influya en la
productividad de los trabajadores.
iv) Si encontrara una correlación positiva entre producción y capacitación, ¿habría establecido
de manera convincente que la capacitación para el trabajo hace que los trabajadores
sean más productivos? Explique.
1.3 Suponga que en su universidad se le pide que encuentre una relación entre horas semanales
de estudio (estudio) y horas semanales de trabajo (trabajo). ¿Tendría sentido considerar que en
este problema se trata de inferir si estudio “causa” trabajo o trabajo “causa” estudio? Explique.